Flumeを使用してTwitterデータをhdfsにダウンロードしていました。2 GB を超えるデータがありますが、チャンク ファイルの分割は 64 MB 未満です。つまり、1 番目のファイルは 300 KB、2 番目のファイルは 566 KB です。なぜそれが起こっているのですか？
質問する
48 次
1 に答える
0
これは、flume の設定が原因です。
これを読んで、 hdfs.rollIntervalまたはhdfs.rollSizeを設定する必要があります
于 2015-02-09T12:59:26.280 に答える