1

/user/flume/2016/06/28/13/FlumeData... のようなディレクトリ順でツイートを保存しています。しかし、1 時間ごとに 100 以上の FlumeData ファイルが作成されますTwitterAgent.sinks.HDFS.hdfs.rollSize = 52428800 (50 mb)。 rollcount パラメーターを変更しても機能しませんでした。1 時間に 1 つの FlumeData ファイルを取得するようにパラメーターを設定するにはどうすればよいですか。

4

3 に答える 3

0

@vkgadeが提案するように、rollInterval = 3600 rollcount = 0およびbatchSize = 100のflume.confパラメーターを設定して、この問題を解決しました

于 2016-07-12T07:36:59.517 に答える