0

私は、flume ng (flume-ng-1.2.0+24.81-1~lucid) を使って実験を行っており、メモリ チャネルとファイル チャネルのパフォーマンスを比較しています。

テスト システムの各イベントのサイズは 1KB で、現在の構成では、メモリ チャネルを使用して約 30,000 EPS を処理できます。ただし、ファイル チャネルを使用する場合、約 1600 EPS しか処理できません。

平均して、実稼働システムで平均 2500 EPS を受け取ると予想しており、ファイル チャネルを使用して、シンクに障害が発生した場合に約 1 時間分のイベント バッファリングを提供したいと考えています (1 Gbps 接続の HDFS シンクを使用しています)。 Hadoop クラスターに)。

これは私のファイル チャネル構成です。

agent.channels.c1.checkpointDir = ~/.flume/file-channel/checkpoint
agent.channels.c1.dataDirs = ~/.flume/file-channel/data
agent.channels.c1.transactionCapacity = 13107200
agent.channels.c1.checkpointInterval = 30000
agent.channels.c1.maxFileSize = 9216000000
agent.channels.c1.minimumRequiredSpace = 524288000
agent.channels.c1.capacity = 9000000
agent.channels.c1.keep-alive = 3
agent.channels.c1.write-timeout = 3
agent.channels.c1.checkpoint-timeout = 600
agent.channels.c1.use-log-replay-v1 = FALSE
agent.channels.c1.use-fast-replay = FALSE

HDFS シンクのバッチ サイズは 5000 に設定されています。

ファイル チャネルのパフォーマンスを向上させる方法について、誰かが推奨できることはありますか?

ありがとう

4

1 に答える 1

0

バージョン 1.2.0 は非常に奇妙です。現在のリリース バージョンは 1.3.1 です。

つまり、trunk は 1.4.0-SNAPSHOT で、6 月末にリリースされる可能性があります。その間に FileChannel にいくつかの更新があったと思いますので、そのビルドを使用して再テストすることをお勧めします。（mvn install -Dmaven.test.skip=trueあなたの友達です）。

次に、checkpointDir と dataDirs をそれぞれのディスクに向けることを検討しましたか?

于 2013-05-23T17:14:26.963 に答える