0

Flume (flume 0.9.4-cdh3u4) フローを BE モードで実行しています。別のマシンにあるエージェントとコレクターの両方が大規模な EC2 インスタンスです。

コレクターは、ローカル ファイルシステムと同じリージョン内の S3 バケットに書き込みます。

エージェントは、E2E モードで構成されている場合、4MB/秒を処理するようにテストされており、エージェント <-> コレクター速度も同様です。

「iftop」を使用すると、コレクターによる S3 への発信接続が 2 つあり、s3 への書き込みスループットが約 40KB/s ～ 50KB/s であることがわかります。

  1. コレクタを使用して見た s3 への典型的な書き込みスループットは?

  2. インスタンスの使用率を最大化するために、これらのスレッド (S3 に書き込む) をさらに生成できるかどうか疑問に思っていました。

それ、どうやったら出来るの？

別の方法で書き込みスループットを向上させることができれば、これ以上コレクターを生成したくありません。

4

1 に答える 1

0

コレクターに物を積み上げていますか？生成されるすべてのデータが 50KB/s である可能性はありますか?

ロールシンクをお使いですか？ロール シンクはデータをバッチ処理して S3 にアップロードします。ロール サイズを大きくすると、スループットが向上します。

于 2012-06-22T20:15:27.373 に答える