0

Flume が kafka キューのコンシューマーである kafka Flume-ng 統合 (Flafka) を使用する予定です。Flume エージェントは、以下に示すように、コマンドとその出力をリストしたファイルを受け取ります。

root@host> [Command1]

[Output1]

root@host> [Command2]

[Output2]

ファイルには複数のコマンドが含まれる場合があり、コマンドの出力は膨大になる場合があります。イベント (ファイル データ) をインターセプトし、コマンドに基づいてイベントを複数のイベントに分割する必要があります。次に、ソースはフローを複数のチャネルにファンアウトし、各サブイベントを (多重化を使用して) チャネルに送信し、各シンクはコマンド情報をそれぞれの Hive テーブルに格納します。ファンアウト フローを使用してイベントを複数のイベントに分割することはできますか? または、別の言い方をすると、インターセプターでイベントを複数のイベントに分割できますか?

正規表現抽出インターセプターとシリアライザーについて読んだことがありますが、このシナリオに役立つかどうかはわかりません。

4

3 に答える 3

1

返信ありがとうございます。

Flume ソースへの着信イベントを複数のサブイベントに分割し、それぞれのチャネルに送信したいと考えています。したがって、トポロジーの最初のフルーム ノードは、各サブイベントを (多重化を使用して) その種の情報を処理できる特定のホップにルーティングします。

ご回答のとおり、インターセプターではできないことがわかりました。ハンドラーの例やドキュメントを教えてください。

于 2015-03-11T13:14:07.230 に答える