問題タブ [flume-ng]

Flume が kafka キューのコンシューマーである kafka Flume-ng 統合 (Flafka) を使用する予定です。Flume エージェントは、以下に示すように、コマンドとその出力をリストしたファイルを受け取ります。

ファイルには複数のコマンドが含まれる場合があり、コマンドの出力は膨大になる場合があります。イベント (ファイル データ) をインターセプトし、コマンドに基づいてイベントを複数のイベントに分割する必要があります。次に、ソースはフローを複数のチャネルにファンアウトし、各サブイベントを (多重化を使用して) チャネルに送信し、各シンクはコマンド情報をそれぞれの Hive テーブルに格納します。ファンアウト フローを使用してイベントを複数のイベントに分割することはできますか? または、別の言い方をすると、インターセプターでイベントを複数のイベントに分割できますか?

正規表現抽出インターセプターとシリアライザーについて読んだことがありますが、このシナリオに役立つかどうかはわかりません。

Apache Flume 1.4.0 を使用してログ ファイル (auth.log) を収集し、HDFS (Hadoop 2.6.0) に保存しています。使用するコマンドは次のとおりです。

Flume.confファイルには次のものが含まれます。

コマンドの実行後、次のメッセージがループで繰り返されます。

何が原因でしょうか?

私はフルームが初めてです。しかし、任意の Web サイトから気象データを hdfs の場所にストリーミングしたいと考えています。だから私はシンク、ソース、チャンネルを作成しました...以下のように

だから私はここでAPIを使ってこれを操作しています。他に何を使用して気象データをストリーミングできますか、どのオンライン Web サイトを使用できますか、またはどの API を使用してソースを構成する必要がありますか? エージェントを開始するためにflume-ngコマンドを実行している間、私は次のようになっています

Flume を学習しています。システムからログ ファイルを読み取ろうとしているときに、インターネットからダウンロードした次のコードを使用しました。

上記のコードでは、tailSrc.commands の意味がわかりません。ソースがエージェント内で構成され、外部ソースからイベント (データ) を取得することはわかっています。

Flume構成ファイルで、このように定義されたTwitter Flumeソースがあります

「キーワード」プロパティは「アベンジャーズ」にハードコードされています。このプロパティ値を変数にして、flume エージェントを起動するときに渡したいと思いました。位置パラメータを試しましたが、うまくいかないようです。

これを行う方法についてのアイデアはありますか?

Flume エージェント 1 が Flume エージェント 2 に接続しません。何が原因でしょうか?

Flume を使用して、2 つのエージェントを使用して HDFS にログ ファイルをストリーミングしています。最初のエージェントはログ ファイルが存在するソース マシンにあり、2 番目のエージェントは Hadoop がインストールされているマシン (IP アドレスは 10.10.201.40) にあります。

最初のエージェントの構成ファイル (flume-src-agent.conf) は次のとおりです。

2 番目のエージェントの構成ファイル (flume-trg-agent.conf) は次のとおりです。

最初のエージェントを実行すると、次のエラーが表示されます。

2 番目のエージェントを実行すると、次のエラーが表示されます。

Flume を使用して Twitter データを抽出しようとしています。しかし、私は次のエラーが発生しています

cloudera の Flume-sources-1.0-SNAPSHOT.jar を使用しました。TwitterAgent が上記のエラーで実行されます。回避策はありますか？

前もって感謝します。