問題タブ [flume]

log4j2 を使用してロガーステートメントを出力するスタンドアロンの Java アプリケーションがあります。Flume クライアントと Flume サーバーを構成しました。Flume サーバーは正常に動作しています。Java アプリケーションを実行すると、サーバーで接続が作成されますが、ロガー ステートメントが出力されません。

Flume サーバー コンソールのロガー ステートメントは次のとおりです。

この問題で私を助けてください。Flume サーバーコンソールで Java スタンドアロンアプリケーションからロガーステートメントを取得するにはどうすればよいですか?

前もって感謝します。

私は Flume-Ng を初めて使用し、ファイルを追跡するのに助けが必要です。リモートで実行されているflumeでhadoopを実行しているクラスターがあります。パテを使用してこのクラスターと通信します。自分の PC でファイルを追跡し、クラスター内の HDFS に配置したいと考えています。これには次のコードを使用しています。

間違いはソースにあると思います。この種類のソースは、検索するホスト名または IP を使用しません (この場合は私の PC である必要があります)。Flume を使用してリモートにある HDFS にファイルをアップロードするために、PC 上のファイルを追跡する方法についてのヒントを教えてください。

Flume 経由で HDFS にロードされるログ ファイルの形式を変更する MR ジョブを作成しようとしています。フィールドが「:::」で区切られた形式にログを取得しようとしています。例えば

私が遭遇した問題は、いくつかのログが単一行であり、他のログが複数行であり、残りのログ フィールドで複数行のログをそのままにしておく必要があることです。私はカスタムを書き、InputFormatこれRecordReaderを試してみました（これは基本的にNLineRecordReader、固定数の行を追加するのではなく、日付スタンプに達するまで行を追加するように変更されています）。ログをフォーマットするために使用する MR ジョブは正常に動作しているようですが、RecordReader複数の行を渡すために正しく動作していないようで、その理由はわかりません。

ここに私の RecordReader クラスがあります:

ログをフォーマットするための MR ジョブは次のとおりです。

ログは次のとおりです。

私のflume設定は

どのフルームプロセス10 reacords at each batchでも、すべてのレコードで同じ時間が得られます。

そのため、バッチ内の各レコードの個別の時間を取得することができます。

Flume-NG エージェントの前に ELB を配置したいのですが、実際にエージェントにイベントを送信せずに Flume エージェントのステータス/ハートビートを確認する方法があるかどうか疑問に思っていました。

私は過去 2 ～ 3 週間からフルームに取り組んできました。解決方法がわからない新しい状況に直面しました。

フロー: spoolDir -> fileChannel -> HDFS という基本的なフローを使用

.conf ファイルに追加のパラメータは設定されていません

転送しようとしているファイルのサイズ: 1.4GB

状況: エージェントが正常に起動し、ファイル転送が正常に開始され、ソース内のファイルの名前が .COMPLETED に変更され、ファイル全体が HDFS に転送されず、エラー/例外がスローされていません。同じアドホックを数回実行したところ、1.4 ギガのうち 169Mb しか転送されていないことがわかりました。奇妙に思えます！

助言がありますか？解決策はありますか？仮説はありますか？