問題タブ [flume-ng]

問題があります。Apache Flume を使用して txt ファイルからログを読み取り、hdfs にシンクしています。どういうわけか、読み取り中に一部のレコードがスキップされます。私は fileChannel を使用しています。以下の構成を確認してください。

助けてください。

実行ソースに Flume-ng を使用して Hdfs にデータを書き込もうとしていますが、常に終了コード 127 で終了し、次のような警告も表示されます。

VM から maxDirectMemory を取得できません: NoSuchMethodException: sun.misc.VM.maxDirectMemory(null)。

これは exec.conf ファイルです

これは私がコンソールで得ている出力です

Flume JMS ソースを使用して ActiveMQ からメッセージをデキューし、このメッセージList<Event>をカスタム コンバーターを使用して変換しています。

チャネル構成

のサイズがList<Event>1500 (チャネル トランザクション容量) 以下の場合、flume はイベントを channel に書き込みますが、イベント サイズが 1500 より大きい場合、以下の例外が発生します。

エラーログ

この問題を解決するには？

注:イベント サイズは、ActiveMQ メッセージに基づいて動的に変化します

Apache Flumeソースとシンクの間でイベントを渡すために使用しています。Avroプロトコルを使用しています。経由RpcClientで複数のイベントを渡していますが、より多くのイベントを渡すと、チャネルがオフラインになり、接続エラーが表示されるという問題に直面しました。プールされた接続を作成して、永久にアクティブのままにする方法はありますか?

私は使っているlog4j 1.2

ソケットでリッスンしている任意のプログラムに log4j ログを送信するにはどうすればよいですか。次のオプションを試しました

1. SocketAppenderSocketNode-がポートでリッスンすることを期待します。
2. TelnetAppenderただし、ログは読み取り専用ポートに送信されます。

私が本当に探しているのは、にlog4jログを送信することFlumeです。があることは知っていlog4j2.Xますが、FlumeAppender動作するかどうかはわかりませんlog4j1.2

Windows 7 から Linux の HDFS にログ ファイルをストリーミングする方法は?

Windows の Flume でエラーが発生する

Windows 7 (ノード 1) に「flume-node-0.9.3」をインストールしました。「flumenode」サービスが実行されており、localhost:35862 にアクセスできます。
Windows では、ログ ファイルは「C:/logs/Weblogic.log」にあります。CentOS
Linux (ノード 2) の Flume エージェントも実行されています。

1. Windows マシンでは、JAVA_HOME 変数は「C:\Program Files\Java\jre7」に設定されます。
2. Java.exe ファイルは、「C:\Program Files\Java\jre7\bin\java.exe」にあります。
3. Flume ノードは「C:\Program Files\Cloudera\Flume 0.9.3」にインストールされます

これは、Windows 7 (ノード 1) の Flume の「conf」フォルダー内に配置されたflume-src.confファイルです。

Flume フォルダー内で次のコマンドを実行して、上記のファイルを実行しようとしました。

しかし、次のメッセージが表示されます。

これは、CentOS (ノード 2) で実行されているtrg-node.confファイルです。CentOS ノードは正常に動作しています。