問題タブ [flume]

私は Apache Flume を初めて使用します。知りたいのですが、Apacheflume はエラー メッセージとメタデータ情報をどこに記録しますか。apche Flume ディレクトリでキャプチャされたエラー ログを検索しましたが、log という名前のファイルは見つかりませんでした。

Apache Flumeでログを構成する方法について、誰かが私を助けてくれませんか。

次の要件で HDFS にファイルを書き込むことができる Java プログラムのオプションを検討しています。

1) トランザクション サポート: 各ファイルは、書き込み時に、完全に正常に書き込まれたか、部分的なファイル ブロックが書き込まれずに完全に失敗しました。

2) 圧縮のサポート/ファイル形式: コンテンツを書き込むときに、圧縮の種類またはファイル形式を指定できます。

ここFSDataOutputStreamに示すを開いて、HDFS 上のファイルにデータを書き込む方法を知っています。上記のサポートを提供するすぐに使用できるソリューションのライブラリがいくつかあるかどうか疑問に思っています。

トランザクション、圧縮、ファイル ローテーションなどをサポートできる HDFS シンクを提供する Flume に出くわしました。しかし、ライブラリとして使用する API を提供していないようです。Flume が提供する機能は、ソース、チャネル、シンクなどの Flume アーキテクチャ コンポーネントと高度に結合されており、単独では使用できないようです。必要なのは、HDFS の読み込み部分だけです。

誰か良い提案はありますか？

基本的なフルーム機能のテストとして、ファイルを source/sink にセットアップしました。

現在、「exec」ソースを使用しており、コマンドは「tail -F mytmpfile」です。

私のスクリプトでは、継続的に "....." >> mytmpfile をエコーし​​て、 tail コマンドがストリームを構成するようにします。

ただし、flume ログに次の例外が表示されるようになりました。

java.lang. IllegalStateException: チャネルが閉じられました [channel=c1]。java.lang.NullPointerException: null at org.apache.flume.channel.file.FileChannel.createTransaction(FileChannel.java:353) at org.apache.flume.channel.BasicChannelSemantics.getTransaction(BasicChannelSemantics.java:122) によるorg.apache.flume.sink.RollingFileSink.process(RollingFileSink.java:183) org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:68) org.apache.flume.SinkRunner$PollingRunner.run( SinkRunner.java:147) で java.lang.Thread.run(Thread.java:662) 原因: java.lang.NullPointerException at org.apache.flume.channel.file.Log.writeCheckpoint(Log.java:895) org.apache.flume.channel.file.Log.replay(Log.java:406) で org.apache.flume.channel.file.FileChannel.start(FileChannel.java:

この NullPointerException がどこから来ているかについて何か考えはありますか? コードをスキャンすると、見つからないフォルダーまたはディレクトリに関連している可能性があります。しかし、git ハブ ブランチで正確な行が見つかりません。

これは apache-flume-1.3.1.23-... を使用しています

ログが 1 時間ごとにロールされるように、または HDFS のデフォルトのブロック サイズ (64 MB) に達したときにログがロールされるように Flume を構成しようとしています。以下は私の現在の構成です：

上記の構成での私の意図は、HDFS に 10 個のバッチで書き込み、次に書き込み中のファイルを 1 時間ごとにロールすることです。私が見ているのは、ファイルが 1 時間後にロールされるまで、すべてのデータが 64MB 未満になるまでメモリに保持されているように見えることです。希望する動作を得るために調整する必要がある設定はありますか?

Flume を初めて使用するので教えてください... Flume を使用してログ ファイルをローカル マシンからローカルの HDFS に保存する方法 クラスパスと Flume.conf ファイルの設定に問題があります

ありがとう、アジェイ

私は、flume ng (flume-ng-1.2.0+24.81-1~lucid) を使って実験を行っており、メモリ チャネルとファイル チャネルのパフォーマンスを比較しています。

テスト システムの各イベントのサイズは 1KB で、現在の構成では、メモリ チャネルを使用して約 30,000 EPS を処理できます。ただし、ファイル チャネルを使用する場合、約 1600 EPS しか処理できません。

平均して、実稼働システムで平均 2500 EPS を受け取ると予想しており、ファイル チャネルを使用して、シンクに障害が発生した場合に約 1 時間分のイベント バッファリングを提供したいと考えています (1 Gbps 接続の HDFS シンクを使用しています)。 Hadoop クラスターに)。

これは私のファイル チャネル構成です。

HDFS シンクのバッチ サイズは 5000 に設定されています。

ファイル チャネルのパフォーマンスを向上させる方法について、誰かが推奨できることはありますか?

ありがとう

Flume エージェントを実行しようとすると、次のステートメントが繰り返し表示されます。タスクを強制的に停止しない限り、連続して表示されます。何が問題になる可能性がありますか?

私を助けてください

2013-05-27 03:47:12,517 (conf-file-poller-0) [デバッグ - org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherRunnable.run(AbstractFileConfigurationProvider.java:188)] チェックファイル:/etc /flume-ng/conf![ここにイメージの説明を入力][1]/loclog.conf の変更

2013-05-27 03:47:12,517 (conf-file-poller-0) [デバッグ - org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherRunnable.run(AbstractFileConfigurationProvider.java:188)] チェックファイル:/etc /flume-ng/conf![ここにイメージの説明を入力][1]/loclog.conf の変更

2013-05-27 03:47:12,517 (conf-file-poller-0) [デバッグ - org.apache.flume.conf.file.AbstractFileConfigurationProvider$FileWatcherRunnable.run(AbstractFileConfigurationProvider.java:188)] チェックファイル:/etc /flume-ng/conf![ここにイメージの説明を入力][1]/loclog.conf の変更