問題タブ [flume]

私はApache Flumeが初めてです。
jsonを（httpソースとして）取得し、それを解析して、コンテンツに従ってhdfsの動的パスに保存する方法を確認しようとしています。
例:
json が次の場合:

hdfs パスは次のようになります:
/some-default-root-path/value1/value2/some-value-name-file
それを可能にするフルームの設定はありますか?

これが私の現在の構成です（http経由でjsonを受け入れ、タイムスタンプに従ってパスに保存します）：

ありがとう！

ここでの初めてのStackOverflowの質問者は、可能な限り詳細を含めようとします。

特定のポートでリッスンしているApacheFlumeログデータをAvroシンクを介してNode.jsサーバーに転送しようとしています。Collective Mediaのnode-avroライブラリを使用して、Avroのバイナリ形式とJSONの間のシリアル化を支援する予定です。これにより、Node.jsのデータを操作できます（socket.io pub / subを介してクライアントにデータを渡します）。

データがチャネルを流れてコンソールに出力されるのを確認できるので、Flumeが正しく構成されていると確信しています（デバッグの場合のみ、データはコンソールにもシンクアウトされます）。ただし、Avroシンクを有効にして、同じポートでリッスンするNode.jsサーバーを起動すると、FlumeはAvro転送を実行しようとすると例外をスローします。

よくわからないのは、Node.jsサービスが少なくともメッセージを受信して​​いるかどうかを確認する方法です。私はNode.jsにかなり慣れていないので役に立ちませんが、リスナーを設定するコードのスニペットは次のとおりです。

Node.js側を間違って設定したと思います。私はHTTPモジュールを使用していますが、これはおそらく適切なモジュールではありません。たぶん私はNode.jsでカスタムシンクを書くことを検討する必要がありますか？ポインタ/ヘルプに感謝します！

ログファイル (毎日 10GB) を集約し、エラーログを抽出して Oracle DB に書き込みたいのですが、apache-flume を使用してこれを達成できますか?

ドキュメントを読みましたが、「Oracle Sink」のようなものは見つかりませんでした。そのため、Oracle に Flume イベントを書き込むためのカスタム Sink を作成します。それは良い考えですか？

周りには多くのオープンソースのメッセージング システムがあり、それぞれに独自のセットアップ手順があります。この質問は Apache Flume に関するもので、2 つのサーバー間でデータを移動するという非常に単純な使用例に関するものです。2 つのサーバー間でデータを移動するためだけに Flume をインストールして構成するための手順の量と、各手順で行う決定の量はどのくらいになるでしょうか?

Flume-ng のカスタム シンクを作成しようとしています。既存のシンクとドキュメントを見て、コーディングしました。ただし、イベントを受け取るはずの「process()」メソッドは常に null で終了します。私は Event event = channel.take(); をやっています。しかし、イベントはヌルです。イベントがまだチャネルにあるため、このメソッドが繰り返し呼び出されることがログに表示されます。

誰かが私を正しい方向に向けることができますか?

開発目的で cdh3 update 4 tarball を使用しています。私はhadoopを起動して実行しています。ここで、同等の Flume tarball を cloudera viz 1.1.0 からダウンロードし、hdfs-sink を使用してログ ファイルの末尾を hdfs に書き込んでみました。Flume エージェントを実行すると、正常に起動しますが、新しいイベント データを hdfs に書き込もうとするとエラーになります。この質問を投稿するには、stackoverflow よりも適切なグループが見つかりませんでした。これが私が使用しているflume構成です

また、これは新しいイベント データを受信して​​ hdfs に書き込もうとしたときにコンソールに表示されるエラーの小さな断片です。

ファイル名の衝突に関して、flume-ng がこのような状況をどのように処理するかを理解したいと思います。同じように構成された Flume エージェントのインスタンスがいくつかあり、クライアントがそれらを負荷分散グループとして使用するとします。

a1.sinks.k1.hdfs.path = /flume/events/path

Flume エージェントはどのようにファイル名を生成して、エージェント間で一意にするか? 何らかの方法でエージェント名を追加しますか (名前は数字のように見えるため、これを把握するのは困難です)?

Flumeで遊び始めたばかりです。複数行のログ エントリを 1 つのイベントとして処理する方法について質問があります。エラー状態時のスタック トレースと同様です。たとえば、以下を行ごとに 1 つのイベントではなく、1 つのイベントとして扱います。

2013-04-05 05:00:41,280 エラー (ClientRequestPool-PooledExecutionEngine-Id#4) [com.ms.fw.rexs.gwy.api.service.AbstractAutosysJob] com.ms で 228794 java.lang.NullPointerException のジョブが失敗しました.fw.rexs.core.impl.service.job.ReviewNotificationJobService.createReviewNotificationMessageParameters(ReviewNotificationJobService.java:138) ....

ソースを spooldir タイプに設定しました。

ありがとうスマン