問題タブ [flume-ng]

コンテキスト: Flume NG 1.5.0.1 および Log4j 2.0.2 の Log4jAppender を使用して、アプリケーションからログ イベントをストリーミングし、FLume エージェントを削除しようとしています。リモート Flume エージェントがシャットダウンされるまで、実際のアプリケーションで問題なく動作します。Logger の info メソッドで明らかに処理されない NPE が発生しています。

次の 2 つのことをうまく機能させたいと考えています。

1. アプリケーションは、リモート Flume エージェントが利用できないことを処理し、再接続する必要があります。
2. アプリケーション コードは、Log4j アペンダーの内部から隔離する必要があります。

例外：

ソース：

log4j.プロパティ:

Flumeを使用してlog4jメッセージをhdfsに送信するおもちゃのセットアップがあります。多くの小さなファイルを回避するように hdfs シンクを構成できません。ファイル サイズが 10 MB に達するたびに新しいファイルを作成するように hdfs シンクを構成できると思っていましたが、まだ約 1.5 KB のファイルが作成されています。

これが私の現在のflume構成です：

テキスト ファイルをローカル フォルダーから hdfs に転送するように Flume を正常に構成しました。私の問題は、このファイルが hdfs に転送されるときに、不要なテキスト「hdfs.write.Longwriter + バイナリ文字」がテキスト ファイルの先頭に追加されることです。これが私のflume.confです

私のソース テキスト ファイルは、テキストを含む非常に単純なものです。こんにちは、私の名前は Hadoop で、これがファイル 1 です。

hdfs で取得したシンク ファイルは次のようになります。 +こんにちは 私の名前は Hadoop で、これはファイル 1 です。

私が間違っていることを教えてください。

Cloudera の Twitter 感情分析を実行するために Flume をインストールしました

このコマンドでtwitter.confを実行すると

コマンドを変更してみました。Hadoop から Flume に JARS をインポートしてみましたが、何も機能しませんでした。

これは問題が発生する特定の場所です

この後、ユーザーによって中断されるまで、次の行が繰り返されます

出力ログを投稿しています（読み込まれたjarファイルなし）

HDFS に変更はありません。

すべてのjsonファイルが存在するスプールディレクトリがあります.着信ファイルは毎秒このディレクトリに追加されます.着信jsonファイルをデシリアライズし、必要なフィールドを取得してHDFSディレクトリに追加する必要があります.

私がしたことは、ソースとしてスプール ディレクトリからファイルを取得し、1 つのシンクを使用して json ファイルを HDFS に直接配置する Flume conf ファイルを作成することでした。

この json を Sink の前に構造体形式にして、HDFS に配置する必要があります。最も重要なことは、それはツイッターのデータではないということです。そして、純粋に Flume を実装する必要があります。

以下のflume構成を使用して、仕事を完了しました。

しかし、デシリアライザーの使い方がわかりません。

Incoming Json ファイルを逆シリアル化する方法を教えてもらえますか? Javaでコードを書く必要がある場合は、私を助けてください。どのインターフェースを使用する必要がありますか? 可能であれば、いくつかのヒントを与えてください。

Flume をインストールして、Twitter データを hdfs フォルダーにフィードしようとしています。

私のflume.confファイルは次のようになります：

そして、私は次のエラーに遭遇しました:

私の大学のネットワークにはプロキシ サーバーが装備されています。問題はプロキシサーバーによるものだと思います。

Flume でプロキシを使用するにはどうすればよいですか?