問題タブ [flume]

あなたの考えを共有してください。

要件は、分析目的で MySQL db のデータを Hadoop/HBase に移行することです。

データは、リアルタイムまたはほぼリアルタイムで移行する必要があります。Flume はこれをサポートできますか。

より良いアプローチとは何か。

flumeを構成する通常の方法は、flumeマスターWebコンソールを使用することで、ここで簡単に説明できます。

また

インタラクティブな水路シェルコンソールを介して、以下の手順に従います。

ここまでは順調ですね。

次に、Flume構成用のbashスクリプトを作成しようとしています。だから私は1、2、3、4、5をbashに絞りたいので、介入なしで毎回自動的に実行されます。

しかし、このbashスクリプトを実行するたびに、常に＃line1で停止し、非反復モードでスムーズに実行するのではなく、インタラクティブなFlumeシェルコンソールに移動します。

インタラクティブモードを無視して、それを巧みに実行する方法を知っている人はいますか？

「 https://github.com/apache/flume/downloads 」からFlumeをダウンロードしましたが、ビルドできません。Flumeをビルドするには、最初にThriftをインストールする必要がありますか？ reson..mvncompileを実行すると次のエラーが発生します-

私はしばらくの間 Flume を使用しており、同じマシンでエージェントとコレクターを実行しています。

構成

エージェント ノードで直面している問題:

その後、空の ACK が連続して送信されます

接続が拒否される理由がわかりません。実行する必要があるシステム レベルの変更はありますか?

注:コレクターはポートをリッスンしていますが、エージェントは 35855 ポート経由でデータを送信できません。

誰でもこの問題を解決できますか。

ありがとう

Flume-ngを使用してApache Webサーバーのログをhdfsに集約しようとしています..しかし、奇妙なことに、hdfsに最初の数行しか取得していません..さらに奇妙なことに、エージェントを起動するたびに2つのファイルが作成され、2番目のファイルが作成されます最初のものより常に小さい。私のエージェントの conf ファイルは次のようになります。

また、端末にエラーメッセージが表示されません..それは正常ですか、それとも私の側の間違いですか??

Flume (flume 0.9.4-cdh3u4) フローを BE モードで実行しています。別のマシンにあるエージェントとコレクターの両方が大規模な EC2 インスタンスです。

コレクターは、ローカル ファイルシステムと同じリージョン内の S3 バケットに書き込みます。

エージェントは、E2E モードで構成されている場合、4MB/秒を処理するようにテストされており、エージェント <-> コレクター速度も同様です。

「iftop」を使用すると、コレクターによる S3 への発信接続が 2 つあり、s3 への書き込みスループットが約 40KB/s ～ 50KB/s であることがわかります。

1. コレクタを使用して見た s3 への典型的な書き込みスループットは?

2. インスタンスの使用率を最大化するために、これらのスレッド (S3 に書き込む) をさらに生成できるかどうか疑問に思っていました。

それ、どうやったら出来るの？

別の方法で書き込みスループットを向上させることができれば、これ以上コレクターを生成したくありません。

log4jではなくflumeでslf4jを使用したい（デフォルトではflumeで使用されます）-slf4jを構成するためにどのファイルで変更を加えたか教えてください。

私はノードのみ（テスト）モードで水路を使用しています。flumeはRabbitMQからメッセージをプルし、AmazonS3バケットに配置します。

問題：

Flumeは実際にはRabbitMQからプルしますが、ファイルはS3バケットに表示されません。

技術的な詳細：

私は次の方法で水路を開始します：

Flumeログ：

水路の再起動後、関連する交換とキューを介して何かを送信すると、水路ログに次の行が表示されます。

ノードのみの (テスト) モードで Flume を使用しています。私のフルームは次の方法で開始されます。

Flume node -1 -c $FQDN':amqp("exchangeName=[エクスチェンジ名]", "bindings=[バインディング名]", "host=127.0.0.1", "port=5672", "userName=[ユーザー] ", "password=[pass]", "exchangeType=direct", "durableExchange=false", "queueName=[キュー名]", "durableQueue=true", "exclusiveQueue=false", "autoDeleteQueue=false"," useMessageTimestamp=true")|collectorSink("s3n://[Amazon キー]:[Amazon シークレット]@[S3 のパス]","server");' -s "$@" > "$log" 2>&1

Flume で .csv ファイルを渡すことに興味があります。残念ながら、flume は .csv ファイルを .json に変換し、いくつかのフィールドを追加します。

例：

元のメッセージ:

Flume はメッセージを次のように変換します。

メッセージをそのまま渡すようにflumeを設定するにはどうすればよいですか?

Flume を Linux にインストールしたときに、flume の実行中に警告が表示されました。この手順に従って、flume をインストールしました。

Flume を実行するために、このコマンドを使用しました

しかし、いくつかの警告が表示されています