問題タブ [flume]

特に、複数のノード (> 500) からのログからデータを集約するように設計され、メモリ/CPU の使用量が少ないように設計された、これらのプロジェクトの代替案について知りたいです。
私は scribe、flume、chukwa に精通していますが、それらはリソース (JRE、多くのライブラリ) を使いすぎていると思います。

使用率の低い方法で複数のノードからデータを集約することに関するすべてのコメントと推奨事項を歓迎します。

Flume でコンソールからログを収集したいので、次のコマンドで Flume を起動します。

しかし、それは言う：

10/09/22 13:59:21 INFO agent.FlumeNode: コマンド ラインから仕様を読み込んでいます: 'ノード: コンソール | agentBESink("localhost", 12345)'

10/09/22 13:59:21 WARN agent.FlumeNode: ノードの読み込み例外をキャッチ: パーサー エラー: 位置 -1 行 0 で予期しない「null」:「ノード: コンソール | agentBESink("localhost", 12345)'

私は何が欠けていますか？Cloudera の howtoに従いました。それはうまくいくと期待されていますね。

Cloudera の分散ログ集約システムである Flume 用のカスタム デコレーター プラグインを作成しています。私のJavaコードは以下の通りです：

これは、ant を使用して JAR ファイルに正常にコンパイルされます。実行時にそれを Flume にロードし、それを使用するようにノードを正常に構成できます。ただし、このプラグインがロードされているノードで実際にイベントが発生すると、ログに次のようなエラーが記録されます。

([logicalNode xxxxx]は EC2 内部 DNS 名のプレースホルダーです)。私は Java の経験があまりないので、ここで何か間違ったことをしているのか、それとも Flume のバグなのかわかりません。これは、Flume ソースの HelloWorld プラグインの例を使用して作成したことと、組み込みの Flume デコレータの一部から描画したことを言及しておく必要があります。

私は、それぞれが特定のタスクを実行する 7 つのサーバーに分散されたモバイル サービスを使用しています。それらから情報をログに記録し、後でそれらからビジネス インテリジェンスを引き出したいと考えています。Flume に丸めました。情報収集にどう活かす？私のシステムは PHP で書かれています。Flume は PHP で動作しますか?

Flumeを使用してHDFSにログを収集しています。テストケースでは、ログ収集プロセスが実際の使用に合わせてスケーリングされているため、小さなファイル（〜300kB）があります。

これらの小さなファイルをHDFSブロックサイズ（64MB）に近い大きなファイルに結合する簡単な方法はありますか？

Flume エージェントで圧縮オプションを指定して、データが圧縮形式でコレクターに転送されるようにすることはできますか? コレクター レベルで圧縮オプションがあることは知っていますが、圧縮されたデータをエージェントからも転送できると非常に便利です。

ありがとうございました！

WindowsでClouderaFlumeノードを実行できますが、Flumeマスターを実行できません。これは可能ですか、そしてどのようにそれを行うことができますか？

Flume は /var/log/flume フォルダーにログを生成します。そこにあるファイルは GB 単位で増加しています。これらのログのファイル サイズを制限するにはどうすればよいですか?

水路を使用しているので、いくつかのログメッセージをrabbitmqに収集する必要があります。私はrabbitmqからメッセージを読み取るソース実装を見つけましたが、rabbitにメッセージを書き込むことができるシンクを見つけることができませんでした。だから自分で書くことを考えていました。logsandraのようなサンプル実装を見ると、それほど難しくはないはずだと思いました。

ただし、カスタムシンクの作成方法に関するドキュメントは見つかりませんでした。水路の瓶のMavenリポジトリ、またはカスタムシンクをデプロイする方法のセットアップ手順が見つかりませんでした。

誰かが彼の経験を共有できますか、それ以上に、既存のチュートリアルを教えてください。

これがSO、SuperUser、またはServerFaultの質問であるかどうかはわかりませんが、WindowsマシンにFlumeNodeサービスをインストールしたばかりで、名前付きパイプを介してログイン情報をFlumeNodeに送信したいと思いました。

Flume Cookbookには、名前付きパイプをFlumeに合わせることができると記載されていますが、これにはcygwinが必要であり、すべてのFlumeノードにcygwinをインストールする可能性は低いようです。クックブックの手順は次のとおりです。

データをFlumeに直接パイプできるため、コンソールソースは便利です。次の例では、プログラムからFlumeにデータをパイプ処理し、Flumeがデータを配信します。

理想的には、名前付きパイプにデータを書き込み、Flumeにテキストまたはテールを使用して名前付きパイプからデータを読み取らせることができます。残念ながら、このバージョンのFlumeのテキストとテールは、現在Linux環境の名前付きパイプと互換性がありません。ただし、stdinコンソールでリッスンしているFlumeノードにデータをパイプすることはできます。

または、execソースを使用してその出力データを取得できます。

このアイデアに関するグーグルグループの議論も見つけました。Clauderaの人々はそれが可能だと言っているようですが、Flumeがパイプに接続する方法と、その場合にサーバーまたはクライアントとして機能するかどうかを具体的に説明するものはありません。

理想的には、アプリケーションでNamedPipeClientSteramまたはを作成できるはずです。NamedPipeServerStreamクライアントは名前付きパイプサーバーが実行されている必要があり、クライアントはそれに接続するクライアントを探します。Flumeがサーバーとして機能すると思いますが、確認できません。例えば

WindowsでFlumeサービスを開始するときに、パイプを調整するためにコマンドライン引数に追加できるものはありますか？