問題タブ [flume]

プロジェクトで Flume を使用しており、マスター ノードの構成をバックアップする方法を探しています。どうすればこれを行うことができますか？ユーザー ガイドにバックアップに関する情報が見つからないようです。

また、1 つが失敗した場合にコピーが引き継ぐことができるように、マスター ノードの複数のコピーを実行することを検討しています。これを行う方法もわかりません-誰か提案はありますか?

Flume のソースをhttps://github.com/cloudera/flume/tarball/release-0.9.4からダウンロードしました。

以下に示すように、NullPointerException が発生しています。誰かにヒントがあれば、大歓迎です。

mvn compile を実行します。

両方に取り組む機会を得た人はいますか？データを移動するためのフレームワークをセットアップする必要があります。基本的に、クリックストリーム データはテキスト ファイルとして入ってきます。このデータは、アプリ サーバーから HDFS に移動し、アーカイブ後に S3 に移動する必要があります。

Flume と Scribe のどちらを選択するかについてサポートが必要です。管理性、セットアップの点で優れているのはどれで、カスタマイズしやすいのはどれですか?

複数のログ ファイル (flume とコンソール) にログインしたい。log4j をパッケージ レベルとして設定する方法は?つまり、com.mypackage.myclass を Flume に、他のパッケージをコンソールに設定します。

次のエラーが表示されますが、その理由がわかりません。シンクを「コンソール」に変更すると、正常に動作します。2 つの異なるノードを除いて、flume のドキュメントから例を再作成しようとしています。これはCDH3を使用しています。

私はflumeをそのように実行しようとしています:

前もって感謝します。

データが指定された場所に到達しているかどうかを確認する方法を誰か教えてもらえますか??コマンドを正常に発行できますが、データを表示できません...データをローカル ディスクから次のファイルに移動しようとしています。ローカル ディスク自体。次の構成を使用しています - ホスト: text("/home/hadoop/file1.txt") | agentSink("localhost",35853); node2 : コレクターソース (35853) | CollectorSink("file:///home/hadoop/","file2.txt");

Portage (emerge) を介して Linux Gentoo EngineYard のインスタンスに Cloudera Flume をインストールするオプションを誰か知っているかどうか尋ねます。

または、flume をコンパイルするためのシェフのレシピ。

ありがとう！

Hbase API（Get / Put）またはHBQL APIを使用して、特定の列のタイムスタンプを取得することは可能ですか？

私の会社では、かなり大量のログ処理に Flume を使用することを検討しています。ボリューム (スケーラビリティ) とフェイルオーバー (信頼性) の両方の理由から、ログ処理を分散する必要があると考えており、Flume は当然の選択のようです。

ただし、Flume が自動スケーラビリティーとフェイルオーバーを提供する方法がわからないため、明らかな何かが欠けているに違いないと考えています。

各ログ行に対して、A を実行し、次にそれを渡して B を実行し、次にそれを渡して C を実行するというフローを定義したいと考えています。これは Flume とよく一致しているようです。しかし、私はこのフローを純粋に論理的な用語で定義できるようにしたいと考えており、基本的には「フルームさん、ここにサーバーがあります。ここにフローの定義があります。仕事に行きましょう!」と言うことができます。サーバーが停止し (ops がサーバーを再起動します)、サーバーをクラスターに追加し、他のサーバーを廃止します。flume は、使用可能な容量があるノードに作業を転送します。

この説明は、Hadoop の map-reduce がスケーラビリティとフェイルオーバーを実装する方法であり、Flume も同じであると想定しました。ただし、ドキュメントには、各論理ノードが実行される物理サーバーを手動で構成し、各ノードに特定のフェイルオーバー シナリオを構成する必要があることが示されています。

その通りです。Flume は私たちの目的を果たせていませんか、それとも何か見逃していましたか?

ご協力いただきありがとうございます。

コレクターをセットアップしてそれに書き込む方法を示すユーザーガイドのビットhttp://archive.cloudera.com/cdh/3/flume/UserGuide/index.html#_tiering_flume_nodes_agents_and_collectorsには、次の構成があります。

これを次のように変更しました。

ノードを次のように生成しました。

私は2つのシステムでこれを試しました:

1. 2GB RAM の VirtualBox 内で実行される Cloudera 独自のデモ VM。Flume 0.9.4-cdh3u2 が付属しています

2. 2GB RAM の VirtualBox 内で実行される VM として、debian パッケージと openJDK (インストールされた Hadoop パッケージを除く) を使用した Ubuntu LTS (Lucid) ここの手順に従いましたhttps://ccp.cloudera.com/display/CDHDOC/Flume+Installation#FlumeInstallation -FlumeRPまたはDebianパッケージのインストール

これが私がしたことです：

flume dump 'collectorSource()'につながる

私の仮定は次のとおりです。

構成を実行するのと同じです:

でノードを開始します

dataSource : console | agentSink("localhost")につながる

観測された動作は、両方の VirtualBox VM でまったく同じです。

これの終わりのないフローはdataSourceにあります

dataCollectorでのこれの終わりのないフロー:

コレクターを介したコンソール <-> コンソール通信を再び正しく機能させるにはどうすればよいですか?