問題タブ [flume-twitter]

君の力が必要！

Twitter からデータを取得し、分析のために Hive にロードする簡単な演習を試みています。Flume (Twitter 1% firehose Source を使用) を使用して HDFS にデータを取得することはできますが、データを Hive テーブルにロードすることもできます。

しかし、user_location、user_description、user_friends_count、user_description、user_statuses_count などの Twitter データに存在するはずのすべての列を表示できません。Avro から派生したスキーマには、ヘッダーと本文の 2 つの列のみが含まれます。

以下は私が行った手順です：

1) 以下の設定で Flume エージェントを作成します:

2) avro データ ファイルからスキーマを派生させます。avro データ ファイルから派生したスキーマにヘッダーと本文の 2 つの列しかない理由がわかりません。

3) 上記のエージェントを実行し、HDFS でデータを取得し、avro データのスキーマを見つけて、次のように Hive テーブルを作成します。

4) ハイブ テーブルについて説明します。

5) テーブルのクエリ: テーブルをクエリすると、「本文」列にバイナリ データが表示され、「ヘッダー」列に実際のスキーマ情報が表示されます。

「ヘッダー」列に示されているように、実際のスキーマのすべての列を含むハイブ テーブルを作成するにはどうすればよいですか。user_location、user_description、user_friends_count、user_description、user_statuses_count などのすべての列を意味しますか?

avro データ ファイルから派生したスキーマには、より多くの列を含める必要がありますか?

Flume エージェント (org.apache.flume.source.twitter.TwitterSource) で使用したflume-avro ソースに問題はありますか?

読んでくれてありがとう..

Farrukh に感謝します。間違いは構成 'a1.sinks.k1.serializer = avro_event' であることがわかりました。これを 'a1.sinks.k1.serializer = text' に変更し、データを Hive にロードすることができました。 . しかし、問題はHiveからデータを取得することです.そうしている間に以下のエラーが発生します:

Flume (バージョン 1.5.0) エージェントのカスタム ソースがあり、それをデバッグしたいと考えています。Cloudera の例hereから、実際にはカスタム Twitter ソースです。いくつか質問があります:

(1) Flume エージェントを実行すると、(Java で記述された) Flume ソースをリモートでデバッグできますか?

さらに、エージェントを実行すると、このオプションがあります

-Dflume.root.logger=DEBUG,console

しかしlogger.debug、Java ソースにある s が端末に表示されないようです。(2) ログを表示するにはどうすればよいですか? Flume またはロギング構成に何が欠けていますか?

logger.debug(3) ログを表示できる場合、Flume エージェント自身のログを除いて、Flume ソースのみのコンソール出力をファイルに出力するにはどうすればよいですか?

ありがとう。

ログ収集に Apache Flume を使用しています。これは私の設定ファイルです

私のアプリケーションは正常に動作しています。私の問題は、log_dir でファイルがデフォルトで乱数 (タイムスタンプだと思います) のタイムスタンプを使用していることです。

ログファイルに適切なファイル名サフィックスを付けるには?

ここからカスタム ソースを使用して Flume エージェントを設定しようとしています。コマンドを使用して Flume エージェントを実行しようとしました

Flume-ng エージェント --conf conf --conf-file conf/twitter1.conf --name TwitterAgent

しかし、Flume-agent を起動できません。次のようなエラー メッセージが表示されます。

コマンドプロンプトの応答は

設定ファイルは

Flumeを介してTwitterデータをhbaseにシンクしようとしています.Flumeプロセスは以下の情報で停止しました

これは私のflume.confです

Flume.conf に設定上の問題はありますか? またはhbaseシリアライザーの問題？

では、これをデバッグするにはどうすればよいですか?