問題タブ [flume-ng]

Flume イベントを Amaozn S3 に書き込もうとしています。S3 に書き込まれたイベントは圧縮形式です。私のFlume構成は以下のとおりです。データの損失に直面しています。以下に示す構成に基づいて、20000 のイベントを発行すると、1000 のイベントしか受信せず、他のすべてのデータが失われます。しかし、rollcount、rollSize、および rollInterval 構成を無効にすると、すべてのイベントが受信されますが、2000 の小さなファイルが作成されます。構成設定に問題はありますか? 他の構成を追加する必要がありますか?

以下の構成の詳細を使用して、Flume を使用して Twitter フィードを HDFS にプッシュしていますが、Flume イベント ヘッダーで期待されるタイムスタンプを取得していますが、null でした

さえずり.conf

コマンドで実行

twitter.conf私の設定ファイル名はどこ ですか

しかし、次のようにエラーを取得します：

さらにヘルプをお探しですか??

君の力が必要！

Twitter からデータを取得し、分析のために Hive にロードする簡単な演習を試みています。Flume (Twitter 1% firehose Source を使用) を使用して HDFS にデータを取得することはできますが、データを Hive テーブルにロードすることもできます。

しかし、user_location、user_description、user_friends_count、user_description、user_statuses_count などの Twitter データに存在するはずのすべての列を表示できません。Avro から派生したスキーマには、ヘッダーと本文の 2 つの列のみが含まれます。

以下は私が行った手順です：

1) 以下の設定で Flume エージェントを作成します:

2) avro データ ファイルからスキーマを派生させます。avro データ ファイルから派生したスキーマにヘッダーと本文の 2 つの列しかない理由がわかりません。

3) 上記のエージェントを実行し、HDFS でデータを取得し、avro データのスキーマを見つけて、次のように Hive テーブルを作成します。

4) ハイブ テーブルについて説明します。

5) テーブルのクエリ: テーブルをクエリすると、「本文」列にバイナリ データが表示され、「ヘッダー」列に実際のスキーマ情報が表示されます。

「ヘッダー」列に示されているように、実際のスキーマのすべての列を含むハイブ テーブルを作成するにはどうすればよいですか。user_location、user_description、user_friends_count、user_description、user_statuses_count などのすべての列を意味しますか?

avro データ ファイルから派生したスキーマには、より多くの列を含める必要がありますか?

Flume エージェント (org.apache.flume.source.twitter.TwitterSource) で使用したflume-avro ソースに問題はありますか?

読んでくれてありがとう..

Farrukh に感謝します。間違いは構成 'a1.sinks.k1.serializer = avro_event' であることがわかりました。これを 'a1.sinks.k1.serializer = text' に変更し、データを Hive にロードすることができました。 . しかし、問題はHiveからデータを取得することです.そうしている間に以下のエラーが発生します:

Flume を使用してウェブログから hdfs にデータ ストリームを書き込み、spark ストリームを使用してそのデータを処理するリアルタイム アプリケーションを作成しました。しかし、flume が hdfs に新しいファイルを書き込んで作成している間、spark ストリームはそれらのファイルを処理できません。put コマンドを使用して hdfs ディレクトリにファイルを配置している場合、spark ストリームはファイルを読み取って処理できます。同じことに関するどんな助けも素晴らしいでしょう。

Flume を使用して Twitter データを HDFS にダウンロードしましたが、PIG を使用してクエリを実行しようとすると、クラス キャスト例外が発生し、utf-8 から String に変換できません。

エラー 2997: IOException が発生しました。例外