問題タブ [flume-twitter]

CentOS 6.5//64 ビットの HA/自動フェイルオーバー構成で Apache Hadoop 2 クラスターを構成しました。Flume 1.5 (apache-flume-1.5.0-bin.tar.gz) をインストールしました。Flume/Hive を使用して、いくつかのキーワード フィルタリングを使用して Twitter データを分析したいと考えています。以下の画像を参照してください: hadoop2 構成ファイルの内容は次のとおりです (重要なプロパティのみ)。

core-site.xml

hdfs-site.xml

Flume 設定ファイルの内容は次のとおりです。

Flume-env.sh

さえずり.conf

次のコマンドを実行しています。

以下の質問/問題があります。

• a)-キーワードのフィルタリングが機能していません。構成ファイルで間違ったプロパティを設定していませんか?
• b)-このプロセスは、hdfs の /user/flume/tweets/20140814/1_55 のファイルをコピーしていません。
• c)-Twitter/API アクセス トークンのアクセス レベルは読み取り専用です。読み取り/書き込みアクセスが必要ですか?
• d)-私は twitter.conf を使用しているので、hdfs.path スタイルを使用するのは正しい方法ですか?
• e)-プロセスは実行中であり、停止していません。停止する基準が不明です。

次の出力が引き続き表示されます。

私が欠けているものを助けてください。

このタスクに使用する前に、Maven で Flume を再ビルドする必要がありますか?

Cloudera の Twitter 感情分析を実行するために Flume をインストールしました

このコマンドでtwitter.confを実行すると

コマンドを変更してみました。Hadoop から Flume に JARS をインポートしてみましたが、何も機能しませんでした。

これは問題が発生する特定の場所です

この後、ユーザーによって中断されるまで、次の行が繰り返されます

出力ログを投稿しています（読み込まれたjarファイルなし）

HDFS に変更はありません。

Twitter Search API を使用して、Twitter データを HDFS に取り込む必要があります。検索 API は REST 呼び出しを使用しており、Apache Flume でそれをどのように使用するかを理解しようとしています。Twitter の API を使用するための認証にキーが必要ですが、flume を使用して検索 API を実装する方法がわかりません。助けが必要！ありがとうございました！

Flume構成ファイルで、このように定義されたTwitter Flumeソースがあります

「キーワード」プロパティは「アベンジャーズ」にハードコードされています。このプロパティ値を変数にして、flume エージェントを起動するときに渡したいと思いました。位置パラメータを試しましたが、うまくいかないようです。

これを行う方法についてのアイデアはありますか?

Flume を使用して Twitter データを抽出しようとしています。しかし、私は次のエラーが発生しています

cloudera の Flume-sources-1.0-SNAPSHOT.jar を使用しました。TwitterAgent が上記のエラーで実行されます。回避策はありますか？

前もって感謝します。

CSV (コンマ区切りのみ) ファイルを Hbase テーブルにロードしたいと考えています。私はすでにいくつかのグーグル記事の助けを借りてそれを試しましたが、今では行全体 (または行) を値として Hbase にロードできます。つまり、単一行のすべての値は単一列として保存されますが、行ベースを分割したい区切りコンマ (,) で、これらの値を Hbase テーブルの列ファミリーの異なる列に格納します。

私の問題を解決するのを手伝ってください。任意の提案をいただければ幸いです。

以下は、入力ファイル、エージェント構成ファイル、および hbase 出力ファイルを使用した私の現在です。

以下の構成の詳細を使用して、Flume を使用して Twitter フィードを HDFS にプッシュしていますが、Flume イベント ヘッダーで期待されるタイムスタンプを取得していますが、null でした

さえずり.conf

コマンドで実行

twitter.conf私の設定ファイル名はどこ ですか

しかし、次のようにエラーを取得します：

さらにヘルプをお探しですか??