hadoop - Twitter 検索 API と Hadoop

Question

Twitter Search API を使用して、Twitter データを HDFS に取り込む必要があります。検索 API は REST 呼び出しを使用しており、Apache Flume でそれをどのように使用するかを理解しようとしています。Twitter の API を使用するための認証にキーが必要ですが、flume を使用して検索 API を実装する方法がわかりません。助けが必要！ありがとうございました！

Answer 1

1. Twitter で開発者アカウントを作成し、独自の秘密鍵を生成します。
2. Flume-source-1.0-SNAPSHOT.jarファイルを lib フォルダーに追加します。
3. 秘密鍵を使用して、flume 構成ファイルを作成し、Twitter からツイートを取得して hdfs に保存します。
4. 以下のコマンドを使用してflumeを起動します

指図 ：bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

詳細については、以下のリンクを参照してください。

http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html