問題タブ [elephantbird]

Pig で解析する次のデータを取得できません。これは、特定のユーザーからすべてのツイートを取得した後に twitter API が返すものです。

ソースデータ: (誤って誰かのプライバシーを侵害しないように、いくつかの番号を削除しました)

私は多くのことを試しましたが、これは私が持っている現在のコードです:

エラーが発生しない場合は、何も返されません (スクリプトの実行が完了した後に 0 バイトが返されるなど)。

例えば：

次の形式の json ファイルがあるとします。

以下は、ファイルのロードとダンプを単純に許可する、私が書いた豚のスクリプトです。

そして、これは私が得る結果です:

実際、タプルとバッグの組み合わせを何十回も試して、A が部分的にではなく適切にロードされていることを確認しました。残念ながら、誰も働いていませんでした。どんな助けでも大歓迎です

私はエレファントバード プロジェクトを使用して、json ファイルを豚にロードしています。しかし、ロード時にスキーマを定義する方法がわかりません。同じことについての説明が見つかりませんでした。

データ：

コード：

結果：

それらに正しいスキーマ(int、string、array、array)を与える方法と、配列要素を行にフラット化する方法を教えてください。

前もって感謝します

Elephant BirdでHiveを使用してProtobufファイルをクエリしようとしています。テーブルを作成できますが、クエリを実行しても何も起こりません。

このスタックオーバーフロー スレッドprotobufsを調べて、自分のコードをシーケンス ファイルに書き込む必要があることに気付きました。

どうすればいいのですか？そのためには、 JavaまたはPythonで別のスクリプトを作成する必要がありますか?

以下のように豚のスクリプトを書いたゾウ鳥のjarファイルを使用して、豚でtwitter jsonオブジェクトを処理したかったのです。

以下のようなエラーが発生しました

どのようにアプローチすればよいかわかりませんが、これについて誰か助けてもらえますか。

行ごとに JSON 配列としてフォーマットされたファイルがあります。

何かのようなもの

Amazon EMR で以下を実行しています。

JSON の各行で次のエラーが発生します。

何か不足していますか？

コメントでのリクエストに応じて、これはの最後のダンプです

http://textuploader.com/ay4a8

更新 #2エラーに記載されているオンライン リポジトリを確認しました

http://maven.twttr.com/com/twitter/elephant-bird/

それは空です。私は何をすべきか？

更新 #1強制更新の複製ではありません。

私は試した

ファイルのダウンロードが再度開始され、エラーが発生するまでに時間がかかることを除いて、同じエラーが発生しました。

オリジナルコンテンツ

私は、研究目的の共有クラスターに象鳥をローカルにインストールしようと懸命に取り組んできました ( 12 時間以上)。12時間以上$HOMEのハードワークの後、私はまだ海で迷子になっています. 私をボートに乗せてくれる親切な人はいますか?

protocol-buffers(バージョン 2.5.0) とthrift(バージョン 0.7.0)の正しいバージョンをインストールするように努めました。

バージョンチェックを実行すると、次のようになります。

わかりました、すべて問題ないようです。エレファントバードをダウンロード

CD をディレクトリに移動して実行します

-Dprotobuf.version=2.5.0デフォルト以外のバージョンのprotocol-buffers. エレファント・バード・コアのビルド中にいくつかのテストに失敗したため、この投稿-Dmaven.test.skip=trueでアドバイスされています。

さて、同じコマンドを次のように実行してみましょう-X:

今何？