問題タブ [hadoop-plugins]

これを読んでくれてありがとう=）

行IDに基づいてHBqlのクエリを制限する方法を理解しようとしています。私は何時間も費やして、オンラインで関連する記事があるかどうかを調べました。

これまでのところ、この問題に関して役立つドキュメントは見つかりませんでした。HBql.comはあまり役に立ちませんでした（多分そこにありますが、私はそれを逃しました）。

この問題に役立つヒントやドキュメントを教えていただければ幸いです。

--FT

ここにHadoop（およびJava）の新植物がいます。MultipleTextOutputFormatMapReduceで出力ファイル名を制御するために使用するのに助けが必要でした。

現在、このように使用しています。そして、それはうまくいくようです。ただし、私が変更しようとしているのは、ファイル名を決定するために選択されるフィールドの使用法です。

それらをfield[0]または（サンプルの場合のように）にハードコーディングする代わりに、たとえば、 または。field[3]からこれを（動的な方法で）ピックアップしたいと思います。ここの誰かが私がこれを行う方法を知っていますか（またはこの効果のために何か、つまりそれ自体である必要はありません）？JobConffield[jobConf.get("id.offset")]field[jobConf[get("date.offset")]JobConf

任意のポインタ/提案/ヒントなど。よろしくお願いします。ありがとう。

私は豚の知識がほとんどありません。protobuf 形式のデータ ファイルがあります。このファイルを pig スクリプトにロードする必要があります。それをロードするには、LoadFunc UDF を作成する必要があります。言う機能がございますProtobufloader()。

私のPIGスクリプトは

私が知りたいのは、ファイル入力ストリームを取得する方法です。ファイル入力ストリームを取得したら、データを protobuf 形式から PIG タプル形式に解析できます。

PS: よろしくお願いします

eclipse エラーで map reduce 環境で hadoop を実行しているときに、いくつかのエラーに直面しています。

"Refresh DFS Children" 中に内部エラーが発生しました。

ブラックボックスよりも Hadoop について知りたかったのです。Hadoop コード自体を調査したかったのです。トランク以外からバンドルをダウンロードするにはどうすればよいですか? どこから始めればよいですか? どんな助けでも本当に役に立ちます ありがとうShujaat

cloudera から hadoop-cdh3u2 をダウンロードしてセットアップしました。hadoop-0.20.2-cdh3u2/src/contrib 内で「eclipse-plugin」というプロジェクトを見つけ、それを eclipse にインポートしましたが、エラーが発生し、eclipse アプリケーションとして実行される hadoop-core.jar を追加しましたが、できません新しいサーバーを追加します (「MANIFEST.MF」で何かを更新する必要がありますか??. 次のエラーが表示されます。そして、このプロジェクトをjarにエクスポートするのは通常のプロセスなのか、それとも何か特別なことをする必要があるのか​​知りたいですか???

Eclipse のバージョンは indigo、プラットフォームは Ubuntu 11.10、Java のバージョンは 1.6 です。

Eclipse で Hadoop MapReduce をコンパイルできません。誰でも私を助けることができますか？

Hadoop で毎日増加するデータを処理する方法:

例えば：

初日、入力フォルダー (hadoop/demo など) に 100 万個のファイルがある場合があります。

同じフォルダで 2 日目には、既存の 100 万ファイル + 別の新しい 100 万ファイルから合計 200 万ファイルが増える可能性があります。

同様に 3 日 4 日... 続けます。

私の制約は -> 初日のファイルは次の日に処理されるべきではありません。

(つまり) 新しいファイルが追加されたときに、既に処理されたファイルを再度処理するべきではありません。具体的には、新しく追加されたファイルのみを処理し、古いファイルは無視する必要があります。

この問題を解決できる方法で私を助けてください。

それでも制約を理解していない場合は、制約について詳しく説明できるように、不明な点を教えてください!

Eclipse Indigo で hadoop-eclipse プラグインを使用して MapReduce ジョブを実行しようとしていますが、次のエラーが発生します。

Error: failure to login

ヘルプを探しているときに、Hadoop-0.20.203.0 に問題があることがわかったので、このバージョンで問題が修正されているので、Hadoop-0.20.205.0 を試してみました。

私はまだ同じ問題に直面しています。私は何かを見逃していますか、それとも間違いを犯していますか?

EclipseワークスペースにJavaプロジェクトとマップ/リデューサープロジェクトがあります。Javaプロジェクトのマップ/リデューサープロジェクトのクラスファイルを使用して計算を実行したいのですが、ApacheHadoopとマップ/レデューサーのことは初めてです。提案してください。