0

単語数の例よりも複雑なHadoopの例を探しています。

やりたいことHadoopのディレクトリにあるファイルを読み取って、zipを取得するので、mapクラスのすべてのファイルを収集し、reduceクラスにzipファイルを作成することを考えました。

チュートリアルや例へのリンクを教えてもらえますか？

誰かにこれをしてほしくないので、wordaccountよりも良い例のリンクを求めています。

あなたがそれを必要とするならば、私はほとんどそれを手に入れます：https ://github.com/flopezluis/testing-hadoop

4

1 に答える 1

0

目的がレコード内の構造化データを正規化し、複数の入力から取得して処理することである場合。それに基づいて、過去に私を助けてくれたこの記事を本当に見る必要があると思います。Hadoop/MapReduce を使用してデータを正規化する方法が含まれており、以下のように Java ベースのソース コードを提供しています。

  • ステップ 1: 元のデータから列の値のペアを抽出します。
  • ステップ 2: マスター ID ファイルにない列と値のペアを抽出する
  • ステップ 3: マスター ファイルの各列の最大 ID を計算する
  • ステップ 4: 一致しない値の新しい ID を計算する
  • ステップ 5: 新しい ID を既存のマスター ID とマージする
  • ステップ 6: 元のデータの値を ID に置き換える

JAVA で新しい Writable クラスと InputFormat クラスを使用して、一般的なレコード構造を読み書きする方法に関する別の例があります。こちらをご覧ください。

于 2012-06-01T21:40:25.910 に答える