私はHbaseとHadoopを初めて使用します。MapReduceの概念に混乱しているので、Mapreduce F/wでの実行の流れを知りたいです。Putファイルからデータを読み取り、reducerを使用するクラスを使用してデータをHtableにロードする方法をGoogleで検索してみました。HDFSにファイルがあり、Hbase Mapreducerから読み取り、データをHtableにロードする必要があります。
どこが間違っていたのか誰かに教えてもらえますか？
2 に答える
0
削減ステップは使用しないでください。マップクラスで、レコードを取得したら、それをHBaseに直接挿入します。プットをHBaseに送信する前に、プットをシャッフル/ソートする必要はありません。つまり、HTableのインスタンス変数を作成し、それをsetupメソッドで初期化するだけです。次に、mapメソッドで、レコードのputを作成し、それをHTableに追加します。最後に、クリーンアップ方法で、必ずHTableをフラッシュしてください。
于 2012-09-13T18:11:27.063 に答える
0
マッパーはレデューサーなしで使用できます。レデューサーは並べ替えに使用でき、ファイルデータをHbaseに直接保存する必要があるためです。
于 2012-09-18T07:38:16.977 に答える