hadoop - バルクローディングのHadoop/Hbaseパフォーマンスの向上

Question

hadoopマルチノードクラスターからimportsvツールを使用してHbaseテーブルに1,000万レコードをロードしています。現在、このタスクには5分かかります。しかし、私はこれのパフォーマンスをどのように改善できるのか疑問に思いました。importtsvツールは、レデューサーをまったく使用していないようです。とにかくこれにレデューサーを使用させることができるかどうか、パフォーマンスを向上させることができるか、またはパフォーマンスを向上させると思われる他の方法をいただければ幸いです。
ありがとうございました。

Answer 1

パフォーマンスに関しては、簡単な答えはありません。5分がネットワークの速度、またはハードディスクの速度に等しい場合は、ソースデータを別の場所に移動するか、ハードウェアを変更する必要があります。

importsvがわかりません。多方向負荷を試してみることをお勧めします。Sqoopを見てください。

Answer 2

HfileOutPutFormat、completeBulkLoadToolを使用してImporttsvを試してください。

Answer 3

HFileOutputFormatおよびを使用すると、最高のHBaseバルクロードパフォーマンスを得ることができます。CompleteBulkLoad

こちらを確認してください。