0

いくつかの mapreduce ジョブを実行するために Microsoft の azure で Hadoop を使用しています。dfs.block.size を 16777216 (つまり 16MB) に設定し、mapred.max.split.size を 16MB に設定しました。また、各タスク トラッカーのマップ タスクの数を、それぞれに移動して 16 に設定しました。(これは 3+1 ノード クラスタです)。また、 -D オプションを使用して mapred.map.tasks プロパティを設定しようとしました。しかし、これらの取り組みのいずれも、驚くべきことにまだ 1 であるマップ タスクの数を増やすことに成功していません..

なにか提案を？前もって感謝します..

EDIT：入力サイズが巨大です（GB単位）

4

2 に答える 2

0

設定が機能しない可能性があります。

ジョブ設定ページ全体で実行時のジョブ構成を確認できます。hadoopジョブ設定ページはhttp://<host>:<port>/jobconf.jsp?jobid=<jobid>です。

于 2012-11-01T15:55:25.390 に答える
0

ファイルが圧縮されていないことを確認してください。

于 2012-10-30T08:28:41.687 に答える