0

私は初心者プログラマーであり、hadoop 学習者です。

maptask と hdfs を開始する前に、5 台の PC (デュアルコア CPU と RAM 2G を搭載) を使用して Hadoop 完全配布モードをテストしています。 slaves ファイル) で、そのファイルの構成を完了しました。その後、

一つ質問があります

アプリケーション (WordCount や Pi Estimator など) を実行しているときに、マップ (mapTask やノードではなく!) を増やす (または追加する) ことは可能ですか?

たとえば、10 マップ、反復 100,000,000 を使用して Pi Estimator アプリケーションを実行しています。

Running Application の途中で遅いと感じたので、hadoop 状態でも run を増やしたい。出来ますか?本当なら、道を教えてください。

または、アプリケーションを実行する前に、アプリケーションの実行時にマップを動的に増やすように構成ファイル (hdfs-site.xml や mapred-site.xml など) を構成できますか?

スタック オーバーフロー コミュニティの Hadoop マスター ユーザーの皆さん、詳しく真相を教えてください。

4

1 に答える 1

0

mapred.map.tasks を設定して、必要なマッパーの数についてジョブにヒントを与えることができますが、それは単なるヒントであり、hadoop は必ずしも従うとは限りません。mapred.tasktracker.reduce.tasks.maximum を設定することで、一度に実行される最大同時マップタスク数を設定できます。

map タスクと reduce タスクの数の設定

パフォーマンスを向上させるために使用されるインスタンスの数に応じて、hadoop のマッパーとレデューサーを増やす方法は?

于 2013-03-12T07:23:50.160 に答える