具体的には、Microsoft Azure で実行されている HDInsight クラスターのノードごとに、マッパーの最大数とリデューサーの最大数を変更したいと考えています。
リモート デスクトップを使用して、ヘッド ノードにログインしました。ヘッド ノードの mapred-site.xml ファイルを編集し、mapred.tasktracker.map.tasks.maximum と mapred.tasktracker.reduce.tasks.maximum の値を変更しました。ヘッド ノードを再起動しようとしましたが、再起動できませんでした。start-onebox.cmd スクリプトと stop-onebox.cmd スクリプトを使用して、HDInsight の開始と停止を試みました。
次に、必要な数のレデューサーを hadoop-streaming.jar に渡してストリーミング mapreduce を実行しましたが、レデューサーの数は以前の mapred.tasktracker.reduce.tasks.maximum の値によって依然として制限されていました。私のレデューサーのほとんどは実行待ちでした。
すべてのノードで mapred-site.xml ファイルを変更する必要がありますか? これを変更する簡単な方法はありますか、それともすべてのノードにリモート デスクトップする必要がありますか? 新しい値が使用されるようにクラスターを再起動または再起動するにはどうすればよいですか?
ありがとう