最新の安定した Hadoop リリースを使用して、debian + ubuntu で Hadoop マルチノード セットアップを使用します。特定のスレーブをレデューサーに設定することは可能ですか? レデューサー タスクを 1 つだけ使用し、それを最もパフォーマンスの高いスレーブに割り当てたいと考えています。atm には 1 人のマスターがいて、タスクをスレーブに割り当てるだけで、5 つのスレーブがあり、1 つは他のスレーブよりも強力です。
前もって感謝します
mapred.tasktracker.reduce.tasks.maximumすべてのファイルで 0 に設定して、他のすべてのノードのレデューサー スロットを無効にしconf/mapred-site.xmlます (削減する 1 つのノードを除く)。
または、Fair Scheduler 用のカスタム LoadManager クラスを作成することもできますが (これを参照)、それには多くの作業が必要です。