いくつかの map reduce ジョブを実行すると、1 つのジョブがすべての reducer 容量を引き継ぎます。クラスターを解放するために 1 つまたは 2 つのレデューサー タスクを強制終了する方法はありますか?
タスク トラッカー サーバーの 1 つに直接アクセスして、Java プロセスを手動で強制終了できます。しかし、これを行うためのより適切な方法があるかどうか疑問に思っていますか?
次の方法でタスク試行を強制終了できます。
hadoop job -kill-task [task_attempt_id]
task-attempt-id を取得するには、(ジョブ トラッカーのタスク ハイパーリンクをクリックして) タスクを 1 レベル深く掘り下げる必要があります。
最初にジョブ ID を見つけます。
hadoop job -list
次に、ジョブを強制終了します。
hadoop job -kill <job_ID_goes_here>