0

Hadoop 0.20.2

1つずつ実行する必要のあるジョブがいくつかあり、一部の試行ジョブのJVMを強制終了できません。以下のログ。「 JVMが強制終了されていないjvm_201208192339_6873_m_1286217329が削除された」と表示された場合、タスクトラッカーはJVMIdを見つけることができないようです。ソースコードを見てきました。しかし、tasktrackerがJVMIdを見つけられない理由を見つけることができません。ちなみに、タスクトラッカーは13人いますが、この問題が発生したのは新しい3人だけですが、何かを構成するのを忘れましたか？誰かが私が理由を見つけるのを手伝ってくれますか？ありがとう。^ O ^

2012-09-20 13：52：56,655 INFO org.apache.hadoop.mapred.TaskTracker：タスクのKillTask​​Actionを受信しました：attempt_201208192339_6873_m_004334_0

2012-09-20 13：52：56,655 INFO org.apache.hadoop.mapred.TaskTracker：タスクをパージしようとしています：attempt_201208192339_6873_m_004334_0

2012-09-20 13：52：56,655 INFO org.apache.hadoop.mapred.JvmManager： JVMは強制終了されませんjvm_201208192339_6873_m_1286217329削除されました

2012-09-20 13：52：56,655 INFO org.apache.hadoop.mapred.TaskTracker：addFreeSlot：現在の空きスロット：8

2012-09-20 13：52：56,655 INFO org.apache.hadoop.mapred.IndexCache：マップIDattempt_201208192339_6873_m_004334_0がキャッシュに見つかりません

2012-09-20 13：52：56,962 INFO org.apache.hadoop.mapred.TaskTracker：LaunchTaskAction（registerTask）：attempt_201208192339_6873_m_004334_0タスクの状態：KILLED_UNCLEAN

2012-09-20 13：52：56,962 INFO org.apache.hadoop.mapred.TaskTracker：起動しようとしています：attempt_201208192339_6873_m_004334_0これには1つのスロットが必要です

2012-09-20 13：52：56,962 INFO org.apache.hadoop.mapred.TaskTracker：TaskLauncherで、現在の空きスロット：8で、1つのスロットが必要なattempt_201208192339_6873_m_004334_0を起動しようとしています

2012-09-20 13：52：56,968 INFO org.apache.hadoop.mapred.JvmManager：JvmRunnerで構築されたJVM ID：jvm_201208192339_6873_m_677724590

2012-09-20 13：52：56,968 INFO org.apache.hadoop.mapred.JvmManager：JVMランナーjvm_201208192339_6873_m_677724590が生成されました。

2012-09-20 13：52：56,974 INFO org.apache.hadoop.mapred.TaskController：/disk10/hdfs/mapred/local/ttprivate/taskTracker/root/jobcache/job_201208192339_6873/attempt_201208192339_6873_m_004334_0.cleanup/taskjvm.shにコマンドを書き込んでいます

2012-09-20 13：52：58,017 INFO org.apache.hadoop.mapred.TaskTracker：IDを持つJVM：jvm_201208192339_6873_m_677724590指定されたタスク：attempt_201208192339_6873_m_004334_0

2012-09-20 13：52：58,557 INFO org.apache.hadoop.mapred.TaskTracker：attempt_201208192339_6873_m_004334_0 0.0％

2012-09-20 13：52：58,564 INFO org.apache.hadoop.mapred.TaskTracker：attempt_201208192339_6873_m_004334_0 0.0％クリーンアップ

2012-09-20 13：52：58,566 INFO org.apache.hadoop.mapred.TaskTracker：タスクattempt_201208192339_6873_m_004334_0が実行されました。

2012-09-20 13：52：58,566 INFO org.apache.hadoop.mapred.TaskTracker：attempt_201208192339_6873_m_004334_0の報告された出力サイズは-1でした

2012-09-20 13：52：58,566 INFO org.apache.hadoop.mapred.TaskTracker：addFreeSlot：現在の空きスロット：8

4

1 に答える 1

1

最終的に、この問題のあるノードには、オペレーティング システムがハードウェアと一致しないという別の問題があります。しばらく新しいオペレーティング システムでジョブを実行した後、その問題は再び発生しませんでした。古いオペレーティング システムは、ネットワークでうまく機能しないことが判明しました。ネットワーク帯域幅が低下します。

于 2012-10-31T08:03:35.033 に答える