私は解決策を探していましたが、何も得られませんでした。たぶん、誰かがそのような問題に直面し、何らかの考えを持っています。
基本的に、私はhadoopを使ってmapReduceタスクを実行しようとしています。1 つのマスター ノードと 2 つのスレーブ。各ノードからそれぞれに ssh できるので、構成は問題ないようです。/etc/hosts、などの Hadoop の構成を設定しましmapred-site.xmlたhdfs-site.xml。
タスクの実行後、すべて問題ないようです。エラーや警告はありませんでしたが、grep WARNログ ファイルに気になるエントリがいくつかあります。
tasktracker-master.log私は見つけました：
2013-06-03 14:14:47,525 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:15:00,680 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.
2013-06-03 14:17:44,352 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:17:59,182 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.
2013-06-03 14:23:49,419 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:23:55,156 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.
2013-06-03 14:27:40,619 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:27:46,382 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.
2013-06-03 14:34:15,498 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:34:22,103 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.
2013-06-03 14:36:38,551 WARN org.apache.hadoop.mapred.TaskTracker: Unknown job job_201306031434_0002 being deleted.
2013-06-03 14:37:17,724 WARN org.apache.hadoop.mapred.TaskTracker: Unknown job job_201306031434_0003 being deleted.
2013-06-03 14:59:42,395 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:59:48,158 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.`
同じことが次の場所にありslave1/slave2ます。
tasktracker-slave1.log:
2013-06-03 14:59:34,439 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:59:45,954 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.
2013-06-03 15:01:29,380 WARN org.apache.hadoop.mapred.TaskTracker: Unknown job job_201306031459_0001 being deleted.
2013-06-03 15:03:14,848 WARN org.apache.hadoop.mapred.TaskTracker: Unknown job job_201306031459_0003 being deleted.
tasktracker-slave2.log:
2013-06-03 14:59:37,642 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2013-06-03 14:59:45,805 WARN org.apache.hadoop.mapred.TaskTracker: TaskTracker's totalMemoryAllottedForTasks is -1. TaskMemoryManager is disabled.
2013-06-03 15:02:29,489 WARN org.apache.hadoop.mapred.TaskTracker: Unknown job job_201306031459_0002 being deleted.
これらの警告を見たことがあり、その意味を知っている人はいますか?
もう1つ、想定されるすべてのノードでタスクが実際に実行されているかどうかを確認するにはどうすればよいmaster, slave1, slave2ですか? これらの警告は、機能してslave1/slave2いないことを意味しますか?
私の問題を明確に説明できたことを願っています。助けてくれてありがとう。