hadoop-examples-1.0.3.jar ファイル内でパッケージ化されたサンプルの 1 つを実行しています。具体的には、次のように PiEstimator を実行しています。
hadoop jar hadoop-examples-1.0.3.jar pi 5 10
ただし、これは ClassNotFoundException で失敗しています。
Number of Maps = 5
Samples per Map = 10
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Starting Job
13/06/14 19:42:07 INFO mapred.JobClient: Default number of map tasks: 5
13/06/14 19:42:07 INFO mapred.JobClient: Default number of reduce tasks: 1
13/06/14 19:42:07 INFO security.ShellBasedUnixGroupsMapping: add hadoop to shell userGroupsCache
13/06/14 19:42:07 INFO mapred.JobClient: Setting group to hadoop
13/06/14 19:42:07 INFO mapred.FileInputFormat: Total input paths to process : 5
13/06/14 19:42:08 INFO mapred.JobClient: Running job: job_201306141855_0004
13/06/14 19:42:09 INFO mapred.JobClient: map 0% reduce 0%
13/06/14 19:42:17 INFO mapred.JobClient: Task Id : attempt_201306141855_0004_m_000006_0, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
attempt_201306141855_0004_m_000006_0: Exception in thread "main" java.lang.NoClassDefFoundError:
attempt_201306141855_0004_m_000006_0: Caused by: java.lang.ClassNotFoundException:
attempt_201306141855_0004_m_000006_0: at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
attempt_201306141855_0004_m_000006_0: at java.security.AccessController.doPrivileged(Native Method)
attempt_201306141855_0004_m_000006_0: at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
attempt_201306141855_0004_m_000006_0: at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
attempt_201306141855_0004_m_000006_0: at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
attempt_201306141855_0004_m_000006_0: at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
attempt_201306141855_0004_m_000006_0: Could not find the main class: . Program will exit.
13/06/14 19:42:23 INFO mapred.JobClient: Task Id : attempt_201306141855_0004_r_000002_0, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
ここで、job.xml ファイルを見て、生成された mapred.jar を見つけ、hdfs からダウンロードしました。
JobTracker UI から:
mapred.jar hdfs://10.172.86.250:9000/mnt/var/lib/hadoop/tmp/mapred/staging/hadoop/.staging/job_201306141855_0001/job.jar
ローカルにダウンロードして表示します。
hadoop dfs -get hdfs://10.172.86.250:9000/mnt/var/lib/hadoop/tmp/mapred/staging/hadoop/.staging/job_201306141855_0001/job.jar .
PiEstimator クラスがそこにあります。
jar -tvf job.jar | grep Pi
2711 Fri May 17 00:14:04 UTC 2013 org/apache/hadoop/examples/MultiFileWordCount.class
1504 Fri May 17 00:14:04 UTC 2013 org/apache/hadoop/examples/PiEstimator$HaltonSequence.class
3101 Fri May 17 00:14:04 UTC 2013 org/apache/hadoop/examples/PiEstimator$PiMapper.class
3883 Fri May 17 00:14:04 UTC 2013 org/apache/hadoop/examples/PiEstimator$PiReducer.class
7140 Fri May 17 00:14:04 UTC 2013 org/apache/hadoop/examples/PiEstimator.class
だから..ヒント/助けていただければ幸いです。ところで、私は数十のクラスターにわたって何百もの m/r ジョブを実行したので、これは初心者の質問ではありません。ただし、これまでにこの特定の障害モードに遭遇したことはありません。