Hadoop クラスターは 8 台の CentOS 6.3 マシンで実行されており、Hadoop のバージョンは CDH 4.3 (Coludera Manager 4.6 からインストール) です。最近、自分の仕事のいくつかに失敗したタスクがあることがわかりました。失敗したタスクは、次の試行で成功します。ただし、失敗したタスクは非常に多く (50000 個のタスク、1000 個の失敗)、これがパフォーマンスの問題またはその他の潜在的な問題を引き起こすのではないかと心配しています。失敗したすべてのタスクのコール スタックは同じです。
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250)
Caused by: java.io.IOException: Creation of symlink from /var/log/hadoop-0.20-mapreduce/userlogs/job_201311140947_0002/attempt_201311140947_0002_m_051950_0 to /hdfs7/mapred/local/userlogs/job_201311140947_0002/attempt_201311140947_0002_m_051950_0 failed.
at org.apache.hadoop.mapred.TaskLog.createTaskAttemptLogDir(TaskLog.java:126)
at org.apache.hadoop.mapred.DefaultTaskController.createLogDir(DefaultTaskController.java:72)
at org.apache.hadoop.mapred.TaskRunner.prepareLogFiles(TaskRunner.java:295)
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:215)
同じパスにシンボリックリンクを手動で構築しようとしましたが、問題は発生しませんでした。この問題の原因は何なのか気になります。