Pig マップ削減ジョブの一部のマッパーとレデューサーで、この例外が断続的に発生します。ほとんどの場合、他のノードで再試行され、タスクは成功します。ただし、4 つのタスクすべてが失敗し、map reduce ジョブが失敗することがあります。
ただし、興味深いのは、フォルダー jobcache に実際にアクセス許可 700 があることです。その中にフォルダーを作成できない理由がわかりません。
Error initializing attempt_201212101828_0396_m_000028_0:
java.io.IOException: Failed to set permissions of path: /apollo/env/TrafficAnalyticsHadoop/var/hadoop/mapred/local_data/taskTracker/trafanly/jobcache/job_201212101828_0396 to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:671)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.mapred.JobLocalizer.createJobDirs(JobLocalizer.java:221)
at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:184)
at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1226)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1201)
at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116)
at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404)
at java.lang.Thread.run(Thread.java:662)
それが役立つ場合は、Hadoop 1.0.1 を使用しています。オンラインで検索中に見つけたもう 1 つのことは、https://issues.apache.org/jira/browse/MAPREDUCE-890です。私の場合、mapred クラスターを開始したユーザーは実際にジョブを実行しており、それが失敗したときです。他のユーザーの場合、ジョブは問題なく実行されます。
どんな助けでも大歓迎です。