80 ノードのローカル Hadoop クラスターで実行されている Map reduce ジョブで、次の例外が発生しています。このスタック トレースは私のコードを指しておらず、パーミッションの問題に関連している可能性があります。興味深い点の 1 つは、システム アカウントとして実行すると、ジョブがこのように失敗することです。自分で実行すると、ジョブは問題なく実行されます。
java.lang.RuntimeException: java.io.EOFException
at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:103)
at org.apache.hadoop.mapreduce.ReduceContext.nextKeyValue(ReduceContext.java:120)
at org.apache.hadoop.mapreduce.ReduceContext.nextKey(ReduceContext.java:92)
at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:175)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.io.EOFException
at java.io.DataInputStream.readByte(DataInputStream.java:250)
at org.apache.pig.impl.io.PigNullableWritable.readFields(PigNullableWritable.java:115)
at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:100)
... 10 more
ここで何か助けていただければ幸いです。さらに情報が必要な場合はお知らせください。