私はpythonを使用しており、いくつかのmap reduceジョブを実行しています。特定の 1 つのファイルに対してのみ以下のエラーが発生しますが、同じ形式の他のファイルは問題なく動作します。ファイルを調べたところ、問題ないように見えますが、何も違いはありません。マップを実行すると、データファイルでpythonファイルをローカルに削減しても、エラーは発生しません。誰かが私を助けてくれませんか。
2013-08-27 11:58:26,782 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201308271128_0002_m_000000_0: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:572)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:136)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:417)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.mapred.Child.main(Child.java:262)