hadoop - EMRでのHadoopストリーミングタスクは常に「PipeMapRed.waitOutputThreads（）：サブプロセスがコード143で失敗しました」で失敗します

Question

私のhadoopストリーミングmap-AmazonEMRのreduceジョブは、次のエラーで失敗し続けます。

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 143
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:372)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:586)
    at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
    at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:441)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:377)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

私がオンラインで読んだことから、これはタスクに送信されるSIGTERMに関連しているようです（このスレッドを参照してください）。実験してみまし --jobconf "mapred.task.timeout=X"たが、Xの値に対して最大1時間でも同じエラーが発生します。また、ストリーミングドキュメントreporter:status:<message>で説明されているように、定期的にSTDERRにレポートすることを試み ました。ただし、これはこのエラーの発生を防ぐためにも何もしません。私が見る限り、ログファイルで期待される出力が生成されると、プロセスが開始され、最初に機能し始めます。ただし、各タスクの試行は常にこのエラーで終了します。

これは、makeを使用してストリーミングジョブを起動するために使用しているコードです。

instances  = 50
type       = m1.small
bid        = 0.010
maptasks   = 20000
timeout    = 3600000

hadoop: upload_scripts upload_data
    emr -c ~/.ec2/credentials.json \
        --create \
        --name "Run $(maptasks) jobs with $(timeout) minute timeout and no reducer" \
        --instance-group master \
        --instance-type $(type) \
        --instance-count 1      \
        --instance-group core   \
        --instance-type $(type) \
        --instance-count 1      \
        --instance-group task         \
        --instance-type $(type)       \
        --instance-count $(instances) \
        --bid-price $(bid)            \
        --bootstrap-action $(S3-srpt)$(bootstrap-database) \
        --args "$(database)","$(http)/data","$(hadoop)"    \
        --bootstrap-action $(S3-srpt)$(bootstrap-phmmer)   \
        --args "$(hadoop)"                                 \
        --stream \
        --jobconf "mapred.map.tasks=$(maptasks)"   \
        --jobconf "mapred.task.timeout=$(timeout)" \
        --input $(S3-data)$(database)                                      \
        --output $(S3-otpt)$(shell date +%Y-%m-%d-%H-%M-%S)                \
        --mapper '$(S3-srpt)$(mapper-phmmer) $(hadoop)/$(database) $(hadoop)/phmmer' \
        --reducer NONE