0

何が起こっているのかわかりませんが、簡単なマッパーとレデューサーのスクリプトを作成しました。

そして、私はそれを小さなデータセット（数行の長さなど）に対してテストしています。

何らかの理由でレデューサーが起動していません..そしてマッパーが何度も実行されていますか？

12/11/20 09:21:18 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:22:05 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:22:10 INFO streaming.StreamJob:  map 100%  reduce 0%
12/11/20 09:32:05 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:32:11 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:32:20 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:32:31 INFO streaming.StreamJob:  map 100%  reduce 0%
12/11/20 09:42:20 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:42:31 INFO streaming.StreamJob:  map 0%  reduce 0%
12/11/20 09:42:32 INFO streaming.StreamJob:  map 50%  reduce 0%
12/11/20 09:42:50 INFO streaming.StreamJob:  map 100%  reduce 0%

コードも必要な場合はお知らせください。私がどこで間違っているのかについての手がかりはありますか？ありがとう

4

1 に答える 1

0

Ok。私の悪い..

エラーは私のシバンにありました、私はちょうど持っていました

#!/usr/bin/env

それ以外の

 #!/usr/bin/env  python

それはトリックをしました:)

私がシェバンからPythonをスキップした場合、なぜマッパーが何度も実行されたのかを知ることに非常に興味があります。

于 2012-11-20T17:01:58.913 に答える