-1

WordCount の例では、map タスクで単語を受け取り、reduce タスクでそれらの "1" を合計することが知られています。

map/reduce タスクで wordcount のサンプル コードがどのように実行されるかを示すために System.out.println を追加してみました。jobtracker の Web ページで stdout ログを読むと、map タスクが完了する前に実行された「合計」作業がいくつかあることに気付き、reduce タスクの map タスクでそれらの合計を「合計」し直しました。

ワードカウントの例では結果に影響はありませんが、他の作品ではトラブルの元になります。

「mapred.reduce.slowstart.completed.maps」を修正しましたが、動きません。

この問題に関する構成はありますか?

4

1 に答える 1