問題タブ [reducers]

ファイル/ディレクトリのコレクションを持っているので、すべての葉ファイルのコレクションを作成したいと思います。結果のコレクションが clojure.core.protocols/CollReduce プロトコルを拡張することを望みます。

プロトコルを拡張する必要がありますか、それともヘルパー関数はありますか?

言い換えると。レデューサーは並列リダクションでのみ役立ちますか、それともリデューサ可能なコレクションを並列で効果的に生成するために使用できますか?

問題を説明するために、ファイル階層が 2 レベルよりも深くないことを前提として、機能する可能性のある実装を示します (たとえば、コレクションにはファイルとディレクトリを含めることができますが、ディレクトリにはファイルのみを含めることができます)。

さて、expand を再帰のようなスタイルで (というよりむしろ、変換のカスケードとして) 定義するとよいでしょう。そのため、すべてのレベルで機能しますが、並行して実行されます。レデューサーと同様に、リダクションで早期終了を定義できるため、特定の基準が満たされたときに停止する生成 (コレクションの展開) を定義できるようにしたいと考えています (ファイルの例のように、ディレクトリ階層ツリー内のファイルに到達する)。

ストリーミング レデューサー タスクの出力を、パーティション番号 0 と他のパーティションで異なるものにしたいと考えています。スクリプト内から、どのリデューサー タスクとして実行されているかを知るにはどうすればよいですか?

このサイトで言及されている質問 4 の答えはどうなると思いますか?

答えは正しいか間違っているか

質問: 4

と

質問: 3

上記の質問に対する私の理解による回答から

アップデート

更新された質問について、私の答えはBとCで疑わしいです

編集

正解：スクープ。

1GB のテキスト ファイルで単純なワードカウント ジョブを実行しています。私のクラスターには 8 つのデータノードと 1 つのネームノードがあり、それぞれに 3GB のストレージ容量があります。

wordcount を実行すると、map が常に成功し、reducer がエラーをスローして失敗することがわかります。以下のエラーメッセージを見つけてください。

この問題を解決する方法を教えてください。

ありがとうナバス

エボラデータセットのコードです。ここでは、レデューサーはまったく呼び出されていません。マッパー出力は印刷のみです。

ドライバークラス:

これはマッパーです：

最後に、リデューサー:

出力は単なるマッパー出力です。レデューサーは呼び出されていません。どんな助けでも大歓迎です。

鍵が1つしかない場合。1 つのレデューサーのみに送信されるのを回避する (複数のレデューサーに分散する) ことはできますか?

レデューサーの出力を結合するために、2 つ目の map reduce プログラムが必要になる場合があることを理解していますか? これは良いアプローチですか？もしくは良い方法があれば教えてください。

これは非常に基本的な質問であることはわかっていますが、どこで間違いを犯しているのかを見つけることができません。Reducer がドライバー コードから呼び出されません。誰かが私を助けてくれれば幸いです。

私のドライバーコード

マッパーコード

レデューサー コード