問題タブ [combiners]

コンバイナーは、レデューサーと同じクラスとほとんど同じコードを使用して作成されます。しかし、ソートとシャッフルの前、または削減の前に正確に呼び出されるのはいつですか? 並べ替えとシャッフルの前、つまりマッパーの直後の場合、どのように入力を取得します[key, list<values>]か? これはソートとシャッフルによって与えられるためです。並べ替えとシャッフルの後、つまりレデューサーの直前に呼び出された場合、コンバイナーへの出力はレデューサーのようであり[key, value]、レデューサーはどのように入力を取得します[key, list<values>]か?

私はこのファイルを持っています：

この形式で新しいファイルを作成したいと思います。

これが私が使用したコードです。しかし、それは私が望む結果を与えません:

これらのリストをキー (この場合はドメイン名) の一意の値に結合するにはどうすればよいですか?

マッパーとリデューサーと一緒にコンバイナーを使用しています。

私のマッパーコードは次のとおりです。

私のレデューサーコードは次のとおりです。

また、データ ファイルの形式は次のとおりです (最初の 10 行のみを表示)。

私が得た結果は次のとおりです。

各キー (最初の列) に対して 1 つのエントリのみを表示することを望んでいました。そして、各キーの部分的な結果を組み合わせることで、実際に正しい結果が得られます。しかし、私の質問は、なぜ各キーの部分的な結果があるのですか?

コンバイナーが適しているユースケースと、コンバイナーが適していないユースケースは何ですか。コンバイナーの機能は認識していますが、コンバイナーが意味を持つさまざまなユースケースを理解しようとしています。

次のコマンドの違いは何ですか:

出力は次のとおりです。