問題タブ [reducers]

マッパーの数を増やしてレデューサーの数を減らすと、実行中のジョブのパフォーマンス (増加/減少) に違いはありますか?

また、マッパーとレデューサーの数を設定するにはどうすればよいですか? 私はこの設定で遊んだことがないので、これについてはわかりません。私は Hadoop を知っていますが、Hive をよく使用するため、コードを持っています。

また、マッパーとリデューサーの数を増やしたい場合は、それを設定する方法と、設定する値までです。インスタンスの数（10としましょう）に依存していますか？

これを試してパフォーマンスを確認したいので、返信してください。ありがとう。

Hadoop クラスターで Hive ジョブを実行しています。異なる動作マッパーとリデューサーに集中するだけで、パフォーマンスが向上/変化することを知りました。しかし、私はそれまで遊んだことがありません。いいえまで、Hive で遊んで、デフォルトのマッパーとリデューサーでクエリを実行しましたか?

マッパーとレデューサーについて知っているので、パフォーマンスが得られるようにマッパーとレデューサーに設定する値が異なることを心配しています。また、マスター ノードのみに設定する必要があるのか​​、それともすべてのノードに設定する必要があるのか​​ も考えています。

これに関連する考えがある人は、これについてのシナリオを説明してください。

また、ジョブの実行中に設定する必要がある他のパラメーターは何ですか?

mapreduce プログラムを実行していますが、reduce 関数を書いても mapreduce が実行しないことに気付きました。次に、を追加しようとする@Overrideと、reduce 関数がスーパー メソッドをオーバーライドしないというエラーが表示されます。

ジョブ構成情報は以下の通り

リデュースコードは以下の通り

Hadoop では、JobTracker は、実際のデータ移動の前に、各 ReduceTask が (シャッフル フェーズで) 取得する必要があるデータの量を知ることができますか? シャッフル フェーズ中のデータ移動に関する統計を収集しようとしています。

多くの MapReduce プログラムでは、リデューサーがコンバイナーとしても使用されています。これは、これらのプログラムの特定の性質によるものであることはわかっています。しかし、私はそれらが異なることができるかどうか疑問に思っています。

実際、レデューサーへの私のキーはカスタムキー（word1、word2）であり、出力を "word1\tword2" のような形式で書きたいと思っています。そして、私はそれを行うことができません。

どんな助けでも感謝します。

ありがとう。

編集: ペアの間には既に \t がありました... 気がつきませんでした!

私は興味深い状況に遭遇しました、そして今それを意図的に行う方法を探しています。ローカルの単一ノードのセットアップで、ターミナル画面から2つのジョブを同時に実行しました。私の両方のジョブは同じレデューサーを使用していますが、マップ関数（集計キー-group by）にのみ違いがあり、両方のジョブの出力は最初のジョブの出力に書き込まれました（2番目のジョブは独自のフォルダーを作成しましたが、空でした） ）。私が取り組んでいるのは、さまざまなレベルにまたがるロールアップ集約を提供することです。この動作は、2つの異なるレベルからの集約出力を1つのファイルで利用できる（完全にソートされている）という点で魅力的です。

私の質問は、複数のデータノードがある実際のHadoopクラスターで同じことを実現する方法です。つまり、プログラムで複数のジョブを開始し、すべて同じ入力ファイルにアクセスし、データを異なる方法でマッピングしますが、同じレデューサーを使用し、出力は1つで利用できます。単一のファイルであり、5つの異なる出力ファイルではありません。

お知らせ下さい。

質問をする前に、reduceフェーズ後のマージ出力ファイルを調べていました。

よろしくお願いいたします。

Moiz Ahmed

Clojure 1.5 のライブラリに触発されてreducers、私は PLINQ のParallelEnumerable.Aggregate()メソッドを同じように動作させることを試みてきました。ほとんどの場合、それは非常に簡単です。

ただし、存在する可能性があると思われる動作の違いが 1 つあります。2007 CTP に関する Igor Ostrovsky のブログ投稿combineAccumulatorsFuncで、彼はそれが交換可能でなければならないと主張しています。現代のドキュメンテーションは、それが交換可能でなければならないことについて何も言っていないようで、交換可能性に依存することを強制することはできませんでしたが、それを強制することもできませんでした結合性に依存します。

主な質問:のセマンティクスはcombineAccumulatorsFuncどこでも定義されていますか? そうでない場合でも、連想的に呼び出される可能性があるが交換可能に呼び出される可能性があると仮定しても大丈夫でしょうか?

次の LINQPad スニペットを使用して、順不同のcombineAccumulatorsFunc呼び出しを発生させようとしています。

次の例を新しいClojure1.5レデューサーライブラリに変換しようとしています。

変更すると、次のエラーが発生します。

誰かが私に正しい解決策を教えてもらえますか？

私は次の機能を持っています：

clojure.core.reducersを使用して中間の2要素コレクションの作成を回避することは可能ですか？