問題タブ [reducers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
clojure - この例でレデューサーを使用しても大幅な高速化が見られないのはなぜですか?
そして、大幅な高速化の例を誰が教えてくれますか?
Intel Core i7 (2 コア、 http://ark.intel.com/products/54617 )で Java 1.7 を搭載した Mac OSX 10.7.5 を実行しています。
hadoop - Hadoop のカスタム パーティショナーを理解する
私は今パーティショナーの概念を学んでいます.誰かが私に以下のコードを説明してくれませんか.それは私が理解するのが難しいです.
この taggedKey.getJoinKey().hashCode() % numPartitions は、キーに対して実行するレデューサーをどのように決定しますか?
誰でもこれを説明できますか？
hadoop - order by/sort by 句のないハイブ クエリが単一のレデューサーになるのはなぜですか?
order by ステートメントを含まないストリーミング ジョブに関連付けられた単純なクエリがあります。
これは中規模のクラスター (数十台のマシン) で、マッパーの数は 2,000 を超えます。なぜ単一の減速機が必要なのですか?
hadoop - Amazon EMR アプリケーションの Reducer の数を設定する
Amazon EMR で wordcount の例を実行しようとしています。
-1- まず、次のコマンドでクラスターを作成します。
./elastic-mapreduce --create --name "MyTest" --alive
これにより、単一のインスタンスを持つクラスターが作成され、ジョブ ID が返されます。たとえば、j-12NWUOKABCDEF とします。
-2- 次に、次のコマンドを使用してジョブを開始します。
./elastic-mapreduce --jobflow j-12NWUOKABCDEF --jar s3n://mybucket/jar-files/wordcount.jar --main-class abc.WordCount --arg s3n://mybucket/input-data/
--arg s3n://mybucket/output-data/
--arg -Dmapred.reduce.tasks=3
私の WordCount クラスは abc パッケージに属しています。
これは問題なく実行されますが、レデューサーは 1 つしか取得できません。つまり、パラメーター「mapred.reduce.tasks=3」は無視されます。
アプリケーションで使用するレデューサーの数を指定する方法はありますか?
ありがとう、ニーラジ。
java - Hadoop マッパーはローカルでのみ実行されますか?
ファイルのブロック全体が 1 台のマシンにあり、デフォルトのレプリケーション ファクターが 1 である状況があります。
このシナリオでは、クラスターで Hadoop を開始すると、ブロックがそのマシンにのみ存在するため、すべてのマッピング タスクが 1 つのマシンでのみ実行されるように感じます。そうですか？ローカル マッパー タスクの実行は制約ですか、それとも単なる優先事項ですか?
はいの場合、ブロックをローカル ディスクにコピーすることにより、マッパー タスクが他のマシンでも実行されるように構成することは可能ですか?
2 番目の質問は、マッパー タスクが 1 台のマシンでのみ実行されている場合でも、マッパーの中間データをコピーすることによって他のすべてのマシンでレデューサーが開始されるというのは正しいですか?