問題タブ [reducers]

複数の出力ファイルへの書き込みにMRUnit使用する reduce クラスをテストする方法はありますか?MultipleOutputFormat

私のhadoopプログラムは、入力データを/usr/countcomputers.txtファイルに設定されている特定の数の部分に分割する1つのマッパーを使用します（マッパー関数によって読み取られます）。さらに、一部は各レデューサーに到達します。したがって、/usr/countcomputers.txtファイルに設定されている数は、レデューサーの数を定義します。この点に関して、私は質問がありました。レデューサーは、TaskTrackerのデーモンが起動されたコンピューターでのみ実行されますか、それとも、JobTrackerとセカンダリNameNodeによって、NameNodeのどのデーモンが起動されたかを含むすべてのノードで実行されますか？私にとって、/usr/countcomputers.txtファイルに設定されている番号はそれに依存しているので、この質問への回答を知ることは非常に重要です。プログラムで読んでください。

テキストファイルから整数入力を渡すためのJavaコードを作成しました。たとえば1 10 39 59 20 60 38、空のスペースがある場合は文字列を分割する必要があります。

入力は1行で与えられますinput.txt

私のコードは次のとおりです。

行を分割した後、分離した値をさまざまなタスクに使用します。私の質問は、同じファイルにあるすべての値（値も異なる行にある）を分割して配列に格納する方法です。

以下がinput.txtで指定された入力である場合、すべての値を分割して配列に格納する方法を教えてください。

入力例：

期待される出力：

上記の入力にコードを使用すると、入力ファイルの最後の行のみが考慮され、前の行はすべて無視されます。

Amazon Elastic MapReduceで使用/利用可能なインスタンスに応じて、使用するHadoopマッパーとレデューサーの適切な数を計算するための最良の方法は何ですか？（mahout-core-0.7ディストリビューションのRecommenderJobを使用）

基本的な質問かもしれませんが、map reduce プログラムでは、内容ではなく、inputfolder に存在するすべてのファイルの名前を読みたいと思います。それらのファイルの名前をマッパー クラスに送信したいと思います。設定 conf=new Configuration();

これは私のメインクラスであり、理解できないようです。

理論的な質問を 1 つ指定したかったのですが (何らかの理由で疑問がありました)、実行コマンドでレデューサーの数が設定されていない場合、各下位ノードで 1 つのレデューサーが実行されますか?

レデューサーの数を 0 に設定すると、コンバイナーが機能しないことに気付きました。レデューサーなしでコンバイナーを使用することは可能ですか? ありがとう。

どのように起こったのかはわかりませんが、突然出力ファイルに、入力したhadoop reducerことのない一連の文字が含まれています。最初の数行は次のようになります。

誰でも助けることができますか？

前もって感謝します

レデューサーの代わりにアグリゲーター関数の 1 つを使用する場合、Hadoop はコンバイナーフェーズに同じ関数を使用するほどスマートになりますか?