このリンクの指示に従って、単一のマッパーと単一のリデューサーを使用して、C++ で wordcount プログラムを実装しました。ここで、同じ問題に対して 2 つのマッパーと 1 つのレデューサーを使用する必要があります。
この点で誰かが私を助けてくれますか？
1 に答える
0
マッパーの数は、作成された入力分割の数によって異なります。入力分割の数は、入力のサイズ、ブロックのサイズ、入力ファイルの数 (各入力ファイルは少なくとも 1 つの入力分割を作成します)、入力ファイルが分割可能かどうかなどによって異なります。これも参照してください。 SOに投稿してください。
レデューサーの数は、必要な数に設定できます。Hadoop パイプでは、hadoop の実行時に を設定することでこれを行うことができると思います-D mapred.reduce.tasks=...。SO のこの投稿を参照してください。
プログラムが複数のマッパーでどのように機能するかをすばやくテストしたい場合は、入力パスに新しいファイルを配置するだけです。これにより、hadoop によって別の入力分割が作成され、別のマップ タスクが作成されます。
PS: あなたが提供したリンクには到達できません。
于 2014-09-08T15:14:20.033 に答える