hadoop - Hadoopローカルモード：マッパーとレデューサーの数

Question

MacのHadoopローカルモードでHadoopMRコードのプロトタイプを作成する必要がありますが、いくつかの落とし穴があるかもしれません。

1つの特定の質問は、マッパーとレデューサーの数についてです。基本的には両方に1つになりますか？1つ以上指定するとまったく機能しますか？小さいサンプルを使用します。

Answer 1

ローカルモードでは、マッパーとレデューサーの数を指定することはできません。常にシングルスレッドです。同時に、マッパーまたはリデューサーのパフォーマンスをプロファイリングする場合は、非常に現実的です。
多くのマッパーとレデューサーを持つことができる最も近いモードは、すべてのデーモンが単一のマシンで実行されている場合の疑似分散モードです。
上記の両方は、データの局所性、シャッフルのパフォーマンスで発生する可能性のある問題を考慮していません。また、開発マシンに本番環境と同じディスクサブシステムがあることも期待していません。
一言で言えば、ローカルモードでシングルマッパー/リデューサーのパフォーマンスが低い場合は、修正を開始できます。正常に機能する場合は、クラスターを計画する前に実際のハードウェアを試してください。