Hadoop 1.1.1 を使用しています。私のプロジェクトは 6000 を超えるドキュメントを処理しています。私のクラスターには、マスター (CPU: COREi7、RAM: 6G) とスレーブ (CPU: COREi3、RAM: 12G) の 2 つのノードが含まれています。MAPPER の数は 16 です。シャッフルの段階で REDUCER の数を 1 (ei 2,...,16) より多く割り当てると、RAM が SWAP を開始し、システム速度が大幅に低下します。
RAM のスワッピングを停止するにはどうすればよいですか? MAP と REDUCE の間のプロセスで RAM に保持されるものは何ですか? 参照はありますか？
どうもありがとう。