0

Hadoopの学習を始めたばかりで、カスタムパーティショナーとコンパレーターを使用してhadoop map-reduceプログラムを実行しています(最初に単一ノード環境で試し、後でクラスターに展開します)、奇妙な動作(実際に何が起こっているのかわからないため) )私が観察しているのは、私のパーティショナーとコンパレーターによると、5回のreduceメソッドが呼び出されていることです。これは、ログからもcorssチェックしたためです。ただし、コンソールでは、起動されたreduceタスクの数はまだ「1」です。これらの 5 つの関数呼び出しが並行して実行されているかどうかについて、私は大きな疑問を抱いています。そうでない場合、これらのreduce関数呼び出しによって収集されるデータが大きくなるため、これらのreduce関数呼び出しに対して分散コンピューティングの利点をどのように達成できますか。明確にしてください、私が欠けている概念は何ですか?

4

1 に答える 1