質問があります。マップを増やし、関数を入力データの数に減らしたいと考えています。実行するSystem.out.println(conf.getNumReduceTasks())
と、次のSystem.out.println(conf.getNumMapTasks())
ように表示されます。
1 1
そして、メソッドを実行conf.setNumReduceTasks(1000000)
しconf.setNumMapTasks(1000000)
て再度実行すると、次のprintln
ように表示されます。
1000000 1000000
しかし、mapreduce プログラムの実行時間に変化はないと思います。私の入力はカサンドラからのものです。実際には、約362000行のカサンドラ列ファミリーの行です。map と reduce 関数の数を入力行の数に設定したい..
私は何をすべきか?