1

マルチノードクラスターでkmeansを実行しています。入力サイズは約100MBで、bin/mahoutファイルを次のように変更しました。

。

。

。

MAHOUT_OPTS = "$ MAHOUT_OPTS -Dmapred.min.split.size = 10MB"

。

。

MAHOUT_OPTS = "$ MAHOUT_OPTS -Dmapred.map.tasks = 10"

各反復で私は

12/09/12 17:05:02 INFO mapred.JobClient：起動されたマップタスク= 1

12/09/12 17:05:02 INFO mapred.JobClient：reduceタスクを起動= 6

12/09/12 17:05:02 INFO mapred.JobClient：データローカルマップタスク= 1

これは、マルチノードではなくシングルノードで実行されることを意味しますか？もしそうなら、構成で何を見逃しますか？

4

1 に答える 1

3

より多くの分割が必要な場合は、最小ではなく最大分割サイズを設定する必要があります。それはまだクラスターへの提案にすぎません。

于 2012-09-12T17:50:16.347 に答える