1

Hadoopクラスター上でHiveを使用しています。ハイブクエリを実行しようとすると、常に次のように表示されます。

ステージ1のHadoopジョブ情報：レデューサーの数：1

私は次のHive構成を使用しました：

hive.exec.reducers.bytes.per.reducer=1000000000
hive.exec.reducers.max=999

減数機を増やす方法を教えてください。

ありがとう。

4

2 に答える 2

2

以下のポイントを通過したことを確認してください。

mapred.reduce.tasksのデフォルトは-1です。このプロパティを-1に設定すると、Hiveはレデューサーの数を自動的に把握します。

グループ化されていないハイブクエリは、1つのレデューサーのみを使用します。

また、mapred.job.trackerが「ローカル」の場合、hadoopはデフォルトでmapred.reduce.tasksの値を1に設定することにも注意してください。

于 2013-03-11T13:27:23.640 に答える
0

mapred.reduce.tasksパラメーターを設定しようとしましたか？

于 2013-03-11T11:45:37.013 に答える