0

script1、script2、script3、script4 などの複数の PIG スクリプトを実行しています。つまり、script1 は独立して実行され、script2、3、4 はスクリプトが実行された後に並列に実行されます。サイズが 7 ~ 8 GB の入力ファイルを指定しています。したがって、script1 を実行した後、スクリプト 2、3、4 を並行して実行する代わりに、33 ~ 35 個のマッパーを消費しているため、script2 のみが実行されていることがわかります。その他は同様のキューに残ります (スクリプト 3、4 がマッパー割り当てを取得していないことを意味します)。このため、すべてのスクリプトを実行するには時間がかかりすぎます。

したがって、私が考えているのは、各スクリプトにマッパーの制限を設定できれば、すべてのスクリプトがマッパーの割り当てを受ける可能性があるため、実行に必要な時間が短縮される可能性があるということです。

特定の数のマッパーを複数のスクリプトに割り当てる方法はありますか?

4

2 に答える 2

0

スクリプトの先頭に次の行を追加できます。

mapred.map.tasks 8 を設定します。

これにより、すべてのスクリプトを同時に実行できます。

マシンが飽和状態になっていても、すべてのスクリプトの実行時間には影響しないことに注意してください

于 2013-07-24T12:28:05.643 に答える