script1、script2、script3、script4 などの複数の PIG スクリプトを実行しています。つまり、script1 は独立して実行され、script2、3、4 はスクリプトが実行された後に並列に実行されます。サイズが 7 ~ 8 GB の入力ファイルを指定しています。したがって、script1 を実行した後、スクリプト 2、3、4 を並行して実行する代わりに、33 ~ 35 個のマッパーを消費しているため、script2 のみが実行されていることがわかります。その他は同様のキューに残ります (スクリプト 3、4 がマッパー割り当てを取得していないことを意味します)。このため、すべてのスクリプトを実行するには時間がかかりすぎます。
したがって、私が考えているのは、各スクリプトにマッパーの制限を設定できれば、すべてのスクリプトがマッパーの割り当てを受ける可能性があるため、実行に必要な時間が短縮される可能性があるということです。
特定の数のマッパーを複数のスクリプトに割り当てる方法はありますか?