0

Amazon EMR（Hadoop 0.20.205）を使用していますが、タスクの1つが奇妙な状態になっていることに気付きました（以下を参照）。最初の試行がまだ実行されていたにもかかわらず、2番目のタスク試行が開始されました。私の他のタスクはすべて、1回のタスク試行で終了します。原因は何でしょうか？ 

   +--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   |            Task Attempts             | Machine                     | Status  | Progress | Start Time           | Shuffle Finished                    | Sort Finished               | Finish Time | Errors | Task Logs | Counters | Actions | 
   |--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------|
   |                                      |                             |         | 66.69%   |                      |                                     |                             |             |        | Last 4KB  |          |         | 
   | attempt_201209121354_0021_r_000017_0 | /default-rack/xxx...        | RUNNING |          | 13-Sep-2012 13:10:28 | 13-Sep-2012 13:16:48 (6mins, 19sec) | 13-Sep-2012 13:16:58 (9sec) |             |        | Last 8KB  | 0        |         | 
   |                                      |                             |         | +------+ |                      |                                     |                             |             |        | All       |          |         | 
   |                                      |                             |         | +------+ |                      |                                     |                             |             |        |           |          |         |           
   |--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------|
   |                                      |                             |         | 66.69%   |                      |                                     |                             |             |        | Last 4KB  |          |         | 
   | attempt_201209121354_0021_r_000017_1 | /default-rack/xxx...        | RUNNING |          | 13-Sep-2012 13:14:55 | 13-Sep-2012 13:18:58 (4mins, 3sec)  | 13-Sep-2012 13:19:00 (2sec) |             |        | Last 8KB  | 0        |         | 
   |                                      |                             |         | +------+ |                      |                                     |                             |             |        | All       |          |         | 
   |                                      |                             |         | +------+ |                      |                                     |                             |             |        |           |          |         |           
   +--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
4

2 に答える 2

4

Hadoop はデフォルトで投機的実行を使用します。同じタスクの 2 つのインスタンスを起動し、1 つが完了すると、完了していないものを強制終了します。タスクが終了すると、Web UI は通常、投機的なタスクをジョブの Web ページから削除します (少なくとも 20.2 では削除されます)。

于 2012-09-13T14:40:01.097 に答える
1

まず、投機的実行をオンにします (Matt が示すように、デフォルトでオンになっています)。現在、投機的実行は、たとえば、Hadoop サーバーがすべて同じではなく、一部のサーバーが他のサーバーよりも新しく/高速である場合に役立ちます。

古い Hadoop クラスターでは、2 番目のインスタンスが元のインスタンスよりも速く終了するケースを数多く見てきました。

于 2012-09-14T09:54:10.830 に答える