4

Hive-Tez でクエリを実行した後、Map-Reduce ログの解釈を取得したいですか? INFO: の後の行は何を伝えますか? ここにサンプルを添付しました

INFO  : Session is already open
INFO  : Dag name: SELECT a.Model...)
INFO  : Tez session was closed. Reopening...
INFO  : Session re-established.
INFO  : 
INFO  : Status: Running (Executing on YARN cluster with App id application_14708112341234_1234)

INFO  : Map 1: -/-  Map 3: -/-  Map 4: -/-  Map 7: -/-  Reducer 2: 0/15     Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: -/-  Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26  Reducer 6: 0/13
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0/118    Map 4: 0(+5)/118    Map 7: 0/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+5)/118    Map 4: 0(+7)/118    Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13 
INFO  : Map 1: 0/118    Map 3: 0(+15)/118   Map 4: 0(+18)/118   Map 7: 0(+1)/1  Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
4

1 に答える 1

8

ご投稿いただいたログはDAG実行ログです。DAG は、マップ 1、マップ 3、マップ 4、マップ 7 マッパーの頂点とリデューサー (リデューサー 2、リデューサー 5、リデューサー 6) で構成されます。

Map 1: -/-- これは、頂点が初期化されておらず、マッパーの数がまだ計算されていないことを意味します。

Map 4: 0(+7)/118- これは、全部で 118 のマッパーがあり、そのうち 7 つが並行して実行されており、0 つがまだ完了しておらず、118-7=111 が保留中であることを意味します。

Reducer 2: 0/15- これは、全部で 15 個のレデューサーがあり、そのうち 0 個が実行中で、0 個が完了していることを意味します (15 個のリデューサーが保留中)。

負の数値 (あなたの例にはそのようなものはありません) = 失敗または強制終了されたマッパーまたはリデューサーの数

Qubole には Tez ログに関する説明があります: https://docs.qubole.com/en/latest/user-guide/hive/using-hive-on-tez/hive-tez-tuning.html#understanding-log-pane

于 2016-08-25T11:53:51.910 に答える