0

pig スクリプト/ map-reduce ジョブの実行についていくつか質問があります。

  1. pig は実際に map/reduce ジョブの実行を開始する前に、論理計画、物理計画、実行計画を作成することを知っています。コマンドExplain <alias_name>を使用して、論理/物理計画を確認できます。しかし、実行計画を表示するにはどうすればよいでしょうか (計画されているさまざまな map/reduce タスクをリストしていると思います)。Pig の実行過程で、多くのジョブ (map/reduce ペア) が作成されていることがわかります。これらの各ジョブが何を解決するかを理解したい。

  2. スパットとは何かを理解するのが難しいため、作成された計画を理解するために使用できる決定的なガイドはありますか?

  3. 入力ファイル ブロックの数を変更することで、マップ ジョブの数を変更できます。リデュース ジョブの数も制御できますか? レデューサーの数を設定するにはどうすればよいですか?

  4. マッパー/リデューサーノードのデフォルトのヒープメモリサイズは? これらを反映するジョブ パラメータはどれですか? -Xmx 1024mオプションでヒープメモリを変更できますか? この方法でヒープ メモリを設定すると、ジョブが失敗することがありました - 提供できる値に制限があるのでしょうか?

どうもありがとう！

4

2 に答える 2

2

  1. Explain によって生成されるさまざまな種類の計画があります。「explain」から 3 つのプランすべてを取得するには、ファイルの代わりにディレクトリ パスを指定します。

  2. わかりません。

  3. set default_parallel 10削減ジョブの数を 10 に設定します。

  4. Hadoop 設定にある必要があります。

于 2011-10-26T23:27:58.437 に答える
2

  1. "Explain(pig command )" ALIAS-NAME は、物理的な計画を説明します (Map reduce ジョブに関して)

  2. エイリアスは MR ジョブでグループ化されます。計画フェーズ自体の間に、すべてのエイリアスが特定の MR にグループ化されていることがわかります。

  3. レデューサーの数を制御するには、 joins 、 groupby を記述するときに「 USING PARALLEL desired_no 」を使用するか、 pig script の開始時に「 set default_parallel desired no 」を使用できます。

  4. これは、実行中の豚がどこにいるかによって異なります。MRv1 の場合: mrv2 に mapred.java.opts -Xmx を設定します: mapred.map.size を設定し、mapred.map.java.opts -Xmx を設定します

于 2015-04-27T19:29:42.913 に答える