0

サーバーに Hadoop 1.3 をインストールしています。Ambari もインストールされているため、システムの詳細を表示できます。Hue をインストールしましたが、すべて正常に動作しますが、非常に小さなデータ (2Kb) でのみ動作する豚のスクリプトがあり、データのサイズを 10Kb より大きくしようとすると (データを繰り返して、これが問題）それは言ってエラー：

Message: Job failed! Error - # of failed Map Tasks exceeded allowed limit

誰かがそれを助けることができれば、それは素晴らしいことです. 変更する必要があるのは mapred 内の構成だと感じていますが、私が試したことは何もしていないようです。

ありがとう

4

2 に答える 2

2

表示されるエラー メッセージは二次的なエラーのようです。ログを調べて、マップ タスクが失敗する理由を確認してください。10KB は何もないため、データ量とはほぼ関係ありません。開始されるマップ タスクの数は、入力ファイルの数 (または入力分割の数) に依存します。処理するファイルの数を増やしているように見え、それによって (不注意で) 失敗の原因となるファイルが含まれているように見えます。

于 2013-11-04T16:11:24.960 に答える
0

実行中の Pig ジョブの「ステータス」の横にあるリンクには、MapReduce エラーの詳細が表示されます。

于 2013-11-05T01:34:07.723 に答える