4

Hadoop をマスターするための第一歩を踏み出しています。分散モードで CDH4.5 をセットアップしました (2 つの仮想マシン上)。YARN を使用した MapReduce ジョブの実行に問題があります。(CDH の例から) DistributedShell アプリケーションを正常に起動できましたが、MapReduce ジョブを実行すると、そこに永遠にハングアップします。

これは私が起動しようとしているものです:

sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1

これらは、最後のリソース マネージャーのログ行です。

13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001

ジョブを実行すると、ノード マネージャのログに新しいメッセージが表示されません。

これは、ジョブに関するリソース マネージャーの Web ページに表示されるものです。

State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%) 
Tracking UI - UNASSIGNED

Apps Submitted - 1
Apps Pending - 1 
Apps Running - 0
4

2 に答える 2

0

http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.htmlでこれを見つけました:

YARN-300。shenhong によって報告され、Sandy Ryza (resourcemanager 、スケジューラー) によって修正された重大なバグ YARN-271 以降、公正なスケジューラーは無限ループを起こし、アプリケーションをスケジュールしません。yarn-271 以降、yarn.scheduler.fair.max.assign<=0 の場合、ノードが予約されている場合、fairScheduler は無限ループし、アプリケーションをスケジュールしません。

新しいバージョン、つまり上記の2.0で試してください

于 2014-01-17T07:13:46.207 に答える