9

分散シェル アプリケーション (hadoop-2.0.0-cdh4.1.2) で遊んでいました。これは、私が現在受け取っているエラーです。

13/01/01 17:09:09 INFO distributedshell.Client: Got application report from ASM for, appId=5, clientToken=null, appDiagnostics=Application application_1357039792045_0005 failed 1 times due to AM Container for appattempt_1357039792045_0005_000001 exited with  exitCode: 143 due to: Container [pid=24845,containerID=container_1357039792045_0005_01_000001] is running beyond virtual memory limits. Current usage: 77.8mb of 512.0mb physical memory used; 1.1gb of 1.0gb virtual memory used. Killing container.
Dump of the process-tree for container_1357039792045_0005_01_000001 :
|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
|- 24849 24845 24845 24845 (java) 165 12 1048494080 19590 /usr/java/bin/java -Xmx512m org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster --container_memory 128 --num_containers 1 --priority 0 --shell_command ping --shell_args localhost --debug
|- 24845 23394 24845 24845 (bash) 0 0 108654592 315 /bin/bash -c /usr/java/bin/java -Xmx512m org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster --container_memory 128 --num_containers 1 --priority 0 --shell_command ping --shell_args localhost --debug 1>/tmp/logs/application_1357039792045_0005/container_1357039792045_0005_01_000001/AppMaster.stdout 2>/tmp/logs/application_1357039792045_0005/container_1357039792045_0005_01_000001/AppMaster.stderr

ls興味深いのは、単純なorunameコマンドが正常に完了し、出力が container2 stdout で利用可能だったため、セットアップに問題がないように見えることです。

セットアップに関しては、yarn.nodenamager.vmem-pmem-ratio使用3可能な物理メモリの合計は 2GB で、たとえば実行するには十分すぎると思います。

問題のコマンドに対して、「ping localhost」は 2 つの応答を生成しました。containerlogs/container_1357039792045_0005_01_000002/721917/stdout/?start=-4096.

それで、何が問題になるのでしょうか？

4

6 に答える 6

13

クラスタ構成を変更する必要はありません。追加のパラメーターを提供するだけであることがわかりました

-Dmapreduce.map.memory.mb=4096

distcp が役に立ちました。

于 2015-01-28T22:51:57.417 に答える
3

Tez フレームワークを実行している場合は、Tez-site.xml で以下のパラメーターを設定する必要があります。

tez.am.resource.memory.mb
tez.task.resource.memory.mb
tez.am.java.opts

そして Yarn-site.xml で

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.nodemanager.vmem-check-enabled
yarn.nodemanager.vmem-pmem-ratio

これらのパラメータはすべて設定が必須です

于 2016-07-28T13:35:53.003 に答える
-1

わかりました。master memry パラメーターを tan 750MB 以上に増やすと、YARN アプリの実行に成功します。

于 2013-02-28T14:02:32.303 に答える