14

Cloudera クラスターで、YARN クライアント モードで分散 Spark アプリケーションを起動しています。しばらくすると、Cloudera Manager にいくつかのエラーが表示されます。一部のエグゼキュータは切断され、これは体系的に発生します。問題をデバッグしたいのですが、内部例外が YARN によって報告されません。

Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1
ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

例外のスタックトレースを確認するにはどうすればよいですか? YARN は、アプリケーションが異常終了したことだけを報告しているようです。YARN 構成で spark executor ログを表示する方法はありますか?

4

1 に答える 1