YARN で Oozie Java アクションを介して MapReduce アプリケーションを実行しようとしています。アプリケーションを実行しようとすると、Java アクションで失敗し、以下のエラー メッセージが表示されます。
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:511)
at org.apache.hadoop.util.Shell.run(Shell.java:424)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:656)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Container exited with a non-zero exit code 1
ご参考までに
- 最近、CDH クラスターを CDH 4.7 から CDH 5.1 にアップグレードしました。
- 最近、Oozie を 3.X から 4.0.0 にアップグレードしました。
- Oozie 4.0.0 および CDH 5.1 にアップグレードする前は、同じアプリケーションが Oozie でまったく問題なく動作していました。
- 以下のコマンドを使用してコマンドラインで実行すると、MR アプリケーションは完全に正常に動作します。ただし、Oozie Java アクションを実行した場合にのみ失敗します
hadoop jar <<-MyJar->> <<-JobDriver->> <<-inputDir->> <<-outputDir->>