1

YARN で Oozie Java アクションを介して MapReduce アプリケーションを実行しようとしています。アプリケーションを実行しようとすると、Java アクションで失敗し、以下のエラー メッセージが表示されます。

Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:
  at org.apache.hadoop.util.Shell.runCommand(Shell.java:511)
  at org.apache.hadoop.util.Shell.run(Shell.java:424)
  at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:656)
  at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
  at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)
  at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
  at java.util.concurrent.FutureTask.run(FutureTask.java:262)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
  at java.lang.Thread.run(Thread.java:745)

  Container exited with a non-zero exit code 1

ご参考までに

  1. 最近、CDH クラスターを CDH 4.7 から CDH 5.1 にアップグレードしました。
  2. 最近、Oozie を 3.X から 4.0.0 にアップグレードしました。
  3. Oozie 4.0.0 および CDH 5.1 にアップグレードする前は、同じアプリケーションが Oozie でまったく問題なく動作していました。
  4. 以下のコマンドを使用してコマンドラインで実行すると、MR アプリケーションは完全に正常に動作します。ただし、Oozie Java アクションを実行した場合にのみ失敗します

hadoop jar <<-MyJar->> <<-JobDriver->> <<-inputDir->> <<-outputDir->>

4

0 に答える 0