1

Jobserver を使用してスタンドアロンの Spark Server を使用しています。x の理由で、Ambari クラスターに移行する必要がありましたが、Livy が既にあるので、Jobserver の代わりにそれを使用する方がよいと思います。

現在、実際の Java Jobserver コードを Livy に移行しようとして迷っています。私はLivyのドキュメントを読みましたが、これが私が見つけたものです:

Livy では、Jobserver の Ad-Hoc モードのようなバッチを実行できます。また、セッションごとに 1 つの Spark コンテキストを使用してステートメントを実行できるセッションもあります。私は正しいですか？

  • Jobserver のように同期できる方法でバッチまたはステートメントを実行し、単一の要求で結果を取得する方法はありますか? 実際には、非同期モードしか表示されません。
  • Jobserver では、機能が実装されている Java クラスを参照できます。これはクラスを実装するだけでJSqlJob<String>よく、ジョブ サーバーrun()はこのクラスのメソッドを実行する必要があることを認識します。しかし、Livy で Pi 計算を実行しようとしましたが、失敗します。

次のカールを使用しています：curl -X POST -d '{ "file": "hdfs://a1:8020/user/value_iq/Livy_Pi_Example-1.0-SNAPSHOT-dep.jar", "className": "value_iq.viq.PiJob","proxyUser": "hdfs", "name": "Livy Pi Example", "conf": {"executorCores":1, "executorMemory":"2G", "driverCores":1, "driverMemory":"512m", "queue":"uno"}, "args" : ["100"] }' -H "Content-Type: application/json" -H "X-Requested-By: admin" http://ambari.value-iq.com:8999/batches

java.lang.NoSuchMethodException: value_iq.viq.PiJob.main([Ljava.lang.String;)
    at java.lang.Class.getMethod(Class.java:1786)
    at org.apache.spark.deploy.yarn.ApplicationMaster.startUserApplication(ApplicationMaster.scala:641)
    at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:416)
    at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:282)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:768)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:67)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:66)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
    at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:66)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:766)
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

そのようなメインメソッドに何を実装する必要がありますか?

これは私のJavaクラスです:

package value_iq.viq;

import java.util.*;

import org.apache.spark.api.java.function.*;

import org.apache.livy.*;

public class PiJob implements Job<Double>, Function<Integer, Integer>,
  Function2<Integer, Integer, Integer> {

  private final int samples;

  public PiJob(int samples) {
    this.samples = samples;
  }

  @Override
  public Double call(JobContext ctx) throws Exception {
    List<Integer> sampleList = new ArrayList<Integer>();
    for (int i = 0; i < samples; i++) {
      sampleList.add(i + 1);
    }

    Integer max = ctx.sqlctx().sql("select max(id) from livy_test").takeAsList(1).get(0).getInt(0) + 1;

    ctx.sqlctx().sql("insert into livy_test values("+max+", now())");

    return 4.0d * ctx.sc().parallelize(sampleList).map(this).reduce(this) / samples;
  }

  @Override
  public Integer call(Integer v1) {
    double x = Math.random();
    double y = Math.random();
    return (x*x + y*y < 1) ? 1 : 0;
  }

  @Override
  public Integer call(Integer v1, Integer v2) {
    return v1 + v2;
  }

https://livy.incubator.apache.org/docs/latest/programmatic-api.htmlからこのクラスを取得しました。Livy を使用してこのコードを送信するには、LivyClient インスタンスを作成してください。Pi ジョブで jar ファイルをアップロードするには、別の jar ファイルを作成する必要がありますか? 私が試しているように、jar をアップロードして curl で Java クラスを指定するだけでは、これを行うことはできませんか?

4

0 に答える 0