4

Spark ジョブ サーバーで Spark SQL ジョブを作成し、以下のサンプルに従って HiveContext を使用します 。 HiveTestJob.scala

サーバーを起動できましたが、アプリケーション (SparkSqlJob を拡張する Scala クラス) を実行すると、次のような応答が返されます。

{
   "status": "ERROR",

   "result": "Invalid job type for this context"
 }

何がうまくいかないのか、またはSparkSQL用にジョブサーバーをセットアップするための詳細な手順を提供してくれる人はいますか?

コードは以下のとおりです。

import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark._
import org.apache.spark.sql.hive.HiveContext
import spark.jobserver.{SparkJobValid, SparkJobValidation, SparkHiveJob}

object newHiveRest extends SparkHiveJob {


  def validate(hive: HiveContext, config: Config): SparkJobValidation = SparkJobValid

  def runJob(hive: HiveContext, config: Config): Any = {

    hive.sql(s"use default")
    val maxRdd = hive.sql(s"select count(*) from 'default'.'passenger'")

    maxRdd.count()
  }
}
4

1 に答える 1