2

Spark のインストールに含まれるカスタムscalac(Scala Compiler)の使用を検討しています。sparklyrRStudio SparkUI タブ (または からspark_web(sc)) >> 環境 >> /jars/scala-compiler-2.11.8.jar「システム環境」として見つかりますscalac。ベースディレクトリに個別にダウンロードしてインストールするのではなく、ここにあり、RStudio からリンクされている「hello world」の例で提案されているように拡張機能の作成に関するページhttp://spark.rstudio.com/extensions.html

これは、Ubuntuを使用してこれまでに得たものですが、以下のエラーで失速しました。上記の「hello world」の例で使用した Github-repo とまったく同じディレクトリをセットアップしました。提案されたベース パス フォルダのいずれかにインストールせずに、このエラーを回避する方法を知っていますか? /opt/scala、、、または(Windows のみ)。特定のユーザーにネイティブ インストールと相対パスを使用したい。/opt/local/scala/usr/local/scala~/scalasparklyr

library(titanic)
library(sparklyr)

# spark_web(sc) # Opens Web Console to find Scala Version and scalac

# Sets Working Directory to R folder of file
setwd(dirname(rstudioapi::getActiveDocumentContext()$path))

sparkVers <- '2.0.0'; scalaVers <- '2.11.8'; packageName <- "sparkhello"
packageJarExtR <- spark_compilation_spec(spark_version = sparkVers, 
                   spark_home = spark_home_dir(), 
                   scalac_path = paste0(spark_home_dir(),"/jars","/scala-compiler-", scalaVers, ".jar"), #
                   scala_filter = NULL, 
                   jar_name = sprintf(paste0(getwd(),"/inst/java/", packageName, "-%s-%s.jar"), sparkVers, scalaVers) 
                   )

sparklyr::compile_package_jars(spec = packageJarExtR)

# Error: No root directory found. Test criterion:
#   Contains a file 'DESCRIPTION' with contents matching '^Package: '
# In addition: Warning message:
#   running command ''/mnt/home/eyeOfTheStorm/.cache/spark/
#   spark-2.0.0-bin-hadoop2.7/jars/scala-compiler-2.11.8.jar' 
#     -version 2>&1' had status 126



### 

library(sparkhello) 

# Connect to local spark cluster and load data
sc <- spark_connect(master = "local", version = "2.0.0")
titanic_tbl <- copy_to(sc, titanic_train, "titanic", overwrite = TRUE)
4

1 に答える 1