r - Sparkly を HDP-Sandbox Spark インスタンスに接続する

Question

R インスタンスを、1 台のローカル マシン上の Docker にデプロイされた HDP-Sandbox で実行されている Spark に接続したいと考えています。エラー メッセージは、--versioncall onspark-submitが失敗したことを示しています。

R インスタンス

packageVersion("sparklyr")
# [1] ‘1.0.1’

# Set old JAVA version
Sys.setenv("JAVA_HOME" =
               "/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home")

library(sparklyr)

sc <- spark_connect(
    master = " http://localhost:4040",
    spark_home = "/usr/hdp/current/spark2-client",
    app_name = "RStudio",
    method = "shell"
)

エラーsystem2(file.path(spark_home, "bin", "spark-submit"), "--version", : コマンドの実行中にエラーが発生しました

HDP

[root@sandbox-hdp ~]# /usr/hdp/current/spark2-client/bin/spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.1.3.0.1.0-187
      /_/

Using Scala version 2.11.8, OpenJDK 64-Bit Server VM, 1.8.0_191
Branch HEAD
Compiled by user jenkins on 2018-09-19T10:10:07Z
Revision fe7bed1ca174a6687ebd2aa0f8ba5fb7bf668399
Url git@github.com:hortonworks/spark2.git
Type --help for more information.

アップデート

より簡単な解決策と思われるので、Livy を使用することにしました。8999ファイルで参照されているポートを開いたので、livy.confで Livy UI にアクセスできるようになりましたhttp://localhost:8999/ui。

それにもかかわらず、接続しようとするとエラーが発生し続けます。

config <- livy_config()
sc <- spark_connect(master = "http://localhost:8999",
                     method = "livy",
                     config = config)
# Error in livy_connection(master = master, config = config, app_name, version,  : 
# Failed to launch livy session, session status is still starting after waiting for 60 seconds


config <- livy_config(username = "root", password = "***")
sc <- spark_connect(master = "http://localhost:8999",
                     method = "livy",
                     config = config)
# Error in livy_connection(master = master, config = config, app_name, version,  : 
# Failed to launch livy session, session status is still starting after waiting for 60 seconds