0

私の zeppelin-env.sh では、次のように JDBC MySQL コネクタを jar としてロードしています。

export ZEPPELIN_JAVA_OPTS+=" -Dspark.jars=/usr/local/opt/mysql-connector-java/libexec/mysql-connector-java-5.1.32-bin.jar"

さらに、次の 2 つ (またはそれ以上) の方法で動作するはずの Databricks CSV パッケージを読み込みたいと思います。

  1. %dep z.load("com.databricks:spark-csv_2.10:1.2.0")
  2. export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"

1 つ目はno SPARK_HOMEが設定されている場合に機能しますが、外部 Spark ホームがSPARK_SUBMIT_OPTIONS設定されている場合にのみ考慮されます。

を設定せずに databricks CSV パッケージを読み込むにはどうすればよいですか?SPARK_HOMEまたは、埋め込み Spark ライブラリを使用するときに含まれる他のすべての jar を設定せずに読み込むにはどうすればよいSPARK_HOMEですか?

実際には、Zeppelin とは独立して更新できる別の Spark インストールを使用することを好みますが、組み込みの Spark に固執する場合にない非互換性を恐れています。

4

1 に答える 1

0

そのため、外部の Spark インストールを使用して SPARK_HOME を設定しましたbrew install apache-spark。

ドキュメントを読むことは私が推測するのに役立ったでしょう

--jarsロードする JAR を指定するオプション SPARK_SUBMIT_OPTIONSを追加するだけです。SPARK_HOME/conf/spark-defaults.confまたは、ロードするファイル、パッケージ、および jar を指定するファイルを作成します。

于 2015-11-14T10:12:57.503 に答える