私は H2O と spark フレームワークの初心者で、H2O+Spark (sparkling-water)
Databricks での PySparkling のオンボーディングに問題があります。1.5.2 環境の Databricks で実行されている 12 のワーカー クラスターがあります。
私が行った手順は次のとおりです
。
sparkling-water-1.5.14/py/dist
次に、 sparkling-water-1.5.14.zip パッケージから解凍した後、フォルダーから必要な .egg ファイルを取得しました。また
sparkling-water-assembly-1.5.14.jar
、Databricks クラスターに接続しました私は
import h2o
成功することができます。ただし、Databricks の Python NB で次のセルを実行すると、以下の例外が発生します。Spark 上で H2OContext を開始する
from pysparkling import * hc = H2OContext(sc).start() import h2o
次のエラーが表示されます
py4j.Py4JException: Method addURL([class java.net.URL]) does not exist
この例外を解決する方法に関するガイダンスをよろしくお願いします。