0

Sparkling Water で Python スクリプトを Spark アプリケーションとして実行するのに問題があります。このコマンドを使用して、Spark でスクリプトを実行します。

./bin/spark-submit \

--packages ai.h2o:sparkling-water-core_2.10:1.5.12 \

--py-files $SPARKLING_HOME/py/dist/pySparkling-1.5.12-py2.7.egg $SPARKLING_HOME/Python/test.py

そして、私はこの落下エラーがあります:

py4j.protocol.Py4JError: パッケージを呼び出そうとしています。

ログ:

> Traceback (most recent call last):
  File "/Users/Documents/sparkling-water-1.5.12/Python/test.py", line 5, in <module>
    hc= H2OContext(sc).start()
  File "/Users/Documents/sparkling-water-1.5.12/py/dist/pySparkling-1.5.12-py2.7.egg/pysparkling/context.py", line 72, in __init__
  File "/Users/Documents/sparkling-water-1.5.12/py/dist/pySparkling-1.5.12-py2.7.egg/pysparkling/context.py", line 96, in _do_init
  File "/Users/Documents/spark-1.5.2-bin-hadoop2.4/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py", line 726, in __getattr__
py4j.protocol.Py4JError: Trying to call a package.
16/04/11 16:58:39 INFO SparkContext: Invoking stop() from shutdown hook
16/04/11 16:58:39 INFO SparkUI: Stopped Spark web UI at http://192.168.181.84:4042
16/04/11 16:58:39 INFO DAGScheduler: Stopping DAGScheduler
16/04/11 16:58:39 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
16/04/11 16:58:39 INFO MemoryStore: MemoryStore cleared
16/04/11 16:58:39 INFO BlockManager: BlockManager stopped
16/04/11 16:58:39 INFO BlockManagerMaster: BlockManagerMaster stopped
16/04/11 16:58:39 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
16/04/11 16:58:39 INFO SparkContext: Successfully stopped SparkContext
16/04/11 16:58:39 INFO ShutdownHookManager: Shutdown hook called
16/04/11 16:58:39 INFO ShutdownHookManager: Deleting directory /private/var/fold

この問題を解決するにはどうすればよいですか? 小冊子のコマンドに正確に従っています：https://h2o-release.s3.amazonaws.com/h2o/rel-turan/3/docs-website/h2o-docs/booklets/SparklingWaterVignette.pdf

4

1 に答える 1

2

これは実際には、Sparkling Water チームで認識されている重大なバグであり、他のホットフィックスと共に新しいリリースで修正されています。バグは既に修正されており ( https://0xdata.atlassian.net/browse/SW-107 )、新しいリリースがまもなくリリースされる予定です。

最新情報をお届けし、新しいリリースがリリースされたらお知らせします。

2016 年 4 月 29 日編集

修正された新しいリリースが出ています。

spark 1.6 の場合 - http://h2o-release.s3.amazonaws.com/sparkling-water/rel-1.6/3/index.html

spark 1.5 の場合 - http://h2o-release.s3.amazonaws.com/sparkling-water/rel-1.5/14/index.html

-packagesspark-water-core を追加するために、これ以上呼び出す必要はありません。pySparkling の卵ファイルには、必要なすべての Java/Scala クラスが既に含まれています。したがって、py-files オプションを使用して卵ファイルを設定するだけで済みます。

于 2016-04-15T08:25:56.277 に答える