2

mllib.jarWeb プロジェクトでspark を使用しようとしています。ダウンロードspark-1.1.0-bin-hadoop2.4して解凍しました。次のように見つかったいくつかのjarがあります。

datanucleus-api-jdi-3.2.1.jar

datanucleus-core-3.2.2.jar

datanucleus-rdbms-3.2.1.jar

スパークアセンブリ-1.1.0-hadoop2.4.0.jar

spark-examples-1.1.0-hadoop2.4.0.jar

次にspark-assembly-1.1.0-hadoop2.4.0.jar、分類方法をインポートするために使用します。Java プロジェクトで正常に実行できます。ただし、jar を に追加すると、次のSomeWebProject/web-inf/libエラー メッセージが表示されます。

validateJarFile ...\web-inf\lib\spark-assembly-1.1.0-hadoop2.4.0.jar jar not loaded. offending class:javax/servlet/servlet.class

私のWebプロジェクトのjavax.servletクラスがspark jarで複製されているので、私はそれを知っています。スパークのを削除しようとしていjavax.servletます。まだ機能していません。

見分ける方法を教えてください

と

他の Spark jar を使用mllibしてローカル モードで実行できますか。この壷は大きすぎて、それくらい132 mbです。しかし、他に利用可能なjarファイルが見つかりません。このjarはインポートする唯一の方法spark-mllib.jarですか? ps 何らかの理由で、サーバーに spark をデプロイできません。だからHadoop環境は使えなかった

どうもありがとう！！！

4

1 に答える 1

1

Maven を使用できる場合は、これらの依存関係を pom.xml に追加するだけです。

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>1.3.0</version>
    </dependency>
于 2015-04-01T06:05:48.080 に答える