10

最初に、ダウンロードした spark プロジェクトのルートからコマンドラインで実行しました

mvn package

成功しました。

次に、spark pom.xml をインポートして intellij プロジェクトを作成しました。

IDE では、サンプル クラスは問題なく表示されます。すべてのライブラリが見つかります。これはスクリーンショットで確認できます。

ただし、main() を実行しようとすると、SparkContext で ClassNotFoundException が発生します。

Intellij がこの maven ベースの scala プログラムを単純にロードして実行できないのはなぜですか? また、回避策として何ができますか？

以下に示すように、SparkContext は IDE では正常に見えますが、実行しようとしても見つかりません。 ここに画像の説明を入力

テストは、main() 内で右クリックして実行されました。

ここに画像の説明を入力

.. そして Run GroupByTest を選択します

それは与えます

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkContext
    at org.apache.spark.examples.GroupByTest$.main(GroupByTest.scala:36)
    at org.apache.spark.examples.GroupByTest.main(GroupByTest.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:120)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkContext
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

実行構成は次のとおりです。

ここに画像の説明を入力

4

3 に答える 3

9

Spark lib は class_path ではありません。

実行sbt/sbt assemblyする、

その後、「/assembly/target/scala-$SCALA_VERSION/spark-assembly*hadoop*-deps.jar」をプロジェクトに含めます。

于 2014-01-30T07:25:28.777 に答える
1

spark 依存関係を追加する必要があります。Maven を使用している場合は、次の行を pom.xml に追加するだけです。

<dependencies>
    ...
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    ...
</dependencies>

このようにして、コンパイルとテストの目的で依存関係を持ちますが、「jar-with-dependencies」アーティファクトには依存しません。

ただし、intellij で実行されているスタンドアロン クラスターでアプリケーション全体を実行する場合は、maven プロファイルを追加して、コンパイル スコープで依存関係を追加できます。ちょうどこのような：

<properties>
    <scala.binary.version>2.11</scala.binary.version>
    <spark.version>1.2.1</spark.version>
    <spark.scope>provided</spark.scope>
</properties>

<profiles>
    <profile>
        <id>local</id>
        <properties>
            <spark.scope>compile</spark.scope>
        </properties>
        <dependencies>
            <!--<dependency>-->
                <!--<groupId>org.apache.hadoop</groupId>-->
                <!--<artifactId>hadoop-common</artifactId>-->
                <!--<version>2.6.0</version>-->
            <!--</dependency>-->
            <!--<dependency>-->
                <!--<groupId>com.hadoop.gplcompression</groupId>-->
                <!--<artifactId>hadoop-gpl-compression</artifactId>-->
                <!--<version>0.1.0</version>-->
            <!--</dependency>-->
            <dependency>
                <groupId>com.hadoop.gplcompression</groupId>
                <artifactId>hadoop-lzo</artifactId>
                <version>0.4.19</version>
            </dependency>
        </dependencies>
        <activation>
            <activeByDefault>false</activeByDefault>
            <property>
                <name>env</name>
                <value>local</value>
            </property>
        </activation>
    </profile>
</profiles>

<dependencies>
    <!-- SPARK DEPENDENCIES -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>${spark.scope}</scope>
    </dependency>
</dependencies>

また、 --local が渡された場合にローカル クラスターを開始するオプションをアプリケーションに追加しました。

  private def sparkContext(appName: String, isLocal:Boolean): SparkContext = {
      val sparkConf = new SparkConf().setAppName(appName)
      if (isLocal) {
          sparkConf.setMaster("local")
      }
      new SparkContext(sparkConf)
  }

最後に、適切な依存関係を取得するために、Intellij で「ローカル」プロファイルを有効にする必要があります。「Maven Projects」タブに移動してプロファイルを有効にするだけです。

于 2015-03-04T09:22:05.227 に答える