0

私は es-spark を使用して elasticsearch から読み取りたい Maven プロジェクトを持っていましたpom.xml。

  <groupId>com.jzdata.logv</groupId>
  <artifactId>es-spark</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>es-spark</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
        <groupId>org.elasticsearch</groupId>
        <artifactId>elasticsearch-spark_2.11</artifactId>
        <version>2.1.2</version>
    </dependency>
  </dependencies>

   <build>
    <plugins>
     <plugin>  
       <groupId>org.apache.maven.plugins</groupId>  
       <artifactId>maven-compiler-plugin</artifactId>
       <version>3.1</version>  
       <configuration>  
         <source>1.7</source>  
         <target>1.7</target>  
       </configuration>  
     </plugin>
     <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <version>2.6</version>
        <configuration>
          <archive>
            <manifest>
              <addClasspath>true</addClasspath>
              <classpathPrefix>lib/</classpathPrefix>
              <mainClass>my.main.class</mainClass>
            </manifest>
           </archive>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-dependency-plugin</artifactId>
        <version>2.10</version>
        <executions>
          <execution>
            <id>copy-dependencies</id>
            <phase>package</phase>
            <goals>
              <goal>copy-dependencies</goal>
            </goals>
            <configuration>
              <outputDirectory>${project.build.directory}/lib</outputDirectory>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>  
  </build>

私の依存関係はelasticsearch-spark installに従っています。

JAR依存関係の jar ファイルを含む実行可能なファイルをパッケージ化したいと考えています。

cmd を実行すると、パッケージが見つからなかったmvn packageことを示していますが、これらのパッケージは私のmaven依存関係にあります。org.apache.sparkorg.apache.spark.api.java

私の間違ったステップはどこですか？

4

1 に答える 1

0

このライブラリは、Spark アプリケーションでの使用を目的としており、Spark の依存関係が読み込まれるたびに利用できることを前提としています。

*同様に、アプリケーションの実行時に Spark の依存関係が利用できることを期待しています: RDDs/DataFrames/SparkContext はすべて Spark の一部です。(*以下の私のコメントを参照してください)

問題は、これをコンパイラに示していないことです。コンパイラは、実行中に利用できないライブラリを使用していると考えています。このように考えてください - コンパイラはアプリケーションが動作するとは考えていないため、ビルドは失敗します。

この問題を解決するには、実行中に Spark ライブラリを利用できるようにする必要があることをコンパイラに伝える必要があります。

<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>1.6.0</version> <scope>provided</scope> </dependency>

*重要* アーティファクトから Spark ライブラリを除外する必要があります。そうしないと、クラスパスに複数のバージョンの Spark が含まれてしまう可能性があります (それらを含める理由にはなりません。Spark はアプリケーションをロードしています!)。スコープをprovidedに設定すると、Spark が利用可能であり、出力から除外する必要があることをコンパイラに伝えます。

https://maven.apache.org/guides/introduction/introduction-to-dependency-mechanism.html#Dependency_Scope

于 2016-02-21T09:53:19.463 に答える