0

Spark ストリーミングを使用しています。spark1.0.2 を使用していたときは正常に動作していましたが、今ではいくつかの問題が繰り返し発生しています。

クラスが見つからないのと同じように、spark-core、ストリーミング、kafka モジュールでのストリーミングを使用しているすべての spark モジュールの更新されたバージョンで同じ pom.xml を使用しています。

commons-configation、commons-langs、loggingがないために常にエラーをスローし続けます

スパークストリーミングを実行するためのすべての依存関係を取得する方法.方法はありますか、それとも試行錯誤の方法で見つける必要がありますか?

私のポンポンの依存関係

<dependencies>
        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>servlet-api</artifactId>
            <version>2.5</version>
        </dependency> 
        <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.1.1</version>
    </dependency>

  <dependency> <!-- Spark streaming dependency -->
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming_2.10</artifactId>
  <version>1.1.1</version>
</dependency>
  <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka_2.10</artifactId>
      <version>1.1.1</version>
    </dependency>

    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-log4j12</artifactId>
      <version>1.7.5</version>
    </dependency>
        <dependency>
        <groupId>commons-logging</groupId>
        <artifactId>commons-logging</artifactId>
        <version>1.1.1</version>
</dependency>
<dependency>
    <groupId>commons-configuration</groupId>
    <artifactId>commons-configuration</artifactId>
    <version>1.6</version>
</dependency>

    </dependencies>

ここで何か不足していますか？

4

2 に答える 2

1

pom.xml はまだ spark-core バージョン 1.0.2 を使用しています。pom.xml のすべての spark 関連の依存関係には、バージョン 1.1.1 を使用してください。

于 2014-12-11T05:57:26.950 に答える
0

最後に、多くの時間を無駄にした後、答えにたどり着きました。

1.spark のバージョンと pom のバージョンが同じであることを確認してください 2.spark の Hadoop バージョンは、spark がビルドされているか、spark hadoop prebuild バージョンを使用しているバージョンです 3.spark env .sh を必要な詳細で更新します

export JAVA_HOME=/User/java/
export SPARK_MASTER_IP=xyz
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=4g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
export SPARK_LOCAL_IP=xyz

4.maven と eclipse を使用している場合は、m2e 1.5 バージョンを使用します。そうしないと、log4j 例外が発生します。5.spark アプリケーションをコード送信する前に、必ず jar ファイルをクリーン コンパイル パッケージ化してください。

于 2014-12-18T10:36:06.563 に答える