1

nifi レシーバーを使用して Spark Streaming アプリケーションを作成しようとしています。チュートリアルによると、sbt の依存関係をビルド ファイルに追加しましたがsbt assembly、重複排除エラーで失敗しています。

私のbuild.sbtファイルは次のとおりです。

version := "0.0.1"

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.nifi" % "nifi-spark-receiver" % "0.6.1"

libraryDependencies += "org.apache.nifi" % "nifi-site-to-site-client" % "0.6.1"

そして、私が得ているエラーは次のとおりです。

[error] (*:assembly) deduplicate: different file contents found in the following:
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7-tests.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties

これを解決する方法を知っている人はいますか？

ありがとう、マルコ

4

1 に答える 1

1

これが問題かどうかは完全にはわかりませんが、最近誰かが nifi-spark-receiver が Spark に「提供された」依存関係を持つべきであると指摘しました。そうしないと、クラスパスで問題が発生する可能性があります。

これは、NiFi の次の 0.x リリース (0.7 がない場合は 1.0) でリリースされるこの JIRA https://issues.apache.org/jira/browse/NIFI-1803で対処されました。

mvn install を使用して 0.x ブランチから NiFi の独自のコピーを作成してから、ローカルの Maven リポジトリで利用できる nifi-spark-receiver の 0.7.0-SNAPSHOT を使用してみてください。

于 2016-05-10T13:02:50.170 に答える