0

SQL 分析のデモ用に、Spark+Cassandra を使用して簡単なプロジェクトを構築しようとしています。Cassandra v2.0.14 を使用する必要があります (今のところアップグレードできません)。Spark と Spark-cassandra-connector の正しいバージョンが見つかりません。https://github.com/datastax/spark-cassandra-connectorで Datastax の git プロジェクトを参照しました。、そして、Spark と Spark-cassandra-connector のバージョンが一致し、Cassandra と互換性がある必要があることはわかっています。したがって、Spark、Spark-Cassandra-connector の正確なバージョンを指摘するのを手伝ってほしいと思います。Spark と Spark-Cassandra-connector の両方に v1.1.0 と v1.2.1 を使用してみましたが、提供された sbt を使用せずに spark-cassandra-connector jat jar をビルドできませんでした (ダウンロードした sbt-launch jar に 404 が含まれているだけなので失敗します) html が見つからない)、または私のローカル sbt v0.13.8 (「import sbtassembly.Plugin. 」、「import AssemblyKeys.」のコンパイル エラーで失敗する)

4

2 に答える 2

0

spark のバージョンをアップグレードできる場合は、cassandra を使用して spark に接続できます。

次のmaven依存関係をpomファイルに入れます:-

cassandra-all cassandra-core cassandra-mapping cassandra-thrift cassandra-client spark-cassandra-connector spark-cassandra-connector-java

これは仕事になります。

于 2015-08-11T05:25:12.160 に答える