問題タブ [spark-cassandra-connector]

このリンクJavaRDDは、次の方法でtoを保存する方法を示していますCassandra。

しかし、com.datastax.spark.connector.CassandraJavaUtil.*非推奨のようです。更新された API は次のようになります。

上記の更新された APIJavaRDDを使用して を保存するためのコードを誰か教えてもらえますか?Cassandra

そのため、SQL クエリを実行しようとしている Spark-Cassandra クラスターがあります。sbt アセンブリで jar を作成し、それを spark-submit で送信します。これは、spark-sql を使用していないときは正常に機能します。spark sql を使用しているときにエラーが発生します。以下は出力です。

ジョブのスカラ コードは次のとおりです。非常に単純です。

ご覧のとおり、spark は sc.cassandraTable("test", "kv") を使用して rdd を正常に作成し、カウント、最初の値、および合計を取得できました。

SQLクエリを実行すると、cqlshでspark-sqlを実行しようとしていますが、これは私が得た結果です:

これがbuild.sbtファイルです。spark-cassandra-connectorを含むファットjarがlibフォルダーに保持されているため、sbtによってunmanagedDependancyとして自動的にクラスパスに追加されます（ビルドファイルが問題であるとは考えていませんC* テーブルに基づいて rdd を正常に作成し、その上でメソッドを使用しました)

Cassandra で、最小数のパーティションがヒットするようにテーブル スキーマを設計する必要があることを読みました。この要件を満たすようにスキーマを設計しました。しかし、私はすべてのパーティション キーを単独で取得する必要があるシナリオにいます。なので使う予定です

Select Distinct <partitionKeys> from table

約 15,000 行に対して cqlsh を使用して個別のクエリを実行しました。非常に高速でした。

質問

1. distinct を使用すると、パフォーマンスの問題は発生しますか?
2. cassandra はどのようにパーティション キーだけを取得しますか?
3. 個別クエリの制限を知る必要があります。

そのため、Java と spark cassandra コネクタを使用して動作する簡単なサンプル プログラムを取得しようとしています。sbt アセンブリの実行は正常に動作し、spark に送信するファット jar を取得します。ここで問題が発生します。ジョブをスパークに送信すると、次のエラーが発生します。

これは、以下の submit-job.sh スクリプトです。

これは私のbuild.sbtファイルです

以下はコンパイル中のコードです。

sbt アセンブリは正常に動作しますが、ジョブが実際に送信されるとクラス定義が見つかりません。