問題タブ [spark-cassandra-connector]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
cassandra - Spark-Cassandra コネクタ : Cassandra へのネイティブ接続を開くことができませんでした
Spark と Cassandra は初めてです。Spark ジョブを送信しようとすると、Cassandra への接続中にエラーが発生します。
詳細：
バージョン:
Spark と Cassandra は仮想クラスター上にあります クラスターの詳細:
クライアント マシン (ラップトップ) - 172.16.0.6 からジョブを送信しようとしています。このエラーをグーグルで検索した後、クライアント マシンからクラスタ上のすべてのマシンに ping を実行できることを確認しました: スパーク マスター/スレーブ ノードと cassandra ノード、およびすべてのマシンでファイアウォールを無効にしました。しかし、私はまだこのエラーに苦しんでいます。
Cassandra.yaml
最小限のサンプル ジョブを実行しようとしています
ジョブを送信するには、spark-shell を使用します (:spark シェルにコードを貼り付けます)。
私が得ているエラー：
ここで私が間違っていることを誰でも指摘できますか?
java - Spark を使用して Cassandra 列ファミリーで SQL クエリを実行するさまざまな方法の比較
私のプロジェクトの一環として、非常に大きな Cassandra データセット用の SQL クエリ インターフェイスを作成する必要があるため、Spark を使用して cassandra 列ファミリーで SQL クエリを実行するためのさまざまな方法を検討しており、3 つの異なる方法を考え出しました。
静的に定義されたスキーマで Spark SQLContext を使用する
定義を次のように使用します。
/li>動的に定義されたスキーマで Spark SQLContext を使用する
/li>spark-cassandra-connector から CassandraSQLContext を使用する
/li>
ある方法と別の方法の長所/短所を知りたいです。また、CassandraSQLContextメソッドについては、クエリが CQL に限定されているか、Spark SQL と完全に互換性があります。また、私の特定のユース ケースに関する分析もお願いします。62 列の約 1,760 万のタプルを持つ cassandra 列ファミリーがあります。このような大規模なデータベースを照会するには、どの方法が最も適切ですか?
scala - ネストされたケース クラスを UDTValue 型に変換する方法
カスタム ケース クラスを使用して、Spark (1.4.0) を使用して Cassandra (2.1.6) に書き込むのに苦労しています。spark-cassandra-connector 1.4.0-M1これまでのところ、DataStaxと次のケース クラスを使用してこれを試しました。
これを機能させるために、次のコンバーターも実装しました。
コンバーターを手動で検索すると、それを使用して のインスタンスを に変換できますEventが、関連するオブジェクトUDTValueを使用sc.saveToCassandraして のインスタンスを渡すとRsvpResponse、次のエラーが発生します。
UDTValueコネクタ ライブラリが内部で処理する方法が原因で、コンバータが呼び出されることさえないようです。ただし、上記のソリューションは、Cassandra テーブル (ユーザー定義型を含む) からのデータの読み取りには機能します。コネクタ ドキュメントに基づいて、ネストされたケース クラスをcom.datastax.spark.connector.UDTValue型に直接置き換えました。これにより、説明されている問題は修正されますが、データの読み取りが中断されます。データの読み取りと書き込みのために 2 つの別々のモデルを定義するつもりだとは想像できません。それとも、ここで明らかな何かが欠けていますか?
java - java で cassandra の spark をセットアップする際に助けが必要です
Javaでcassandraにアクセスするようにsparkを設定すると、NoClassDefFoundErrorがスローされます
2 つの jar ファイルが追加されます。spark-cassandra-connector-java-assembly-1.4.0-M1-SNAPSHOT.jar & spark-core_2.10-0.9.0-incubating.jar. spark-cassandra-connector-java-assembly-1.4.0-M1-SNAPSHOT.jar は、scala 2.10 に対してビルドされています。コマンド プロンプトで scala -version と入力すると、scala コード ランナー バージョン 2.11.6 が表示されます。spark-shell から spark にアクセスしても問題ありません。spark-shell からの cassandra 列ファミリへのアクセスも正常に機能しています。
エラーの原因は何ですか??
java - IN 句を使用した Spark Cassandra コネクタのフィルタリング
Java のスパーク cassandra コネクタ フィルタリングでいくつかの問題に直面しています。Cassandra では、IN 句を使用してパーティション キーの最後の列でフィルタリングできます。例えば
spark の CQL クエリで使用される IN 句を指定する回数を教えてください。範囲クエリもどのように指定できますか?