問題タブ [spring-data-cassandra]

app1.war と app2.war を同じ tomcat jvm にデプロイしました。どちらのアプリにも独自のコンテキスト xml (app1.xml と app2.xml) があります。どちらのアプリケーションにも、Cassandra に接続するための datastax ドライバーの依存関係が含まれています。個別にデプロイすると、うまく動作します。しかし、両方が同じ jvm にデプロイされている場合、ログに以下の JMX 例外が表示されます。

アプリケーションは機能的に動作します。このエラーが表示される理由と、これを回避する方法が気になります。

cassandra がいずれかのノードで圧縮を開始するとすぐに、アプリケーションがそのノードに接続できないことがわかります。ノードの 1 つでコンパクションが開始されると、そのノードの CPU 負荷が 100% になり、コンパクションが進行して CPU 負荷が低くなると、アプリケーションが Cassandra に接続できるようになることに気付きました。

m3.xlarge Amazon EC2 インスタンスを使用して、Java アプリケーションと cassandra の両方を同じノードで実行しています。アプリケーションと cassandra の両方に、次の jvm 設定 -Xms2G -Xmx2G -Xmn512M があります。Cassandra には 300MB のデータはほとんどありませんが、それでも非常に多くの圧縮が行われています。Cassandra 列ファミリー設定の 1 つがどのように見えるかを次に示します。ほぼ同じ設定の約 20 の列ファミリーがあります。各列ファミリーには 1 つのセカンダリ インデックスがあります。

cassandra コミュニティ バージョン 2.0.5 とデータ マッピング ライブラリhttps://github.com/valchkou/cassandra-driver-mappingを実行しています。

私は周りを見回しましたが、この種の問題に直面している人は誰もいませんでした。どんな助けでも大歓迎です。

エラースタックトレース

こんにちは、プロジェクトのコンパイル、デプロイ、および実行に影響を与えない何らかのエラーがありますが、Spring-data-Cassandra の構成ファイルに赤いマークが表示され、問題メニューにも問題が表示されます。 誰でも何が問題なのか教えてもらえますか?

spring-data-JPA および Spring-data-* に関連する同じ質問を見ましたが、役に立たないので、これを投稿します。

ここにエラーメッセージがあります:-

1. ファイル「application-config.xml」を介してファイル「spring-tool.xsd」を検証する際に、以下のエラーが検出されました。ほとんどの場合、これらのエラーは「spring-tool.xsd」を直接検証することで検出できます。ただし、 spring-tool.xsd が application-config.xml のコンテキストで検証された場合にのみエラーが発生する可能性があります。
2. ファイル「application-config.xml」を介してファイル「spring-beans.xsd」を検証する際に、以下のエラーが検出されました。ほとんどの場合、これらのエラーは「spring-beans.xsd」を直接検証することで検出できます。ただし、spring-beans.xsd が application-config.xml のコンテキストで検証された場合にのみエラーが発生する可能性があります。

ここに私のconfig.xmlファイルとpomファイルがあります

<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xmlns:mvc="http://www.springframework.org/schema/mvc" xmlns:cassandra="http://www.springframework.org/schema/data/cassandra" xmlns:tx="http://www.springframework.org/schema/tx"

</beans>

POM ファイル

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.springframework.samples.service.service</groupId> <artifactId>XYZ</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>war</packaging>

</project>

Spark/Spark Cassandra Connector は初めてです。チームで初めてスパークを試しており、スパーク cassandra コネクタを使用して cassandra データベースに接続しています。

データベースの重いテーブルを使用するクエリを作成しましたが、テーブルへのクエリがすべてのレコードをフェッチするまで Spark タスクが開始されないことがわかりました。

データベースからすべてのレコードを取得するだけで 3 時間以上かかります。

使用するDBからデータを取得します。

すべてのデータのダウンロードが完了していなくても、spark に作業を開始するように指示する方法はありますか?

fetch により多くのスレッドを使用するように spark-cassandra-connector に指示するオプションはありますか?

ありがとう、ココ。

spring-data-cassandra 1.1.2.RELEASE を使用して、Spring データ リポジトリを介して Cassandra DB との間でオブジェクトをマッピングしています。データベースでパスワード クラス属性を暗号化し、DB からデータをロードするときに復号化する必要があるという特定の要件があります。

AbstractMongoEventListenerspring-data-mongoを使用する前にこれを行い、jasypt を使用してオブジェクトがデータベースに対して読み取り/書き込みされる直前と直後に暗号化/復号化するカスタム イベント リスナーを追加します。

Cassandra 用のイベント リスナーが存在する場合は、それを使用しようとしています。その間、考えられる解決策はカスタムコンバーターの使用であることがわかりましたが、その点に関するドキュメントは不足しています (ドキュメントのセクション 5.8.1 - 5.8.9 は空ですhttp://docs.spring.io/spring -data/cassandra/docs/current/reference/html/#cassandra.custom-converters )。

私の質問は、これがこれを行うための最良かつ最もクリーンな方法ですか? これを実現する方法に関する例とドキュメントはどこにありますか?..

カサンドラでシーケンシャルバッチを実行することは可能ですか? 例: table1 に挿入し、この挿入操作から uuid を取得し、これを table2 の挿入ステートメントに渡します。テーブル 2 の挿入が失敗した場合は、操作全体が失敗します。

そうでない場合、私の最良の選択肢は何ですか?

(一種のトランザクション)

誰でも助けてください。

spring data cassandraを使用しているときに、IN演算子を使用して更新@Queryを実装する方法を知る必要がありますか?

私は次のようなものを使いたいので: @Query("UPDATE objects SET children = ?0 WHERE id IN (?...)")

可能であればオフ。この種のクエリには、ネイティブ データ stax テンプレートを使用する必要があるかもしれません。

事前にThx

spring-boot アプリケーションがあり、spring-data-cassandra を使用して cassandra データベースに接続しようとしています。以下は私のファイルです。

SampleApp.java

CassandraDataSourceConfig.java

プロパティファイル

以下は、組み込みの tomcat サーバー (mvn spring-boot:run) を使用してアプリを起動しようとしたときに発生する例外です。Could not autowire field: private javax.sql.DataSourceという不平を言って、アプリはロードに失敗します。しかし、メインアプリファイル(SampleApp.java)にCassandraDataSourceConfig.javaを明確にインポートしています。誰かが助けることができますか？アプリが CassandraDataSourceConfig.java を有効なデータ ソースとして認識できないのはなぜですか? spring-data-cassandra と spring-boot を統合するために何か特別なことをする必要がありますか?? 前もって感謝します。！！

更新 私のプロジェクトは、spring-data-cassandra と spring-boot-starter-jpa の両方に依存していました。spring-boot-started-jpa への依存を削除すると、すべて正常に動作しました。アプリケーションが起動し、cassandra クラスターから読み書きできるようになりました。