問題タブ [elasticsearch-jdbc-river]

ElasticSearch 用の JDBC プラグインを使用して MySQL データベースを更新しています。新しいレコードと変更されたレコードを取得しますが、MySQL から削除されたレコードは削除しません。それらはインデックスに残ります。

これは、川を作成するために使用するコードです。

OSX Mountain Lion に自作経由で ElasticSearch をインストールしました。エラーや問題はなく、すべてが期待どおりに応答します。権限は問題ありません。ログにエラーはありません。

autocommit考えられる、 、versioningおよびのすべての組み合わせを削除し、含めました (そして true と false に設定しました) digesting。これは開発データベースなので、レコードが完全に削除され、キャッシュされず、ソフト削除されていないと確信しています。すべてのレコードを削除すると (つまり、リバーをそのままにして、ES でインデックス化されたものを削除するだけです)、次にリバーが更新されたときにレコードが再追加されないため、バージョン管理と削除に関して何かを見逃していると思います。 .

また、列を指定するさまざまな方法を試しました_id。呼び出し時に JSON を介して値があることを確認しました。

乾杯。

Elasticsearch のインストールに成功し、クイック スタート ガイドを使用して jdbc 用の Elasticsearch River プラグインをインストールしようとしましたが、SQL テーブルのフェッチを開始しようとすると、このエラーが発生し続けます。ありがとう。

CreationException[Guice 作成エラー:\n\n1) コンストラクターの注入エラー、java.util.ServiceConfigurationError: org.xbib.elasticsearch.river.jdbc.RiverMouth: プロバイダー org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth できましたインスタンス化されません: java.lang.NoClassDefFoundError: org/elasticsearch/ElasticsearchTimeoutException\n at org.xbib.elasticsearch.river.jdbc.JDBCRiver.(Unknown Source)\n org.xbib.elasticsearch.river.jdbc.JDBCRiver\ の検索中n org.elasticsearch.river.River の検索中に\n\n1 エラー]; ネストされた: ServiceConfigurationError[org.xbib.elasticsearch.river.jdbc.RiverMouth: プロバイダー org.xbib.elasticsearch.river.jdbc.strategy.simple.SimpleRiverMouth をインスタンス化できませんでした: java.lang.NoClassDefFoundError: org/elasticsearch/ElasticsearchTimeoutException]; 入れ子: NoClassDefFoundError[org/elasticsearch/ElasticsearchTimeoutException]; ネスト: ClassNotFoundException[org.elasticsearch.ElasticsearchTimeoutException];

クラスパスの問題だと思いますが、再びelasticsearchが正しく起動します。実行パスは次のとおりです。

================================================== ======================

シンプル戦略モードの jdbc リバー プラグインは、新しい行が追加されるとインデックスを更新しますが、フィールド値に変更がある場合、既存の行を更新しますか? データベース内のタイムスタンプ フィールドとのマッピングがないことに気付いたので、そうではないと推測します。

jdbc River を使用して、すべての SQL データを Elasticsearch にフェッチしています。しかし、私のデータベースにはもっと多くの行があることがはっきりとわかりますが、jdbc_river は 4 ～ 5 行しかフェッチしていません。

これは、私が使用した curl ステートメントです。

誰かがこれで私を助けてくれますか?おそらくcurlステートメントにいくつかのパラメータがありません.

Oracle データベース テーブルにクエリを実行し、ElasticSearch にインデックスを付けるために、1 日に 1 回実行するインデックス作成ジョブを作成する必要があります。テーブルの依存関係があるため、最初にインデックスを作成するテーブルと次にインデックスを作成するテーブルがあります。しかし、そのインデックス作成プロセスの周りでは、ES インデックスに入るフィールドを拡張する必要があります。また、Oracle データベース テーブルのジョブ ステータスにログを記録する必要があります。また、インデックス作成プロセスが成功した/失敗したレコードもログに記録する必要があります。

Elastic Search プラグイン JDBC-River を使用できますか?

私は以下を使用しています：

エラスティックサーチ – v0.90.9

MySQL 用 JDBC コネクタ – v5.1.28

エラスティックサーチ リバー – v2.3.1

ElasticSearch を使用して、インデックス付きデータを構築およびクエリできます。上記のバージョンは Ubuntu 12.04 LTS 仮想マシンにインストールされ、ElasticSearch はシステムの再起動後に自動的に開始されるサービスとして実行されます。

インデックスがなく、ElasticSearch River を使用して新しいインデックスを構築し、PUT コマンドを発行してインデックスを構築すると、インデックスが構築され、すべてが正常に機能するとします。問題は、仮想マシンをシャットダウンして再起動すると、このインデックスが再構築されることです。これは面倒です。インデックスの自動再構築を防ぐ方法はありますか?

インデックスの自動再構築を防ぐために、ElasticSearch River または ElasticSearch の設定で注意すべき点はありますか? 私の場合、これは重複を引き起こしています。

前もって感謝します。

Elasticsearch インデックスと MySQL データベースの同期を維持し、次の条件を満たす必要があるユース ケースがあります。

1) Elasticsearch インデックスを挿入/更新/削除するたびに、データベース (MySQL) と同期する必要があります。

2) この同期は即座に行う必要があります。

3) Elasticsearch インデックスについては、いつでも任意の数のリクエストで挿入/更新/削除を行っています。

Elasticsearch を使用してこれを行うにはどうすればよいですか?

ありがとう！！

カスタム index_settings で Elasticsearch jdbc jriver プラグインを使用しようとしていますが、インデックスの作成に失敗しているようです。これが私の文字列です：

ログファイルで受け取ったエラーメッセージは次のとおりです。

誰が何がうまくいかなかったのか理解できますか？構文は正しいようです。