問題タブ [elasticsearch-jdbc-river]

jprante の elasticsearch jdbc riverを使用して、elasticsearch で mysql レコードのインデックスを作成しようとしています。日付フィールドの値がインデックスで変更されていることに気付きました。

マッピング：

content_datemysql のレコードのフィールド ->2012-10-06 02:11:30

jdbc リバーを実行した後....

content_dateelasticsearch の同じレコードのフィールド ->2012-10-05T20:41:30Z

川：

日付形式の変更は許容されますが、日付値が変更されるのはなぜですか? リバーは、mysql レコードの日付に utc 時差を追加し、elasticsearch に保存しています。この時間変換を停止するにはどうすればよいですか?

私のMySQLでは：

そしてelasticsearch jdbc Riverは次のとおりです。

しかし、結果が次の理由であるelasticsearchインデックスデータがわかりません:

私はこのような結果だと思います：

私を助けてください、そして gsc-leticia がこの質問の内容をフォーマットするのを手伝ってくれてありがとう。

JDBC リバーを使用して、Sql Server からエラスティック検索でドキュメントを入力しています。シンプルな Sql クエリを使用してデータを取得しており、ポーリングを 20 分に設定しています。ここで、リバーが最初に SQL サーバーをポーリングしたときに 100 個のドキュメントを取得したとします。そして20分後、データを再度フェッチすると、40の新しいレコードがあり、SQLサーバーで削除された20のレコードが存在しない120のドキュメントが取得されます。

Sql サーバーから削除されたレコードは、ElasticSearch のインデックスからも削除されますか? （これは起こっていないようです）

mysqlテーブルからelasticsearchインデックスに1600万ドキュメント（47GB）のインデックスを作成しようとしています。これを行うために、 jparanteのelasticsearchjdbcリバーを使用しています。しかし、川を作成して約15分間待った後、川が流れている兆候やドキュメントのインデックスが作成されることなく、ヒープメモリ全体が消費されます。インデックスを作成するレコードが約1,000〜1200万あるとき、川は元気に流れていました。私は川を3〜4回走らせてみましたが、無駄でした。

Heap Memory pre allocated to the ES process = 10g

Elasticsearch.yml

river.sh

システムプロパティ：

SQLServer データベースがあり、float 型をインポートすると、正しくない値がインポートされます。

DB値：9.0 ES値：90.0

DB 値: 16.00 ES 値: 16000000000000004

値を float 型にマッピングし、リバー構成で scale:2 パラメータを設定しましたが、成功しませんでした。

Elasticsearch -river-jdbc プラグインで ES 0.20.6 を使用しています。を使用して動作する川を作成しました：

今私が欲しいのは、オプションがプラグインのドキュメントで定義されているので、型マッピングを追加することです。しかし、私は本当に構文を理解することができず、常に次のエラーが発生します("Source: "一部は試行によって異なります)

jdbc river を使用して ES に sqlserver データベースをインポートしようとしていますが、インポート プロセスが非常に遅いです。ログを見ると、プロセスが 1 つずつインポートを行っていることがわかります。

どうすればプロセスをスピードアップできますか?

Elasticsearch を使用して mysql データベースにインデックスを付けて検索したいので、このチュートリアルに従いました

まず、elasticsearch をダウンロードし、river-jdbc をそのプラグイン フォルダーにインストールしました。次に、ES_HOME/plugins/river-jdbc/ 内に mysql-jdbc を追加し、elasticsearch を開始し、別のターミナル ウィンドウを開始し、この curl コマンドで my_jdbc_river という名前の新しい JDBC リバーを作成しました

次のエラーが表示されます:-

次に、このコマンドを実行すると:curl -XGET 'localhost:9200/jdbc/jdbc/_search?pretty&q=*'

次のエラーが表示されます。

そして、ブラウザでこれを指定すると:

私はこのようになっています：

mysql dB はインデックス化されていますか? データベースで検索するにはどうすればよいですか?

ElasticSearch 用に JDBC リバーを構成していますが、適切な構成例が見つかりません。elasticsearch-river-jdbc GitHubのすべてのページを読みました。

SQL クエリがあり、X 秒ごとにすべてのテーブル列から変更をフェッチする必要があります。一部の行が変更され、再インデックス化する必要があることを JDBC 川に伝えるにはどうすればよいですか?

データは ES サーバーの起動時にフェッチされ、ポーリングが行われますが、変更は DB から ES にフェッチされません。

私の構成：

ありがとうございました。