問題タブ [logstash-jdbc]

私はこれをオンラインで検索しようとしましたが、手がかりが得られませんでした。logstash の実行出力をログ ファイルに出力する方法はありますか? たとえば、sql_last_start に従ってデータを読み取るために jdbc プラグインを使用しています。クエリが実行された時刻、応答したレコードの数、次の実行時刻を知りたいです。

テーブル test に列 [id,name,updated_on] があると仮定すると、以下のコード:

現在、logstash-jdbc-plugin を使用して DB からデータを取得し、ES のインデックスに配置しています。DB からプルされたデータ全体が Elastic Search インデックスに挿入されているかどうかを確認する方法。

プルされるデータは数百万単位であるため、手動でチェックし続けることはできません

私はlogstash jdbcプラグインを使用して、dbからelasticsearchにデータを転送しています。db からデータを取得する場合、列名は小文字です。しかし、列名を大文字に変更し、大文字のフィールドを持つ既に作成されたインデックスに値を挿入する必要があります。

使ってみた

COLUMN1 、 COLUMN2 、 COLUMN3 を持つ ES にインデックスを作成しました。しかし、logstash ファイルを実行すると、新しいフィールド column1、column2、column3 が作成され、フィールド COLUMN1、COLUMN2、COLUMN3 のデータにインデックスが作成されません。

誰でも add_field の機能を説明できますか?

フィルタ {
変異 {
add_field => { "%{column1}" => "column2" }
}
}

mutate、clone、kv、および grok プラグインに存在する add_field の違いは何ですか

Logstash jdbc プラグインを使用して、MySQL データを ElasticSearch に取り込みます。左外部結合により、単一の「親行」に対して複数の「子行」が作成されます。1 人のユーザーが 1 つ以上のドキュメントを持っているとします。ドキュメントのテキストを group_concat してから、ユーザー ID でグループ化して、ユーザーごとに 1 行を保持しようとしました。

ただし、MySQL の group_concat には 1024 の長さ制限があります...

group_concat を完全に克服し、ネストされたドキュメントとして左外部結合を処理する解決策を知っている人はいますか?

ありがとう

背景: Postgres のデータをエラスティック検索にインデックス付けしようとしており、以下の手順に従います。

ステップ 1 :- logstash jdbc-inputプラグインを使用して、Postgres からデータを一括インポートします。ステップ 2 :- Elastic Search REST API (CRUD 用) を使用して、アプリケーションからさらにメタデータの変更を同期します。

最初に、以下のようなエラスティック検索でドキュメント マッピングを作成しました:-

そして、jdbc 入力プラグイン用の logstash 設定を追加しました:-

注: statement_filepath => "testindex.sql" testindex.sql には、postgres からデータをクエリする select ステートメントがあります。

問題: REST API を使用してエラスティック検索にデータを直接挿入しようとすると、エラーなく機能し、ドキュメントが挿入されます。

**しかし、上記の logstash jdbc プラグインを使用してドキュメントを挿入しようとすると、以下のエラーが発生します。フラグまたは構成パラメーターが不足していますか? **

Logstash JDBC 入力プラグインを使用して、データベースからデータを読み取り、Elastic Search にインデックスを付けています。顧客ごとに個別のデータベースがあり、それらに 1 つずつ動的に接続してデータを取得したいですか?

JDBC 入力プラグインまたは Logstash に、複数のデータベースに接続するためのプロビジョニングまたはパラメーターはありますか?

例えば

私が考えることができる唯一の解決策は、 logstash構成を更新して指定されたデータベースに1つずつ接続し、logstashを実行するスクリプトを作成することです。