問題タブ [logstash-jdbc]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mysql - Logstash JDBC 入力プラグイン : バッチ カウントで mysql からデータを移行する
5000 万行の 20GB データのテーブルがあります。logstash jdbc 入力プラグインを使用して ElasticSearch に移行する必要があります。基本的な実装はすべて試しましたが、一度に 10,000 行のみをバッチで移行するには助けが必要です。このカウントを指定する方法と場所、および次回logstashを実行するときに更新する方法がわかりません。この問題の解決を手伝ってください
これは私が持っているものです:
前もって感謝します。
elasticsearch - jdbc sql_last_value に varchar/string を使用することは可能ですか?
入力内のプラグインのフィールドとタイプのフィールドを既にテストしましたsql_last_value
が、完全に機能しています。integer
datetime
jdbc
logstash
私はただの好奇心です 。テーブルにまたはフィールドがない場合に備えて、時々varchar/string
更新するために、フィールドのタイプを使用する可能性はありますか。sql_last_value
datetime
int
どんな助けでも大歓迎です。
elasticsearch - Logstash jdbc プラグイン:列に日付フィルターを使用する方法は?
私のMS SQLテーブルには、日付が「dd-mm-yyyy 00:00:00.000」の形式で文字列として保存された列があります。たとえば、1999-10-06 00:00:00.000または2000-04-27 00: 00:00.000
インポート中に、この列の値を日付型に変換したいと考えています。
このタイプの変換を行うことができるフィルターと呼ばれる機能を見ました。例を見つけましたが、Beats によってもたらされたログの全文行を一種の正規表現で解析するためだけです。
SQL列にこの機能を使用する方法は? たとえば、このconfファイルを実際に機能させるにはどうすればよいでしょうか?
現時点では、この conf は機能せず、次の ES テキスト フィールドを作成します。