2

5000 万行の 20GB データのテーブルがあります。logstash jdbc 入力プラグインを使用して ElasticSearch に移行する必要があります。基本的な実装はすべて試しましたが、一度に 10,000 行のみをバッチで移行するには助けが必要です。このカウントを指定する方法と場所、および次回logstashを実行するときに更新する方法がわかりません。この問題の解決を手伝ってください

これは私が持っているものです:

input {
    jdbc {
        jdbc_driver_library => "mysql-connector-java-5.1.12-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://localhost/db"
        jdbc_validate_connection => true
        jdbc_user => "root"
        jdbc_password => "root"
        clean_run => true
        record_last_run => true
        use_column_value => true
        jdbc_paging_enabled => true
        jdbc_page_size => 5
        tracking_column => id
        statement => "select * from employee"
    }
}

前もって感謝します。

4

1 に答える 1