lucene - 「Tire bulk api」は、データのインデックス作成を完了するのに川よりも時間がかかっています

Question

以前は、jdbc リバーを使用して、mysql から Elasticsearch までのすべてのデータのインデックスを作成していました。ここで、elasticsearch にインデックスを作成する前にデータを操作する自由が得られるので、タイヤバルク APIに移行しました。しかし、3M レコードの jdbc リバーと比較して、タイヤ バルク API を使用したインデックス作成プロセスには多くの時間がかかります (4 倍)。インデックス作成プロセスをより迅速かつ効率的にする方法はありますか?

Answer 1

IMHO、重要なのは、JDBCリバーがElasticsearch内で起動されることです。したがって、JDBC要求の後、データはメモリ内にあり、ESに直接送信されます。

外部プロセスを使用すると、1つのネットワークがさらにホップします。

とはいえ、4分の1は多分多すぎます。