elasticsearch - Elasticsearch クラスターのインデックスからすべてのドキュメントを取得し、別の Elasticsearch クラスターでインデックスを作成する

Question

ここでの私の目標は、ES クラスターのインデックスからすべてのドキュメントを取得し、それらを同じメタデータを保持する別の ES クラスターに挿入することです。

データを取得するための mget API と挿入するための Bulk API を見てきましたが、この Bulk API には特別な構造が必要です。

action_and_meta_data\n
optional_source\n
action_and_meta_data\n
optional_source\n

したがって、私の考えは、ファイル内の EScluster1 のデータを取得し、それを再配置して Bulk API の構造に合わせ、EScluster2 にインデックス付けすることです。

より良い方法やより迅速な方法はありますか?

Answer 1

elasticdumpがこれを行います。これを手動で行う場合は、スクロールを使用してクエリを実行し、そこから得られるものを一括インデックス化する必要があります。一緒にスクリプトを作成するのはそれほど難しくありません。エラスティック ダンプを使用すると、ファイルに書き込むことなくデータを送り出すことができます。ただし、インデックスに親子関係などがある場合は、ある程度制限されます。