0

nodejs を使用して Elasticsearch に接続し、curator を使用して 1 時間ごとのスナップショットを作成しています。

スナップショップ操作の実行中に、多くの作成/削除リクエストが 30 秒間待機した後にタイムアウトになりました。さらに深刻な問題は、削除中にリクエストのタイムアウトが発生し、クライアントが削除に失敗したと想定していたが、タイムアウトが発生した後に成功した可能性があることです。これにより、データが破損しました。

また、スナップショットを作成する時間が直線的に増加し続けていることにも気付きました。バックアップが増分プロセスであると主張しているにもかかわらず、6 か月後には 4 分かかります。

次のコマンドを使用してバックアップを取得しました

/usr/local/bin/curator snapshot --repository mt_es_backup indices --all-indices >> /vol/es/es_backup.log 2>&1

ありがとうございました

4

2 に答える 2

1

私はこれについてかなりの読書をしました。ElasticSearch は既存のスナップショットを分析し、新しいデータのみをスナップショット リポジトリにコピーする必要があるため、スナップショットの作成に非常に時間がかかっていると思います。古いスナップショットを削除すると役立つはずです。また、古いスナップショットを削除すると、他のスナップショットで使用されていないセグメントのみが削除されるため、データが失われることはありません。

これは github でも未解決の問題でした: https://github.com/elastic/elasticsearch/issues/8958

私たちのリポジトリを調べたところ、2015 年 8 月 25 日までさかのぼる 2,000 個以上のスナップショットがそこにあることがわかりました。1 か月分のスナップショットだけを保持するだけで十分です。

于 2015-11-24T05:15:44.317 に答える