Google Compute InstanceにElasticsearchサーバーがインストールされています。膨大な量のデータが毎分取り込まれており、下線の付いたディスクはすぐにいっぱいになります。
ディスクのサイズを大きくできることは承知していますが、長期間のデータを保存するには多くの費用がかかります。
Google Cloud Storage バケットに保存するには、Elasticsearch サーバー (コンピューティング エンジン ディスク) に 90 日分のデータと、90 日より古い (7 年まで) データが必要です。後で分析する必要がある場合に備えて、古いデータを取得できる必要があります。
私が知っている 1 つの方法は、スナップショットを頻繁に作成し、 Curatorを使用して Elasticsearch サーバーから 90 日以上経過したインデックスを削除することです。このようにして、ディスクを解放し、ストレージ コストを最小限に抑えることができます。
上記のアイデアを手動で自動化せずにこれを行う方法は他にありますか?
たとえば、90 日以上前のデータをアーカイブし、データ ファイルをディスクに保持する、Elasticsearch によって提供される、そのまま使用できるものを使用すると、このファイルをディスクからGoogle Cloud Storageに手動で移動できます。