問題タブ [elasticsearch-curator]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elasticsearch - キュレーターelasticsearchでインデックスを削除できません
14 日前または前に Elasticsearch に保存されたすべてのログを削除しようとしています。curator をインストールし、設定ファイルとアクション ファイルを次のように作成しました。
私のelasticsearchはlocalhost:8080で実行され、kibanaはlocalhost:80で実行されています
両方の構成ファイルを使用して、構成ファイルを使用して Currator を実行し、これを取得します。
次の画像で、kibana での私のインデックス名を確認できます。
私はすでに多くのことを試しましたが、うまく機能させることができませんでした。常に、この名前のインデックスはないと表示されます。どこに問題があるのか 知っている人はいますか？
編集1:あなたの助けを借りて、正確なインデックス名を取得することができましたが、まだ同じ問題があります:
GET _cat/indices を入力すると、次のようになります。
elasticsearch - Curator_cli V5.8 ロギングを無効にしますか?
curator_cli のロギングを無効にするのを手伝ってくれる人はいますか。たとえば、コマンド Command を試しました。
curator_cli --host localhost show_indices --filter_list '[{"filtertype":"age","source":"creation_date","direction":"younger","unit":"minutes","unit_count":60, "timestring":"%Y.%m.%d"}]'
出力: 2020-02-17 18:44:50,286 INFO クライアント オブジェクトをインスタンス化しています 2020-02-17 18:44:50,287 INFO クライアント接続をテストしています 2020-02-17 18:44:50,290 INFO 指定された設定で Elasticsearch クライアント オブジェクトを正常に作成しました-2020.02.17
したがって、出力としてlogstash-2020.02.17のみが必要です
elasticsearch - Elasticsearch から Google Cloud Storage への古いデータのアーカイブ
Google Compute InstanceにElasticsearchサーバーがインストールされています。膨大な量のデータが毎分取り込まれており、下線の付いたディスクはすぐにいっぱいになります。
ディスクのサイズを大きくできることは承知していますが、長期間のデータを保存するには多くの費用がかかります。
Google Cloud Storage バケットに保存するには、Elasticsearch サーバー (コンピューティング エンジン ディスク) に 90 日分のデータと、90 日より古い (7 年まで) データが必要です。後で分析する必要がある場合に備えて、古いデータを取得できる必要があります。
私が知っている 1 つの方法は、スナップショットを頻繁に作成し、 Curatorを使用して Elasticsearch サーバーから 90 日以上経過したインデックスを削除することです。このようにして、ディスクを解放し、ストレージ コストを最小限に抑えることができます。
上記のアイデアを手動で自動化せずにこれを行う方法は他にありますか?
たとえば、90 日以上前のデータをアーカイブし、データ ファイルをディスクに保持する、Elasticsearch によって提供される、そのまま使用できるものを使用すると、このファイルをディスクからGoogle Cloud Storageに手動で移動できます。
elasticsearch - curator-cli と curator アクション ファイルの違い
この投稿に見られる同様の問題で立ち往生していますが、解決策が見つかりません: https://github.com/elastic/curator/issues/1513
Elasticsearch クラスター (7.7.1) のスナップショットを作成するには、curator (5.8) を使用してすべてのインデックスのスナップショットを毎日作成します。今日、「。」で始まるインデックスだけがあることに気付きました。Curator によってスナップショットが作成されています。
curator-cli を使用すると、実際にすべてのインデックスがキュレーターによって表示され、スナップショットが作成されます。
アクションファイル内のすべてのフィルターを削除しようとしましたが、次のものに置き換えました。
何も機能していないようです。私のドライランは常に、ドットで始まるすべてのインデックスをリストすることになります。
これは私のアクションファイルです:
キュレーターのログ (結果の一部を匿名化しました)
DEBUG ログを見に行ったところ、インデックスのライフサイクルに問題があるようです。ここにいくつかの受け入れられた/拒否されたインデックスがあります:
誰もこれを経験しましたか？ILM ポリシーを持つインデックスとキュレーターが一致しないインデックスの間のリンクがわかりません。
すべてのインデックスを照合するのに役立つ正規表現の回避策が見つかりません。curator-cli で同じ「filtertype: none」を使用すると、すべて問題ありません。
どうもありがとう