問題タブ [filebeat]

Elasticsearch-logstash-filebeat-kibana を使用して、集中ログ用にシステムを正常にセットアップしました。

Kibana で filebeat テンプレート インデックスを使用してログを表示できません。ログ ファイルを適切に解析するために、logstash フィルタを作成しようとすると、問題が発生します。

私は grok パターンを使用しているので、最初にこのパターンを作成しました (/opt/logstash/patterns/grok-patterns):

そして、これはログスタッシュ フィルターです (/etc/logstash/conf.d/11-log-filter.conf):

コマンドラインからテストすると、パーサーは正常に動作しているようです。

ただし...ログはKibanaに表示されず、「_grokparsefailure」タグも表示されないため、パーサーが機能していることを推測しますが、ログを見つけることができます。

私は何を間違っていますか？私は何かを忘れていますか？

前もって感謝します。

編集

入力 (02-beats-input.conf):

出力 (30-elasticsearch-output.conf):

グローバルファイルビート構成ディレクトリではなく、プロジェクトディレクトリに次のymlファイルがあります。

実行filebeat -configtestしても出力は生成されません。実行filebeatしても出力は生成されません。

コマンドがそれを行う必要があると仮定して、実行中のfilebeatデーモンがこのディレクトリから構成を動的に取得することを望みますfilebeat。これはグローバル構成ファイルで設定できることは知っていますが、動的に実行したいと思います。

私は何を間違っていますか、またはここで暗示されているどの仮定が間違っていますか?

次のようなパスがあるとします。

これを変更して、/var/log/*/ の下のフォルダー名に基づいてドキュメントの種類に名前を付け、* にあるものを自動的に指定するにはどうすればよいでしょうか?

例：

/var/log/app/* -- アプリのログを生成します

/var/log/alpha/* -- アルファ ログを生成します

/var/log//beta/* -- ベータ ログを生成します

/var/log/delta/* -- デルタ ログを生成します。

これをbeatsで行うことは可能ですか、またはgrokまたはrubyフィルターを使用してlogstash側でこれを処理する必要がありますか?

以下の ELK セットアップがあります Kibana
<-- ElasticSearch <-- Logstash <-- FileBeat (さまざまなログ ソースからログを取得)
私がインターネットで読んだ限りでは、このセットアップで redis を使用して、ES がメッセージを消費するための呼吸スペースを作ることを推奨しています。
したがって、このKibana <-- ElasticSearch <-- Logstash <-- REDIS <-- FileBeat (さまざまなログ ソースからログをフェッチする)のようなものをセットアップしたいと
考えています。ボトルネックになります。しかし、ここで redis dump.rdb は成長し続け、logstash によってメッセージが消費されると、縮小されません (スペースを解放しません)。以下は私のredis.confです

編集: FileBeat 構成:

Logstash 構成:

さらに情報が必要な場合はお知らせください。ティア!!!

Elastic Filebeat の公式 Docker イメージはありますか?

公式のものがあるかどうかはわかりませんが、コミュニティによって提供されたものがあるようです。