問題タブ [logstash-grok]

udp - syslog 用にセットアップされた logstash サーバーにデータを送信している 2 つの異なるシステムに対して、2 つの別個のインデックスを作成したいと考えています。Elasticsearch で、CiscoASA01 というインデックスと、CiscoASA02 という別のインデックスを作成しました。最初のデバイスからのすべてのイベントをフィルタリングして CiscoASA01 インデックスに移動し、2 番目のデバイスからのイベントを 2 番目のインデックスに移動するように Logstash を構成するにはどうすればよいですか? ありがとうございました。

logstash の request_uri フィールドから部分文字列を抽出しようとしています。Grok は、apace access-log 行をいくつかのフィールドに分割します (既に機能しています)。そのため、独自のフィールドで request_uri を取得します。ここで、URI のルート コンテキストを取得します。

しかし、en、ApplicationName、fr を独自のフィールド (他のフィールドに追加) に格納する方法がわかりません。このようなものがうまくいくのではないかと考えています。

ヒントを教えてください。

次の正規表現を使用しようとしました: (a)?b(?(1)c|d)。http://www.regular-expressions.info/conditional.htmlの例です。

しかし、私はエラーが発生しました。

この形式のphpログがあります

これは、logstash で処理した後、Graylog2 に送信しようとしています。こちらの投稿を使用して、開始できました。ここで、いくつかの追加フィールドを取得して、最終バージョンが次のようになるようにします。

個々の行の式があります。少なくとも、これらはgrokdebuggerを使用して解析できるはずです。このようなもの：

しかし、どういうわけか、ログファイル全体で機能させるのは非常に難しいと感じています。

何か提案はありますか？また、ログ ファイルに他の種類のエラー メッセージが記録されるかどうかもわかりません。しかし、その意図は、すべてに同じフォーマットを取得することです。上記の形式を取得するためにこれらのログに取り組む方法について何か提案はありますか?

私のシステムには、logstash、kibana、elasticsearch がインストールされており、次のフィルター構成になっています。

次のようにkibanaで出力を受け取ります。

@timestamp @version _id _index _type _file ログ レベル ホスト名 ホスト IP プロセス名 応答時間

タイムスタンプを追加しようとしましたが、動的結果の代わりに同じ文字列を出力しました

Grok デバッガー ( https://grokdebug.herokuapp.com/ )で一致するように見えるパターンを logstash に認識させるのに問題があります。

これは、この他の StackOverflow の質問 ( logstash _grokparsefailure issues ) で見つかった問題と同様の問題ですが、残念ながら解決策は機能していないようです。

これらは私が一致させようとしているログです:

これらを解析するために使用しているパターンは、それぞれ次のとおりです。

}

確認できるように、パターンはデバッガーで正常に動作しますが、何らかの理由で私のキバナ ダッシュボードには _grokparsefailure タグが表示されます。文字をエスケープするか、の使用に関係していると思われます{QS}/{QOUTEDSTRING}。

ありがとう