問題タブ [logstash-grok]

Logstash と複数行の連携に問題がある

すべての stdout ログ エントリを syslog として logstash に転送するLogspoutコンテナを使用しています。

これは、logstash が受け取る最終的なコンテンツです。以下は、2 つのイベントを表す複数の行です。

すべてのログ行は syslog head で始まります。

上記のログの内容に基づいて、logstash 構成ファイルを作成しました。

上記のイベントが到着すると、最初のイベントが正しく解析されて表示されます。

2 番目のイベントには、3 つの問題を含む次のメッセージが含まれています。

1. メッセージ テキストには、ここに属さないdev_nginx_1エントリの行が含まれています。これは別のイベントとして扱う必要があります。

2. 各行にはプレフィックスが含まれています。<14>2015-02-10T12:59:09Z logspout dev_zservice_1[1]:

3. 各行には追加の新しい行があります

質問。dev_nginx_1エントリ自体がイベントではないのはなぜですか。前のものに属すると見なされるのはなぜですか？メッセージの各行の syslog プレフィックスを取り除くにはどうすればよいですか。追加の新しい行を削除するにはどうすればよいですか?

そのため、機能しているログのパターンをいくつか書きました。問題は、これらの複数のログを複数のパターンで 1 つのファイルにまとめたということです。logstash は、ログのどの行にどのようなパターンを使用する必要があるかをどのように認識しますか? (私はフィルタリングに grok を使用しています) もし皆さんがとても親切でしたら、ドキュメントへのリンクを教えていただけませんか?

Logstash を使用した単一ノードの Elastic Search では、Medium、Large、Xlarge などのさまざまなタイプの AWS インスタンスで Elastic Search への 20 MB および 200 MB のファイル解析をテストしました。

環境の詳細: 中規模のインスタンス 3.75 RAM 1 コア ストレージ:4 GB SSD 64 ビット ネットワーク パフォーマンス:中程度 実行中のインスタンス: Logstash、エラスティック検索

シナリオ: 1

シナリオ 2

環境の詳細: R3 大容量 15.25 RAM 2 コア ストレージ: 32 GB SSD 64 ビット ネットワーク パフォーマンス: 中 実行するインスタンス: Logstash、エラスティック検索

シナリオ 3

環境の詳細 : R3 ハイメモリ エクストラ ラージ r3.xlarge 30.5 RAM 4 コア ストレージ : 32 GB SSD 64 ビット ネットワーク パフォーマンス : 中 実行するインスタンス : Logstash、Elastic search

知りたかった

1. パフォーマンスのベンチマークは何ですか?
2. パフォーマンスはベンチマークを満たしていますか、それともベンチマークを下回っていますか
3. なぜelasticsearch JVMを増やした後でも違いを見つけることができないのですか?
4. Logstash を監視してパフォーマンスを改善するにはどうすればよいですか?

私はlogstashとエラスティック検索に慣れていないので、これに関する助けに感謝します。

現在、Logstash を使用しています。grok を使用して WSO2 ESB ログ ステートメントを解析したいと考えています。さまざまなパターンを試しましたが、成功しませんでした。WSO2 ESb ログ ステートメントのカスタム パターンを作成するのを手伝ってくれる人はいますか。

サンプル ログ メッセージは次のとおりです。

この結果を得るために、基本的に2つのネストされたフィールド、syslog部分とメッセージ部分に解析したいdrupalウォッチドッグsyslogファイルがあります

次のようなカスタム パターンを作成してみました。

DRUPALSYSLOG (%{SYSLOGTIMESTAMP:date} %{SYSLOGHOST:logsource} %{WORD:program}: %{URL:domain}\|%{EPOCH:epoch}\|%{WORD:instigator}\|%{IP:ip}\|%{URL:referrer}\|%{URL:request}\|(?<user_id>\d+)\|\|)

そして実行しますmatch => ['message', '%{DRUPALSYSLOG:drupal}'}

しかし、ネストされた応答は得られません。テキストブロックを取得し、drupal: "ALL THE MATCHING FIELDS IN ONE STRING"すべての一致も個別に取得しますが、drupal の下ではなく、同じレベルでネストされます。

私は新しい Logstash ユーザーで、いくつかの grok ルールを書き始めて、自分の asa ログ ファイルを解析しています。適切にトリガーされるいくつかのルールがあり、grok デバッガーでテストしても、イベントを適切に解析することができず、常に適切にテストされます。このイベントには常に_grokparsefailureフラグがあります。

ここにイベントがあります：

<166>: 2 月 26 日 23:44:14 PST: %ASA-session-6-305012: 内部からのティアダウン動的 TCP 変換:192.168.1.45/53838 から外部:71.110.113.180/53838 期間 0:00:30

そして私のグロクパターン：

私のフィルターセットは以下の通りです：

ご指導ありがとうございます。