問題タブ [logstash-grok]

grok match コマンドによって抽出されたフィールドの算術式を想定した grok フィルターに新しいフィールドを追加しようとしています。

残念ながら、その正しい構文を理解できませんでした...誰か？

48を返すはずの場所を見つけまし{(8*6)}たが、定数ではなく変数はどうですか?

結果は得られましたが、EVAL明らかに正しく動作していません:

どうもありがとう、ゆり

grok パターンの構文は %{SYNTAX:SEMANTIC} です。使用可能なすべての SYNTAX キーワードのリストを生成するにはどうすればよいですか? grok デバッガーを使用して、テキストからパターンを検出できることを知っています。しかし、スキャンできるリストはありますか?

私はlogstashを初めて使用します。AWS S3 に保存されているログがいくつかあり、それらを logstash にインポートできます。私の質問は、ファイル名に基づいてタグを追加するために grok フィルターを使用することは可能ですか? 私は使用しようとします：

これは機能していません。その理由は、ファイル入力でのみ機能する「パス」だと思います。

これが私の S3 バケットの構造です。

私はこの入力confを使用しています:

私が欲しいのは、次のログメッセージについてです：

• "A/2014-07-02/a.log": タグ ["A","a"] が付きます。

• "A/2014-07-02/b.log": タグ ["A","b"] が付きます。

• "B/2014-07-02/a.log": タグ ["B","a"] が付きます。

• "B/2014-07-02/b.log": タグ ["B","b"] が付きます。

私の英語でごめんなさい....

バケット パスに基づいてフィールド/タグを追加することは可能ですか? grok を使用しようとしましたが、うまくいきませんでした。

Postfix ログを解析するために Logstash を使用しています。私は主に、後置ログからバウンスされた電子メール ログを取得し、データベースに保存することに重点を置いています。

ログを取得するには、まずメッセージ ID に対応する postfix によって生成された ID を見つける必要があります。その ID を使用して、メールのステータスを見つける必要があります。次の構成では、ログを取得できます。

パターンに一致するログを保存するために、次の if 条件を使用しています。

ご覧のとおり、1 つのログ ファイルから対応する 2 つの異なるログを見つけるために 2 つのパターンを使用しています。

ここで、タグに基づいて両方のパターンを区別したいと思います。そのため、次のように構成を変更しました。

現在は、%{POSTFIXCLEANUP} パターン ログのみが保存されます。順序を逆にすると、%{POSTFIXBOUNCE} パターンのみが保存されます。

したがって、そのif条件を削除した後、最初のフィルターから解析されているメッセージには「_grokparsefailure」タグと最初のフィルタータグがあり、そのためそのレコードを保存していないことがわかりました。

これを修正するために何をする必要があるか誰か教えてもらえますか? 私は間違いを犯していますか？

grok の解析に問題があります。ElasticSearch/Kibana では、一致する行に _grokparsefailure というタグが付いています。

これが私のlogstash構成です：

一致させようとしている行/パターン: L 2014 年 8 月 2 日 - 22:55:49: ログ ファイルが閉じられました:「完了」

http://grokdebug.herokuapp.com/でデバッガーを試してみましたが、正常に動作し、パターンが正しく一致しました。

解析したい行には二重引用符が含まれている可能性があり、grok がそれらを処理およびエスケープする方法に問題がある可能性があることを読みました。そのため、問題を回避するために " を ' に置き換えて変異させようとしましたが、うまくいきませんでした。

何か案は ？これをデバッグするにはどうすればよいですか?

ありがとう

次の形式の JSON があります。

logstash を使用してこの JSON を解析しようとしています。基本的に、logstash の出力を、kibana を使用して分析できるキーと値のペアのリストにしたいと考えています。これは箱から出してできると思いました。多くの読書から、私は grok プラグインを使用する必要があることを理解しています (json プラグインの目的はまだわかりません)。しかし、すべてのフィールドでイベントを取得できません。複数のイベントを取得します (JSON の各属性に対しても 1 つ)。そのようです：

multiline コーデックまたは json_lines コーデックを使用する必要がありますか? もしそうなら、どうすればそれを行うことができますか? 独自の grok パターンを作成する必要がありますか、それとも、上記の 1 つのイベントに対して取得した key:value ペアを持つ ONE EVENT を提供する JSON 用の一般的なものがありますか? これを明らかにするドキュメントは見つかりませんでした。どんな助けでも大歓迎です。私のconfファイルを以下に示します：

基本的に、私は LogStash が独自のログを消費し、Kibanaで使用するため@timestampにlevel、 などのフィールドにデータを入力したいと考えています。

私の現在の設定は次のようになります。

これは、Grok フィルターの作成に戻らない限り、難しいようです。LogStash が独自のログを消費できないのは本当ですか? （Googleが難しく、何も見つかりませんでした。）

それとも、そもそもこれは間違ったアプローチですか？

LogStash からのログ出力の例: