問題タブ [logstash-configuration]

拡張された Apache ログ フィルター定義用に logstash フィルターを構成しようとしています。これは基本的に、いくつかの追加フィールドを含む「結合された」LogFormat です。Apache ログ形式の定義は次のとおりです。

ログ ファイルの内容の例を次に示します。

ファイルを送信するように logstash-forward を構成しました。

/etc/logstash/conf.d次の名前の のファイルに grok パターンを使用して、logstash サーバーを構成しました13-apache-extended.conf。

https://grokdebug.herokuapp.com/でテストしたところ、問題ないようでした:

ログのサンプル:

パターン：

しかし、メインサーバーでlogstashを再起動すると、エラーが発生しました:

どんなアイデアでも大歓迎です。

ありがとう。

log4net と RemoteSyslogAppender を使用して、logstash/elasticsearch にログを送信しています。アペンダーは、メッセージの前に「<14>」を自動的に追加するため、スタック トレースをグループ化できません。

この番号は、log4net が送信するすべてのメッセージで ID 値の前に来ます。メッセージの「アイデンティティ」を削除した空の値を持つ「アイデンティティ」タグを追加しようとしましたが、<14> はまだそこにありました。

これが私の現在のアペンダー構成です

この構成では、「identity」値の直前にまだ <14> を取得しています (somemessage)

logstash の構成はここでは関係ありませんが、役立つ場合は後で含めることができます。今のところ {%GREEDYDATA} を使用しています。それらをグループ化する方法を見つけたら、これを適切に解析することに取り組みます。

ありがとう

document_idを使用して重複を削除するいくつかのlogstash入力があります。ただし、ほとんどの入力にはdocument_id. 以下は実際のdocument_idスルーを調べますが、それが存在しない場合は、文字通りとして受け入れられ%{document_id}ます。つまり、ほとんどのドキュメントは互いに重複していると見なされます。出力ブロックは次のようになります。

出力で条件を使用できるかもしれないと思いました。失敗し、コードの下にエラーが表示されます。

いくつかの「if」ステートメントを試しましたが、すべて失敗しました。そのため、問題はそのブロックに何らかの条件があると思います。私が試した代替手段は次のとおりです。

logstash を介して特定のログ形式を解析しようとしていますが、実際にはいくつかのポインターを求めています.logstash でファイルを読み取り、出力を ElasticSearch に送信していますが、ログを追加のフィールドに分割する必要があるため、実際にデータで何かを行うことができます..

私のログは次の形式です。タグ間の値をキャプチャしようとしています

このファイルの解析にどのように取り組むべきかについてのアイデア...

ありがとう

「mutate」と「gsub」を発見しましたが、何らかの理由で次のエラーが発生します..これは私のフィルターです..

フィルター { if [タイプ] == "xcp-stats" {

--configtest パラメーターを解析するときに、毎回次のエラーが発生します。

エラー: フィルター { の後の 31 行目、15 列目 (バイト 830) に #、{、、、] のいずれかが必要です

何か案は

logstash を介して ES に送信する JSON ファイルがあります。値が NULL の場合のみ、JSON の 1 つのフィールド (深いフィールドです) を削除したいと思います。

JSON の一部は次のとおりです。

logstash.confファイルの一部は次のとおりです。

もちろんフィルターの内側です。

値が null の場合、このフィールドを削除するにはどうすればよいですか?

ローカル フォルダーにいくつかの gem ファイルがあります。これを Logstash 1.5.0 にインストールするにはどうすればよいですか。すでに logstash 1.4.2 にインストールしていますが、1.5.0 にインストールする方法がわかりません。新しいバージョンの logstash 1.5.0 では、使用可能な gem を確認するための入力、出力、フィルター フォルダーが見つかりませんでした。

誰かがこれを整理するのを手伝ってくれれば、私にとって大きな助けになるでしょう。

メッセージに json フィルターを使用すると、魔法のように消えます。elasticsearch には到達しません。フィルターを削除すると、すべて正常に動作します。

サンプル_source-

ノードアプリを使用しnode-lumberjack-protocolてメッセージを送信します。

これは私のフィルターがどのように見えるかです

私は何を間違っていますか？

編集

フィルターにatargetを指定するjsonと、メッセージが解析されてターゲット フィールドに追加されます。しかし、私はそれが何であるかを知りません。JSON のフィールドをイベントのルートに追加したい。json フィルターのドキュメントを読んで、を省略した場合に発生すると考えましたがtarget、残念ながらそうではないようです。

解析されたデータを配置するためのターゲット フィールドを定義します。この設定を省略した場合、JSON データはイベントのルート (最上位) に格納されます。

新しく作成されたログのみを、logstash-forwarder から logstash サーバーに転送したいです 。logstash - forwarder.confファイルがあります。

この構成ファイルに追加する「start_position => end」のようなオプションがあるかどうかを知りたかったのです。また、logstash-forwarder の実行中に -tail=true を使用してみました。スナップショットを取得しますが、収穫はイベントを登録していないようです。-tail コマンド ライン オプションがない場合、または -tail=false が指定されている場合にのみイベントを登録します。これにより、すべてのログが最初から転送されます。