問題タブ [logstash-configuration]

ruby フィルター内の ruby​​ フィルターは => でエラーを発生させます。私はそれを機能させる方法について混乱しています。多くのjsonオブジェクトを含むログファイルからフィールドを削除することになっています。非常に長いキーを持つエントリを削除しています。

[url][queryString] について確実なのは、404 で始まることだけです。またはキーが長いこと。そのようなキーを削除する必要があります。以下のルビーコードを使用すると、リンクされたハッシュマップを文字列例外に変換できません。

私はlogstashを初めて使用し、logstash-output-csvプラグインを使用して既存のログをcsv形式に変換しようとしています。

入力ログ文字列は次のようになります。これは、アプリケーションで作成されたカスタム ログです。

簡単な正規表現を作成し、grok プラグインを使用してそれを patterns_dir に追加しました。私のパターンは次のとおりです。

csv フィルターを追加しなくても、この出力を取得できました。

これは、出力として csv を取得するための私の構成です

上記の構成では、出力が得られないようです。csv ファイルに ipaddress のみを出力しようとしていますが、最終的には、取得したすべてのパターンを csv ファイルに出力する必要があります。だから私は次のように出力が必要です：

128.111.111.111、cpu0、nsfw、....

必要な変更点を教えてください。?

前もって感謝します

編集：

ツールhttp://grokconstructor.appspot.com/do/match#resultを使用して、提案どおりに正規表現を修正しました

今、私の正規表現フィルターは次のようになります:

個々の分割をキャプチャして csv として保存するにはどうすればよいですか?

ありがとう

編集：

File plugin を使用して最終的にこれを解決しました。出力 {

file{ path => "./logs/sample.log" message_pattern =>"%{client},%{number}" } }

Ruby でコードを記述できるようにする Logstash 用の Ruby フィルターがどのように存在するかご存知ですか。通常、次のように構成ファイルに含まれています。

これで、フィルターに含めたい 2 つの Jar ファイルができました。これにより、これらの Jar ファイルで行った操作に従って入力を処理できるようになります。ただし、ルビ コードに Jar ファイルを含めることは (明らかに) できません。私は解決策を探していました。

mongo Db次のような構成ファイルを使用してデータをプッシュできませんlogstash :-

構成ファイルの実行に使用されるコマンドはlogstash -f ./conf/demo.conf

エラー ：-

すぐに回避策が得られることを願っています。ありがとう

次のような値を解析するためにlogstashを使用しています。

|SERVLETSESSIONS=|

それをキャプチャする私のビットは次のとおりです。

\|SERVLETSESSIONS=(?<servlet_sessions>[0-9]*)\|

エラーは発生せず、他のすべてのフィールドは一致しますが、"servlet_sessions" => ""私のように空の値を取得する必要があると思いますが、そこにキーがありstdout { codec => rubydebug } }ません。servlet_sessions

何か案は？

Rails アプリケーションと、 development 、 staging 、 production などのさまざまな環境、 RAILS_ENV がその値を設定しています。環境のフィルタリングのためにlogstashにそのフィールドを追加したいので、logstash configまたはlogstash forwarderでその変数をどこにどのように設定するのかという私の質問

私の仕事は、cron が /var/log/cron.log にエラーを書き込んだ場合に電子メール通知を送信することです。

私のlogstash-forwarder.conf:

logstash-input.conf:

logstash-filter.log:

logstash-output.conf:

これで、すべてのイベントがメールで送られてきます。cron.log からエラー イベントのみを取得するにはどうすればよいですか? add_tag セクションでフィルタリングされていますか?

将来の日付のインデックスへの書き込みを含む、この奇妙でハックな回避策があります。

これを行うためにlogstashをセットアップしようとしていますが、それが可能かどうかさえわかりません。

これを変更して、7日後のインデックスにも同時に書き込む方法はありますか?