問題タブ [logstash-grok]

すべての S3 バケット ログファイルを継続的に Logstash サーバーにプルするスクリプトを作成したので、このプル リクエストのパターンを使用して解析できます。残念ながら、スクリプトがログファイルに追加するのではなく、最初からログファイルを再作成することを考えると、Logstash のfile入力には新しい変更が見られません。何か案は？

以下のスクリプト:

何か助けはありますか？ありがとう！

システムに Elasticsearch、Logstash、Kibana ログ表示ツールをセットアップしました。現在、私の構成には 2 台のマシンがあります (Amazon EC2 インスタンス):

• 54.251.120.171 - ELK がインストールされている Logstash サーバー
• 54.249.59.224 - Logstash-forwarder - 「/var/logs/messages」ログを Logstash-server に送信します

logstash-server では、これは私の構成 (異なるファイル内) のように見えます:-

logstash-forwarder では、これが私の構成ファイルのようです。/var/log/messages、/var/log/secure ログを logstash-server に転送します

これは、Elasticsearch からインデックス付きログを取得した後の Kibana インターフェースの外観です。

私の質問は、ログ イベントが発生した場合に備えて、logstash-forwarder の IP アドレス、つまり 54.249.59.224 を取得する方法が必要です。

私がこれを尋ねている理由は、実際のシナリオです。多くのログスタッシュ フォワーダー (たとえば 10) があり、その 10 個すべてがログをログスタッシュ サーバーに送信している可能性があります。そのため、どの logstash-server がどのログ イベントを送信したかを識別できるように、何らかの方法ですべてのログ イベントにタグを付ける必要があります。

Kibana インターフェイスでログ イベントを検索するには、IP アドレス (おそらく他の情報も) を使用する必要があります。

誰かがこれを行うのを手伝ってもらえますか? :)

または、誰かがこれを別の方法で効果的に行う方法についてより良いアイデアを持っている場合は、大歓迎です!

この logstash 1.repositories#create 2.\"repo\":\"username/reponame\" からの出力からいくつかのフィールドのみを grep しようとしています。この出力から特定の情報を grep し、これを別の変数に割り当てるというアイデアを共有してください

"message" => "<190>Nov 01 20:35:15 10-254-128-66 github_audit: {\"actor_ip\":\"192.168.1.1\",\"from\":\"repositories# create\",\"actor\":\"myuserid\",\"repo\":\"username/reponame\",\"action\":\"staff.repo_route\",\"created_at\": 1516286634991,\"repo_id\":44743,\"actor_id\":1033,\"data\":{\"actor_location\":{\"location\":{\"lat\":null,\"lon \"：ヌル}}}}"、

この syslog.conf ファイルを使用して出力を取得しています。

返信にコメントを追加できませんでした。返信ありがとうございます。

username: と repo: をこの出力からのみ取得するためのアイデアを共有してください。この特定の出力から値を割り当てようとしています。ありがとうございます

メッセージ: "github_audit: {"actor_ip":"192.168.1.1","from":"repositories#create","actor":"username","re​​po":"username/logstashrepo","user":"username ","created_at":1416299104782,"action":"repo.create","user_id":1033,"repo_id":44744,"actor_id":1033,"data":{"actor_location":{"location": {"lat":null,"lon":null}}}}"、@バージョン: "1"、@タイムスタンプ: "2014-11-18T08:25:05.427Z"、ホスト: "15-274-145- 63"、タイプ: "syslog"、syslog5424_pri: "190"、タイムスタンプ: "11 月 18 日 00:25:05"、actor_ip: "10.239.37.185"、from: "repositories#create"、actor: "username"、repo : "ユーザー名/logstashrepo"、ユーザー: "ユーザー名"、created_at: 1416299104782、アクション: "repo.create"、user_id: 1033、repo_id: 44744、actor_id: 1033、

logstash ではこの出力を取得していますが、この出力からのみ repo: "username/logstashrepo" を取得しようとしています。その値のみをgrepして変数に代入する方法について、あなたの考えを共有してください。

私は自分の設定ファイルでこれを使用しています：

実際にここに質問を投稿しましたが、何らかの理由で編集してフォローアップできません。

logstash 出力から特定のフィールドを grep する方法

My log file has a single line (taken from the tutorial log file):

My conf file looks something like this:

I tested my grok filter with the grok debugger and it worked. I'm at a loss of what I am doing wrong. I get a [0] "_grokparsefailure" every time

json 経由で Wi​​ndows DNS デバッグ ログを Elasticsearch に送信しており、それらを解析する必要があります。Microsoft と同様に、簡単なことは何もありません。DNS デバッグ ログは CSV ではありません。そのファイルの唯一の有用な点は、列の長さが固定されていることです。

DNS ログのサンプルを次に示します。 11/21/2014 5:59:13 PM 0458 PACKET 00000000039ED750 UDP Rcv 192.168.1.98 600c Q [0001 D NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039EF460 UDP Snd 192.168.1.1 e044 Q [0001 D NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039F85B0 UDP Rcv 192.168.1.1 e044 R Q [8081 DR NOERROR] A (9)grokdebug(9)herokuapp(3)com(0) 11/21/2014 5:59:13 PM 0458 PACKET 00000000039F85B0 UDP Snd 192.168.1.98 600c R Q [8081 DR NOERROR] A (9)grokdebug(9)herokuapp(3)com(0)

この Stackoverflow の回答を見ました: Logstash grok filter help - fixed position file で、列を解析するために grok フィルターを設定しようとしましたが、うまくいきません。構文の問題があることは理解していますが、正しい方向に導く良い例が見つからないようです。

これが私のgrokフィルターです： grok { match => [ "message", "(?<dns_date_n_time>.{21}) (?<dns_field_1>.{5}) (?dns_type>.{8}) (?<dns_field_2>.{19}) (?<dns_protocol>.{4}) (?<dns_direction>.{4}) (?<dns_ip>.{16}) (?<dns_field_3>.{4}) (?<dns_query_type>.{5}) (?<dns_field_5>.{7}) (?<dns_field_6>.{3}) (?<dns_flag>.{9}) (?<dns_field_7>.{2}) (?<dns_record>.{5}) (?<dns_domain>.{255})" ] }

誰でも助けることができますか？

$actor = "gituser" や $repo = "gituser/logstashreppo" のように "actor":"githubuser" を割り当てようとしています。変数に割り当てられた値を取得すると、ここにコピーされた exec 関数を使用してスクリプトを実行できます。あなたの考えを共有してください

全体の出力は

、

私の設定ファイルは次のとおりです。