3

Logstash と grok を使用して、SQL サーバーのエラー ログをフィルタリングしようとしています。Logstash 1.3.3 は、NSSM と JRE6 を使用して Windows サービスとして実行されています。私の設定ファイルは以下です

input {

    file {
        path => "c:\program files\microsoft sql server\mssql10_50.mssqlserver\mssql\log\errorlog"
        type => SQLServerLog
        start_position => "beginning"
        codec => plain {
            charset => "UTF-8"
            }
    }
}

filter {
        grok {
            type => "SQLServerLog"
            match => [ "message", "%{DATESTAMP:DateStamp} %{WORD:Process} %{GREEDYDATA:Message}" ]
            named_captures_only => true
            singles => true
            remove_tag => [ "_grokparsefailure" ]
            add_tag => [ "GrokFilterWorked" ]
        }
    }

output {

    stdout {
        codec => rubydebug
    }
    elasticsearch {
        embedded => true
    }

}

ログ ファイルの内容のサンプルを以下に示します。

2014-01-31 00:00:38.73 spid21s     This instance of SQL Server has been using a process ID of 14632 since 28/01/2014 13:09:24 (local) 28/01/2014 13:09:24 (UTC). This is an informational message only; no user action is required.

イベントは Kibana で表示されますが、折りたたむとメッセージは {"message":"\u00002\u00000\u00001\u00004... のように表示されます。

テーブル ビューを展開すると、代わりにイベント メッセージがテキストとして表示されます。閲覧時のイベントの生データは以下の通り。

{
  "_index": "logstash-2014.01.31",
  "_type": "SQLServerLog",
  "_id": "NpvKSf4eTFSHkBdoG3zw6g",
  "_score": null,
  "_source": {
    "message": "\u00002\u00000\u00001\u00004\u0000-\u00000\u00001\u0000-\u00003\u00000\u0000 \u00000\u00000\u0000:\u00000\u00000\u0000:\u00002\u00001\u0000.\u00006\u00004\u0000 \u0000s\u0000p\u0000i\u0000d\u00002\u00004\u0000s\u0000 \u0000 \u0000 \u0000 \u0000 \u0000T\u0000h\u0000i\u0000s\u0000 \u0000i\u0000n\u0000s\u0000t\u0000a\u0000n\u0000c\u0000e\u0000 \u0000o\u0000f\u0000 \u0000S\u0000Q\u0000L\u0000 \u0000S\u0000e\u0000r\u0000v\u0000e\u0000r\u0000 \u0000h\u0000a\u0000s\u0000 \u0000b\u0000e\u0000e\u0000n\u0000 \u0000u\u0000s\u0000i\u0000n\u0000g\u0000 \u0000a\u0000 \u0000p\u0000r\u0000o\u0000c\u0000e\u0000s\u0000s\u0000 \u0000I\u0000D\u0000 \u0000o\u0000f\u0000 \u00001\u00004\u00006\u00003\u00002\u0000 \u0000s\u0000i\u0000n\u0000c\u0000e\u0000 \u00002\u00008\u0000/\u00000\u00001\u0000/\u00002\u00000\u00001\u00004\u0000 \u00001\u00003\u0000:\u00000\u00009\u0000:\u00002\u00004\u0000 \u0000(\u0000l\u0000o\u0000c\u0000a\u0000l\u0000)\u0000 \u00002\u00008\u0000/\u00000\u00001\u0000/\u00002\u00000\u00001\u00004\u0000 \u00001\u00003\u0000:\u00000\u00009\u0000:\u00002\u00004\u0000 \u0000(\u0000U\u0000T\u0000C\u0000)\u0000.\u0000 \u0000T\u0000h\u0000i\u0000s\u0000 \u0000i\u0000s\u0000 \u0000a\u0000n\u0000 \u0000i\u0000n\u0000f\u0000o\u0000r\u0000m\u0000a\u0000t\u0000i\u0000o\u0000n\u0000a\u0000l\u0000 \u0000m\u0000e\u0000s\u0000s\u0000a\u0000g\u0000e\u0000 \u0000o\u0000n\u0000l\u0000y\u0000;\u0000 \u0000n\u0000o\u0000 \u0000u\u0000s\u0000e\u0000r\u0000 \u0000a\u0000c\u0000t\u0000i\u0000o\u0000n\u0000 \u0000i\u0000s\u0000 \u0000r\u0000e\u0000q\u0000u\u0000i\u0000r\u0000e\u0000d\u0000.\u0000\r\u0000",
    "@version": "1",
    "@timestamp": "2014-01-31T08:55:03.373Z",
    "type": "SQLServerLog",
    "host": "MyMachineName",
    "path": "C:\\Program Files\\Microsoft SQL Server\\MSSQL10_50.MSSQLSERVER\\MSSQL\\Log\\ERRORLOG"
  },
  "sort": [
    1391158503373,
    1391158503373
  ]
}

メッセージのエンコーディングが Grok によるメッセージの適切なフィルタリングを妨げているかどうかはわかりません。

Grok を使用してこれらのイベントをフィルタリングできるようにしたいのですが、どうすればよいかわかりません。

詳細情報:

ログ ファイルのコピーを UTF-8 として作成したところ、フィルターは正常に機能しました。したがって、それは間違いなく文字セットの問題です。ログファイルの正しい文字セットが何であるかを判断する必要があると思いますが、それは機能するはずです。

4

1 に答える 1

1

そのため、SQL Server ログ ファイルの読み取りで同じ問題が発生しました。

次に、SQL Server が、logstash が入力としてサポートする Windows イベント ログに同じエントリを記録することに気付きました。

SQL Server は、システムで「MSSQLSERVER」ソースのエントリをログに記録します。logstash-contribパッケージが必要になります。単純に、Windows ボックス (logstash を実行してデータを収集する場所) のベース logstash ファイルの内容を抽出します。

この質問に関係のない他のことを行うLinuxボックス上の別のlogstashインスタンスにエントリを単純に送信するようにlogstashエージェントを構成しました;）

例 logstash.conf:

input {
  eventlog {
   type => "Win32-EventLog"
   logfile => ["Application", "Security", "System"]
  }
}

filter {
   if "MSSQLSERVER" in [SourceName] {
     # Track logon failures
     grok {
       match => ["Message", "Login failed for user '%{DATA:username}'\..+CLIENT: %{IP:client_ip}"]
     }
     dns {
       action => "append"
       resolve => "client_ip"
     }
   }
}

output {
  stdout { codec => rubydebug }

  tcp {
    host => "another-logstash-instance.local"   
    port => "5115"
    codec => "json_lines"
  }  
}

お役に立てれば。

于 2015-02-19T17:16:53.637 に答える