問題タブ [logstash-grok]

以下の 2 行を貼り付けたログ ファイルがあります。

11 月 26 日 14:20:32 172.16.0.1 date=2014-11-26 time=14:18:37 devname=XXXXCCCFFFFF devid=XXXCCVVGFFDD logid=3454363464 type=traffic subtype=forward level=notice vd=root srcip=172.16.1.251 srcport=62032 srcintf="Combo_LAN" dstip=XXXX dstport=X dstintf="wan2" sessionid=16172588 status=close user="XX" group="Open Group" policyid=2 dstcountry="米国" srccountry="予約済み" trandisp=snat transip=XXXX transport=X service=HTTP proto=6 applist="Block_Applications" duration=11 sentbyte=2377 rcvdbyte=784 sentpkt=6 rcvdpkt=7 identidx=5 utmaction=パススルー utmevent=webfilter utmsubtype=ftgd-cat urlcnt =1 hostname="tacoda.at.atwola.com" catdesc="広告"

11 月 26 日 14:20:32 172.16.0.1 date=2014-11-26 time=14:18:37 devname=XXXXCCCFFFFF devid=XXXCCVVGFFDD logid=3454363464 type=utm サブタイプ=webfilter eventtype=ftgd_allow level=notice vd="root" policyid=2 identidx=5 sessionid=15536​​743 user="XX" srcip=XXXX srcport=X srcintf="Combo_LAN" dstip=XXXX dstport=80 dstintf="wan2" service="http" hostname="streaming.sbismart.com" profiletype="Webfilter_Profile" profile="Open Group_Policy" status="passthrough" reqtype="direct" url="/diffusion/" sentbyte=984 rcvdbyte=202 msg="URL はポリシーで許可されたカテゴリに属しています" method=domain class =0 cat=18 catdesc="仲介と取引"

私の質問は、列数と順序が固定されている場合、データを解析できることです。

しかし、構成ファイルの動的列を解析して、取得しないようにするにはどうすればよい_grokparsefailureですか?

S3 バケットに AWS ElasticBeanstalk インスタンス ログがあります。

ログへのパスは次のとおりです。

これは次のように変換されます:

resources/environments/logs/publish/e- [ランダムな環境 ID] /i- [ランダムなインスタンス ID] /

パスには複数のログが含まれています。

「.gz」の前のファイル名に AWS によって挿入された乱数 (タイムスタンプ?) があることに注意してください。

問題は、ログ ファイル名に応じて変数を設定する必要があることです。

これが私の構成です：

この場合、パスから環境、インスタンス、およびファイル名を抽出したいと考えています。ファイル名では、その乱数を無視する必要があります。私はこれを正しい方法でやっていますか？これに対する完全で正しい解決策は何ですか？

別の質問は、上記の特定のログ ファイルのカスタム ログ形式のフィールドを指定するにはどうすればよいですか?

これは次のようになります: (メタコード)

ファイル名のパターンをテストするにはどうすればよいですか?

次のようなログエントリがあります:-

grok を使用して解析するには、logstash で次のパターンを使用しました:-

上記のコードは機能せず、次のメッセージが表示されます:-

これは予期されていません。次のような単一のメッセージが必要です:-

つまり、タイムスタンプのみが区切り文字として機能することを確認する方法はありますか?

私のシステムでは、データの挿入は常に、logstash を介して csv ファイルを介して行われます。マッピングを事前に定義することはありません。しかし、文字列を入力するたびに、常に と見なされanalyzed、その結果、次のようなエントリは, ,にhello I am Sinha分割されます。とにかく、elasticsearchのデフォルト/動的マッピングを変更して、インデックスに関係なく、タイプに関係なくすべての文字列が取得されるようにすることはできますか? または、ファイルに設定する方法はありますか？私のファイルが次のように見えるとしましょうhelloIamSinhanot analyzed.confconf

すべての文字列が必要でnot analyzedあり、将来のすべてのデータがelasticsearchに挿入されるデフォルト設定であってもかまいません

logstash を使用して、csv ファイルから Elasticsearch にデータをフィードしようとしています。これらの csv ファイルには、最初の行が列名として含まれています。ファイルの解析中にその行をスキップする特定の方法はありますか? 例外の場合に次の行にスキップするように使用できる条件/フィルターはありますか??

私の設定ファイルは次のようになります：

私のcsvファイルの最初の数行は次のようになります

とにかく最初の行をスキップできますか？また、csv ファイルが改行で終わり、何も入っていない場合も、エラーが発生します。これらの新しい行がファイルの最後にある場合、または 2 つの行の間に空の行がある場合、それらの新しい行をスキップするにはどうすればよいですか?

Basicfloat フィールドです。上記のインデックスはelasticsearchにはありません。で構成ファイルを実行するとlogstash -f、例外は発生しません。それでも、elasticsearch に反映されて入力されたデータは、Basicasのマッピングを示していstringます。これを修正するにはどうすればよいですか？そして、複数のフィールドに対してこれを行うにはどうすればよいですか?

以下のログをエラスティック検索でキャプチャし、kibana gui を介して表示します。ここで、ログを日時スタンプ、ログ レベル、オブジェクト名、説明などに分解して、ダッシュボードに表示する必要があります。

{"message":" Mon Dec 15 2014 05:55:11 [test][crypto][info] mpgw(Test): tid(135196353)[request][10.259.268.129]: certificate validation succeeded for '/C=US/O=Company/OU=Web Servers/CN=abcqa-client.company.com' against 'CompanyCA_ValCred' \r","@version":"1","@timestamp":"2014-12-15T10:55:19.168Z","host":"testserver","path":"/opt/store/device_logging/QA1_filter2.log.20141215055512"}

logstash conf ファイルを更新する前に、grok デバッガー ( https://grokdebug.herokuapp.com/ ) を使用してテストしています。[]、:、および () に問題があります。これらがなければ、以下のような出力を得ることができました。

入力: Mon Dec 15 2014 05:55:11 test crypto INFO mpgwTest tid135196353 リクエスト 10.255.215.129 証明書の検証に成功しました'/C=US/O=Company/OU=Web Servers/CN=abcqa-client.ompany.com' against 'CompanyCA_ValCred'

パターン: %{WORD:day} %{MONTH:month} %{MONTHDAY:monthday} %{YEAR:year} %{TIME:time} (?:%{WORD:DOMAIN}) (?:%{WORD:Objecttype}) (?:%{LOGLEVEL:level}) (?:%{WORD:DPObject}) (?:%{WORD:tid}) (?:%{WORD:flowtype}) (?:%{IP:ClientIP}) (?:%{GREEDYDATA:Description})
正常に出力されています。

どうすれば省略でき[],:,().ますか?

logstash を使用したログファイルの解析に多くの時間がかかります。logstash のパフォーマンスを向上させるにはどうすればよいですか。25 MB の場合、正確に 30 分かかるシナリオを次に示します。 15 GB RAM を備えた AWS ラージ インスタンスの詳細。ご回答ありがとうございます。