wcf - filebeat を使用して、要素間に改行がない XML データを送信します

Question

ログ要素間に改行がない XML の一連のログ ファイル (WCF トレース ファイル) があります。代わりに、開始タグ/終了タグがあります。例：

<E2ETraceEvent><log data/></E2ETraceEvent><E2ETraceEvent><logdata/></E2ETraceEvent>

E2ETraceEvents を ES に個別に保存したいと思います。

このファイルは、実行中の WCF サービスによって追加されます。これを filebeat 経由で logstash に出荷することは可能ですか? ファイルビートはタグで一致できますか? または、filebeat には改行が必要ですか? 他のオプションはありますか？

Answer 1

フィルタリングまたは grok 機能の機能はありません。次のディスカッションを参照してください。

• https://github.com/elastic/beats/issues/679#issuecomment-227654380
• https://discuss.elastic.co/t/grok-pattern-with-multiline-management-in-filebeat/41903

この場合、いくつかのオプションがあります。

まず、複数のファイルビートを使用して、複数のサーバーから 1 つのログスタッシュにログを転送できます。この構造により、ログのフィルタリングと操作が可能になります。以下のリンクを確認してください：

• https://aggarwalarpit.wordpress.com/2015/12/10/configuring-logstash-with-filebeat/
• http://www.mattkimber.co.uk/shipping-logs-to-logstash-with-filebeat/
• https://github.com/hkulekci/elasticsearch-workshop

次に、_ingestElasticsearch v5.x の API を使用できます。Elasticsearch のドキュメントを確認してください。

• https://www.elastic.co/guide/en/beats/filebeat/master/configuring-ingest-node.html