ログ集計・分析用に ELS と Kibana を導入しています。それを使用する最初のシステムはグリーンフィールドであるため、システムを構成するサービスから構造化ログを出力します。ログに構造を追加する必要がないことを考えると、FileBeat を使用してログを ELS に直接送信し、LogStash を使用しないことを計画していました。これは賢明なオプションですか、それとも LogStash には必要な解析以上の価値がありますか? LogStash を使用する場合、それを使用してログ ファイルを収集できますか、それとも FileBeat を使用してログを LogStash に送り込む必要がありますか?
2 に答える
Logstash は、多くのサーバーからログを集約し、いくつかの一般的な変換とフィルター処理をイベントに適用する必要がある場合に役立ちます。
ログ イベントがすでに構造化されていて、それらを直接インデックス付けしても問題ない場合は、Filebeat で直接 ES に送信することができます。ES がダウンした場合 (メンテナンスなど)、Filebeat はイベントを正常に送信できるようになるまで再試行します。
これは賢明なオプションですか、それとも LogStash には必要な解析以上の価値がありますか?
あなたの場合、Logstash を使用するかどうかの決定は、ログを ES に挿入する前に処理する必要があるかどうかによって異なります。
解析 (ユースケースでは明らかに役に立たない) に加えて、Logstash を使用して、geoip フィルターで場所を追加したり、日付フィルターで日付を解析したり、単語を別のものに置き換えたり、フィールドをハッシュに置き換えたりすることができます。 ...
ここで利用可能なフィルターを確認できます。
LogStash を使用する場合、それを使用してログ ファイルを収集できますか、それとも FileBeat を使用してログを LogStash に送り込む必要がありますか?
Logstash が必要で、ログがあるマシンで実行する余裕がある場合は、ファイル入力を使用して Filebeat の使用を避けることができます。
ただし、Logstash を解析に使用する場合は特に、多くのリソースを消費する可能性があることに注意してください。別のマシンに配置し、Filebeat を使用してログを Logstash に送り込むことをお勧めします。