問題タブ [logstash-forwarder]

Rails アプリケーションと、 development 、 staging 、 production などのさまざまな環境、 RAILS_ENV がその値を設定しています。環境のフィルタリングのためにlogstashにそのフィールドを追加したいので、logstash configまたはlogstash forwarderでその変数をどこにどのように設定するのかという私の質問

1. Logstash フォワーダーは軽量ですが、logstash フォワーダーから logstash まで、ネットワーク上で遅延が発生します。[あるマシンで Logstash フォワーダーを使用し、他のマシンにある Logstash にログを送信している場合]

2. Flume /Flume-ng : 同じ量のデータに対して CPU 使用率が高い (たとえば、2 MB の場合、20% のようになります)

3. Fluentd : Java を使用せず、CRuby をベースにしていますが、CPU 使用率もピーク時に 30% です。

私たちのユースケースによれば、ログを転送するだけで実稼働ボックスに大きな負荷を加えたくありません.logstashを使用すると、新しい単一障害点が導入されるため、それらの中から1つを選択するのにかなり混乱しています.

私の仕事は、cron が /var/log/cron.log にエラーを書き込んだ場合に電子メール通知を送信することです。

私のlogstash-forwarder.conf:

logstash-input.conf:

logstash-filter.log:

logstash-output.conf:

これで、すべてのイベントがメールで送られてきます。cron.log からエラー イベントのみを取得するにはどうすればよいですか? add_tag セクションでフィルタリングされていますか?

OSSECを使用してログを収集し、logstash-forwarderを使用してJSONログをlogstashに転送しています。これは私のlogstash構成です。

括弧内の「場所」フィールドに示されているホストを抽出し、専用のタグを作成したいと思います。これは、logstash がログを転送するため、ソース ホストとして OSSEC しか認識しないためです。以下は、logstash のサンプル出力です。

頻繁にローリングするログ ファイルのログ イベントが Logstash フォワーダーにありません。

私の Java アプリケーションには、大量のバッチ ジョブとリアルタイム データ フィードがあります。基本的にはエンタープライズ統合アプリケーションです。

私のアプリケーションは、バッチ ジョブごとにログ ファイルを作成し、ログ フレームワークとして log4j2 を使用します。log4j2 は、bash スクリプトの呼び出しを通じて提供したフィード名に基づいてログ ファイルを動的に作成するようにカスタマイズされており、ログ ファイルの作成には log4j2 ルーティング アダプターを使用します。

これがlog4j2構成です。

この構成は完全に機能し、提供された loggerFile 名に基づいてログ ファイルを作成します

。より長く実行され、数百万のデータを処理するバッチ ジョブはほとんどありません。ビジネス要件は、アプリケーションを通過するデータをキャプチャし、監査目的でログに記録することです。

ただし、ほとんどのジョブでは、ほとんどのフィードでログ イベントが失われることはありません。ただし、一部のフィードでは、サイズ ベースのロールアップが 3 分ごとに行われます。処理されたデータの量が原因で、失われたログ イベントがあります。sizeBasedTriggeringPoicy

を作成できない場合があります。これは、常に1500 を超えるフィード処理が行われる可能性があり、sizeBasedTriggeringPolicy を増やすとディスク容量の問題が発生する可能性があるためです。

これが私のlogstashフォワーダー構成です

これは、logstash フォワーダーに設定された引数です。

Kibana は、証拠を示しています。ログは 2 分ごとに受信されます。しかし、私のアプリケーションは継続的にデータを処理しており、ログ ファイルに記録されたイベントを見ることができました。私の分析から、以前にロールされたファイルのオフセットが取得され、現在のログ ファイルに使用されていることがわかりました。

すべてのログ イベントをキャプチャするために、logstash フォワーダーに追加する必要がある構成。

-tail=true を試しましたが、うまくいきませんでした。

0.4.0 バージョンの logstash-forwarder を使用しており、オペレーティング システムは RHEL 5.X です。

logstash serverCentOs マシンにインストールしました。に logstash-forwarder をインストールしたいと考えていMacます。をダウンロードしましたlogstash-forwarderv0.4.0が、いくつかの textED ファイルがダウンロードされました。Mac で「logstash-forwarder」を構成するにはどうすればよいですか?