問題タブ [logstash-forwarder]

新しく作成されたログのみを、logstash-forwarder から logstash サーバーに転送したいです 。logstash - forwarder.confファイルがあります。

この構成ファイルに追加する「start_position => end」のようなオプションがあるかどうかを知りたかったのです。また、logstash-forwarder の実行中に -tail=true を使用してみました。スナップショットを取得しますが、収穫はイベントを登録していないようです。-tail コマンド ライン オプションがない場合、または -tail=false が指定されている場合にのみイベントを登録します。これにより、すべてのログが最初から転送されます。

さまざまな Web サイトのタグによる Logstash フィルター

問題: 1 つの IIS サーバー内に複数の Web サイトがあります。logstash に送信するログ ファイルごとに「タグ」を追加したい

これは私のlogstashフォワーダー構成です

各ログ ファイルは異なる Web サイトを表します。そのため、これらのログごとにタグを追加し、この特定のタグでフィルタリングできるようにしたいと考えています。

"ログ\svr05\ex*",

これは、logstash の IIS 構成です。

さまざまなアプリにログを送信したいとします

app1.egov.mv app2.egov.mv

これらのさまざまな IIS アプリケーションにタグを追加するにはどうすればよいですか? タグを使用して特定の Web サイトのグラフを作成するために、検出モジュールでそれらをフィルタリングしますか? :|

よろしく、

イスマイル

そのため、最近、2 つの EC2 インスタンスに配置された logstash フォワーダーを使用して ELK スタックをセットアップし、サーバー ログを Elasticsearch に転送し、別の EC2 インスタンスにインストールされた kibana を設定しました。その直後、サーバーのCPUパーセンテージが劇的に上昇し続け、最上位プロセスが常にjavaであることがわかりました（サーバーはnode.jsで記述されているため、logstash-forwarderです）。

私は、logstash-forwarder が 1 分間に送信するリクエストの数を制限することを考えました。しかし、最初に、logstash-forwarder 構成からそれが可能かどうかはわかりません。次に、可能であれば、小さなチャンクを連続して送信するよりも、大量のログ データを一度に送信する方がよいでしょうか?

ありがとう。

私は現在、これを行うためにvbsスクリプトを使用しています

このスクリプトは数時間完全に機能し、理由もなく停止します。スクリプトの何が問題なのか、誰か教えてもらえますか? logstash-forwarder を追加してサービスとして実行するにはどうすればよいですか? これを行う方法を理解するのに苦労していますか？

どんな助けでも大歓迎です。

次の logstash conf ファイルを用意します。

ログは logstash フォワーダーを介して受信され、CISCOTIMESTAMP が一致しません。ログ ファイルの例:

6 月 11 日 11:32:38 192.168.2.49 ユーザー tty1 10.1.250.5 stop task_id=176 timezone=EDT service=shell start_time=1434036772 priv-lvl=15 cmd=show running-config

このチュートリアルに従ったところ、セットアップはうまくいきました。次に、この公式ドキュメントから ES 用のウォッチャー プラグインをインストールして、エラーのアラートと電子メールを取得しましたが、リンクに示されている次のコマンドを使用してインストールを確認できませんでした。

curl -XGET ' http://localhost:9200/_watcher/stats?pretty '

次に、kibana ダッシュボードを再度確認したところ、nginx で 502 - ゲートウェイが正しくないというエラーが表示されました。構成ファイルを再度確認しましたが、nginx 側ではすべて問題ありませんでした (私は nginx に詳しくないので、これは部分的に仮定でした)。5 つのサービス (logstash、Kibana、ES、logstash-server の nginx、およびクライアント側の logstash-forwarder) はすべて稼働していました。

さらに調査したところ、次のコマンドを使用して見つけました。

tail -f /var/log/logstash-forwarder/logstash-forwarder.err

次のようなエラーがあること。

XXXX read tcp XXXX:5000 で TLS ハンドシェイクに失敗しました: i/o タイムアウト

[XXXX] に接続中:5000 (example.com)

私が試したこと：

LF マシンから LS サーバー マシンに telnet を試みたところ、できました。LF GitHub リポジトリでこの問題を確認したところ、プラグインのインストールに問題があるようで、logstash サーバー側の server.rb ファイルに次の変更を加えることで結論が得られました。

だからここに私の質問があります：

1. 問題は実際にプラグインのインストールが原因で発生したのでしょうか (GitHub の問題に関する意見の 1 つがそう言っています)。
2. server.rb ファイルが見つかりません。正確にはどこにありますか？
3. 問題はチュートリアルの nginx セットアップと関係がありますか?
4. ES 用のより良いアラート プラグイン/パッケージはありますか?

これらのいずれかに関するヘルプをいただければ幸いです。

更新: ウォッチャー プラグインをアンインストールすると、すべてがスムーズに動作するようになりました。

したがって、問題は確かにプラグインにあり (回避策はまだ考えていません)、nginx や ssl にはないと思います。

すべてのアプリケーション サーバー (Windows) に logstash をインストールし、contrib プラグイン (WMI) を使用して、Windows パフォーマンス カウンター データ、アプリケーション ログ ファイルを読み取り、データを中央の Elasticseach サーバーに出力することができました。

いくつかの調査に基づいて、アプリケーションサーバーにlogstashフォワーダーのみをインストールし、データを中央のlogstashシッパー=> Redis => logstashインデクサーに出力し、最後にelasticsearchに出力するのが最善の方法であることがわかりました。

この設計を実現するには、logstash フォワーダーからパフォーマンス カウンター データを読み取る方法を見つける必要があります。ネット上のすべてのリソースは、logstash フォワーダーがファイルを追跡して情報を logstash 配送業者に送信する方法についてのみ説明していますが、パフォーマンス カウンターの読み取りや logstash フォワーダーでの WMI の使用に関するタスクはありません。誰かがこのアプローチで私を助けることができますか?

ありがとう