問題タブ [logstash-forwarder]

logstash フォワーダーがファイルを送信した後にファイルを削除したいと思います (そうしないと、開いているファイルが多すぎるというエラーが発生します)。logstash フォワーダーがファイルを処理したことを示す兆候はありますか?

ここのlogstash-forwarder.confでlogstash-forwarderからlogstashにログをプッシュできません

次のコマンドの実行中に

次の例外が発生しています...

私は2つのサーバーを持っています:

• ログスタッシュサーバー
• アプリサーバー

logstash サーバーで logstash-forwarder を実行すると、問題ありません。

しかし、アプリ サーバーで logstash-forwarder を実行すると、エラーが発生します。

そして、コマンドで証明書を確認すると:

私は有効な証明書を取ります:

アプリ配信日:

どうしたの？

中央サーバーで logstash フォワーダーを構成しようとしているときに、以下のエラーが で観察されlogstash.logます。

誰かがこの問題を解決するのを手伝ってくれませんか?

構成ファイルは次の/etc/logstash/conf.d/central.confとおりです。

最近、ELK スタックを使用して最適な Docker ロギング メカニズムを見つけようとしています。企業が本番環境で使用する最適なワークフローについていくつか質問があります。私たちのシステムには、Tomcat、PostgreSQL、MongoDB、Nginx、RabbitMQ、Couchbase などの典型的なソフトウェア スタックがあります。現在、スタックは CoreOS クラスターで実行されています。以下の質問を見つけてください

1. ELK スタックでは、ログ転送を行うための最良の方法は何ですか?Lu​​mberjack を使用する必要がありますか?. これを尋ねているのは、人々が Syslog/Rsyslog を使用してログを logstash に転送するワークフローを見たからです。
2. すべてのソフトウェアはコンテナ化されているため、すべてのコンテナに Log-forwarder を含めるべきですか? 私のコンテナのほとんどは正常性に基づいてノードを切り替えるため、これを行うことを計画しているため、コンテナからホストにファイルシステムをマウントすることに熱心ではありません。
3. ログを転送する際にブローカーとして redis を使用する必要がありますか? はいの場合、なぜですか？
4. log-stash に転送されるログ形式を定義する log-config ファイルを作成するのはどれくらい難しいですか?

これは主観的な質問ですが、これは人々がずっと前に解決した問題であり、車輪の再発明には熱心ではありません.

私は、logstash と logstash フォワーダーを使用して ELK スタックをセットアップしています。現在、後置ロギングにこの grok パターンを使用しようとしています。 https://github.com/whyscream/postfix-grok-patterns

logstash 内に、リポジトリで言及されている 2 つのファイルを含めました。

これは私のフォワーダーにあるものです。

これが返ってきた結果です。

重要な部分が欠けていると思います。「syslogs」がリポジトリに記載されており、grok内でプログラムのチェックが実行されているため、事前に何かを行う必要があると思います。

どのステップが欠けていますか? 私はlogstash 1.5.xを使用しています

ご協力いただきありがとうございます！

Logstash フォワーダーを使用してログを入力し、複数行フィルターを使用してログをメッセージに組み込みます (各ログは少なくとも 2 行です)。問題は、ときどきメッセージが混同されることです。

3 つのログを含むファイルの例は次のようになります。

ヘッダー1 本文1

ヘッダー2 ボディ2

ヘッダー3 本文3

ただし、ログは後で次のように表示される場合があります

ヘッダー1 本文2 本文1

ヘッダー2

ヘッダー3 本文3

stream_identity => "%{host}.%{path}.%{type}.%{file}" を使用していますが、これら 2 つのログは同じファイルの一部であるため、違反していません。

これは、すべてのログを完全に解析する場合もあれば、ほとんどすべてのログをスクランブルする場合もあるため、ネットワーク トラフィックに基づく問題のようです。

ログが正しい順序で作成されることを保証できる方法はありますか?

logstash と logstash-forwarder の使用方法を学んでいます。問題は、logstash が SSL との通信を許可しないことです。DNS ではなく IP 方式を使用しています。Kibana、Elastic Search、および Logstash は、docker コンテナー内にインストールされます。コンテナ内で証明書を生成しました。その中に、/etc/pki/tls/{certs,private}.crt ファイルと .key ファイルをそれぞれ保持するディレクトリがあります。それらをdockerホストにコピーしました。私が実行するopenssl x509 -noout -text -in logstash-forwarder.crtと、私が持っている証明書の内部を見ることができます:

これは、kibana を提供する docker コンテナーの IP です。ログを送信するためのテスト対象として使用している docker コンテナー内 (php アプリと nginx を実行しています) には、logstash.json 構成ファイルがあります。

その場所/srv/logstash/logstash-forwarder.crtで、それが同じキーであり、次の行もあることがわかります。

初期化。つまり、SANS は 172.17.0.47 です。次に実行する./logstash-forwarder --config /srv/logstash/logstash.jsonと、

2015/07/24 07:57:16.835391 ファイルから信頼できる CA を設定: /srv/logstash/logstash-forwarder.crt 2015/07/24 07:57:16.835949 [172.17.0.47] に接続: 5000 (172.17.0.47) 2015/07/24 07:57:16.852710 172.17.0.47 x509 との TLS ハンドシェイクに失敗しました: IP SAN が含まれていないため、172.17.0.47 の証明書を検証できません 2015/07/24 07:57:17.856153 [172.17 に接続しています] .0.47]:5000 (172.17.0.47) 2015/07/24 07:57:17.874499 172.17.0.47 x509 との TLS ハンドシェイクに失敗しました: IP SAN が含まれていないため、172.17.0.47 の証明書を検証できません

私は自分でそれを見ることができるので、私は非常に混乱しています。それで、私は何を間違っていますか？ありがとう