問題タブ [logstash]

私たちは非常に分散したシステムを持っています。サイトでのユーザーのリクエストには、複数のサービスへの呼び出しが含まれる場合があります。たとえば、ユーザーがサイトにログオンすると、広告サービス、パーソナライズ サービス、関連するニュース サービスなどに呼び出しが行われ、ログイン時に表示するために必要なデータが構築されます。高レベルの設計: URL へのリクエストは Spring MVC コントローラーにマップされ、そのコントローラーは (ほとんどは HttpClient を使用して) さまざまなサービスを呼び出します。

Logstash、ElasticSearch、Kibana、Log4j/SLF4J を使用して集中ログ ソリューションを実装しています。サイトで問題が報告された場合、ログ レベルをデバッグに変更し、すべてのサービスで特定のリクエストのログ メッセージを表示できるようにしたいと考えています。Log4j MDC にリクエスト ID を設定しているため、Web アプリケーション サーバーでその特定のリクエストのログ メッセージを識別できます。他のサービスへの呼び出しからメッセージを関連付けるにはどうすればよいですか?

フロー: ユーザー ログイン --> Log4j MDC にリクエスト ID を入力してメッセージをログに記録する Spring MVC コントローラーにマップされたリクエスト --> サービス 1、サービス 2、サービス 3 への HTTP クライアント呼び出し

service1、service2、service3 からのメッセージを、MVC コントローラーによってログに記録されたメッセージに関連付ける方法。1 つの解決策は、http クライアント呼び出しで要求 ID を渡すことです。このパラダイムに従うアプリケーションはたくさんあるため、あらゆる場所でコードを変更することは理想的なソリューションではありません。

更新1:

jvm エージェントについてはよくわかりませんが、カスタム エージェントを開発して、ネットワーク呼び出しをインターセプトし、パラメーターを追加できるかどうか疑問に思っています。受信側のカスタム エージェントは、パラメーターを検出し、それを ThreadLocal 変数に追加します。Dynatrace PurePath テクノロジーは、何らかの方法で JVM 間で呼び出しを関連付けます。jvm エージェントを注入する必要があるため、エージェントで呼び出しをインターセプトしていると思います。このビデオをチェックしてください

Windows マシンで Logstash と Elasticsearch を実行しようとしています。

ElasticSearch サーバーはユニキャストを使用するように設定されています (マルチキャストが機能しませんでした)。

通常の「elasticsearch」プラグインでは Elasticsearch と通信できなかったため、Logstash エージェントは「elasticsearch_http」出力プラグインを使用します。

したがって、私の問題は、Logstash Web バックエンドのコマンドライン パラメータを設定する方法がわからないことです。さまざまな設定を試しました：

しかし、検索しようとすると、ブラウザーでこのエラーが発生し続けます。

そして、logstash_webui.log ファイルに次のエラーが表示されます。

あなたが提供できるどんな助けも大歓迎です。

私がデバッグしているアプリケーションは、多くの API 呼び出しが 2 つのイベントとして記録されたログ ファイルを作成します。

私は最近、LogStash (Kibana を Web フロントとして使用) を使用して ElasticSearch にログを流し始めました。

近くの路線を含めて検索する方法はありますか? これが役立つ場合は、要求と応答が常に連続していると仮定します。

grep を使用すると、次のようになります。

既存の LogStash+ElasticSearch デプロイメントで同じことを行うにはどうすればよいですか?

公式チュートリアルのすべての手順に従ったにもかかわらず、Web フロントエンドで Logstash を起動しようとすると、例外が発生します。まず、試してみlogstash-1.1.10-flatjar.jarましたが、起動しませんでした。その後、この問題を見つけたのでlogstash-1.1.11.dev-flatjar.jar、アドバイスに従ってダウンロードしました。これで、初期化時にエラーが発生しなくなりました。しかし、ブラウザーを見つけるmyserver:9292と、コンソールと Web UI の両方に次のようなエラーが表示されます。

公式チュートリアルの構成を使用しています。ここに私のindexer.confファイルがあります:

複数のクライアントでlogstashを実行するつもりです。これにより、logstashレポートがサーバー（Ubuntuマシンなど）のエラスティック検索に送信されます。

そのため、logstash を実行し、ログを COMMON サーバーのエラスティック サーチに出力するクライアントがいくつかあります。

サーバーへのこの o/p リダイレクトは、さまざまなクライアントの Logstash で可能ですか?

はいの場合、構成ファイルは何ですか?

概要：

私は Logstash - Grok とエラスティック検索を使用しています。私の主な目的は、最初に logstash でログを受け入れ、grok で解析し、ログのタイプに応じてタグをメッセージに関連付け、最後にそれを Elastic サーバーにフィードして、 Kibana でクエリを実行します。

このコードは既に作成していますが、Elastic Search でタグを取得できません。これは私の logstash confif ファイルです。

どこが間違っていますか？

私のプロジェクトでは、logstash+ES+kibana を使用します。このフレームワークをマルチテナントに使用する方法を知りたいです。認証後に Kibana がどのようにエラスティック検索インデックスを照会し、Kibana のダッシュボードにロードするかを説明してもらえますか? 特定のユーザーまたは一部の ID のエラスティック検索の特定のインデックスを検索するように kibana を制限できますか? 誰もこれを試しましたか？

thnx

logstash からエクスポートされた各ログに TTL を設定する必要があります。

config フォルダーの下にフォルダー「mappings」を既に作成しました。その下にはフォルダー _default があり、その下に json ファイルdefault .json があります。

logstash を使用してログをエラスティック サーバーにエクスポートしています。構成ファイルは次のとおりです。

ログは 10 秒後に ELastic Search から削除されるはずですが、そうではありません。ログは持続します。どこが間違っていますか？私は完全に立ち往生しています。

助けが必要。