問題タブ [logstash-configuration]

Logstash フォワーダーを複数の Logstash サーバーに接続しようとしましたが、すべてのサーバーに対して単一の証明書を使用する方法がわかりません。それぞれに個別に接続でき、それぞれに異なる証明書があります。

の詳細は次の/etc/logstash-forwarder.confとおりです。

次の形式のjsonがあります

logstash の json フィルターを使用してフィルター処理しようとしています。しかし、うまくいかないようです。logstash の json フィルターを使用してリスト json を解析できないことがわかりました。誰かがこれに対する回避策について教えてもらえますか?

アップデート

私のログ

上記ログのURLデコード版は

上記のログの構成ファイルの下を見つけてください..

フィルター {

}

イベントを解析する必要があります。events=[{"eV":"com.olx.southasia","eC":"appUpdate","eA":"app_activated","eTz":"GMT+05:30","eT":"1432386324909","eL":"packageName"}]

コモンネームとしてワイルドカードを使用してサーバーにlogstash-forwarder crtとキーを作成し、フォワーダーで証明書をコピーすると、メッセージが表示されます

Logstash サーバー 1.5.3
Logstash フォワーダー 0.4.0

私の質問とは関係のない理由で、ポートをイベント フィールドに設定する必要があります。私はまだできていません。これは、問題を示すサンプル コードです。

Logstash はここでエラーをスローします (/bin/logstash -f syslog.conf --configtest を実行します)。

logstash のソース コードを見ると、変数からポート値を完全に展開する前に、logstash がポート値をチェックしているように見えます。これは、変数の名前を数値に変更することで確認でき、構成チェックに合格しますが、残念ながらその名前と数値がポートに設定され、変数は展開されません。

ここで何が起こっているかについて、私よりも優れたハンドルを持っている人はいますか? イベントフィールドからポートを正常に設定できた人はいますか? どんな助けでも感謝します。ありがとう。

ps。ログスタッシュ バージョン 1.5.1

タイムスタンプ、AppName (mm1-spring-music.example.com)、[RTR] としてログに存在する Proc id、AppID (app_id の後にログに存在:)、応答時間 (response_time の後にログに存在) を取得しようとしています。 :) LogstashのSyslog 5424形式に基づく次のログから

私はlogstashに非常に慣れていないため、次の構成を使用します。目的の出力を取得できません。提案があれば非常に役立ちます

Amazon S3 バケットで生成されたログを読み取るように logstash を設定しようとしましたが、成功しませんでした。以下は詳細です:

1. ec2 インスタンスに logstash をインストールしました
2. ログはすべて s3 バケット内の gz ファイルです
3. conf ファイルは次のようになります。

ELB ログ ファイルからの HTTP get リクエストでキーと値のペアを解析するために、logstash を取得しようとしています。

リクエストフィールドは次のようになります http://aaa.bbb/get?a=1&b=2

a上記のログ行にとのフィールドがb欲しいのですが、それを理解するのに苦労しています。

私のlogstash conf（わかりやすくするためにフォーマットされています）は以下にあり、追加のキーフィールドはロードされません。URI のアドレス部分を分割する必要があると思いますが、それはわかりません。

ネストされたハッシュの一部に値を入れたいのですが、上流のフィルターに応じてその部分に名前を付けます。これは、現在 20 以上の着信イベント タイプのそれぞれが、logstash ファイルに 18 行のこのような独自のセクションを持っているため、全体のコード サイズをリファクタリングして削減するためです (ただし、現在 %{detail_part} ビットはハードコーディングされています)。

上記は「OtherThing」にハードコードされています。以下には変数がありますが、機能しません。

上記 (非動作コード) では、detail_part が上流のフィルターで "OtherThing" のような文字列値に設定されています。これは現在コンパイルおよび実行されていますが、XML は出力されていないため、これらのステートメントの結果としてハッシュに何も設定されていないと思います。

Rubyコードを埋め込んで実行できることはわかっていますが、できるだけ簡単な方法が欲しいです。このプロセスの出力は XML になるため、この種のネストされたハッシュを使用する必要があります。

これは Logstash で可能ですか?

ログを処理するために、redis アーキテクチャを使用して logstash をセットアップしました。私が整理した方法は次のとおりです。

logstash ---> redis ---> logstash ---> elasticsearch

しかし、発生した問題は、約 125 万件のログを解析した後に Java 例外がスローされることです。

私のlogstash.errログファイルでは、例外は次のように表示されます

この例外は、logstash がファイルを開閉できないためにスローされる可能性があると思います。では、このエラーを修正するにはどうすればよいでしょうか? 最初の logstash サーバーがログを送信するように入力構成を設定する方法は次のとおりです。

出力の送信方法は次のようになります。

redis がインストールされている logstash サーバーのログにエラーはありません。