問題タブ [logstash-configuration]

ES クラスターと Logstash をインストールしました。私は多くの入力タイプのメッセージを持っています。今のところ、Gelf 入力タイプに問題があります。すべてのフィールドを文字列として ES に格納する必要がありますが、gelf の「メッセージ」フィールド内に json がある場合、ES はこの json から新しいマッピングを作成します。私はそれを望んでおらず、「メッセージ」フィールドの動的マッピングを無効にするために多くのバリアントを試しました。Logstash テンプレートの構成:

そしてlogstash出力：

「メッセージ」フィールド内に json を含む新しいメッセージを受信すると、ES にマッピングされます: http://pastebin.com/R9Ei3zEK

特定のメール アドレスにメール通知を送信できますが、ログのパターンに基づいて別のメール アドレスにメールを送信したいと考えています。

たとえば、メールアドレスを持つ 3 人のユーザーがいるとします。

1. userOne@something.com が [userOneModule] を含むメール ID ログを受信
2. userTwo@something.com が [userTwoModule] を含むメール ID ログを受信
3. userThree@something.com が [userThreeModule] を含むメール ID ログを受信

使用されている Logstash のバージョンは 1.3.3 です。logstash でこれが可能である場合のヘルプ、またはこのようなことを達成するための回避策。

これは私の設定ですが、'Security' と 'Portal' の両方が一致しますが、メールは 1 つにしか送信されません。

セキュリティ ログまたはポータル ログと言う 1 種類のログのみを保持する場合は機能しますが、両方のログを保持すると、いずれか 1 つにのみ電子メールが送信されます。

}

ありがとう

（apache-tomcatで実行される）サービスのログを取得するためにlogstash（バージョン1.5.0）に接続しようとしています。これらのログは log4j です。

私はlogstashにこの設定を使用します:

私のサービスの log4j.xml で、SocketAppender を設定しました。

それは正常に動作します。

質問：

1. 「localhost」からではなく、他の tomcat や他のマシンからもログを収集するように、logstash が必要です。どうやってやるの？「ホスト」(logstash 構成内) に localhost (またはローカル マシンの IP) 以外のものを入れようとすると、起動時にエラーが発生しました。

「要求されたアドレスを割り当てることができません - バインド - 要求されたアドレスを割り当てることができません」.

2. 複数のIP に同時に接続するにはどうすればよいですか?

何か案は？

ELK スタック環境で logstash 1.5 を使用しています。次のフィルター構成を使用します。

私には2つの問題があります：

• フィルターが見つからないか、多くのログで dns リバース プロセスをスキップします。つまり、フィルター プロセスに入る各ログ、または dst フィールドと src フィールドの両方が反転するか、まったく反転せず、ip のままです (nslookup でテストすると、すべての ipフィールドには dns に名前があります)。
• 方法と理由はわかりませんが、ログの一部に複数の値があり、次のエラーが発生します。

DNS: 逆方向へのスキップ、複数の値を処理できない、:field=>"src"、:value=>["10.0.0.1"、"20.0.0.2"]、:level=> warn

私の（ELK）ログスタッシュは、多くのログを処理して十分に速く解決できないようです。また、異なるログから複数の値の配列キーを作成しているようにも見えます。

何か案が？多分あなたたちはこの問題に遭遇しますか？

シールドを使用してlogstashをelasticseachに書き込もうとしましたが、成功しませんでした。

シールドプラグインをelasticsearchにインストールする前に、私のセットアップは正常に機能していました。私はelastic.coのこのガイドに従い、使用するための新しいユーザーを作成しましたlogstash user role:

また、ガイドで提案されているように、 、、およびを更新しlogstash output configurationて追加しました。protocoluserpassword

logstash と elasticsearch の両方を再起動した後、logstash からの Elasticsearch でまだ何も受信していません。何か見逃しましたか？

これが私のセットアップです：

注:transportプラグインを logstash にもインストールして試してみましたprotocol => "http"が、同じ否定的な結果は得られませんでした。

さらに情報が必要な場合はお知らせください。ありがとうございました

編集1：

エラスティック検索ログ:

Logstash ログ: (この部分は何度も複製されます)

以下のようなログファイルがあります。logstash を使用してこのファイルを解析したいと考えています。

上記のファイルを次のフィールド形式のように解析したい

ログ情報に多くの行が含まれているため、grok 式を使用したファイルの最後までこの手順を続行したいのですが、grokparse は失敗します。grok が 1 行ずつ申請してくれることを願っています。

情報をこのような個別のイベントに解析して 1 つのイベントとして処理したい

そしてこれは別のイベントとして

Logstash Filters でこれを達成するにはどうすればよいですか。