問題タブ [logstash]

次のような nginx ログ ファイルがあります。

logstashフィルターを使用して、次のようなログを送信することは可能でしょうか?

そのため、ログ全体のうち、いくつかのフィールドにのみ関心があります。

つまり、ログから必要なデータを抽出し、出力先に送信したいと考えています。

メトリックを印刷する方法がわかりません。

次のlogstash構成で

私が見るのは

実際の値の代わりに。

stdout でデバッグを有効にすると、@fileds には、メトリックが印刷をサポートしているデータがあることがわかります。

@fields.events.count にアクセスするにはどうすればよいですか? ログスタッシュ バージョン = 1.1.13

logstash リリース バージョン 1.2.1 では、電子メール出力があります。

その仕様では、イベントが受信されたときに電子メールを送信することが記載されています。ドキュメント に grok を使用して、メッセージに「何らかの悪いイベント」が含まれている場合に電子メールを送信するだけでなく送信することを指定する方法はありますか?弾性検索？

CentOS サーバーにログスタッシュをセットアップして、CIFS マウントを介して実稼働 Web サーバー IIS ログから読み取るようにしました。

しかし、ログの最初のバーストを最初に読み取った後、ただ死んでしまいます。

(その後の昇格されたデータは、別のデータ ソースからのものです)

このスレッドからジョーダンのハックを試みましたが、うまくいかないようです

セキュリティ上の問題により、フロントエンド Web サーバーに Java/Logstash をインストールすることを意図的に避けています。それで、これを機能させる方法を考えてもらえますか？

logstash 1.2.1 では、条件付きでさまざまなことを実行できるようになりました。以前のバージョンの conf ファイルでも、多くのログ ファイルを管理し、メトリック抽出を実装すると、複雑になる可能性があります。

この包括的な例を見た後、私は本当に疑問に思いました。この構成で破損を検出するにはどうすればよいでしょうか?

何か案は。

次の構成で Logstash を使用してログを受信して​​います。

"host"次に、次の設定を使用して、マシンでログを取得します。

ここから、行の解析を行い、それらを Redis データベースに入れます。しかし、興味深い問題が発見されました。

Logstash は、ログ メッセージを JSON スタイルのパッケージに「ラップ」します。

次に、それを受信して​​次のマシンに渡すと、それをメッセージとして受け取り、別のラッパーに入れます! 実際のログ メッセージのみに関心があり、その他のもの (ソース パス、ソース、タグ、フィールド、タイムスタンプなど) には関心がありません。

フィルターなどを使用してこれを行う方法はありますか? ドキュメントを調べましたが、Logstash のインスタンス間で生のログ行を渡すだけの方法が見つかりません。

ありがとう、

マット

で grok フィルターを使用してログを構造的にフィルター処理しようとしていますlogstash。

これはサンプル ログです。

そして、これは私のフィルター grok 一致パターンです。

私が受け取っている構造は次のとおりです。

これは、データ フィールドを除いて正しい構造です。ここでは、SOAP XML 全体が表示されることを期待しています (ご覧のとおり、途中でカットされています)。

助言がありますか？

Postfix ログからフィールドを解析し、@message複数のフィールドに抽出しようとしています。

メッセージ：

LogStash 出力:

grok パーサーを使用しようとしましたが、データが@messageフィールドに残ります。syslog パーサーを正規表現で使用したい。

@messageフィールドを解析するには、どのような手順を実行すればよいですか?

elasticsearch: "http://different_machine_ip:9200"Kibana3の config.js に設定することで、ElasticSearch が別のマシンにある場合でも、Kibana3 は正常に動作します。

ここで、テストのためにローカル マシンで 3 つすべてを実行したいと思います。私はWindows7を使用しており、Chromeブラウザを使用しています。Tomcat7にKibana 3をインストールしました。LogStash jar ファイルから組み込みの ElasticSearch を開始しました。ElasticSearch の場所をまたはまたはに設定しました。ブラウザで Kibana3 を確認すると、スパイによって明らかにされた ElasticSearch クエリにログスタッシュ インデックスがありません。"localhost:9200""127.0.0.1:9200""computer_name:9200"

ご覧のとおり、インデックス部分は空で、表示//のみです。予想されるクエリは次のようになります。

ブラウザーは ElasticSearch API を正常に呼び出すことができます。たとえば、アドレス バーに入力http://localhost:9200/logstash-2013.08.13/_mapping?pretty=trueすると、logstash インデックスのマッピングが返されます。これは、ElasticSearch への接続に問題がないことを証明しています。

ここでの問題は、インデックスが Kibana クエリから空であることです。インデックスが空なのはなぜですか?

ESに（logstashによって）保存されたドキュメントがいくつかあります。ES をクエリすると、結果が正しく表示されません。

最初のクエリ (以下のクエリと結果を参照) は、フィールドを含まないドキュメントのみregionを返すことが想定されています。

さらに、最初の query の結果に基づいて、明らかに field を含むドキュメントがありますが、region(少なくとも) を含むドキュメントを返す必要がある 2 番目のクエリの結果にはドキュメントregion=INが含まれていません。

• クエリに何か問題がありますか?
• 問題がどこにあるのかを調べるにはどうすればよいですか? (ES ログには、これらのクエリに関連するものは何もありません)

クエリは次のとおりです。

そして結果：

さらに、次のクエリの結果:

は：

次のマッピングが使用されます。

マッピング (ES が返したもの - curl -XGET 'http://localhost:9200/logstash-2013.09.28/_mapping):