問題タブ [logstash]

エラーとは何か知っている人はいますか？

カスタム形式のログファイルがあります。日付フィールドは次のようになります。

logstash構成には、フィルター用に次のものがあります。

これはおそらく、logstashタイムスタンプをログのカスタムタイムスタンプに置き換えます（テストするために、現在、古いログからタイムスタンプを埋め戻しています）。

デバッグフラグをオンにしてstdoutに出力すると、に@timestamp置き換えられcustom_timestampたことが表示されますが、インポートできないことを示すエラーメッセージが表示されます。

日付形式を変換するにはどうすればよいですか？

60 秒ごとにインデックスを削除するように Elasticsearch 0.19.11 を構成したいと考えています。私のelasticsearch構成には、次の3行があります。

そして、それが機能していません.2つのデフォルトドキュメントがインデックス化されています. そして、それが60代以降になることを期待しているでしょう

また、次のことをしようとしても効果はありません

2 つのドキュメントにインデックスを付けていますが、1 時間経ってもまだ表示されます

私は何を間違えましたか

PS私はlogstashでこの設定を展開したいです。したがって、他の代替案を提案することができます。スケーリング上の理由から、この自動パージをスクリプトにしたくありません。

AWS EC2 の Elasticsearch クラスターに出力するように logstash を構成するのに問題があります。

Logstash バージョン 1.1.5 と Elasticsearch 1.19.8 を使用しています。

これは、logstash での私の出力構成です。

これはelasticsearch.ymlの対応する構成です

以下を使用してlogstashを開始します。

そして、起動してからしばらくすると、次のエラーが発生します。

私の疑いでは、logstash は、elasticsearch クライアントがクラスターを見つけることができるように、cloud-aws のようなものを使用する必要があります。awsで動作する設定例はありますか?

集中ログ用に LogStash/Redis/ElasticSearch パイプラインをセットアップしようとしていますが、いくつか質問があります。

1. これが機能するには、特定のバージョンのelasticsearchとlogstashが必要だと思います.elasticsearchとlogstashのどのバージョンが一緒にゲル化するかについて、1対1のマッピングを見つけることができる場所はありますか.

2. これは非常にばかげているように聞こえるかもしれませんが、elasticsearch.ymlファイルではすべての行が で始まりますが、いくつかの最小値#の を取り除く必要がありますか?#

3. 最後にパイプライン全体をセットアップしましたが、次のエラーが表示されます。

   /li>

また、elasticsearch head プラグインをインストールしましたが、読み込みに失敗し、Chrome タブに糸車しか表示されません。

概要: 送信 smtp サーバーがいくつかあり、rsyslog を介して、logstash を使用しているサーバーにメール ログを集中化し、elasticsearch に出力し、kibana で検索しています。

次のようなPostfixメールログエントリに「BOUNCED」としてタグ付けしたいと思います:

logstash.conf で使用した grok フィルターは次のようになります。

私が使用しているパターンファイルはhttps://gist.github.com/4691822です

これらのログ行に BOUNCED のタグを付けることができませんでした...何が足りないのですか?

Thu Sep 27 15:30:27 BST 2012:- Invalid token $_POST[custom], which indicates the amount, userid

これは、logstashにgrokを使用して解析しようとしているログファイルからのものです。

最初のいくつかのフィールドは問題なく、DATESTAMP_OTHERに非常に近いように見えましたが、BSTの英国のタイムゾーンがそれを台無しにしていると思います。

これまでのところ、それを機能させる方法がわかりません！

%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %([PMCEB][SD]T) %{YEAR} %{GREEDYDATA:message}

After processing data with: input | filter | output > ElasticSearch the format it's get stored in is somewhat like:

I filter/store most of the important information in specific fields, is it possible to leave out the default fields like: @source_path and @source_host? In the near future it's going to store 8 billion logs/month and I would like to run some performance tests with this default fields excluded (I just don't use these fields).

@message プロパティは、logstash & kibana を使用する場合のコア プロパティのようです。私のjsonロガーは、メッセージとともにデータを送信します

私がそれを変更した場合

logstash サーバーはそれを「@fields.@message」として取得します。

このプロパティを正しくレンダリングするように設定する方法が少しわかりません。

Logstash にインポートしようとしているログ ファイルには、日付/時刻のように見えるフィールドとそうでないフィールドが含まれています。残念ながら、最初のオカレンスは日付/時刻のように見え、誰か (logstash または elasticsearch) がフィールドを日付/時刻として定義することにしました。後のログ レコードをインポートしようとすると、Elasticsearch には例外があります。

質問: このフィールドを日付/時刻として定義しないように logstash/elasticsearch に指示するにはどうすればよいですか? ログのすべてのフィールド (1 つの明示的なタイムスタンプ フィールドを除く) を単なるテキストとして定義したいと考えています。

質問: エラスティックサーチが例外をスローするこのレコードを確認した後、logstash がログ ファイルからレコードをインポートしようとするのをあきらめたようです。この例外を無視してログ ファイルから他のレコードのインポートを試行し続けるように logstash に指示するにはどうすればよいですか?