問題タブ [logstash-file]

私はELKの初心者で、現在次の問題に直面しています。logstash でいくつかのサーバー ログファイルを解析したい。毎日、次の命名形式を持つ新しいログファイルが作成されます: file160629.log (160629=現在の日付) これが私の設定入力です:

しかし、どうやら、それは新しいログファイルを認識しません..誰かが私が間違っていることを教えてもらえますか?

前もって感謝します。

Logstash を使用して、ファイルからログを読み取って解析し、Rest ベースの API に送信しています。荷送人は正常に動作していますが、奇妙な動作が発生しています。

問題：

Logstash シッパーが最初のログ エントリを解析するとき、それを送信せず、パイプラインに保持します。2 番目のログ エントリを解析すると、最初のログ エントリが API に送信されます。したがって、1 つのメッセージが常にパイプラインに残り、API に送信されません。

Logstash シッパー プロセスを停止すると、最後に残ったメッセージも送信されます。したがって、ある意味ではメッセージが失われることはありませんが、配送業者は常に 1 つのメッセージの背後にあります。

質問: Logstash が受信するとすぐにパイプラインをフラッシュして API にメッセージを送信できないのはなぜですか。

Logstash 構成ファイルを作成しています。

私はグロクフィルターを持っています。grok フィルターでの一致が正確にどのように機能するかを知りたいです。

logstash 側で 1 つの例を参照したところ、次のことがわかりました。

Ex log:55.3.244.1 GET /index.html 15824 0.043
以下のフィルターで解析されます。

これは、ログ行全体を順番に一致させようとしているということですか? ログの行が異なります。それらは常に適切な枠組みにあるとは限りません。
以下のようなものです：

3 つのタイプの行すべてをキャプチャしたいのですが、別の一致フィルターを作成する必要がありますか? または、単一の一致で source、destination、somedata フィールドを個別にキャプチャしても問題ありませんか?

これに関する情報を求めています。

はい、私は正規表現と grok パターンの基本を理解しています。

ログ ファイルにこれらの 3 行があり、b と g の値を持つ行をキャプチャしたいとします。私のマッチブロックはどのように見えますか?

これは b と g ですべての行をキャプチャしますか?? b の場合、1 行と 2 行をキャプチャする必要があります。gの場合、3をキャプチャする必要があります。したがって、出力には3行すべてが含まれているはずです?? これはどのように機能しますか、それとも grokparse エラーをスローしますか??

logstash フィルター プラグインを使用して処理しているファイルに複数のログ メッセージがあります。次に、フィルタリングされたログがelasticsearchに送信されます。

ログ メッセージには addID というフィールドが 1 つあります。特定の addID が存在するすべてのログ メッセージを削除したいと考えています。これらの特定の addID は、ID.txt ファイルに存在します。

ログ メッセージの addID が ID.txt ファイルに存在するいずれかの addID と一致する場合、そのログ メッセージは削除する必要があります。これを実現するためにルビーフィルターを使用しています。

シナリオ: 問題は、使用しているディクショナリ ファイルが MB 単位の場合、logstash がハングし、手動でパイプラインを停止すると、Bad file descriptor エラーが発生することです。ただし、ファイルを KB 単位で使用すると、すべて正常に動作します。

LS_HEAP_SIZE を 4g に変更してみました。何もうまくいきませんでした。

誰かがこれを達成するのを手伝ってくれますか?

以下は私の設定ファイルです。

Twitter から Web サービス データを受け取り、ファイルにログを記録しています。その後、そのデータを Logstash に送信して、Elasticsearch にインデックスを作成できるようにする必要があります。

私は以下の設定を使用していますが、それはjsonparsefailureを例外として与えています

JSON 解析の失敗。プレーンテキストへのフォールバック {:error=>#> LogStash::Json::ParserError: Unexpected character (':' (code 58)): expected a >valid value (number, String, array, object, 'true' 、「false」または「null」)

私のlogstash confファイルは次のようになります：

また、events.json のデータは、以下のサンプルを使用して https://dev.twitter.com/rest/reference/get/search/tweetsから参照できます。events.json

logstash のfilepluginのドキュメントによると、 File Rotationのセクションには次のように記載されています。

ローテーションが行われた後しばらくの間、ローテーションされたファイルに書き込むプログラムをサポートするには、ファイル名パターンに元のファイル名とローテーションされたファイル名 (例: /var/log/syslog と /var/log/syslog.1) の両方を含めます。監視する (パス オプション)。

path正確な例が見つからなかったため、構成で2つのファイル名を指定する方法を誰かが明確にできる場合、それは非常に役立ちます。のようなワイルドカードを使用することを提案する例/var/log/syslog*もありますが、ドキュメントに記載されていることを正確に達成する例を探しています-pathオプションに2つのファイル名。

Postgres から CockroachDB へのパイプラインを作成するために、logstash を使用しています。以下は構成です。

入力プラグイン (ソースは postgres) は正常に動作しています。しかし、JDBC を使用して出力プラグイン (cockroachDB) で接続を確立できません。以下のエラーに直面しています。

宛先 (cockroachDB) は、指定された ip とポートで接続用に開かれています。

cockroachDB JDBC 接続文字列は postgres と非常に似ているため、以下の接続文字列を試しましたが、同じエラーが発生します。

logstash 出力プラグインから JDBC 経由で cockroachDB に接続するにはどうすればよいですか?

現在、logstash を実行した後、logstash コマンド ウィンドウに出力が表示されません。つまり、特定のファイル内のログがフェッチされていません。

私の localhost_access_log.2016-08-24 ログ ファイルのサンプル ログの一部を以下に示します。

入力コードや日付フィルターコードに問題はありませんか? 私が間違いを犯している場所で誰かが私を助けることができますか?

1 つの logstash ノードで複数のサーバーのログを収集したいと考えています。出力として、サーバーごとに 1 つのファイルを保存したいと思います。ログには、どのサーバーがログを生成したかを示す「source_host」フィールドがあります。

出力として、「source_host」という名前のファイルの束を取得したいと思います。ソース ホストは頻繁に変更されるため、一般的な構成が必要です

たとえば、サーバー「foo」からのログは /logs/foo に保存し、サーバー「bar」からのログは /logs/bar に保存する必要があります。

このように設定してみましたが、ファイル名が「%{source_host}」になってしまいます。%{host} を使用すると、ファイルは収集サーバーのホスト名を取得します。