問題タブ [logstash-file]

Logstash を再起動すると、Logstash がログ イベントを複製することが時々観察されました。start_position、、、構成オプションsincedb_pathを適用する正しい方法は何かと考えていました。sincedb_write_interval

• 以下の例のように、同じ場所に複数のファイルがある場合はどうなりますか/home/tom/testData/*.log
• XXX.logたとえば、ファイルの名前が変更されXXX-<date>.logて新しいXXX.logファイルが作成されるなど、ファイルのローテーションが発生するとどうなりますか。この場合、名前は変わりませんが、inode は変わります。

誰かがこれに光を当てることができれば、非常に感謝しています。

オプションで遊んでいましたsince_dbが、 sincedb ファイルが作成されていないようです。以下は私のLogstashFile構成です。ファイルを手動で作成できることを確認したので、権限の問題はありません。誰かが同じことにもっと光を当てることができれば幸いです。

ファイル入力、json フィルター、elasticsearch 出力を使用して、Logstash で大きなメッセージを解析しようとしています。99% の場合、これで問題なく動作しますが、ログ メッセージの 1 つが大きすぎると、最初のメッセージが 2 つの部分的な無効な JSON ストリームに分割されるため、JSON 解析エラーが発生します。このようなメッセージのサイズは、約 40,000 文字以上です。バッファのサイズに関する情報があるかどうか、または上限を超えないようにする必要がある最大の長さがあるかどうかを確認しましたが、うまくいきませんでした。私が見つけた唯一の答えは、udp入力に関連し、バッファサイズを変更できることです。

Logstash には各イベント メッセージのサイズに制限がありますか? https://github.com/elastic/logstash/issues/1505

これもこの質問に似ている可能性がありますが、返信や提案はありませんでした: Logstash Json filter behaing unexpectedly for large nested JSONs

回避策として、メッセージを複数のメッセージに分割したかったのですが、すべての情報を Elasticsearch の同じレコードに入れる必要があるため、これを行うことができません。Logstash から Update API を呼び出す方法があるとは思えません。さらに、ほとんどのデータは配列内にあるため、スクリプトを使用して Elasticsearch レコードの配列を更新することはできますが ( Elasticsearch upserting および array への追加)、Logstash からは実行できません。

データ レコードは次のようになります。

Logstash でこれらの大きな JSON メッセージを処理する方法、またはそれらを分割して (Logstash を使用して) 同じ Elasticsearch レコードにする方法を知っている人はいますか?

必要な情報があれば喜んで追加します。

バックグラウンド：

rsyslog次のようなログ ファイル ディレクトリを作成しています。/var/log/rsyslog/SERVER-NAME/LOG-DATE/LOG-FILE-NAME そのため、複数のサーバーが異なる日付のログを中央の場所に流出させています。

これらのログを読み取り、分析のためにelasticsearchに保存するために、logstash構成ファイルは次のようになります。

問題 ：

ディレクトリ内のログ ファイルの数が増えると、logstash は新しいファイルのファイル記述子 (FD) を開き、既に読み取られたログ ファイルの FD を解放しません。ログ ファイルは日付ごとに生成されるため、一度読み取られると、その日付以降は更新されないため、それ以降は役に立ちません。

でファイルを開く上限を 65K に増やしました。/etc/security/limits.conf

開いているファイル ハンドルの数が増えすぎないように、しばらくしてから logstash にハンドルを閉じさせることはできますか??

バックグラウンド：

rsyslog次のようなログ ファイル ディレクトリを作成しています。/var/log/rsyslog/SERVER-NAME/LOG-DATE/LOG-FILE-NAME そのため、複数のサーバーが異なる日付のログを中央の場所に流出させています。

これらのログを読み取り、分析のためにelasticsearchに保存するには、logstash構成ファイルを次のようにします。

問題：

ここで、特定の日付以降のログ ファイルを読みたいと考えています。たとえば、ディレクトリ/var/log/rsyslogに 2015 年 4 月、5 月、6 月のログがあり、特定の日付以降のすべてのログを読みたい場合は、 > と言います15.05.2015。

これはlogstashfile入力を使用して達成できますか?

編集： もっと読んだ後、入力を使用して達成することはできないと思いますが、file代わりにdropフィルターを使用して日付の後にログを削除できます。

日付 > 15.05.2015??をドロップする正規表現 regex??を使用してこれを達成する方法

ホスト上のディレクトリを監視するlogstashがあります。logstash 構成で指定したパスに一致するログが表示されるたびに、elasticsearch クラスターへのデータのインポートが開始されます。logstash には、ログの消費が完了した後にログを削除する方法がありますか?

logstash が既に処理したログを削除するスクリプトを書きたいのですが、どのログを処理したかを知るにはどうすればよいですか?

多分あなたは前にこれをやったか、これを実装する方法を知っていますか?

場所 (D:\Logsフォルダー)に存在するすべてのログ ファイルを構成します。

ログファイルは

1.Magna_Log4Net.log.20150623_bak

2.Magna_Log4Net.log.20150624_bak

3.Magna_Log4Net.log.20150625_bak

4.Magna_Log4Net.log.20150626_bak

logstash.conf ファイル

すべてのファイルを Elastic Search にロードできません。ここで問題がわかりませんでした。複数のファイルをlogstash構成ファイルに解析する方法を教えてくれる人はいますか???

logstash がファイルから 1 つのイベントとして読み取ることができる最大文字数は? (複数行の入力ではなく、1 行の入力)? また、logstash は行間に特定の数のスペース/タブを改行として取りますか?