問題タブ [logstash-file]

次のように、配列に Json ログがあります。

配列から最初の 3 つの要素を削除し、フィルターを使用して最後の 4 つの要素を保持したいと思います。

私はこれを私のフィルターとして持っています：

しかし、Logstash は自分自身をエラーに陥れます

私はこれをオンラインで検索しようとしましたが、手がかりが得られませんでした。logstash の実行出力をログ ファイルに出力する方法はありますか? たとえば、sql_last_start に従ってデータを読み取るために jdbc プラグインを使用しています。クエリが実行された時刻、応答したレコードの数、次の実行時刻を知りたいです。

テーブル test に列 [id,name,updated_on] があると仮定すると、以下のコード:

現在、logstash-jdbc-plugin を使用して DB からデータを取得し、ES のインデックスに配置しています。DB からプルされたデータ全体が Elastic Search インデックスに挿入されているかどうかを確認する方法。

プルされるデータは数百万単位であるため、手動でチェックし続けることはできません

I am new to logstash and during my hands on I could see that logstash do not process the last line of the log file.

My log file is simple 10 lines and I have configured filters to process one/two fields and output the json result to a new file.

So when logstash is running I open the monitored file and add one line to the end of file and save it. Nothing happens. Now I add one more line and the previous event shows up in the output file, and similarly for the next events.

How to resolve this behavior ? Is something wrong with my usecase/config ?

ログ ファイルを解析して、elasticsearch に送信しようとしています。問題は、S3 クライアントが、改行文字 (\n) ではなくキャリッジ リターン (\r) を含む行をファイルに挿入していることです。データの 99% と一致する区切り文字として '\n' を使用するファイル入力フィルターの構成。このデータに対して logstash を実行すると、本当に探している最後の行が見つかりません。これは、ファイル入力フィルターが「\r」文字を改行ではなく通常のテキストとして扱っているためです。これを回避するために、Mutate Filter を使用して「\r」文字を「\n」に書き換えようとしています。mutate は機能しますが、Grok はまだ 1 つの大きな行として認識しています。および _grokparsefailure。

私の「通常の」ログファイルは、予想どおりGrokを行ないます。

設定

入力

入力ファイルからのこのサンプルは、問題を示しています。^M 文字は、vim が '\r' キャリッジ リターンを表示する方法です ('more' はそれらのほとんどを非表示にします)。Linux とファイル プラグインではすべてが 1 行のテキストとして表示されることがわかるように、この行はそのまま残しました。

出力

この行は改行 '\n' だったので、解析するには grok が必要です。誰でもこれを修正する方法を知っていますか?

ダミーのログファイル:

複数行から同じ ID の行をマージし、単一のイベントと見なすと予想される結果。