問題タブ [logstash-configuration]

入力/ファイルと出力/s3 でコーデックの組み合わせを使用して、logstash で奇妙な動作が発生しています。output/s3 プラグインでコーデックを指定しない限り、S3 にアップロードするパーツ ファイルを取得できないため、output/s3 logstash プラグインに問題があるようです。

私は Java アプリケーション ログ ファイルを追跡しているので、理想的には入力/ファイル プラグインを使用してディレクトリ内のすべてのログ ファイルを監視し、発生したスタック トレース (およびそれらの新しい行) が同じログスタッシュ イベントにラップされていることを確認します。私はこれが好きです：

これにより、スタック トレースが親イベントに適切に追加されます。次に、2 つの異なる output/s3 操作を実行します (基本的に、生のログを 1 行ずつ再作成し、イベント json をアップロードします)。

「json_lines」コーデックを使用する S3 アップロードは正常に機能しますが、デフォルトの「プレーン」コーデックを使用する生ログのアップロードはまったく機能しません。ファイルは一時ディレクトリにあり、S3 にプッシュされることはありません。「ライン」コーデックを使用しようとしましたが、それでも同じ動作です。入力/ファイル プラグインから「マルチライン」コーデックを削除し、出力/S3 raw プラグインで使用すると、S3 に問題なくアップロードされますが、スタックトレースの各改行は独自のイベントとして受信されるため、コーデックはその仕事をしていないようです。

output/S3 プラグインが json_lines と multiline でのみ動作するように見える理由は何ですか?

降順で書き込まれた複数のログ ファイルがあります。つまり、xyz.log.5 の内容は、ログ xyz.log.4 の内容の前に書き込まれます。ログ ファイルの数は不明です。

だから、ワイルドカードを使ってファイルを読んでいます

しかし、これはファイルを昇順で読んでいます。ログには複数のファイルにまたがる時間ベースのイベントが含まれており、経過フィルターを使用して時間間隔を計算しているため、降順で読み取ることが重要です。そのため、現在、読み取り順序が異なるため、時間間隔が正しくありません。

logstash を強制的に降順で読み取る方法はありますか?

# Logstash 設定の問題

私の実際のログファイルは次のようになります。

情報 - 2015-06-22 06:55:11 - \n************************************ ************************************************\n* ******** XXXXXXXXXXXXXXXXXXXXX 2015-06-22 06:55:11\n************ タイムゾーンは太平洋標準時またはアメリカ/ロサンゼルス\n******** ****************************************************** *************************\n\n\nINFO - 2015-06-22 06:55:32 - コネクタ モジュールのロードが完了しました

logstash で、複数行フィルターを適用しました

私は出力を期待していました

1.

情報 - 2015-06-22 06:55:11 - \n************************************ ************************************************\n* ******** XXXXXXXXXXXXXXXXXXXXX 2015-06-22 06:55:11\n************ タイムゾーンは太平洋標準時またはアメリカ/ロサンゼルス\n******** ****************************************************** ************************

2.

情報 - 2015-06-22 06:55:32 - コネクタ モジュールのロードが完了しました

しかし、私は次のように結果を得ています

1. 情報 - 2015-06-22 06:55:11 -

2.

\n************************************************ **********************************\n************ XXXXXXXXXXXXXXXXXXXXX 2015-06- 22 06:55:11\n************ タイム ゾーンは太平洋標準時またはアメリカ/ロサンゼルスです

3.

\n************************************************ **********************************\n\n\nINFO - 2015-06-22 06:55: 32 - コネクタ モジュールのロードが完了しました

複数行パターンのどこが間違っているのか、誰でも提案できますか?

各行の出力属性として「ステータス コード」をフィルタリングします。同様に、コード = 100、コード = 100、コード = 200、コード = 200、コード = 200、コード = 300

ここでは、 100 = 2、200 = 3、300 = 1 のような各タイプのステータス コードのカウントを取得しようとしています。

作業中の構成は次のようになります。

statsd の設定が間違っていることはわかっていますが、修正できませんでした。

「経過」logstash フィルターを使用して、イベントの期間を計算しています。logstash のデフォルトである秒単位ではなく、分単位の時間が必要です。そのため、変換にルビ フィルターを使用していますが、ルビ フィルター内で浮動小数点数を小数点以下 2 桁に丸めることができません。

表示形式「.2f」を使用しようとしましたが、おそらく引用符が原因で機能しません。エスケープ文字の使用も機能しません。

浮動小数点数で.round(2)も試しましたが、元の値が保持されます。

以下は私の設定です -

構成ファイルを実行すると、次のエラーが表示されます -

誰でも私がそれを解決するのを手伝ってもらえますか? 私の現在のJavaバージョンは -

JDBC 入力構成に関する参照リンクをいただければ幸いです。