問題タブ [logstash-grok]

logstash で Apache Tomcat とアプリケーション ログ ファイルを解析するためのパターンを定義すると、次のエラーが発生します。サンプル ログ ファイルは次のとおりです。

設定ファイルは次のとおりです。

日付 {:level=>:error} の不明な設定 'timestamp'

私はlogstashで遊んでいて、複数行フィルターを試してみたかった. 複数行のコンテンツを含むことができる単一のファイルを解析しようとしています。複数行フィルターを使用していますが、本来の方法で機能しません。ファイルには次の内容があります。

Grok パターンを使用

私はlogstashで次の設定ファイルを使用しています

上記のデータをstdinからコピーして貼り付けると、期待どおりに機能します。つまり、ファイル内のすべてのイベントを含むメッセージとともに出力が表示されます。ファイルで同じものを渡すと、ログエントリごとに異なるメッセージが出力されます。つまり、4 つの異なるログイベントが表示されます (これは私が望むものではありません)。

注：複数行とともに次のオプションを使用してみましたが、

1. (?m) grok の複数行モードであり、それもまったく役に立ちません。
2. また、mutate フィルターを使用して "\n" を " " に置き換え、それを grok で解析しました。

私が犯してきた非常にばかげた間違いがあると思います。または、実装するフィルターを正しく理解していません。どんな助けでも大歓迎です！

わかりました、とりわけ、このようにログ行から一意の ID の最初のセグメントを grok フィルターで釣り上げます (私が気にするのは最初のセグメントだけで、残りは破棄します)。このセグメントは 16 進数で、2 進数で表示します。

この線：

フィルターは次のようになります。

しかし、それは私にこの結果を与えるだけです:

10進数に変換されると予想していた場所：

私はこれを間違っていますか？私は本当に立ち往生しています。

フィールドを区切る区切り文字がない固定位置 (列) ファイルがあります。各フィールドには、独自の開始位置と長さがあります。以下はデータの例です。

上記のデータのサンプルを示すためにダッシュ (-) を使用しましたが、実際のフィールドがスキーマで許可されているよりも短い場合、実際のファイルにはスペースが含まれます。

この場合のスキーマは次のとおりです。

理想的には、logstash で次のフィールド値を取得します (末尾のスペースなし)。

この種のファイルを grok で解析するにはどうすればよいですか?

1 つの .log ファイルに複数の種類のログ メッセージがあるため、1 つ以上のマッチャーを使用して logstash フィルターを定義したいと考えています。ログファイルが 1 つあるかどうかを確認し、行で実行されている最初のフィルターだけでなく、さらに分離されたフィルターを定義しました。

logstash のドキュメントを調べましたが、これに対する答えが見つかりませんでした。（バイト、MB、GB）で測定されたlogstashmax_valueの出力フィールドは何ですか？file200 MB のファイルを作成したくないので、これが大きな推進要因になるでしょう。

Mongrel2 を含むさまざまなログ ソースを管理するために、logstash を構成しようとしています。Mongrel2 で使用される形式はtnetstringで、ログ メッセージは次の形式になります。

上記のフォーマットから特定のフィールドを抽出するために、独自の grok パターンを作成したいと考えています。上記のメッセージhereで正規表現をテストすることから始めました。正規表現は

これは一致しlocalhostます。フォームで grok パターンと同じ正規表現を使用する場合

でlogstashを構成します

同じ正規表現が一致し86:9:localhostます。どこが間違っているのかわかりませんか？テストに使用した正規表現エンジンは Python に基づいていますが、grok フィルターの正規表現は Onigurama に基づいていますか?

現在、次の入力を使用してgrokdebugでテストしています

そして次のパターン

その結果

欲しいところ