問題タブ [logfile-analysis]

mySQL データベースのログ ファイルがあり、そのログ ファイルを分析 (データ マイニング、機械学習など) に使用したいと考えています。

その方法を教えてもらえますか？

powershell 正規表現を使用して 2 つの情報を 1 行に抽出しようとしている大きなログ ファイルがあります。ログにはあらゆる種類のデータが含まれていますが、私が興味を持っているブロックの例を以下に示します。間違ったバージョンのアプリでログインしているユーザーを見つけようとしています。

サンプルデータ (プレビューには表示されませんが、改行があります):

これらのそれぞれについて返す必要があるのは次のとおりです。

理想的には、4.82.1 が正しいバージョンであるため、4.82.1 を含むレコードを除外したいと思います。

ユーザー名の部分には、次のようなものを使用できます(?<=Device User Name: )(.*)

ただし、その横にあるバージョン番号を取得するにはどうすればよいですか?
バージョン番号の前には常に「Client-Version」(テキスト)、「v」(バージョン番号)、または ; のいずれかが続きます。

正規表現はいつも頭を悩ませてきました。どんな助けでも大歓迎です。

以下のように解析してクエリしたいログ ファイル (*.log) があります。

私がやりたいことは、次のように各行をヘッダーで分割することです:

• ライン、
• 日にち、
• 時間、
• タイプ、
• 説明

...これでクエリを実行できます。

これを行う最善の方法は何ですか？

私が知っているログファイルmy_file.txtには、次の構造があります。

そして、私がやりたいことは、perl の正規表現を使用して、区切り文字で始まる行のすべての値を抽出することですmilk(これは事前に知っています)。次に、いくつかの値の名前 (おもちゃの例martaでは , joe, ralph) があり、それぞれに 10 進数または 16 進数の値が続くことがわかります。

• 10進数か16進数かを事前に知らずに値を読み取る方法はありますか?

• この値を保存する最良の方法は何ですか? martaキーが, joe,であるハッシュを実行することを考えましたがralph、事前にそれらを知らない可能性があります。

そして、これまでのところ私の試みはここにあります

複数の Windows クラスター上に約 1000 のサイトがあります。IIS ログ ファイル (テキスト ドキュメント) は、サーバー上の設定された場所にある各サイトで利用できます。私が見ているソリューションは、次のことができるはずです。

1) ログ ファイルをクラウドにプッシュします。2) これらのログ ファイルを読み取り、アクセス、ビュー、URL ごとのヒット数などのデータを集計し、レポートを容易にするためにクラウドに保存します。3) サード パーティのレポート ソリューションによって集計されたデータにアクセスします。

まず、自分のオプションと必要なセットアップの種類を把握しようとしています。

プラットフォーム: RHEL7

状況:

• crontab スクリプトによって、JMeter レポート ファイルに 5 分ごとに新しい結果が追加されています。
• 別の awk スクリプトは、500 ミリ秒を超える応答時間を探し、電子メール アラートを送信します。

問題の説明:

• 要件は、レポート ファイルに新しく追加された行のみをスキャンすることです。現在、awk スクリプトは毎回完全なレポートを読み取り、
  古いイベントに対してもアラートを送信しています。awk -F "," '$4 != 200 || $14> 500' results.jtl
• awkスクリプトがファイルの最後から最後に読み取った行まで読み取ることができる場合は、お勧めです。これは、最新のイベントのアラートを最初に作成するのに役立ちます。

どんな提案も大きな助けになるでしょう。

i am trying to write a script in python to watch a logfile and search specific keywords in the new lines , if found email to specific address else ignore is there any python module which could help ?

Regards

例えば： [2017-04-14 03:56:22,085109]

これがイベント A が発生する時間である場合、何千行もあるログファイルのこの行の 15 分前に移動し、その期間のすべての行を反復処理して、特定のキーワードを探します。ログファイルのすべての行には、同じ形式のタイム スタンプがあります。