問題タブ [logparser]

Log Parserは、ログ ファイルを解析するための優れたツールです。IIS ログ ファイルだけでなく、カスタム ログ ファイルも解析できます。

たとえば、 SQL 構文を使用してログを解析できます。

Linux用のそのようなツールはありますか?

ありがとう。

私はこれをpowershellのusenetグループにも投稿しましたが、今はほとんど死んでいると思います.

私は頭の中でスクリプトに取り組んでいます。PowerShell とログ パーサーの両方を使用します。現在、csv の入力と出力を accdb に取り込もうとしています。問題が 1 つありますが、うまく機能するスクリプトがあります。

私のフィールドの 1 つは、datetime 型である必要があります。ただし、export-csv を介して powershell からエクスポートする csv は文字列になります。日時形式にすることをお勧めします。型キャスト (LogParser を使用) と ParseExact (powershell を使用) を調べましたが、わかりません。

export-csv が作成している csv の例を次に示します。

ParseExact (powershell) について私が思いついたのは次のとおりです。

csv データを accdb データベースに追加するために使用しているコードを確認する必要がある場合は、お知らせください。投稿します。キャストがどこで行われるかについては好みがありません。PowerShell で CSV を作成し、logparser を介して Access のテーブルにコピーします。

ご覧いただきありがとうございます。

自分のログ ファイルを解析するために ruby​​ ログ パーサー gem を選択したいのですが、調査の結果、rawk、ログ アナライザーなどがあることがわかりました。私の要件は次のとおりです。

1. ログ ファイルの形式は独自に定義されているため、ログ ファイルを解析できます。
2. ログファイルは 1G 程度の大きなものです。
3. リアルタイムで解析する必要があります。
4. 解析結果をデータベースに転送します。自分で実行できます。

Ruby ログ パーサーに精通している場合は、私たちの要件に合わせて推奨してもらえますか? 前もって感謝します。

私のコンピューターでは常にCPUモニターが動作しています。過去 1 時間の結果のみを解析するログ パーサーが必要です。誰もそれを行う方法を知っていますか?

最後の行はエラーになります。どうすればそれができるか知っていますか？ありがとう！

perfmon を実行できないため、logparer を使用して Web サービスの実行時間を監視する必要がある状況があります。これは、私のクライアントの不当な要求のせいです。

クエリを文書化しましたが、常に最新のファイルを監視したいので、u_ex110713.log を動的ファイル名に置き換えたいと考えています。どうすれば実現できますか。私はdosバッチファイルを使用することにオープンであるため、それをスケジュールして、しきい値が30秒に増加した場合に警告する別のバッチに結果をパイプできます。

200万件を超えるレコードのログに数千件のリクエストがある場合、IISは29641895または同様の多数のレコードとして時間を記録しています。所要時間の値はミリ秒単位であるため、時間に変換すると、ほぼ8時間に変換されます。IISでそのようなログを引き起こしている可能性があるのは何ですか？

表示されるログは、IIS7以降のWindows2008サーバーでホストされているASP.NET4.0Webアプリケーションのものです。このアプリケーションは、ASP.NETMVC3フレームワーク上で開発されています。

ログは、計算された要求と静的な要求にも存在します。

COM 相互運用機能を介して C# で LogParser 2.2 を使用しており、実行時間の長いクエリにタイムアウトを与えたいと考えています。

例えば

log.Execute時間がかかりすぎる場合、通話を中断することはできますか? 試してみThread.Abort()ましたが、ThreadAbortException は Execute 呼び出しが正常に終了するまで待機しているようです。

テストに使用されるコードThread.Abort()は次のとおりです。

こんにちは。問題の説明が奇妙で不正確に聞こえる場合は、まず申し訳ありません。私の複雑な問題を英語で説明するのは簡単ではありませんが、私の言いたいことを理解していただければ幸いです。

Web サーバーのアクセス ログを解析するための CLI ツールを作成しました。パフォーマンスと使い方の柔軟性に焦点を当てました。

したがって、MMap を使用して LogFiles をメモリに読み込み、メモリにマップされた char* を並列 OpenMP 処理ループに渡します。

omp parallel for ループでは、boost::regex_search を使用してすべての LogString からいくつかの有益な部分文字列を解析し、イベント データをスレッド ローカルのカスタム LogEvent タイプ オブジェクトに格納します。

現在の文字列からこの LogEvent-Object を作成した後、LogEvent をベクターに追加し、次の文字列の解析に進みます。

注意が必要なのは、プログラムの開始時にユーザー構成ファイルを解析することです。ユーザーは、フィールド名とデータに一致する正規表現を指定することにより、複数の「データ フィールド」を定義できます。

例えば：

さらに、ユーザーは出力レポート データが生成される順序を指定できます。

例えば：

出力文字列は次のようになります。

私が抱えている問題は、ビデオ ファイルをストリーミングすると、ログにいくつかのアクセス イベントが発生することです。クライアント プラットフォームが異なれば、サーバー レスポンス コードを生成する際の動作も異なるため、ストリームをリロード/バッファリングしているだけの人を実際には認識できません。

現在、イベントを複数回カウントしていますが、これはしばしば間違っています。

どうすればこの問題を処理できますか? 私が知っているのはかなり一般的ですが、私のプログラムとそれをどのように記述したかを考えると、私のプログラム設計では問題を解決するのが難しいことがすぐにわかります。

私は回避策を見つけましたが、それは常にパフォーマンスに非常に悪い影響を与え、正当な解決策ではありません.

どういうわけか、解析時にこれらの LogEvents を LogEvent-Objects のベクトルに追加することを避ける必要があります。その時点まで、文字列はまだ正しい時系列順であるため、現在の文字列を以前の文字列などと比較できるからです。

その後、omp クリティカル フェーズが開始され、スレッド ローカルの結果が結合されます。間違った複数のヒット カウントをチェックしたい場合は、データ配列全体を検索する必要がありますが、これは nogo です。

私の問題が十分に明確であることを願っています。何か案は？（サンプルコードが役立つかどうかはわかりません。設計の問題だと思います）...

SQL Server を LogParser 2.2 のカスタム入力形式として許可する Windows スクリプト コンポーネント COM の記述方法を文書化したリンク/URL を知っている人はいますか?

これとこれに関する他の洞察を共有してくれてありがとう。

私はMSLogParserを使用して、IISログに対して簡単な分析を行っています。

URLにヒットする一意のIPの数を示すレポートを生成するクエリが必要です。その結果は次のようになります。

URL | Unique_IPs | Total_Views

url1 3100 url2 5 253

等

私が抱えている問題は、グループ化を使用するときにLog Parserがcount（DISTINCT c-ip）を許可しないことです。また、URLごとのヒット数を取得するには、groupbyが必要です。

Log Parserでこの種のクエリを実行する方法を知っている人はいますか？

ありがとう！