問題タブ [logfile-analysis]

タブで区切られたログ ファイルを毎日次のように見るのにうんざりしているので、質問しています。

幸運なことに、次の機能を持っている人がいるかどうかを知りたいです。

• 不要な部分を動的に「フィルタリング」できます。つまり、ログ ファイルが読み込まれると、その部分に注目するためだけにその一部を抽出する必要はありません。そのコンテンツを単純にフィルタリングし、それが完了したら、すべてを元に戻して別のフィルタリング プロセスを再開することができます。

• 現在の行のハイライト。これは単純に、長い行がいくつかの行に折り返されているためです。

• 正規表現ベースの検索と組み合わせて一致を強調表示します。とにかく多くの編集者がこれをサポートしていると思います

私の最後の手段は、Perl または Linux コマンドを使用して私の生活を楽にすることですが、時間を節約するためにすぐに利用できるログ アナライザー/エディターがあることを心から願っています :)

事前にすべての提案をありがとう。

awstats や splunk のような他のツールがあることは知っていますが、R で本格的な (Web) サーバーのログファイル分析が行われているのではないかと思います。R でそれをやろうと思ったのは私が最初ではないかもしれませんが、それでも R には優れた視覚化機能があります。機能と優れた空間パッケージ。どれか知っていますか？または、構築できる最も一般的なログ ファイル形式を処理する R パッケージ/コードはありますか? それとも単に非常に悪い考えですか？

logcatを使用すると、エミュレーターでアプリによって生成されたログメッセージを確認できます。同じログファイルを読み取り/取得するにはどうすればよいですか？今回はアプリが実行されているデバイスからですか？デバイスはどのコンピューターにも接続されておらず、ログファイルは電子メールで送信する必要があります。

正規表現に一致する行を強調表示するログテーリングアプリ（BareTailPro）を使用しています。私は現在、フィルターをちょうどerror（大文字と小文字を区別しない）に設定しています。これは次のように返されます。

が付いている行を見たくありませんReceiver TopicName.*。

これを行うために正規表現を設定することは可能ですか？アプリの表現語彙は非常に限られているようです：リファレンス

致命的なエラーを監視するためのアイテムのセットアップがあり、別のアイテムを追加して、致命的なエラーの数を計算し、それらをグラフ化する必要があります。

このキーを使用: log["/d2/httpd/logs/myDomain-error_log","PHP Fatal","UTF-8",100]

必要なデータを適切に取得しますが、これをグラフ化することはできません。エントリを数えてフォーマットを整数として取得する必要があると思いますが、これは機能しません:

count(log["/d2/httpd/logs/myDomain-error_log","PHP Fatal","UTF-8",100], 60)

私のキーがどうあるべきか、またはこのデータをグラフ化して時間の経過とともにエラーの数を確認する方法についてのアイデアはありますか?

アクションとトリガーは正常に動作し、想定どおりに動作していますが、そこからグラフを作成できません。

最近、DNN で開発された Web サイトを立ち上げました。

ログ ファイルを分析すると、拡張子が .axd のファイルが、ページと共にアクセスされるリソースとして表示されます。問題は、これらの .axd ファイルで大量のトラフィックが発生していることです。

大量のトラフィックとは、ヒット、訪問、データ転送を意味します。

私の質問は次のとおりです。 1- 通常の .net で作成された古いサイトでは見たことがないのに、アクセスしたページ内にこれらの .axd ファイルが表示されるのはなぜですか? これらのファイル名のサンプル: WebResource.axd、DXR.axd、ScriptResource.axd

2- これらの .axd ファイルで見られるヒット数、訪問数、転送されたデータはカウントされますか? つまり、「abc.aspx」という名前のページが WebResource.axd を使用してロードしている場合、abc.aspx の合計訪問者数を取得するには、両方の訪問者 (.aspx の訪問者と .axd? の訪問者) を合計します。

3- これらの .axd ファイルに表示されるヒット数、訪問数、および転送されたデータから、誤った合計トラフィック値が得られますか? 実際、トラフィックは突然 40% 増加しましたが、訪問者とヒット数は大幅に減少しました。

ありがとうございました。

Is there a tool that is able to collect and count (Java) stacktraces in a large logfile, such that you get an overview which errors occur most often?

名前と日付でExcelファイルフィールドを自動的に短縮する方法を作ろうとしています。私がやろうとしていることを説明します：

過去数日間にシステムにログインした多くのユーザーのログ テキストがある Excel ファイルがあります。このファイルから取得したいのは、1 日およびユーザーごとのシステムへの最初のログインとログアウトです。次に例を示します。

エクセルファイル

ユーザー 1 - 2012 年 1 月 20 日 13:00 - 2012 年 1 月 20 日 15:27

ユーザー 1 - 2012 年 1 月 20 日 16:00 - 2012 年 1 月 20 日 18:43

ユーザー 2 - 2012 年 1 月 24 日 08:30 - 2012 年 1 月 24 日 11:43

ユーザー 2 - 2012 年 1 月 24 日 15:32 - 2012 年 1 月 24 日 19:32

ユーザー 2 - 2012 年 2 月 25 日 10:25 - 2012 年 2 月 25 日 15:25

ユーザー 3 - 2012 年 13 月 3 日 04:13 - 2012 年 13 月 3 日 10:21

取得したい結果:

ユーザー 1 - 2012 年 1 月 20 日 ログイン: 13:00 ログアウト:18:43

ユーザー 2 - 2012 年 1 月 24 日 ログイン: 08:30 ログアウト:19:32

ユーザー 2 - 2012 年 2 月 25 日ログイン: 10.25 ログアウト:15:25

ユーザー 3 - 13/03/2012 ログイン: 04:13 ログアウト:10:21

私のExcelのスキルは非常に限られているため、Excelでそれを取得する方法がよくわかりません。助けていただければ幸いです。

私は例外をログに記録しています。例外ログの分析を実行するためのツールまたは手法があればいいのですが、誰かお勧めできますか?

ある種のヒューリスティック分析で何かを想像していますが、夢を見ている可能性があります。

分析ツールまたは手法で見つけるのに役立つと思われるものは次のとおりです。

• タイプ X のすべての例外は URL A にあります
• タイプ Y のすべての例外はユーザー エージェント B からのものです
• タイプ Z のすべての例外は、土曜日の午後 4 時までに制限されています ;-)

例外ログの分析を高速化するためのその他のヒントやテクニックがあれば、それも良いでしょう。

注: 私は SQLite で Elmah を使用しています (ただし、SQL など、どこにでも簡単にデータを転送できます)。

R でいくつかのログファイル分析を行う予定です (R で実行できない場合を除きます)。また、データが RAM に収まる必要があることも理解しています (keyval ストアへのインターフェイスのような何らかの修正を使用しない限り、多分？）。そのため、データが RAM でどのくらいのスペースを占めるか、十分に確保できるかどうかを事前に知る方法を考えています。私は自分が持っているRAMの量を知っており（XPでは3GBという膨大な量ではありません）、ログファイルが最終的にいくつの行と列になるか、そして列エントリがどのようなデータ型であるべきかを知っています（これはおそらく次のように確認する必要があります読みます）。

これをRで分析を行うためのゴー/ノーゴーの決定にどのようにまとめるのですか? (おそらく、R は、データを保持するだけでなく、操作を行うための RAM を備えている必要があります!) すぐに必要な出力は、統計、頻度、不測の事態などの簡単な要約の集まりです。短期的に必要な出力を提供するパーサー/タブレータですが、次のステップとしてこのデータへのさまざまなアプローチを試してみたいので、R を使用する可能性を検討しています.

ここで R の大規模なデータセットに関する有益なアドバイスをたくさん見てきましたが、これを読み、また読み直します。そこにあるが、それを扱いやすくするためにいくつかの追加のことをしなければならないことを期待するか、(c) 手遅れになる前に逃げて、他の言語/環境で何かをする (提案を歓迎します...!)。ありがとう！