問題タブ [logfile-analysis]

Apache 2.2 アクセス ログ ファイル用の優れたログ分析ソフトウェアの推奨事項を (できれば何らかの理由で) 入手できますか?

WebalizerとAWStatsについては聞いたことがありますが、実際に使用したことはなく、知りたいです:

• 彼らができること
• 便利な理由
• それらの興味深い用途

あらゆるコメントや考えを歓迎します。

一定期間にわたって情報をキャプチャした一連の perfmon ファイルがあります。この情報を処理するための最適なツールは何ですか? 理想的には、監視されているオブジェクト カウンターの 1 時間あたりの平均統計を表示できるようにしたいと考えています。

私はしばらく MapReduce を検討してきましたが、これはフォールト トレラントな分散コンピューティングを実装するための非常に優れた方法のようです。このトピックに関する多くの論文や記事を読み、一連の仮想マシンに Hadoop をインストールし、いくつかの非常に興味深いテストを行いました。Map と Reduce の手順を理解していると思います。

しかし、ここに私の問題があります。http サーバーのログ分析にどのように役立つかわかりません。

私の理解では、大企業 (たとえば Facebook) は、http ログを計算する目的で MapReduce を使用して、これらからオーディエンス統計を抽出するプロセスをスピードアップします。私が働いている会社は、Facebook よりも小さいですが、毎日計算する大量の Web ログを持っています (100Go は毎月 5 から 10% の間で成長しています)。現在、これらのログを単一のサーバーで処理していますが、問題なく動作しています。しかし、コンピューティング ジョブの分散は、すぐに役立つ最適化としてすぐに頭に浮かびます。

現時点でお答えできない質問は次のとおりです。

• MapReduce の概念は本当にブログ分析に適用できるのでしょうか?
  
• MapReduce はそれを行うための最も賢い方法ですか?
  
• さまざまなコンピューティング インスタンス間で Web ログ ファイルをどのように分割しますか?

ありがとうございました。
ニコラス

Delphi 2007を使用していて、内部ネットワークを介して複数の場所からログファイルを読み取り、例外を表示するアプリケーションがあります。これらのディレクトリには、何千ものログファイルが含まれている場合があります。アプリケーションには、最新のn日ビットからログファイルのみを読み取るオプションがあり、任意の日時範囲にすることもできます。

問題は、ログディレクトリが最初に読み取られるときに、非常に遅くなる可能性があることです（数分）。2回目はかなり高速です。

コードを最適化して、ログファイルをできるだけ速く読み取るにはどうすればよいでしょうか。私はvCurrentFile：TStringListを使用してファイルをメモリに保存しています。これはより高速だと思うので、FileStreamから更新されます。

ここにいくつかのコードがあります：

更新：ログファイルを読み取るためのメインループ

UpdateViewメソッド：displaygridに1行追加します

行が日付範囲内にあるかどうかを判断する方法：

filedateが範囲内にあるかどうかをテストします。

私は 5 つの異なる Rails プロジェクトで開発を行っており、さらに一部をリファクタリングしています (古い Rails バージョンから 2.3 に移行しています)。ログファイルからエラー情報を抽出する最善の方法は何ですか?で、コードベースの改善に取り組むことができますか?

Railsログファイルの解析に実際に役立つ、お勧めできるサービスやライブラリはありますか?

私はServerFaultでこの質問を試しましたが、運がなかったので、ここで試してみようと思いました。

私は、外部の訪問者と内部の従業員の両方が使用する公開Webサイトに取り組んでいます。私は外部の訪問者がヒットした後ですが、内部のIP範囲を除外する良い方法を考えることができません。

LogParserを使用して、IP範囲でIISW3Cログをフィルタリングする最良の方法は何ですか？

これが私がこれまでに思いついたすべてであり、おそらく最良または最も効率的な方法ではありません。

WHERE [c-ip] NOT LIKE (10.10.%, 10.11.%)

どんな助けでも大歓迎です。

私は現在、完全な LaTeX ログを読み取るパーサーに取り組んでいます。ログ形式のほとんどは奇妙ですが、簡単に理解できますが、これらの角括弧は私を困惑させます. これは、私のログの 1 つの終わり近くからの例です。

これらの角かっこが何を意味するのか、誰かヒントを教えてもらえますか? それらの構造は見えません。

上記の行 2/3 は、ボックス レイアウトを表すある種の ASCII アートであるという疑いがあります。

次に、「[104」などはページ番号に対応しているように見えますが、角括弧の間に何かがある場合(上記のpdfTeX警告のように)とそうでない場合がある理由はまだわかりません。

基本的に任意の期間の動的グラフを表示したいログファイルデータがたくさんあり、必要に応じてさまざまな列でフィルター処理または集計されます (事前に生成できます)。次の場合に、データをデータベースに保存し、グラフを表示するためにアクセスする最良の方法について疑問に思っています。

• 時間分解能は、1 秒から 1 年まで可変でなければなりません
• 複数の「時間バケット」にまたがるエントリがあります。たとえば、接続が数日間開いていた可能性があり、接続が作成された時間の「スロット」だけでなく、接続されていたすべての時間のユーザーをカウントして表示したいまたは終了

この種類と量のデータを処理するのに役立つレール用のベスト プラクティス、またはツール/プラグインはありますか? これに合わせて特別に調整された、または便利な機能 (CouchDB インデックスなど) を備えたデータベース エンジンはありますか?

編集:このデータとアクセスパターンを処理するスケーラブルな方法を探しています。考慮したこと: 各バケットに対してクエリを実行し、アプリでマージします - おそらく遅すぎます。GROUP BY タイムスタンプ/粒度 - 接続を正しくカウントしません。最小の粒度とクエリでのダウンサンプリングによってデータを行に前処理する - おそらく最良の方法です。

サイトで行われている検索エンジンのクロールを分析する必要があります。これに適したツールはありますか？AWStats と Sawmill を試しました。しかし、どちらもクロールについて非常に限られた洞察しか得られません。一定期間内に特定のクローラーによってクロールされた、サイトのセクション内の固有の Web ページの数などの情報を知る必要があります。

Google アナリティクスは、JavaScript 追跡メカニズムにより、クロールをまったく追跡しません。

ログ ファイルのトラブルシューティング、分析、およびフィルタリングは、最も骨の折れる日常業務の 1 つです。私の問題は、サイズが 4 ギガをはるかに超える可能性があるログ ファイルを検索することです。ファイルをロードするだけで最大 15 分かかります。8 ギガのメモリを搭載したかなり高速なプロセッサを実行しています。ファイルがロードされた後、文字通り、grep や control+F を使ってファイルをスキャンするしかありません。これは、複数のシステムから、それぞれが 1 ギガを超えるファイルを検索しようとすると、さらに悪化します。タイムスタンプに基づいてファイルを分離してファイルを小さくしようとしましたが、本当に喜びはありません.

トラブルシューティングの時間を短縮するために使用できるツールまたはプロセスはありますか (通常の「最初にバグを修正するだけ」とは別に)。

コメントをお待ちしております。