問題タブ [log-analysis]

既存のログ ファイルの分析にも役立つ Web 分析ソリューションを探しています。製材所から他のソリューションに移行しています.. Google Urchin を調査しましたが、カスタムの既存のログの分析にはいくつかの制限があります。

現在 Webtrends を調査中ですが、カスタム ログ分析をサポートしているかどうかはわかりません

何か案は？？

大きなログファイルを生成するJBoss6サーバーを実行しています。

ログファイルを分析できるツールはありますか（特定のエラーはどのくらいの頻度で発生しましたか？いつ発生しましたか？INFO / WARNING / ERRORメッセージはいくつありますか...）？

log4jについて聞いたことがありますが、ログオプションの構成をセットアップすることしかできないようです。私は正しいですか？

GUIツールがない場合は、ログファイルの解析に役立つPython / PHP用のライブラリ/モジュール/スクリプトを知っていますか？

私はejabberdログの膨大なセットを見ていて、それらからいくつかの有用な情報を引き出しようとしています。作業の一部を実行するのに役立つ既存のツールはありますか、それとも自分で作成する必要がありますか？

クエリ/レポート作成を容易にするために、ログ エントリを保存するためのさまざまなオプションを検討しています。
現在、私はデータを解析して検索するスクリプトを作成していますが、データの需要がますます高まっているため、ログ データをデータベースに入れる価値がありつつあります。

{"timestamp":"2012-04-24 12:34:56.789", "Msg":"OK"ログ エントリは、 (簡略化された例)のようなキーと値のペアで構成されます。
最終的には、ログ形式がたとえば に拡張されると確信しています{"timestamp":"2012-04-24 12:34:56.789", "Msg":"OK", "Hostname":"Bubba"。これは、「スキーマ」または「ドキュメント定義」を変更する必要があることを意味します。また、当店はWindows+.NETショップです。

したがって、主に NoSQL エンジンを探していたところ、RavenDB が .NET から使用するのに魅力的であることがわかりました。
ただし、それや他の NoSQL データベースが異種レコードをどのように処理するかについての情報を見つけるのに苦労しています。
あなたの意見では、何が適切でしょうか?

log4j, 10 回threadsのログへの書き込みで生成された長いログ ファイルがあります。ユーザーが長時間待機した行 (つまり、同じスレッドのログ エントリの差が 1 分以上ある行) を見つけることができるログ アナライザー ツールを探しています。

PS を使用しようとしてOtrosLogViewerいますが、特定の値 (スレッド ID など) によるフィルタリングが行われ、行間で比較されません。

OtrosLogViewer の新しいバージョンの PPS には、調整されたログ行の差 (ミリ秒) を計算する「デルタ」列があります。

ありがとうございました

次のようなログ ファイルがあります。

ログ ファイルの各エントリは 2 行にわたるため、各エントリはタイムスタンプで始まります。sed を使用して最初の行の末尾にある改行文字を置き換えることができましたが、問題は、ログ エントリの途中に Java スタック トレース メッセージがあることです。sed がスタック トレースを通過すると、エントリの順序が逆になり、INFO または ERROR などで始まり、タイムスタンプが 2 行目に表示されます。したがって、正規表現 [^\d{2}] のようなものを使用して sed にタイムスタンプを最初の行として認識させ、同じ行で改行文字をスペースに置き換えてから値を分割するソリューションを探していました分析用の列。スタックトレース メッセージは空白 [^\s] で始まるため、簡単に識別してスキップできます。

sed または awk を使用してこれを解決する最善の方法は何ですか?

goaccessを使用してnginxログを解析および分析し、分析されたログからレポートを取得したいと思います。しかし、zcat -f access.log.*.gz | goaccess -a -cコマンドを実行すると、次のエラーが発生します。

date_format %D %T.goaccessrcファイルに行を追加しようとしましたが、次のような別のエラーが発生しました。

nginxが使用する日付とログ形式を要求すると思います。しかし、nginx構成に日付またはログ形式がありません。

さらに、以前のバージョンのgoaccess（0.4.2バージョン）を使用しようとしましたが、zcat -f access.log.*.gz | goaccess -a -cコマンドは正常に機能します。日付やログ形式を要求せず、goaccessメニューを表示したり、必要なデータを表示したりできます。

しかし、zcat -f access.log.*.gz | goaccess -a -c > report.html コマンドを使用してhtmlレポートを取得しようとすると、何も実行されません。ただ待って待つだけです（警告やエラーは出さずに）

注：私はこのウェブページをチェックしました。もしあなたが見たいのなら。

1. http://goaccess.prosoftcorp.com/faq
2. http://wiki.nginx.org/HttpLogModule

ここには、クライアントのIPアドレスWebページ、クライアントがリクエストした日付とタイムスタンプ、ステータスコード、その他多くのフィールドなどの詳細を含むWebサーバー検索ログ（トランザクションログ）があります。では、この Web 検索ログ ファイルを使用して、ユーザーの識別とセッションの識別を行うにはどうすればよいでしょうか。誰でも私を助けてもらえますか....

最近、私たちが構築してホストしている Rails 3 アプリに、インストールされている Google アナリティクス トラッカーに問題がありました。これにより、先月追跡される統計が大幅に減少しました。アプリからの運用ログがありますが、これらを解析して訪問者の統計を生成する方法を誰かが知っているかどうか疑問に思っています (Web 分析パッケージが提供するものと同様)。今週統計レポートを提出する必要があり、行方不明の訪問者について何らかの説明をしたいと考えています. どんな提案や助けも大歓迎です!