問題タブ [log-analysis]

Java で Web サーバーのログ ファイルを読み取る方法。このファイルは常に更新されています。新しい FileInputStream を開くと、リアルタイムでログが読み取られますか?

よろしく

これを手伝ってくれる SO の SharePoint 専門家がここにいることを願っています。

これが問題です。私の SharePoint ログには、次の行が数回含まれています。

An SPRequest object was not disposed before the end of this thread. To avoid wasting system resources, dispose of this object or its parent (such as an SPSite or SPWeb) as soon as you are done using it. This object will now be disposed. Allocation Id: {8D090AD2-5D55-42C2-9873-2D5486FE257C} To determine where this object was allocated, create a registry key at HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Shared Tools\Web Server Extensions\HeapSettings. Then create a new DWORD named SPRequestStackTrace with the value 1 under this key.

レジストリを編集してキーを追加しましたが、スタックトレースがどこにも見つかりません。SharePoint ログやイベント ビューアーにはありません。

これらの SPSite/SPWeb リークの原因を突き止めて修正する必要がありますが、問題の原因であるかどうかに関係なくコードの編集を開始することはできません。誰か提案はありますか？

この件に関する O'Reilly の記事を読んだ後、Stack Overflow にこの問題についての考えを尋ねてみました。

ログをさかのぼって解析し、発生した /foo/* リクエストの数を数えて、プッシュしている新機能のベースライン ベンチマークを取得しようとしています。単純なコマンド ライン スクリプトで問題ありませんが、日付範囲を指定できるという利点があります。

おそらくgrepの使用？

最高の Postfix ログ アナライザーはどれですか? Postfix 用の優れたログ アナライザーを探しています。以下を分析する必要があります

1. キューに入れられたメールの数は?
2. 配信されなかったメールの数は?
3. メールが届かないのはなぜですか？

また、メッセージ ID の代わりにすべてのメール ステータスの件名を表示することは可能ですか? 単一のメールのステータスを確認することを意味します。

現在、Sawmill アナライザーを使用しています。しかし、管理者は、sawmaill からのレポートに満足していません。単一のメッセージ ステータスと件名が欠落しているためです。

Glassfish ログ ファイルの優れたログ分析ソフトウェアに関する推奨事項を入手できますか? アプリケーション サーバーごとに劇的に変わることはないので、すべてのサーバーに共通のソリューションがあると思います。

ありがとう

zohmgプロジェクトは死んでいるようです（2009年11月以降、新しいコミットはありません）ので、（成功した結果で）それを使用/使用した人がいるかどうかを知りたいと思います。または、このプロジェクトの将来について何か知っている場合。

そうでない場合は、このプロジェクトに代わるものはありますか。（Apache）ログからデータを抽出し（Hadoopをバッチ処理システムとして使用）、HBaseに保存し、このデータのクエリに役立つツールを探しています。

ログ ファイル (または着信要求) を解析し、要求が検索エンジンからのものである場合に検索用語を抽出するライブラリを探しています。

この機能を提供する優れたライブラリはありますか?

どの言語でも構いません。

複数のサブドメインを持つサイトがあり、すべてのサブドメインが同じ access_log ファイルに記録されます。ファイルは非常に大きくなる可能性があるため、各サブドメインを独自のファイルに grep するスクリプトがあります。

次のように、Apacheにカスタムログファイル形式があります。

ログ ファイルの行は次のようになります。

ログ形式で 10 項目、ログで 10 項目。小切手。

awstats 構成ファイルに次の Logformat を使用して、これらを awstats で分析しようとしています。

LogFormat="\"%host_r\" %host %logname %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"

awstats から得られる唯一の出力は、Monthly History セクションからのものです。それ以外はすべて空白またはゼロです。

私の生成スクリプトは次のようになります。

私は何を間違っていますか？

さまざまな種類のログ ファイルから大量のデータを収集して保存する必要がありますが、必要な情報だけを抽出するために特定のフィールドをフィルター処理する必要があります。そのため、ETL ツールを使用してダート サービスを実行する可能性について考えています。私の考えは、ファイル コネクタに基づいてソリューションを構築し、変換プロセスをプログラミングまたはカスタマイズし、最終的にこのソリューションを Linux マシンに展開して、その場でファイルを監視し、必要な情報を抽出してデータベースに保存することです。

だから私の質問はです。この仕事に適していて、柔軟性があり、より KISS しやすいオープンソース ツールはどれですか?

Scriptella、Kettle、Talent など?

繰り返しますが、デファクト ツールとしてログ/テキスト ファイルを操作するにはどうすればよいですか?

男らしい意図と目的は、ログを監視、抽出し、地区のログ形式からデータを保存するための効率的なソリューションを作成することです。

どうも！