問題タブ [logfiles]

わかりました、これがシナリオです:ログを解析して、「大きな画像」ページを実際に見ずに画像のサムネイルがダウンロードされた回数を見つける必要があります...これは基本的に、「親指」の比率に基づくホットリンク保護システムです。 「フル」画像ビューへ

サーバーがサムネイルへのリクエストによって絶えず攻撃されていることを考えると、最も効率的なソリューションは、たとえば 1Mb ごとに 1 回ディスクに書き込み、ログを定期的に解析するバッファリングされた apache ログを使用するようです。

私の質問は次のとおりです。PHPでApacheログを解析してデータを保存するにはどうすればよいですか。次のことが当てはまります。

• ログはリアルタイムで使用および更新されます。これが行われている間、ログを読み取ることができるように PHP スクリプトが必要です。
• php スクリプトは、ログのどの部分を読み取ったかを「覚えておく」必要があります。これにより、同じ部分を 2 回読み取ってデータを歪めないようにします。
• ログは数時間で 10Gb のデータに簡単に到達するため、メモリ消費は最小限に抑える必要があります。

PHP ロガー スクリプトは 60 秒ごとに 1 回呼び出され、その間に処理できるログ行の量に関係なく処理されます。

いくつかのコードを一緒にハックしようとしましたが、最小量のメモリを使用するのに問題があり、「移動する」ファイルサイズでポインターを追跡する方法を見つけました

ログの一部を次に示します。

ここにレビュー用のコードを添付します。

私はこのコードをCで書きました：

このコードは、ファイルを追加モードで開き、文字列を200回添付します。完全な文字列を含めることができるサイズ100のbufを設定しました。次に、次のbashスクリプトを使用して、このコードを実行するマルチプロセスを作成しました。

O_APPENDフラグを使用してファイルを開くと、各書き込みの前にファイルオフセットがファイルの最後に設定され、完全にバッファリングされたストリームを使用していることを読んだため、出力で文字列が混同されることはないと予想しました。しかし、私は各プロセスの最初の行が次のように混合されていることを取得しました：

そして数行後

rand関数を呼び出すために書き込みが中断されたようです。

それで...なぜこれらの線が現れるのですか？これを防ぐ唯一の方法は、ファイルロックを使用することです...追加モードのみを使用している場合でも？

前もって感謝します！

Is there a tool that is able to collect and count (Java) stacktraces in a large logfile, such that you get an overview which errors occur most often?

2 つの XML ログ ファイルをマージする必要があります。1 つのログ ファイルには、位置の更新を含むトレースが含まれています。もう 1 つのログ ファイルには、受信したメッセージが含まれます。間に位置の更新がなくても、複数の受信メッセージが存在する可能性があります。

両方のログにタイムスタンプがあります。

• トレース ログは <date> を使用します (例: 14.7.2012 11:08:07)
• メッセージ ログは UNIX タイムスタンプ <timeStamp> (例: 1342264087) を使用します。

トレースの構造は次のようになります。

メッセージの構造は次のようになります。

マージを行うときは、タイムスタンプを読み取り (「日付」と「タイムスタンプ」も変換/比較)、すべての位置とメッセージを正しい順序で追加する必要があります。

位置データはそのまま追加できます。ただし、メッセージは <item> タグ内に配置し、(メッセージの UNIX 時間に基づいて) <date> タグを追加し、<Message> タグを <m:Message type="received" に置き換える必要があります。 >タグ。

残念ながら、特にログ ファイルのサイズが 5 MB から 700 MB の間であるため、「単純な」マージではありません... :-/

結果は次のようになります。

そのようなマージをサポートするツールはありますか? または、Javaを使用してこれを解決する簡単な方法はありますか?

この問題を解決する方法についてのヒントを本当に感謝します。

現在、mysql データベースから削除された失われたレコードを取得しようとしています。

logfile1 と logfile0 のエントリを確認しましたが、正しいようです。

txt ファイルを作成したり、ファイルを読み取ったりするのに役立つビューアーまたは変換は、非常に高く評価されます。

Google App Engine でアプリを実行しています.....トラフィックが多いため、ログ ファイルが巨大です ログ ファイルは次のようになります

それらを処理して、いいえなどの意味のある統計を取得したいと考えています。固有の IP アドレスの有無。特定のページでのヒット数.... 私は初心者なので、どうすればいいのかわからない!!!!!

私のアプリは Google アプリ エンジンで実行されます。今まで、ログ ファイルをダウンロードし、後で Python を使用して意味のあるデータに処理していました。

しかし、管理のために、日次ログ ファイルをアプリ エンジンで直接処理して、関係者に直接レポートを送信できるようにしたいと考えています。

これは可能ですか....いくつかの方法を提案してください.....

情報を表示するのではなく、 SQL Server 2008ログ ファイルを読み取る方法を探していますが、シンボルの意味と LOG テーブルの構造を読み取る方法を探しています。を使用してDBCC LOG('my_table', 3)います。

1 つのサーバー インスタンスが、adobe coldfusion 8.1 エンタープライズを実行しているマルチインスタンス セットアップで混乱し始めました。組み込みの cf サーバー モニターはこれらのアラート スナップショットを絶えずスローしていますが、この同じボックスで Fusion Reactor {http://www.fusion-reactor.com/fr/} が実行されており、それらがどこから来ているのかわかりません。これらのファイルをデコードするためのポインターまたは優れたツールを持っている人はいますか?

完全なリンク: http://pastebin.com/42M2Nzpj

Linuxマシンでログファイルが生成されているアプリケーションがあります。

本番環境でアプリケーションを監視したいので、ログファイル名でtailコマンドを使用すると、更新されたファイルの一部しか表示されません。

私が使用したコマンドは tail MyLog.log

私の質問は、更新されたファイルの最新の部分全体を見ることができますか？助言がありますか？