問題タブ [log-analysis]

OtrosLogViewer を使用して、glassfish ログ ファイルを分析しています。しかし、ソフトウェアが動作していないようです。私のパターンは間違っていると思います。

サーバーログの例 (Glassfish 4.0) は次のとおりです。

パターンを変更して機能させるにはどうすればよいですか? OtrosLogViewer のパターンについてかなり混乱しています。

ありがとう。

次の行のログがあります。

ここで、最初の列 ( in24.inetnebr.com) はホスト、2 番目 ( 01/Aug/1995:00:00:01 -0400) はタイムスタンプ、3 番目 ( GET /shuttle/missions/sts-68/news/sts-68-mcc-05.txt HTTP/1.0) はダウンロードされたページです。

Pig を使用しているすべてのホストについて、最後にダウンロードされた 2 つのページを見つけるにはどうすればよいですか?

ご助力ありがとうございます！

デフォルトでは、flume は 1 つの行を 1 つのイベントと見なします。

これは、HBase に書き込んでいるログ ファイルです。太字の行 i want as one event and rest as another event . 基本的に私は日付のイベントを破りたいですか？Flume で行うことは可能ですか?

ありがとう、よろしくチャヤ

いくつかのログをリアルタイムで分析し、数秒ごとに前回読み終えたファイル内の場所を見つけなければならないという事実にどのようにアプローチするかを考えて、bash で簡単なスクリプトを書いています。今、私は次のようなことをしています：

したがって、すべてのサイクルで、ファイルの終わりからいくつかの行を取得し、前回の実行で最後だった行を探しています。これは、1 サイクルで定義された数の行が追加されるまでは問題なく機能します。私はいつでも次のようなことを言うことができますLINES=10000が、この場合、前の実行から最後の行をまだ見つけたかどうかを判断するためだけに、無用な実行が無数にあります。もう少し効率的にできるかどうか疑問に思っていますか？

ログ ファイルを分析するための Python スクリプトを作成しています (例: http://www.monitorware.com/en/logsamples/apache.php )。これを実現するために使用できる方法の提案が必要です。

1. メソッドでログファイルを読み取りますopen。わかった。
2. ログの経過時間を数えていますか？ログ行内の特定の位置から読み取るには、どの方法を使用しますか? 例:64.242.88.10 - - [07/Mar/2004:16:05:49 -0800] "GET /twiki/bin/edit/Main/Double_bounce_sender?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12846 この場合、年などの特定の位置の後の経過時間をカウントするにはどうすればよいですか?
   
   また、1 分あたりに処理されたリクエスト、送信されたデータの合計量、送信されたデータの平均量、1 つのリクエストで送信されたデータの最大量を表示する必要もあります。

ボットネット攻撃に対抗するために、nginx の access.log ファイルを分析して、最も頻繁に使用されているユーザー エージェントを見つけようとしています。どうやってやるの？

squid ログがあり、2 つの異なる IP からログインしているユーザーを見つける必要があります (パスワードが侵害されている可能性があります)。

ログから 3 つの情報 (ユーザー、時間、IP) を抽出し、別のファイルに保存しました

このような行が何百万もあるので、私のアプローチには何時間もかかります

処理後、別のIPからログインしているユーザーとしての情報が必要です。

つまり、2 人の人物が 2 つの異なる IP からまったく同じユーザー名とパスワードを使用していることを意味します。

質問がより明確になることを願っています。

現在、Web アプリのログには、メッセージでいっぱいの大きなテキスト ファイルがあります。デバッグや分析で使用するのは困難です。私は次のことを想像していますが、それはすでに存在していますか、それとも構築する必要がありますか?

UI でログを折りたたみ可能なツリーとして表示できるように、現在のリクエストとセッションにログ メッセージを関連付けたいと考えています。要約レベルでは、ユーザー/セッションごとに表示でき、それらの下に、要求に費やされた合計時間とともに要求が表示されます。そこから、リクエストにドリルダウンして、より深いレベルでログ メッセージを確認できます。警告またはエラーを含むリクエストは、強調表示されるか、フィルターで選択可能になります。

また、システムがブラック ボックスではなく、拡張可能であることも望んでいます。他のスレッドで非同期タスクが発生していたとしても、非同期タスクをセッション/リクエストに接続したいと考えています。そして、これをクライアント側の Javascript エラーと統合したいと考えています。それは別の問題ですが、ポイントは拡張可能なものが必要だということです。