問題タブ [log-analysis]

私はpiwikを初めて使用し、大量のログをインポートしようとしています。log-format-regexについてサポートが必要です。ログのサンプル行は次のとおりです。

"1.1.1.1" 2.2.2.2 --myuser [09 / Dec / 2012：04：03：29 -0500] "GET /signon.html HTTP / 1.1" 304 "http://www.example.com/example" " Mozilla / 5.0（Windows NT 6.1; WOW64; rv：9.0.1）Gecko / 20100101 Firefox / 9.0.1

私のログ形式の正規表現は次のようになります。

私は一貫してすべての「リクエストが無視された」と「無効なログ行」を取得しています。例えば：

ログインポートの概要

log-format-regexを修正するにはどうすればよいですか？

ティア、ダン

hiall私の目標は、Hadoopのログファイルを分析することです。starfish（オープンソース）とsplunk（商用製品）の2つのツールがあります。どちらを選ぶかについて、賛否両論を知っている人はいますか。私はあなたの答えに本当に感謝しています。ありがとう

ログ集計システムを構築したいのですが、Taobao が開発したこれらのツールを見つけました。どちらも、さらに処理および分析するためにログを収集するために使用できます。それらの違いは何ですか？

取引が契約上および法的制約の下で許可されているかどうかなど、いくつかのチェックを適用することにより、金融取引トランザクションを受信して​​その妥当性を判断する Java アプリケーションを考えてみましょう。アプリケーションは、JMS メッセージ ハンドラを実装して 1 つのキューでメッセージを受信し、2 つ目のキューでメッセージをコンシューマに送り返します。

応答時間を測定し、処理後のパフォーマンス分析を有効にするために、アプリケーションは、メッセージの受信、処理、準備、クライアントへの応答など、いくつかのステップの開始時刻と終了時刻をログに記録します。約あります。1 日あたり 300 万件のメッセージがアプリケーションによって受信されるため、この時間測定数の倍数になります (1 日あたり約 1800 万件の測定値が記録されます)。各測定値は次のデータで構成されます: 測定の ID (例: RECEIVE_START/END、PROCESS_START/END、SEND_START/END)、java.lang.system.nanoTime() で指定されたタイムスタンプ、一意のメッセージ ID。時間測定値はログ ファイルに送信されます。

処理時間を確認するために、ログ ファイルが変換され、MySQL データベースに毎日保存されます。これは、生のログ データを取得し、変換して MySQL テーブルに格納する一連の Python スクリプトによって行われます。これにより、各レコードは 1 つの処理されたメッセージに対応し、各測定値は 1 つの列に表示されます (つまり、テーブルは一意のメッセージによってレコードをグループ化します)。 ID）。

私の質問は次のとおりです。この比較的大きなデータ セット (1 か月または数か月分のログ データを考慮してください) を分析するための最良の戦術とツールは何ですか? 特に、計算してグラフにしたいと思います。

a) 選択した時間枠 (例: 月単位、日単位、時間単位) の応答時間 (例: SEND_END - RECEIVE_START) に関する測定値の分布。
b) 選択した期間 (例: 日、週、月、年) における時間単位 (秒、時間、日、週、月) ごとのメッセージの頻度

あなた自身の経験に関するヒントやレポートは大歓迎です。

次のようなテキストを含むログ ファイルがあります。

すべての IP およびユーザー エージェント情報をファイルに収集したい:

awkでどうすればできますか？

awk '{print $1}'すべての IP とawk -F\" '{print $6}'すべてのユーザー エージェントを一覧表示できることはわかっていますが、それらを組み合わせて出力する方法がわかりません。

2 つの列を持つ csv ログ ファイルがあり、それぞれに要求 (1 列目) と応答 (2 列目) のタイム スタンプがあります。

サンプルデータは次のとおりです。

完全なファイルの 2 つの列 (応答 - 要求) の差の平均を計算したいと考えています。このファイルには、1 日に何百万ものエントリが含まれる可能性があります。

シェルスクリプトでそれを行う方法を探しています。助けてください。

ありがとう Fedorqui、私はあなたのスクリプトを試しました：

それは私に次の結果を与えています：

ミリ秒単位の差が必要です。

Java を使用して RESTful API を開発しており、使用統計を取得したいと考えています。そのため、認証されたすべてのリクエストを定義された形式で記録するフィルターを設定しました。現在、データを日次ローリング ファイルに書き込むだけです。

特定のユーザーによって行われたリクエストの数など、このログからデータを分析して取得するための管理パネルが必要です。

私が考えることができる最善のことは、必要なデータを取得するためのJAVA APIを持つことです.便利なオープンソースまたは優れたフレームワークはありますか、それとも自分で何かを開発するのが最善の方法ですか?

ngnix ログの goaccess 統計を使用しています。しかし問題は、同じ URL に異なるパラメーターがあることです。

「/this/is/example/test.html」のような統計 URL の後のパラメーターを無視したい。

それを行う方法、または他のツールでそれを行うことができますか? ありがとう。