問題タブ [log-analysis]

タイムスタンプや URL などの取得を含むさまざまなログ ファイルを分析する必要があります。これにはマルチスレッドを使用しています。各スレッドは異なるログ ファイルにアクセスし、タスクを実行しています。それを行うためのプログラム：

Thread を拡張する MultithreadedThroughput クラスで、BufferedReaderを使用してファイルを読み取っています。全体のプロセスには約 15 分かかります (ファイル サイズはそれぞれ約 2GB と大きくなります)。時間がかからないようにプログラムを最適化したい。

すべてのログ ファイルでスレッドを開始する代わりに私が考えた解決策は、一度に 1 つの大きなログ ファイルを取得し、大きなファイルをチャンク (プロセッサの数に等しいチャンクの数) に分割してから、それらのスレッドを開始するか、または他の解決策です。以前と同じプログラムを使用しますが、一度に 1 行ずつ読み取るのではなく、一度に複数行を読み取って分析を行います。しかし、私はそれらのどれも知りません。解決策を説明してください。

calculateThroughput メソッドでは、1 時間間隔で URL のスループットを推定する必要があります。したがって、プロセッサの数に応じてファイルを分割すると、1 つの間隔の間に分割される可能性があります。つまり、間隔が 06.00.00 から 07:00:00 (1 間隔) まで開始するとします。このように、24 間隔 (1 日) になります。各ログ ファイル。そのため、大きなログ ファイルを壊すと、間隔の間に割り込む可能性があります。それが、ファイルの分割で直面している問題です。

このコミュニティでの私の最初の質問です。ここで素晴らしいものになることを願っています!

トピックへ: この非常に単純なログ ファイルを次の方法で作成しました。

および goaccess の次の構成ファイル

副次的な質問:

• 構成ファイルを作成するいくつかの異なる方法を見つけることができました。ドキュメントでは、混乱するdate_formatとlog_formatの変数宣言を見つけることができます。どれが正しいですか？

このトピックに関連するすべての質問に目を通したので、エラーが発生する理由を見つけることができませんでした

ドキュメントには、正しい解析には %h、"%r"、および %d のみが必要であると記載されています。私は何が欠けていますか？

追加。情報

• CentOS7 64ビット
• ゴーアクセス 0.8.5

この日の最新バージョンは 0.9.2 です。「理由」から、最新バージョンを自分でビルドすることはできません。バージョン依存の問題(?)なのかもしれません。

アプリケーション サーバーのログが必要なビジネス シナリオがあり、以下のタスクを実行したい -

1. ログに記録されたエラー シナリオを調べて、エラー コード [ログ内]、発生した例外、時間を見つけます。
2. セキュリティ違反の可能性があるユーザーによって行われた反復トランザクション。
3. 上記の 2 つが発生した場合、管理者に警告します。

バッチ処理を備えたマルチスレッドの基本的なJavaアプリケーションを使用してそれを行うことができますが、ビッグデータテクノロジーを使用してそれを行い、さらにアプリケーションの動作をグラフィカルに表現したいと考えています。

これを非常に高速でスケーラブルに実現するために使用するのに最適な技術を誰かが提案できますか? 可能であれば、それを行う方法のアーキテクチャは?

誰かがそれを助けてくれたら素晴らしいだろう

私は岐路に立たされています。Linux OS でのtelnet セッションや、Linux マシンからのログ ファイルの (自律的な) 解釈など、いくつかのプロセスを自動化したいと考えています。

これは特定の技術的な質問ではなく、経験に関する質問であることを認めます。

私の質問は次のとおりです。どのプログラミング言語が私のニーズに最適ですか?

これまでに分析したこと（可能性）：

1. Python、logtools ライブラリを使用。

2. ログ分析専用のソリューション: LogParser、LogExpert などの他の Web ベースのソリューションなど (通常、telnet セッション オプションが含まれていないか、組み込み Linux ボードでは機能しません。これが私が使用しているものです)。

3. Expect スクリプト (ログ抽出用) と Python ログ インタープリターの組み合わせ。プロセス全体に対して単一の環境を用意したいと考えています。*いくつかの基本的なコマンド シーケンスに Expect を使用することができました。

より具体的には、理論的な例(一連のアクション) を示します。

telnet セッションを作成する -> 資格情報を与える -> コマンドを送信する -> コマンド出力を保存する -> 出力からパーツを分析/抽出/解釈します。

ログの解釈は簡単ではありません。制御構造、算術演算、グラフィック表現などが必要になる場合があります。

追加の質問: Python は、上記の要件に関していくつかの制限/問題を課しますか?

ご意見をお待ちしております。

ありがとうございました！

Bluemix Monitoring and Analytics サービスに問題があります。単一の Monitoring and Analytics サービスにバインドする 2 つのアプリケーションがあります。~1 分ごとに、両方のアプリで次のログ行を取得します。

ERR [Resource Monitoring][ERROR]: JsonSender リクエスト エラー: エラー: サポートされていない証明書の目的

バインドを削除すると、ログ メッセージは表示されません。また、「JsonSender」または「Resource Monitoring」に関連するコードを検索しましたが、何も見つかりませんでした。

サーバーでいくつかの主要なリファクタリング作業を行っているため、問題が発生している可能性があります。ただし、私たちのコードは監視サービスを直接使用していません (監視サーバーなどに接続するパッケージはありません)。そのため、問題がリファクタリングの変更によるものである場合、非常に驚​​かれることでしょう。変更を行う前にログを確認しませんでした。

どんなアイデアでも役に立ちます。

ログの監視と問題に関する警告に ELK を使用できるかどうかを確認するために、ELK をデプロイしました。

私が検出できるようにする必要があるのは、ほとんどが欠落しているレコードです。たとえば、ユーザーが何らかのリクエストを行おうとしているというログ レコードが受信されたとします。次に、リクエストが行われたことを示すログ レコードが表示されることを期待しています。

最初のレコードが到着してから X 秒以内に 2 番目のレコードが受信されなかった場合、何か問題があり、それについて警告したいと思います。

それを達成する方法はありますか？

nginx のログ出力を見つけてください (access.log)

182.69.143.120 - - [31/​​Mar/2016:03:10:51 +0530] "GET /api/check_delivery.php?authkey=9450AW2qTKYe453be757c&requestid=36626f6a3530323439383831 HTTP/1.1" control.msg91.com "-"-39 "-" " "-" "control.msg91.com" "-" へ: 10.0.0.62:8080: アップストリーム_応答_時間 0.003 要求_時間 0.003

私のnginxカスタムログ形式:

$remote_addr - $remote_user [$time_local] "$request" $host' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$server_name"';

そして、私はgoaccess confファイルで使用しています:

時刻形式 %H:%M:%S

日付形式 %d/%b/%Y

log_format %^[%d:%^] "%r" %s %b "%R" "%u" "%^ %h"

これを実行した後、以下のエラーが発生します。

GoAccess - バージョン 0.9.8 - 2016 年 3 月 31 日 14:11:22 構成ファイル: /usr/local/etc/goaccess.conf

致命的なエラーが発生しました エラーが発生した場所: src/goaccess.c - main - 1017 処理できるものはありません。日付/時刻/ログ形式を確認してください。

私を助けてください...事前に感謝します

ログの分析は大きな問題です。レガシ コードがあり、何百、何千ものクエリが実行されている場合、何を改善するか、どこを改善するか、どの程度改善するかで混乱することになります。ある最適化問題について。

最初のステップは、どこが間違っているのかを分析することです。これは、ログを適切に分析することによってのみ達成できます。これがないと、アプリケーションで何が問題になっているのか正確にわからない可能性があります。

では、MySQL ログをどのように分析しますか?

いくつかのダミー ログを生成する小さな Java プログラムを作成しました (基本的には txt ファイルに書き込みます)。次に、このデータを ELK スタックにフィードします。基本的に、logstash は txt ファイルからこのデータを読み取る必要があり、これらの変更をキバナで視覚化して、その感触をつかみたいと思います。

基本的にやりたいことは、プログラムがダミー ログを txt ファイルに書き込む速度を変更して、kibana で変更を確認できるようにすることです。

ELK スタックの調査を開始したばかりですが、この種の分析を行うには完全に間違った方法である可能性があります。これを行うための他のより良い方法があるかどうかを提案してください（現在作業する実際のログがないことを考慮して）

編集：@Val

だからここに私のものがありますlogstash.conf：

Elasticsearch と kabana を開始した後、次のことを行います。

apache_logs私のJavaプログラムから供給された場所：

だからここに問題があります：

Kibana はリアルタイムの視覚化を表示しません。つまり、私の Java プログラムがデータをapache_logファイルにフィードするとき、それは表示されません。の実行時に「apache_log」にすでに書き込まれているデータまでのみ表示されます。

Azure Diagnostics を使用して、(アプリ サービスでホストされている) API のログを Azure Table Storage に保存したいと考えています。現在、BLOB コンテナーにログを保存できますが、テーブル ストレージに保存するオプションが見つかりません。

Google で検索した結果、従来の azure ポータルがログをテーブル ストレージに保存することをサポートしていることがわかりました。クラシック ポータルにログインしようとすると、現在のポータルに自動的にリダイレクトされます。

基本的に、BLOB コンテナーからログを表示できない Azure Log Analytics を使用してログを表示したいと考えています。

この問題についていくつかの光を見せてください。Azure Log Analytics でログを BLOB コンテナーからバインドする方法を示すか、アプリ サービスの診断ログをテーブル ストレージに格納する方法を示して、私を啓発してください。