問題タブ [log-analysis]

タイムスタンプや URL などの取得を含むさまざまなログ ファイルを分析する必要があります。これにはマルチスレッドを使用しています。各スレッドは異なるログ ファイルにアクセスし、タスクを実行しています。それを行うためのプログラム：

Thread を拡張する MultithreadedThroughput クラスで、BufferedReaderを使用してファイルを読み取っています。全体のプロセスには約 15 分かかります (ファイル サイズはそれぞれ約 2GB と大きくなります)。時間がかからないようにプログラムを最適化したい。

すべてのログ ファイルでスレッドを開始する代わりに私が考えた解決策は、一度に 1 つの大きなログ ファイルを取得し、大きなファイルをチャンク (プロセッサの数に等しいチャンクの数) に分割してから、それらのスレッドを開始するか、または他の解決策です。以前と同じプログラムを使用しますが、一度に 1 行ずつ読み取るのではなく、一度に複数行を読み取って分析を行います。しかし、私はそれらのどれも知りません。解決策を説明してください。

calculateThroughput メソッドでは、1 時間間隔で URL のスループットを推定する必要があります。したがって、プロセッサの数に応じてファイルを分割すると、1 つの間隔の間に分割される可能性があります。つまり、間隔が 06.00.00 から 07:00:00 (1 間隔) まで開始するとします。このように、24 間隔 (1 日) になります。各ログ ファイル。そのため、大きなログ ファイルを壊すと、間隔の間に割り込む可能性があります。それが、ファイルの分割で直面している問題です。

このコミュニティでの私の最初の質問です。ここで素晴らしいものになることを願っています!

トピックへ: この非常に単純なログ ファイルを次の方法で作成しました。

および goaccess の次の構成ファイル

副次的な質問:

• 構成ファイルを作成するいくつかの異なる方法を見つけることができました。ドキュメントでは、混乱するdate_formatとlog_formatの変数宣言を見つけることができます。どれが正しいですか？

このトピックに関連するすべての質問に目を通したので、エラーが発生する理由を見つけることができませんでした

ドキュメントには、正しい解析には %h、"%r"、および %d のみが必要であると記載されています。私は何が欠けていますか？

追加。情報

• CentOS7 64ビット
• ゴーアクセス 0.8.5

この日の最新バージョンは 0.9.2 です。「理由」から、最新バージョンを自分でビルドすることはできません。バージョン依存の問題(?)なのかもしれません。

アプリケーション サーバーのログが必要なビジネス シナリオがあり、以下のタスクを実行したい -

1. ログに記録されたエラー シナリオを調べて、エラー コード [ログ内]、発生した例外、時間を見つけます。
2. セキュリティ違反の可能性があるユーザーによって行われた反復トランザクション。
3. 上記の 2 つが発生した場合、管理者に警告します。

バッチ処理を備えたマルチスレッドの基本的なJavaアプリケーションを使用してそれを行うことができますが、ビッグデータテクノロジーを使用してそれを行い、さらにアプリケーションの動作をグラフィカルに表現したいと考えています。

これを非常に高速でスケーラブルに実現するために使用するのに最適な技術を誰かが提案できますか? 可能であれば、それを行う方法のアーキテクチャは?

誰かがそれを助けてくれたら素晴らしいだろう

私は岐路に立たされています。Linux OS でのtelnet セッションや、Linux マシンからのログ ファイルの (自律的な) 解釈など、いくつかのプロセスを自動化したいと考えています。

これは特定の技術的な質問ではなく、経験に関する質問であることを認めます。

私の質問は次のとおりです。どのプログラミング言語が私のニーズに最適ですか?

これまでに分析したこと（可能性）：

1. Python、logtools ライブラリを使用。

2. ログ分析専用のソリューション: LogParser、LogExpert などの他の Web ベースのソリューションなど (通常、telnet セッション オプションが含まれていないか、組み込み Linux ボードでは機能しません。これが私が使用しているものです)。

3. Expect スクリプト (ログ抽出用) と Python ログ インタープリターの組み合わせ。プロセス全体に対して単一の環境を用意したいと考えています。*いくつかの基本的なコマンド シーケンスに Expect を使用することができました。

より具体的には、理論的な例(一連のアクション) を示します。

telnet セッションを作成する -> 資格情報を与える -> コマンドを送信する -> コマンド出力を保存する -> 出力からパーツを分析/抽出/解釈します。

ログの解釈は簡単ではありません。制御構造、算術演算、グラフィック表現などが必要になる場合があります。

追加の質問: Python は、上記の要件に関していくつかの制限/問題を課しますか?

ご意見をお待ちしております。

ありがとうございました！

Bluemix Monitoring and Analytics サービスに問題があります。単一の Monitoring and Analytics サービスにバインドする 2 つのアプリケーションがあります。~1 分ごとに、両方のアプリで次のログ行を取得します。

ERR [Resource Monitoring][ERROR]: JsonSender リクエスト エラー: エラー: サポートされていない証明書の目的

バインドを削除すると、ログ メッセージは表示されません。また、「JsonSender」または「Resource Monitoring」に関連するコードを検索しましたが、何も見つかりませんでした。

サーバーでいくつかの主要なリファクタリング作業を行っているため、問題が発生している可能性があります。ただし、私たちのコードは監視サービスを直接使用していません (監視サーバーなどに接続するパッケージはありません)。そのため、問題がリファクタリングの変更によるものである場合、非常に驚​​かれることでしょう。変更を行う前にログを確認しませんでした。

どんなアイデアでも役に立ちます。