問題タブ [log-analysis]

ここで初歩的な質問。アプリケーションのエラーを特定するために、多くのログ ファイルを調査してきました。具体的には、成功シナリオと失敗シナリオを比較しようとしていますが、ログの量が多いため、どのログ メッセージが「良い」もので、どのログ メッセージが「悪い」ものであるかを識別するのは困難です。(私は開発者ではないので、ログを変更することはできません。)

理想的には、私ができるツールが欲しいです...

1. ログ ファイルを読み込み、成功シナリオに関連付けられているエントリを手動で指定する
2. ログファイルの残りの部分は、特定の行が「成功」シナリオに表示されるかどうかに従ってフォーマットされます。（理想的には、あいまい一致を実行できるため、完全一致（もちろん、タイムスタンプなし）が 1 つの色であり、近似一致（異なる値）が別の色である可能性があります。

これにより、障害シナリオをざっと見て、障害状態に関連するメッセージを特定することが容易になります。スマート差分のように考えてください。

私が調べたほとんどのツール (Splunk、OtrosLogViewer など) は、自動化されたサーバー側の展開に重点を置いているようです。それはうまくいくかもしれませんが、迅速な分析のために軽量なものが欲しいです。

このようなものは存在しますか？どんなポインタも歓迎/感謝します。

保証されたログ配信を保証するために、各 Logstash シッパー ノードに Redis を配置することについて、皆さんはどう思いますか?

異常を見つけるために、履歴 (先月のデータなど) と今日のデータを比較して、Splunk で行動分析/異常検出を実行したいと考えています。

私は FTP ログを分析しているので、たとえば、すべてのユーザーの履歴ベースライン/レポートがあり、IP/都市とログ時間を記録したいと考えています。異常は、同じユーザーが異なる IP 範囲/都市および異なるタイム ゾーンからログインしたかのように定義できます。コマンド: anomalies、anomalousvalue、analyzefields は Splunk で利用できますが、これらのコマンドは通常、検索されたデータの時間範囲で機能し、ユーザーの履歴データとは比較しません。

Splunk でこれを実現するにはどうすればよいですか?

いくつかのデータを含む 1 つの Apache アクセス ログ ファイルがあり、それは継続的に増加しています。Apache Spark Streaming API を使用してそのデータを分析したいと考えています。

そして、Spark は私にとって新しいものであり、 jssc.textFileStream(directory)関数を使用してログ データを取得する 1 つのプログラムを作成しました。しかし、私の要件では機能しません。

spark を使用してそのログ ファイルを分析する方法をいくつか提案してください。

これが私のコードです。

このコードは、既存のファイルからデータを返しません。これは、新しいファイルを作成するときにのみ機能しますが、その新しいファイルを更新すると、プログラムは更新されたデータを返しません。

ログ分析を実行していますが、これを自動化し、毎日実行して結果を報告するようにしたいと考えています。分析は、標準ワークステーション、8 コア、最大 32 GB の空き RAM で実行されます。プロトタイピングは、GNU Grep (--mmap)、Sqlite (RAM ディスク上)、および Bash (パラメーター用) に基づいています。

これに関する 1 つの問題は、ファイルを複数回調べる必要があることです。パターン マッチが見つかったら、関連するものを上方向に検索します。これは再帰的になる可能性があり、毎回ギガバイトのデータを再読み取りします。

メモリでバックアップされたセグメントごとのマルチスレッドファイルの読み取り/書き込みのための C の / lib の高速な方法はありますか?

「メモリ内」検索 (ロードされたセグメント内で上下に移動する、または必要に応じてさらにロードする) を見ると、これは非常に一般的な要件であると感じます。