問題タブ [log-analysis]

ログの監視と問題に関する警告に ELK を使用できるかどうかを確認するために、ELK をデプロイしました。

私が検出できるようにする必要があるのは、ほとんどが欠落しているレコードです。たとえば、ユーザーが何らかのリクエストを行おうとしているというログ レコードが受信されたとします。次に、リクエストが行われたことを示すログ レコードが表示されることを期待しています。

最初のレコードが到着してから X 秒以内に 2 番目のレコードが受信されなかった場合、何か問題があり、それについて警告したいと思います。

それを達成する方法はありますか？

nginx のログ出力を見つけてください (access.log)

182.69.143.120 - - [31/​​Mar/2016:03:10:51 +0530] "GET /api/check_delivery.php?authkey=9450AW2qTKYe453be757c&requestid=36626f6a3530323439383831 HTTP/1.1" control.msg91.com "-"-39 "-" " "-" "control.msg91.com" "-" へ: 10.0.0.62:8080: アップストリーム_応答_時間 0.003 要求_時間 0.003

私のnginxカスタムログ形式:

$remote_addr - $remote_user [$time_local] "$request" $host' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$server_name"';

そして、私はgoaccess confファイルで使用しています:

時刻形式 %H:%M:%S

日付形式 %d/%b/%Y

log_format %^[%d:%^] "%r" %s %b "%R" "%u" "%^ %h"

これを実行した後、以下のエラーが発生します。

GoAccess - バージョン 0.9.8 - 2016 年 3 月 31 日 14:11:22 構成ファイル: /usr/local/etc/goaccess.conf

致命的なエラーが発生しました エラーが発生した場所: src/goaccess.c - main - 1017 処理できるものはありません。日付/時刻/ログ形式を確認してください。

私を助けてください...事前に感謝します

ログの分析は大きな問題です。レガシ コードがあり、何百、何千ものクエリが実行されている場合、何を改善するか、どこを改善するか、どの程度改善するかで混乱することになります。ある最適化問題について。

最初のステップは、どこが間違っているのかを分析することです。これは、ログを適切に分析することによってのみ達成できます。これがないと、アプリケーションで何が問題になっているのか正確にわからない可能性があります。

では、MySQL ログをどのように分析しますか?

いくつかのダミー ログを生成する小さな Java プログラムを作成しました (基本的には txt ファイルに書き込みます)。次に、このデータを ELK スタックにフィードします。基本的に、logstash は txt ファイルからこのデータを読み取る必要があり、これらの変更をキバナで視覚化して、その感触をつかみたいと思います。

基本的にやりたいことは、プログラムがダミー ログを txt ファイルに書き込む速度を変更して、kibana で変更を確認できるようにすることです。

ELK スタックの調査を開始したばかりですが、この種の分析を行うには完全に間違った方法である可能性があります。これを行うための他のより良い方法があるかどうかを提案してください（現在作業する実際のログがないことを考慮して）

編集：@Val

だからここに私のものがありますlogstash.conf：

Elasticsearch と kabana を開始した後、次のことを行います。

apache_logs私のJavaプログラムから供給された場所：

だからここに問題があります：

Kibana はリアルタイムの視覚化を表示しません。つまり、私の Java プログラムがデータをapache_logファイルにフィードするとき、それは表示されません。の実行時に「apache_log」にすでに書き込まれているデータまでのみ表示されます。

Azure Diagnostics を使用して、(アプリ サービスでホストされている) API のログを Azure Table Storage に保存したいと考えています。現在、BLOB コンテナーにログを保存できますが、テーブル ストレージに保存するオプションが見つかりません。

Google で検索した結果、従来の azure ポータルがログをテーブル ストレージに保存することをサポートしていることがわかりました。クラシック ポータルにログインしようとすると、現在のポータルに自動的にリダイレクトされます。

基本的に、BLOB コンテナーからログを表示できない Azure Log Analytics を使用してログを表示したいと考えています。

この問題についていくつかの光を見せてください。Azure Log Analytics でログを BLOB コンテナーからバインドする方法を示すか、アプリ サービスの診断ログをテーブル ストレージに格納する方法を示して、私を啓発してください。

Lucidworks Time Based Partitioningまたは Large Scale Log Analytics with Solrが表示される場合、複数の solr "コレクション" が時間どおりにパーティション分割されて作成されます。

私の質問は

1. このような場合、時間に基づいて複数のシャードを作成してみませんか?
2. 複数のコレクションの場合、複数のコレクション/時間にまたがるクエリはどのように実行されますか?