metrics - メトリックの更新について通知するルールを作成する方法は?

Question

PostgreSQL ログのエクスポーターを構成しました。Exporter は、レベルが Error または Fatal の新しいログ メッセージを探しています。プロメテウスはこのエクスポーターをチェックし、次の形式でメトリクスをスクレイピングしています: psql_errors{instance='',level='',message=''}

ここで、新しいエラーについて通知するアラート ルールを作成します。increase() や changes() などの演算子を使用しても役に立ちませんでした。だから私は誰かに助けを求めている

たとえば、現在のルールは次のとおりです。

ALERT psql_error
  IF changes({job='psql-grokexporter',level='ERROR'}[1m]) > 0
  ANNOTATIONS {
    summary = "PostgreSQL Error in logs",
    description = "PSQL error: {{ $labels.message }} at {{ $labels.instance }}",
  }

Answer 1

これは、Prometheus があまり適していないイベント ログのユース ケースです。メッセージごとにエクスポートしているため、代わりに ELK などのシステムを使用することをお勧めします。