prometheus - Prometheus アラート ルールで条件演算子を使用して重大度を設定する

Question

Prometheus の alert.rules 定義に条件演算子を使用して、特定の重大度を設定したいと考えています。たとえば、環境が本番環境の場合、重大度をクリティカルに設定したい場合は、別の値に設定します。

何かのようなもの：

- alert: CPU load
  expr: expression_used_to_check_load
  for: 15m
  labels:
     severity: if $labels.env == prd -> severity = critical else something else
  annotations:
     summary: Just a summary
     description: "Just a description"

Answer 1

これを重大度自体で構成するのではなく、環境に基づいてページの受信者をさまざまに構成できます。

- match: {owner: 'MYTEAM'}
    receiver: 'blackhole'
    routes:
    - match: {severity: 'critical', env: 'staging'}
      receiver: 'myteam-warn'
    - match: {severity: 'critical', env: 'prd'}}
      receiver: 'myteam-page'

異なる受信機は異なる構成にすることができます。 myteam-warnメールを送るだけかもmyteam-pageしれませんが、ページをトリガーするかもしれません。