Alertmanager: кому и сколько раз уходят алерты

шпаргалка · Ubuntu 24.04 · Alertmanager 0.26 https://lab.dimsanych.ru/ru/wiki/alertmanager/

Шпаргалка

amtool check-config /etc/prometheus/alertmanager.yml проверить
sudo systemctl reload prometheus-alertmanager перечитать конфиг
amtool alert активные алерты
amtool alert query severity=critical отбор по меткам
amtool alert query -o extended все метки
amtool silence add instance=web01 -d 2h -c 'замена диска' тишина
amtool silence query действующие тишины
amtool silence expire 6c91da38-1b58-4c6f-835e-3b504d18dd7b снять
amtool alert add alertname=Test severity=warning пробный алерт

Конфигурация

alertmanager.yml

Конфиг с двумя получателями-вебхуками: всё — в chat, критичное — в pager.

yaml

route:
  receiver: chat
  group_by: [alertname]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers:
        - severity="critical"
      receiver: pager
receivers:
  - name: chat
    webhook_configs:
      - url: http://127.0.0.1:5001/chat
  - name: pager
    webhook_configs:
      - url: http://127.0.0.1:5001/pager

Вебхук получает POST с JSON: receiver, status (firing или resolved), groupLabels, commonLabels и список alerts с метками, аннотациями и статусом каждого. У вебхука send_resolved по умолчанию включён: когда алерт решён, приходит уведомление и об этом.

Проверить и применить:

bash

amtool check-config /etc/prometheus/alertmanager.yml
sudo systemctl reload prometheus-alertmanager
journalctl -u prometheus-alertmanager -o cat | tail -3

check-config печатает SUCCESS и что нашёл: маршрут, число получателей и правил подавления. После reload в журнале — Completed loading of configuration file.

Ключи запуска и кластер

Ключи службы — переменная ARGS в /etc/default/prometheus-alertmanager (в пакете пустая). По умолчанию Alertmanager запускается узлом кластера: слушает порт 9094 и ищет частный адрес машины, чтобы сообщать его соседям. У машины без такого адреса — на учебной ВМ только lo — служба не стартует (alertmanager). Один узел без кластера:

bash

# /etc/default/prometheus-alertmanager
ARGS="--cluster.listen-address="

Ключи читаются при запуске: после правки — sudo systemctl restart prometheus-alertmanager. curl -s localhost:9093/api/v2/status | jq .cluster.status после этого — "disabled".