Правило решает, когда алерт горит, а метки и описание говорят тому, кто его получит, что случилось.
labels добавляет алерту метки к меткам ряда. severity: warning или critical — по таким меткам Alertmanager решает, кому отправить уведомление; это следующий урок. annotations — текст для человека: в summary подставляют метки и значение ряда.
У горящего DiskAlmostFull эта строка превращается в /srv/data: free space 4.994%.
sudo systemctl reload prometheus завершается успешно и при ошибке в файле правил: Prometheus пишет в журнал «previous rule set restored» и работает со старыми правилами. Проверяй файл promtool check rules до перечитывания, а результат — curl -s localhost:9090/api/v1/status/runtimeinfo | jq .data.reloadConfigSuccess.
Своё правило пишут тем же приёмом на других метриках. Какие метрики есть у тома, видно в выводе экспортёра: curl -s localhost:9100/metrics | grep 'mountpoint="/srv/data"'.
Напиши правило на inode
На томе /srv/data место есть, а sudo touch /srv/data/reports/new.csv отвечает «No space left on device» — кончились inode. Добавь в /etc/prometheus/rules правило InodesAlmostFull: оно горит, когда свободных inode на /srv/data меньше 10 % дольше 15 секунд, и ставит алерту метку severity со значением warning. Загрузи его в Prometheus и дождись firing.
Цели · 0 из 2
- Написать правило InodesAlmostFull и загрузить его ещё не выполнена
- Довести алерт до firing ещё не выполнена