Ночная выгрузка заказов заняла том /srv/data почти целиком. Мониторинг на машине есть: Prometheus каждые 5 секунд собирает метрики node_exporter, а в /etc/prometheus/rules/disk.yml лежит правило DiskAlmostFull — как раз про заполненный диск. Посмотри, сколько места осталось на томе и какие алерты Prometheus считает горящими.
Сравни том и список алертов
Посмотри, сколько места осталось на томе /srv/data, затем — какие алерты горят у Prometheus и какие правила он загрузил.
Сначала предположи
Том занят на 95 %, правило DiskAlmostFull о заполненном диске написано. Что вернёт список алертов Prometheus?
Теперь начни упражнение, выполни команду и сверь прогноз с выводом.
Том занят на 95 %, файл с DiskAlmostFull лежит в /etc/prometheus/rules, а список правил Prometheus пуст. Почему алерта нет?
-
Метрики есть:
promtool query instant http://localhost:9090 'node_filesystem_avail_bytes'печатает ряд тома /srv/data. Пуст список правил. -
/api/v1/alertsпоказывает алерты самого Prometheus, отданные дальше — тоже. Здесь у Prometheus нет даже правила:curl -s localhost:9090/api/v1/rules | jq .data. -
Ждущий алерт стоял бы в списке со
"state": "pending", а у загруженного правила было бы своё состояние. Здесь пусты оба списка.
Список правил пуст: Prometheus не загрузил disk.yml, и DiskAlmostFull для него не существует.