Наблюдаемость: метрики, алерты, логи

Метрики машин и приложений в Prometheus и запросы PromQL; правила алертов и доставка уведомлений через Alertmanager; логи нескольких машин на одном сборщике и расследование по журналам — до наблюдения за второй машиной с первой.

9 ступеней6 лаб~6 часов средний

Прогресс Ступеней: 0 из 9

Трек не начат. Первая ступень — «Метрика, экспортёр и сбор», ~50 мин.

Начать ступень 1

Модуль 1

Метрики и Prometheus

Что отдаёт экспортёр, как Prometheus собирает цели и что значит up; запросы PromQL: скорость счётчика, сумма по меткам и сравнение с порогом.

3 ступени · ~2 часа

Ступень 1 из 9
1 · Метрика, экспортёр и сборМетрика, экспортёр и сбор
7 шагов · 1 лаба · ~50 мин 7 шагов · 1 лаба · ~50 мин
1. Где свободная память упражнения 0 из 1 на машине 4 мин
2. 2 Строка метрики теория 5 мин
3. 3 Счётчик и текущее значение теория 5 мин
4. 4 Prometheus собирает цели на машине 7 мин
5. 5 Новое задание на машине 7 мин
6. 6 Машина пропала из мониторинга лаба 20 мин
7. 7 Итог итог 2 мин
Начать ступень 1
2
Ступень 2 из 9
2 · PromQL: rate, sum и сравнениеPromQL: rate, sum и сравнение
6 шагов · 1 лаба · ~50 мин 6 шагов · 1 лаба · ~50 мин
1. Сколько трафика сейчас упражнения 0 из 1 на машине 5 мин
2. 2 Скорость счётчика на машине 7 мин
3. 3 Сумма по меткам на машине 7 мин
4. 4 Доля и порог на машине 9 мин
5. 5 Метрик приложения нет в Prometheus лаба 20 мин
6. 6 Итог итог 2 мин
Начать ступень 2
3 · Тест модуля 9 вопросов · порог 70%

Модуль 2

Алерты

Правило алерта с порогом и длительностью, проверка promtool и путь от pending к firing; Alertmanager: маршрут, группировка, повтор и тишина.

3 ступени · ~2 часа

4
Ступень 4 из 9
4 · Правило алерта: порог и длительностьПравило алерта: порог и длительность
6 шагов · 1 лаба · ~1 час 6 шагов · 1 лаба · ~1 час
1. Диск полон, а алерта нет упражнения 0 из 1 на машине 6 мин
2. 2 Файл правил и rule_files на машине 7 мин
3. 3 Порог и длительность на машине 8 мин
4. 4 Метки, описание и неудачный reload на машине 7 мин
5. 5 Алерт о полном томе молчит лаба 30 мин
6. 6 Итог итог 2 мин
Начать ступень 4
5
Ступень 5 из 9
5 · Alertmanager: кому и сколько разAlertmanager: кому и сколько раз
6 шагов · 1 лаба · ~1 час 6 шагов · 1 лаба · ~1 час
1. Пятьдесят уведомлений на одно событие упражнения 0 из 1 на машине 6 мин
2. 2 Группа и три таймера на машине 9 мин
3. 3 Тишина на время работ на машине 6 мин
4. 4 Кому отправить: маршруты на машине 7 мин
5. 5 Алерты не доходят до получателя лаба 30 мин
6. 6 Итог итог 2 мин
Начать ступень 5
6 · Тест модуля 9 вопросов · порог 70%

Модуль 3

Логи нескольких машин

Пересылка syslog на сборщик и раскладка по хостам; расследование по журналам: события nginx, приложения и ядра на одной шкале времени.

3 ступени · ~2 часа

7
Ступень 7 из 9
7 · Логи в одном местеЛоги в одном месте
7 шагов · 1 лаба · ~1 час 7 шагов · 1 лаба · ~1 час
1. Строк нет на сборщике упражнения 0 из 1 на машине 4 мин
2. 2 Правила rsyslog на машине 5 мин
3. 3 Пересылка на сборщик на машине 5 мин
4. 4 TCP и UDP на машине 7 мин
5. 5 Раскладка по машинам на машине 7 мин
6. 6 Логов второй машины нет на сборщике лаба 30 мин
7. 7 Итог итог 2 мин
Начать ступень 7
8
Ступень 8 из 9
8 · Расследование по журналамРасследование по журналам
6 шагов · 1 лаба · ~55 мин 6 шагов · 1 лаба · ~55 мин
1. Сайт отвечает 500 упражнения 0 из 1 на машине 4 мин
2. 2 Кто что пишет на машине 7 мин
3. 3 Поля записи на машине 8 мин
4. 4 Ядро на той же шкале на машине 9 мин
5. 5 Сайт отдаёт 500 лаба 25 мин
6. 6 Итог итог 2 мин
Начать ступень 8
9 · Тест модуля 10 вопросов · порог 70%

Итоговая лаба
Вторая машина без присмотра ~1 час
Итоговый тест 18 вопросов · порог 80%

Метрики и Prometheus

1 · Метрика, экспортёр и сборМетрика, экспортёр и сбор

2 · PromQL: rate, sum и сравнениеPromQL: rate, sum и сравнение

Алерты

4 · Правило алерта: порог и длительностьПравило алерта: порог и длительность

5 · Alertmanager: кому и сколько разAlertmanager: кому и сколько раз

Логи нескольких машин

7 · Логи в одном местеЛоги в одном месте

8 · Расследование по журналамРасследование по журналам

Уже умеешь это?