Практики SRE: SLO, инциденты, отказоустойчивость

Доступность и задержка по журналу, SLO и бюджет ошибок; первые минуты инцидента по ранбуку, откат выкладки и разбор без поиска виноватых; балансировщик с проверкой здоровья и плавающий адрес keepalived — до смены дежурного на двух машинах.

8 ступеней5 лаб~5 часов средний

Прогресс Ступеней: 0 из 8

Трек не начат. Первая ступень — «SLI: доля хороших запросов», ~30 мин.

Начать ступень 1

Модуль 1

SLI, SLO и бюджет ошибок

Доступность и p95 задержки по журналу за окно времени; SLO, бюджет ошибок и скорость его расхода.

3 ступени · ~2 часа

Ступень 1 из 8
1 · SLI: доля хороших запросовSLI: доля хороших запросов
6 шагов · ~30 мин 6 шагов · ~30 мин
1. Снаружи всё в порядке упражнения 0 из 1 на машине 4 мин
2. 2 Хорошие и плохие ответы на машине 6 мин
3. 3 Окно времени на машине 7 мин
4. 4 Время ответа: p95 на машине 7 мин
5. 5 Доступность для тех, кто жалуется на машине 4 мин
6. 6 Итог итог 2 мин
Начать ступень 1
2
Ступень 2 из 8
2 · SLO и бюджет ошибокSLO и бюджет ошибок
6 шагов · 1 лаба · ~1 час 6 шагов · 1 лаба · ~1 час
1. Сколько ещё можно ошибаться упражнения 0 из 1 на машине 6 мин
2. 2 SLO и бюджет ошибок на машине 8 мин
3. 3 Скорость расхода на машине 8 мин
4. 4 Цель строже на машине 5 мин
5. 5 Доступность и p95 по журналу лаба 30 мин
6. 6 Итог итог 3 мин
Начать ступень 2
3 · Тест модуля 10 вопросов · порог 70%

Модуль 2

Инцидент

Сначала восстановить сервис, потом искать причину: ранбук, что изменилось последним, хронология; разбор без поиска виноватых и действия.

3 ступени · ~2 часа

4
Ступень 4 из 8
4 · Ранбук и первые 10 минутРанбук и первые 10 минут
7 шагов · 1 лаба · ~50 мин 7 шагов · 1 лаба · ~50 мин
1. Сайт отвечает 502 упражнения 0 из 1 на машине 4 мин
2. 2 Ранбук теория 7 мин
3. 3 Сначала вернуть сайт на машине 6 мин
4. 4 Хронология по ходу теория 5 мин
5. 5 Где ещё искать изменения на машине 6 мин
6. 6 Сайт сломался после выкладки лаба 20 мин
7. 7 Итог итог 2 мин
Начать ступень 4
5
Ступень 5 из 8
5 · Разбор без поиска виноватыхРазбор без поиска виноватых
6 шагов · 1 лаба · ~1 час 6 шагов · 1 лаба · ~1 час
1. Хронологии нет упражнения 0 из 1 на машине 5 мин
2. 2 Три источника на машине 8 мин
3. 3 Без поиска виноватых теория 6 мин
4. 4 Действия на машине 9 мин
5. 5 Приём событий встал, а перезапускать нельзя лаба 30 мин
6. 6 Итог итог 2 мин
Начать ступень 5
6 · Тест модуля 10 вопросов · порог 70%

Модуль 3

Отказоустойчивость

Несколько backend'ов за nginx upstream, пассивная проверка здоровья, повтор на другой backend и тайм-ауты; плавающий адрес keepalived, который переезжает на запасную машину.

2 ступени · ~2 часа

7
Ступень 7 из 8
7 · Балансировщик и проверка здоровьяБалансировщик и проверка здоровья
10 шагов · 2 лабы · ~2 часа 10 шагов · 2 лабы · ~2 часа
1. Сайт через раз отвечает 500 упражнения 0 из 1 на машине 4 мин
2. 2 Копии за одним адресом на машине 3 мин
3. 3 Копию остановили на машине 3 мин
4. 4 Пассивная проверка здоровья теория 6 мин
5. 5 Медленная копия на машине 5 мин
6. 6 Плавающий адрес на машине 4 мин
7. 7 VRRP и keepalived теория 4 мин
8. 8 Каждый второй запрос висит лаба 30 мин
9. 9 Адрес сайта не переезжает на запасную машину лаба 30 мин
10. 10 Итог итог 1 мин
Начать ступень 7
8 · Тест модуля 9 вопросов · порог 70%

Итоговая лаба
Смена дежурного ~50 мин
Итоговый тест 15 вопросов · порог 80%

SLI, SLO и бюджет ошибок

1 · SLI: доля хороших запросовSLI: доля хороших запросов

2 · SLO и бюджет ошибокSLO и бюджет ошибок

Инцидент

4 · Ранбук и первые 10 минутРанбук и первые 10 минут

5 · Разбор без поиска виноватыхРазбор без поиска виноватых

Отказоустойчивость

7 · Балансировщик и проверка здоровьяБалансировщик и проверка здоровья

Уже умеешь это?