Практики SRE: SLO, инциденты, отказоустойчивость / Ступень 2 из 8

SLO и бюджет ошибок

Не запущена Запускается обычно ~20 с

Шаг 5 из 6 · лаба · 30 мин

Доступность и p95 по журналу

Скрипт, который по журналу nginx за любое окно времени считает доступность сайта и 95-й перцентиль времени ответа, — чтобы SLI считался одной командой вместо конвейера, набранного по памяти.

Ситуация

SLI магазина shop.lab.test — доступность и p95 времени ответа — дежурные до сих пор считают конвейером, который каждый набирает по памяти, и цифры за один и тот же час у всех выходят разные. Нужен один скрипт, которому доверяют все.

Журнал сайта — /var/log/nginx/shop.access.log (вчерашний — shop.access.log.1.gz), формат строки задан в /etc/nginx/conf.d/sre-log.conf: в конце строки — время ответа $request_time и unix-время запроса $msec. Журналы nginx читаются через sudo.

Задача

Напиши скрипт ~/sli.sh, который запускается так:

~/sli.sh LOG FROM TO

LOG — журнал nginx в этом формате, обычный или сжатый gzip (.gz);
FROM и TO — время в любом виде, который понимает date -d: '2026-10-22 13:00', '2026-10-22T13:00:00';
в окно попадают запросы с FROM включительно до TO не включая — по unix-времени запроса.

Скрипт печатает одну строку:

total=<запросов в окне> availability=<доступность> p95=<p95>

доступность — процент ответов с кодом меньше 500 среди всех запросов окна, две цифры после точки (93.04);
p95 — время ответа ближайшим рангом: времена по возрастанию, строка номер ⌈0,95 · total⌉, значение как в журнале;
за окно без запросов — total=0 availability=- p95=-.

Проверка запустит скрипт от твоего имени на своих журналах, которых на машине нет, поэтому sudo внутри скрипта не нужен. Сверить скрипт на журнале машины можно по ~/sli-check.txt: там команда и строка, которую она должна напечатать.

Нужные инструменты уже установлены. Интернета на машине нет.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 4

~/sli.sh — исполняемый скрипт, на журнале машины печатает одну строку total=… availability=… p95=… — ещё не выполнена
На журналах проверки total и доступность совпадают с эталоном — ещё не выполнена
На журналах проверки p95 совпадает с эталоном — ещё не выполнена
Сжатый журнал (.gz) скрипт читает сам, за окно без запросов печатает total=0 availability=- p95=- — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 4

~/sli.sh — исполняемый скрипт, на журнале машины печатает одну строку total=… availability=… p95=… — ещё не выполнена
На журналах проверки total и доступность совпадают с эталоном — ещё не выполнена
На журналах проверки p95 совпадает с эталоном — ещё не выполнена
Сжатый журнал (.gz) скрипт читает сам, за окно без запросов печатает total=0 availability=- p95=- — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 4

~/sli.sh — исполняемый скрипт, на журнале машины печатает одну строку total=… availability=… p95=… — ещё не выполнена
На журналах проверки total и доступность совпадают с эталоном — ещё не выполнена
На журналах проверки p95 совпадает с эталоном — ещё не выполнена
Сжатый журнал (.gz) скрипт читает сам, за окно без запросов печатает total=0 availability=- p95=- — ещё не выполнена

SRE · подобрано по лабе

SLI и SLO — доля хороших запросов и бюджет ошибок

Шпаргалка

$_ — вставить в терминал

combined + $request_time $msec: код $9, время $(NF-1), unix-время $NF
строки за последний час
awk -v f="$(date -d '1 hour ago' +%s)" '$NF >= f' access.log > w.log
SLI доступности: доля ответов без 5xx
awk '$9 >= 500 {b++} END {printf "%.2f\n", 100*(NR-b)/NR}' w.log
p95 времени ответа: ближайший ранг ⌈0,95 × N⌉
awk '{print $(NF-1)}' w.log | sort -n > /tmp/t
k=$(( ($(wc -l < /tmp/t) * 95 + 99) / 100 )); sed -n "${k}p" /tmp/t
бюджет ошибок: SLO 99,5 % при 400000 запросов за окно
awk 'BEGIN {print 400000 * (1 - 0.995)}' 2000 плохих можно
скорость расхода: 7 % ошибок при SLO 99,5 %
awk 'BEGIN {print 0.07 / (1 - 0.995)}' 14

Строки за окно времени

Журнал с $msec в конце строки:

bash

f=$(date -d '2026-10-22 10:00' +%s)
t=$(date -d '2026-10-22 11:00' +%s)
awk -v f="$f" -v t="$t" '$NF >= f && $NF < t' access.log > w.log
head -n 1 w.log; tail -n 1 w.log     # границы попали в окно?

Повёрнутые части читаются вместе с текущей: zcat -f access.log.2.gz access.log.1 access.log | awk … (-f пропускает несжатые файлы как есть). Окно задают в том же поясе, что пишет журнал; на учебной машине это UTC (+0000).

Без $msec, в чистом combined, время переводит в число mktime (в Ubuntu 24.04 awk — это GNU awk):

bash

awk -v f="$f" -v t="$t" '
  { split($4, d, /[[\/:]/)
    m = (index("JanFebMarAprMayJunJulAugSepOctNovDec", d[3]) + 2) / 3
    s = mktime(d[4] " " m " " d[2] " " d[5] " " d[6] " " d[7])
    if (s >= f && s < t) print }' access.log > w.log

Доступность по журналу

bash

awk '$9 >= 500 {b++}
  END {printf "%d %d %.2f\n", NR, b, 100*(NR-b)/NR}' w.log

Печатает число запросов окна, число ответов 5xx и доступность в процентах с двумя знаками. Код ответа в combined — 9-е поле. Проверка поля — awk '{print $9}' w.log | sort | uniq -c: там только коды.

p95 по $request_time

bash

awk '{print $(NF-1)}' w.log | sort -n > /tmp/t
n=$(wc -l < /tmp/t)
k=$(( (n * 95 + 99) / 100 ))      # ⌈0,95 × n⌉ в целых числах
sed -n "${k}p" /tmp/t

sort -n обязателен: без него строка 10.002 встанет раньше 2.001 (sort). Пустое окно даёт n=0 и пустой ответ. Доля быстрых ответов — тем же полем: awk '$(NF-1) <= 0.3 {f++} END {print f/NR}' w.log.

Сколько бюджета осталось

bash

awk -v slo=0.995 -v total=400000 -v bad=1400 'BEGIN {
  ok = total * (1 - slo); left = ok - bad
  printf "можно %d, осталось %d (%.0f%%)\n", ok, left, 100*left/ok }'

bad — ответы 5xx за окно из рецепта доступности, total — все запросы окна или их ожидаемое число.

SLI высокий, а пользователи жалуются

Запросы не дошли до nginx: DNS, сеть, сертификат. Журнал их не видит — нужна проба снаружи, curl с другой машины.
Приложение отвечает 200 со страницей ошибки. Такой ответ SLI считает хорошим: проверяй тело или отдельный путь проверки.
Ответы медленные: доступность в порядке, страдает задержка. Нужен SLI задержки.
Сбой не попал в окно: часть строк уже в access.log.1 после ночной ротации (logrotate).

p95 не совпадает с другим подсчётом

сортировка без -n — порядок строк вместо порядка чисел;
другой метод: интерполяция вместо ближайшего ранга;
граница окна включена с обеих сторон, и строка ровно в конце окна посчитана;
в поле времени не число: $upstream_response_time пишет - у ответов, которые nginx отдал сам, и 0.000, 0.002 через запятую, если nginx повторил запрос на другом сервере (nginx).

Окно пустое

head -n 1 и tail -n 1 журнала покажут, какой период в нём есть. Частые причины: окно в другом поясе, чем время журнала; время combined сравнивается как текст, а месяц там словом ($4 ломается на стыке месяцев); журнал уже повёрнут, нужные строки в access.log.1 или .2.gz.

В 9-м поле не код

awk '{print $9}' | sort | uniq -c показывает "GET, размеры или слова — в строке запроса пробелы или мусор от сканеров ("-", двоичные байты). Код надёжнее брать по кавычкам: первое слово после строки запроса.

bash

awk -F'"' '{split($3, f, " "); if (f[1] >= 500) b++}
  END {printf "%d %d\n", NR, b}' w.log

SLO 100 %

Цель 100 % не оставляет бюджета. Любой перезапуск, выкладка или сбой сети её нарушают, и по правилу бюджета изменения запрещены всегда. Цель выше, чем у того, от чего сервис зависит (сеть, хостинг, база), тоже недостижима.