Практики SRE: SLO, инциденты, отказоустойчивость / Ступень 2 из 8 · шаг 5 из 6

Доступность и p95 по журналу

~30 мин

Не запущена Запускается обычно ~20 с

Ситуация

SLI магазина shop.lab.test — доступность и p95 времени ответа — дежурные до сих пор считают конвейером, который каждый набирает по памяти, и цифры за один и тот же час у всех выходят разные. Нужен один скрипт, которому доверяют все.

Журнал сайта — /var/log/nginx/shop.access.log (вчерашний — shop.access.log.1.gz), формат строки задан в /etc/nginx/conf.d/sre-log.conf: в конце строки — время ответа $request_time и unix-время запроса $msec. Журналы nginx читаются через sudo.

Задача

Напиши скрипт ~/sli.sh, который запускается так:

~/sli.sh LOG FROM TO

LOG — журнал nginx в этом формате, обычный или сжатый gzip (.gz);
FROM и TO — время в любом виде, который понимает date -d: '2026-10-22 13:00', '2026-10-22T13:00:00';
в окно попадают запросы с FROM включительно до TO не включая — по unix-времени запроса.

Скрипт печатает одну строку:

total=<запросов в окне> availability=<доступность> p95=<p95>

доступность — процент ответов с кодом меньше 500 среди всех запросов окна, две цифры после точки (93.04);
p95 — время ответа ближайшим рангом: времена по возрастанию, строка номер ⌈0,95 · total⌉, значение как в журнале;
за окно без запросов — total=0 availability=- p95=-.

Проверка запустит скрипт от твоего имени на своих журналах, которых на машине нет, поэтому sudo внутри скрипта не нужен. Сверить скрипт на журнале машины можно по ~/sli-check.txt: там команда и строка, которую она должна напечатать.

Нужные инструменты уже установлены. Интернета на машине нет.

Цели лабы

0 из 4

~/sli.sh — исполняемый скрипт, на журнале машины печатает одну строку total=… availability=… p95=… — ещё не проверялась
На журналах проверки total и доступность совпадают с эталоном — ещё не проверялась
На журналах проверки p95 совпадает с эталоном — ещё не проверялась
Сжатый журнал (.gz) скрипт читает сам, за окно без запросов печатает total=0 availability=- p95=- — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

SRE · подобрано по лабе

SLI и SLO — доля хороших запросов и бюджет ошибок

Шпаргалка

$_ — вставить в терминал

combined + $request_time $msec: код $9, время $(NF-1), unix-время $NF
строки за последний час
awk -v f="$(date -d '1 hour ago' +%s)" '$NF >= f' access.log > w.log
SLI доступности: доля ответов без 5xx
awk '$9 >= 500 {b++} END {printf "%.2f\n", 100*(NR-b)/NR}' w.log
p95 времени ответа: ближайший ранг ⌈0,95 × N⌉
awk '{print $(NF-1)}' w.log | sort -n > /tmp/t
k=$(( ($(wc -l < /tmp/t) * 95 + 99) / 100 )); sed -n "${k}p" /tmp/t
бюджет ошибок: SLO 99,5 % при 400000 запросов за окно
awk 'BEGIN {print 400000 * (1 - 0.995)}' 2000 плохих можно
скорость расхода: 7 % ошибок при SLO 99,5 %
awk 'BEGIN {print 0.07 / (1 - 0.995)}' 14

Строки за окно времени

Журнал с $msec в конце строки:

bash

f=$(date -d '2026-10-22 10:00' +%s)
t=$(date -d '2026-10-22 11:00' +%s)
awk -v f="$f" -v t="$t" '$NF >= f && $NF < t' access.log > w.log
head -n 1 w.log; tail -n 1 w.log     # границы попали в окно?

Повёрнутые части читаются вместе с текущей: zcat -f access.log.2.gz access.log.1 access.log | awk … (-f пропускает несжатые файлы как есть). Окно задают в том же поясе, что пишет журнал; на учебной машине это UTC (+0000).

Без $msec, в чистом combined, время переводит в число mktime (в Ubuntu 24.04 awk — это GNU awk):

bash

awk -v f="$f" -v t="$t" '
  { split($4, d, /[[\/:]/)
    m = (index("JanFebMarAprMayJunJulAugSepOctNovDec", d[3]) + 2) / 3
    s = mktime(d[4] " " m " " d[2] " " d[5] " " d[6] " " d[7])
    if (s >= f && s < t) print }' access.log > w.log

Доступность по журналу

bash

awk '$9 >= 500 {b++}
  END {printf "%d %d %.2f\n", NR, b, 100*(NR-b)/NR}' w.log

Печатает число запросов окна, число ответов 5xx и доступность в процентах с двумя знаками. Код ответа в combined — 9-е поле. Проверка поля — awk '{print $9}' w.log | sort | uniq -c: там только коды.

p95 по $request_time

bash

awk '{print $(NF-1)}' w.log | sort -n > /tmp/t
n=$(wc -l < /tmp/t)
k=$(( (n * 95 + 99) / 100 ))      # ⌈0,95 × n⌉ в целых числах
sed -n "${k}p" /tmp/t

sort -n обязателен: без него строка 10.002 встанет раньше 2.001 (sort). Пустое окно даёт n=0 и пустой ответ. Доля быстрых ответов — тем же полем: awk '$(NF-1) <= 0.3 {f++} END {print f/NR}' w.log.

Сколько бюджета осталось

bash

awk -v slo=0.995 -v total=400000 -v bad=1400 'BEGIN {
  ok = total * (1 - slo); left = ok - bad
  printf "можно %d, осталось %d (%.0f%%)\n", ok, left, 100*left/ok }'

bad — ответы 5xx за окно из рецепта доступности, total — все запросы окна или их ожидаемое число.

SLI высокий, а пользователи жалуются

Запросы не дошли до nginx: DNS, сеть, сертификат. Журнал их не видит — нужна проба снаружи, curl с другой машины.
Приложение отвечает 200 со страницей ошибки. Такой ответ SLI считает хорошим: проверяй тело или отдельный путь проверки.
Ответы медленные: доступность в порядке, страдает задержка. Нужен SLI задержки.
Сбой не попал в окно: часть строк уже в access.log.1 после ночной ротации (logrotate).

p95 не совпадает с другим подсчётом

сортировка без -n — порядок строк вместо порядка чисел;
другой метод: интерполяция вместо ближайшего ранга;
граница окна включена с обеих сторон, и строка ровно в конце окна посчитана;
в поле времени не число: $upstream_response_time пишет - у ответов, которые nginx отдал сам, и 0.000, 0.002 через запятую, если nginx повторил запрос на другом сервере (nginx).

Окно пустое

head -n 1 и tail -n 1 журнала покажут, какой период в нём есть. Частые причины: окно в другом поясе, чем время журнала; время combined сравнивается как текст, а месяц там словом ($4 ломается на стыке месяцев); журнал уже повёрнут, нужные строки в access.log.1 или .2.gz.

В 9-м поле не код

awk '{print $9}' | sort | uniq -c показывает "GET, размеры или слова — в строке запроса пробелы или мусор от сканеров ("-", двоичные байты). Код надёжнее брать по кавычкам: первое слово после строки запроса.

bash

awk -F'"' '{split($3, f, " "); if (f[1] >= 500) b++}
  END {printf "%d %d\n", NR, b}' w.log

SLO 100 %

Цель 100 % не оставляет бюджета. Любой перезапуск, выкладка или сбой сети её нарушают, и по правилу бюджета изменения запрещены всегда. Цель выше, чем у того, от чего сервис зависит (сеть, хостинг, база), тоже недостижима.