Постмортем — письменный разбор сбоя: хронология, влияние, причина и действия, чтобы сбой не повторился.
cd ~/incident
sudo journalctl -S 12:00 -U 12:10 -o short-iso -t sudo > raw.txt
sudo journalctl -S 12:00 -U 12:10 -o short-iso -u nginx >> raw.txt
sort raw.txt | cut -c12-19,26- > timeline.txt
awk '$9 >= 500' /var/log/nginx/access.log | sed -n '1p;$p'
date -u -d @1792677901 +%T
Постмортем (postmortem, разбор сбоя) — документ, который пишут после инцидента (incident-response), когда сервис уже работает. В нём четыре части: что происходило по минутам, что почувствовали пользователи, почему так вышло и что команда изменит. Цель — чтобы тот же сбой не повторился и чтобы его опыт достался всем, кто не был на смене.
По-английски разделы называются Timeline, Impact, Root cause и Action items.
Хронология — события сбоя по времени, строка на событие: время в UTC первым, затем факт. Формат тот же, что у хронологии по ходу инцидента (incident-response):
Если по ходу её не вели, хронологию собирают из журналов. Каждый источник знает своё:
| Источник | Что в нём видно |
|---|---|
journalctl -t sudo |
действия людей: кто, когда, какую команду |
journalctl -u <служба> |
что делала программа: старт, ошибка, остановка |
| проверка сайта, access.log | что видели пользователи: коды и время ответа |
| алерты | когда команда узнала о сбое |
Начало и конец сбоя берут по тому, что видели пользователи: первая
ошибка в access.log или в проверке сайта, первый успешный ответ после
них. Время правки — отдельная строка. Между правкой и началом сбоя
бывают секунды, а бывают дни: опечатка лежит в файле, пока службу не
перезапустят. Строки журнала годятся в хронологию как есть
(-o short-iso), их только сокращают до факта.
Разбор без поиска виноватых (blameless) исходит из того, что люди ошибаются всегда, а система должна ловить ошибку раньше пользователей. Вопрос разбора — что позволило ошибке дойти до них: какой проверки не было, чего не было видно, почему откат занял десять минут.
Поэтому в разборе роли вместо имён: «выкладка», «дежурный», deploy.
Человек, которого назвали виноватым, в следующий раз промолчит о
своей ошибке, и сбой будут искать дольше.
Причина сбоя редко одна. Обычно это пара:
Дойти до них помогает цепочка «почему»: сайт не отвечал — nginx не
запустился — в конфиге опечатка — выкладка не проверила конфиг —
проверки в выкладке нет. Цепочку останавливают на том, что команда
может изменить. В раздел «Причина» пишут сломанные компоненты по
именам: конфиг сайта nginx, pg_hba.conf, правило алерта.
Сколько длился сбой (по пользователям), сколько запросов упало, какую долю бюджета ошибок он съел (sli-slo). Цифры берут из access.log за окно сбоя — рецепт ниже.
Действия (action items) — что команда изменит, чтобы сбой не повторился или был найден раньше. Каждое — конкретное и проверяемое, с владельцем и сроком:
| Расплывчато | Проверяемо |
|---|---|
| быть внимательнее при выкладке | выкладка запускает nginx -t и останавливается при ошибке |
| следить за диском | алерт при заполнении /var больше 80 % |
| лучше тестировать | тест на конфиг в CI репозитория конфигов |
Действие «быть внимательнее» проверить нельзя, и через месяц сбой повторится.
Два вызова: -t и -u в одной команде отбирают записи, которые
подходят под оба условия сразу, и вывод пустеет. -o short-iso
печатает дату и время с поясом (2026-10-22T12:00:41+00:00), по ним
sort сводит два списка. cut оставляет время (знаки 12–19) и всё
после пояса: имя машины, программу и сообщение.
Дальше файл правят руками: лишнее (строки pam_unix у sudo) —
вон, роль вместо имени, отметки «начало сбоя» и «конец сбоя».
Все запросы окна сбоя и ответы 5xx среди них. Доля бюджета —
b ÷ бюджет окна SLO (sli-slo).
journalctl --disk-usage и самая ранняя запись
(journalctl | head -n 1) покажут, что осталось./var/log/<служба>/.journalctl --utc).Задай следующее «почему»: почему ошибка дошла до пользователей, почему её не поймала проверка, почему откат занял столько времени. Ответ на него и даёт действие.
У действия нет владельца или срока. Каждое действие — задача в трекере с именем и датой; на следующем разборе проверяют, что сделано.
Разбор с виноватым учит команду прятать ошибки. Следующий сбой расследуют дольше: никто не скажет, что правил конфиг за минуту до него. Роль вместо имени, вопрос о системе вместо вопроса о человеке.
-t, -u, -o short-iso.Есть неточность? Сообщить об ошибке в статье