Система изнутри: ресурсы, ядро, процессы / Ступень 7 из 12 · шаг 7 из 8

Приложение молча выходит

~25 мин

Не запущена Запускается обычно ~20 с

Ситуация

Склад переехал на новый сервер. Служба учёта lab-inventory — приложение inventory-api — на новом месте не запускается: systemctl status lab-inventory показывает status=1/FAILURE, а в журнале от самого приложения нет ни строчки. Настройки приложения перенесли. Резервная копия старого сервера лежит в /var/backups/inventory. Каждый запрос приложение записывает через службу событий lab-relay — она работает.

Исходника приложения на машине нет, только собранная программа. Её автор давно уволился.

Задача

Служба lab-inventory работает от пользователя inventory и отвечает на curl http://127.0.0.1:8085/health; склады в ответе — те же, что на старом сервере. Код приложения прежний.
Права не расширяй «для всех»: ни файлу, ни каталогу, ни сокету не нужна запись для любого пользователя. lab-relay работает, как раньше, от relay.
Приложение отвечает и после перезапуска обеих служб: sudo systemctl restart lab-relay lab-inventory.

Интернета на машине нет, всё нужное уже установлено. Команды администратора запускай через sudo.

Цели лабы

0 из 3

Служба lab-inventory работает от inventory и отвечает на /health со складами старого сервера; код приложения прежний — ещё не проверялась
Запись для всех нигде не открыта, lab-relay работает от relay, как раньше — ещё не проверялась
Приложение отвечает и после перезапуска обеих служб — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Процессы · подобрано по лабе

strace — какие системные вызовы делает процесс

Шпаргалка

$_ — вставить в терминал

strace cat /etc/hostname все вызовы команды
strace -f sh -c '…' и дочерних процессов
strace -e trace=openat cmd только openat
strace -f -e trace=file cmd всё, что с путями файлов
strace -e trace=network cmd сокеты и подключения
strace -o /tmp/t.log -f cmd в файл, отдельно от вывода
strace -c ls /etc > /dev/null сводка: сколько каких вызовов
sudo timeout 10 strace -p 1234 подключиться к процессу

Основные ключи — в таблице ниже. Полный список — man strace.

Программа молча завершается с кодом 1

bash

strace -f -o /tmp/t.log ./app; echo $?
grep -E '= -1 E' /tmp/t.log | tail

-o пишет трассу в файл, вывод программы остаётся на экране. Последние отказы перед exited with 1 и есть причина: файл не найден, нет прав, порт не открылся.

Запускай от пользователя службы

root читает любой файл, и под sudo strace отказа в правах не видно. Служба работает от своего пользователя — от него и трассируй:

bash

sudo strace -e trace=openat cat /etc/app.conf
sudo -u appsvc strace -e trace=openat cat /etc/app.conf

text

openat(AT_FDCWD, "/etc/app.conf", O_RDONLY) = 3
…
openat(AT_FDCWD, "/etc/app.conf", O_RDONLY) = -1 EACCES (Permission …
cat: /etc/app.conf: Permission denied

Пользователя службы покажет systemctl show -p User <служба>.

Какие файлы читает программа

bash

strace -f -e trace=openat -o /tmp/t.log cmd
grep -v ENOENT /tmp/t.log | grep -o '"[^"]*"' | sort -u

Куда подключается

text

student@ubuntu:~$ strace -e trace=network curl -s -m 2 127.0.0.1:9
…
socket(AF_INET, SOCK_STREAM, IPPROTO_TCP) = 5
connect(5, {sa_family=AF_INET, sin_port=htons(9), sin_addr=inet_addr(…

Адрес и порт — в аргументах connect.

На чём висит процесс

bash

sudo timeout 5 strace -p 1112

Одна незаконченная строка — процесс ждёт в этом вызове: flock — блокировку файла (кто её держит — lsof и /proc/locks, см. proc-filesystem), read — данных, connect — ответа сети. Процесс в состоянии D ждёт ядро внутри вызова, и strace может ничего не напечатать, пока ожидание не кончится (см. load-average).

Сводка: какие вызовы и сколько

text

student@ubuntu:~$ strace -c ls /etc > /dev/null
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 22.41    0.000221         221         1           execve
 18.86    0.000186           5        34        12 openat
…
100.00    0.000986           6       150        18 total

calls — сколько раз, errors — сколько с отказом, % time — доля времени в ядре.

attach: ptrace(PTRACE_SEIZE, …): Operation not permitted

ptrace_scope = 1 не даёт подключиться к процессу, который не твой потомок. Запусти sudo strace -p <PID>. К PID 1 и чужим процессам без sudo тоже нельзя.

Вывод программы перемешан со strace

Оба пишут в терминал. -o файл уводит трассу в файл.

Строки обрезаны: "hello-wo"...

strace показывает 32 символа строки, остальное — .... -s 200 показывает 200.

Вызовов потомков нет

Работу делает дочерний процесс, а strace без -f его не видит.