Система изнутри: ресурсы, ядро, процессы / Ступень 4 из 12 · шаг 8 из 10

Служба падает под нагрузкой

~25 мин

Не запущена Запускается обычно ~20 с

Ситуация

Служба lab-notify — приложение notify-hub — рассылает уведомления внутреннего портала. Каждая открытая страница портала подписывается на /events и держит соединение со службой. Пока подписчиков было несколько десятков, служба работала. Сегодня их около трёхсот, и служба то работает, то нет: curl http://127.0.0.1:8090/health через раз отвечает Connection refused. Вчера коллега уже поправил настройки службы — не помогло.

Подписчиков на машине изображает служба lab-subscribers: она держит 300 подписок и переподключает оборванные.

Задача

lab-notify держит 1000 подписчиков разом: отвечает на curl http://127.0.0.1:8090/health и не перезапускается. Код приложения прежний.
Настройку службы меняй в drop-in. Юнит из пакета /usr/lib/systemd/system/lab-notify.service не правь и не подменяй копией: следующее обновление пакета его перезапишет.
systemd-analyze verify lab-notify.service ничего не печатает.
Служба держит ту же нагрузку и после перезапуска: sudo systemctl restart lab-notify.

Интернета на машине нет, всё нужное уже установлено. Команды администратора запускай через sudo.

Цели лабы

0 из 4

lab-notify держит 1000 подписчиков, отвечает на /health и не перезапускается; код приложения прежний — ещё не проверялась
Настройка лежит в drop-in службы, юнит из пакета прежний, процесс запущен с этой настройкой — ещё не проверялась
systemd-analyze verify lab-notify.service ничего не печатает — ещё не проверялась
Служба держит ту же нагрузку и после перезапуска — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Процессы · подобрано по лабе

ulimit и лимиты процесса: открытые файлы, процессы, core

Шпаргалка

$_ — вставить в терминал

ulimit -a все лимиты оболочки
ulimit -Sn; ulimit -Hn мягкий и жёсткий лимит файлов
ulimit -Sn 4096 поднять только мягкий, до жёсткого
cat /proc/1234/limits лимиты работающего процесса
ls /proc/1234/fd | wc -l сколько файлов он держит сейчас
sudo prlimit --pid 1234 --nofile=4096:8192 поменять на лету
systemctl show app -p LimitNOFILE -p LimitNOFILESoft

Сколько файлов открыто и сколько можно

bash

pid=$(systemctl show -p MainPID --value app)
sudo ls /proc/$pid/fd | wc -l
grep 'open files' /proc/$pid/limits

Число дескрипторов близко к мягкому лимиту — служба вот-вот получит Too many open files. Растёт и не падает — служба не закрывает файлы (утечка); кто открыт, покажет lsof -p <PID>.

Поднять лимит в своей оболочке

bash

ulimit -Hn                # потолок
ulimit -Sn 65536          # до потолка можно без root

Действует на эту оболочку и всё, что из неё запущено.

Too many open files

Процесс упёрся в мягкий лимит nofile (код ошибки EMFILE, номер 24):

text

student@ubuntu:~$ (ulimit -n 16; python3 -c \
  'f=[open("/etc/hostname") for i in range(20)]')
OSError: [Errno 24] Too many open files: '/etc/hostname'

Проверь Max open files в /proc/<PID>/limits и число файлов в /proc/<PID>/fd. Служба — подними LimitNOFILE drop-in'ом и перезапусти её. Число дескрипторов растёт без нагрузки — ищи утечку в приложении.

cannot modify limit: Operation not permitted

Мягкий поднимают выше жёсткого или жёсткий выше текущего без root. root получит то же выше fs.nr_open. Проверь ulimit -Hn; в своей оболочке жёсткий, опущенный ulimit -n, не вернуть — открой новую.

Поднял в limits.conf, а службе не помогло

limits.conf действует на вход пользователей через PAM. Службе нужен LimitNOFILE= в юните или drop-in'е (см. ulimit).

systemctl show показывает новый лимит, а служба падает по-старому

После daemon-reload служба не перезапущена: лимиты процесс получает при запуске. sudo systemctl restart <служба> и проверь /proc/<PID>/limits.

fork: retry: Resource temporarily unavailable

Пользователь упёрся в лимит процессов nproc (ulimit -u). Часто это программа, которая плодит процессы в цикле. Найди её (ps -u <user> | wc -l), останови; для службы — LimitNPROC= или TasksMax=.

ulimit -n в рабочей оболочке

ulimit -n 4096 опускает и жёсткий лимит. Обратно его поднимет только root — обычному пользователю поможет лишь новая оболочка. Для пробы запускай ulimit в подоболочке: (ulimit -n 16; команда).