Система изнутри: ресурсы, ядро, процессы / Ступень 4 из 12

ulimit и sysctl: потолки системы

Не запущена Запускается обычно ~20 с

Шаг 8 из 10 · лаба · 25 мин

Служба падает под нагрузкой

Служба уведомлений держит по соединению на каждого подписчика. Подписчиков стало триста — и она то работает, то нет, хотя коллега уже что-то поправил. Найди причину и почини так, чтобы служба держала тысячу подписчиков и после перезапуска.

Ситуация

Служба lab-notify — приложение notify-hub — рассылает уведомления внутреннего портала. Каждая открытая страница портала подписывается на /events и держит соединение со службой. Пока подписчиков было несколько десятков, служба работала. Сегодня их около трёхсот, и служба то работает, то нет: curl http://127.0.0.1:8090/health через раз отвечает Connection refused. Вчера коллега уже поправил настройки службы — не помогло.

Подписчиков на машине изображает служба lab-subscribers: она держит 300 подписок и переподключает оборванные.

Задача

lab-notify держит 1000 подписчиков разом: отвечает на curl http://127.0.0.1:8090/health и не перезапускается. Код приложения прежний.
Настройку службы меняй в drop-in. Юнит из пакета /usr/lib/systemd/system/lab-notify.service не правь и не подменяй копией: следующее обновление пакета его перезапишет.
systemd-analyze verify lab-notify.service ничего не печатает.
Служба держит ту же нагрузку и после перезапуска: sudo systemctl restart lab-notify.

Интернета на машине нет, всё нужное уже установлено. Команды администратора запускай через sudo.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 4

lab-notify держит 1000 подписчиков, отвечает на /health и не перезапускается; код приложения прежний — ещё не выполнена
Настройка лежит в drop-in службы, юнит из пакета прежний, процесс запущен с этой настройкой — ещё не выполнена
systemd-analyze verify lab-notify.service ничего не печатает — ещё не выполнена
Служба держит ту же нагрузку и после перезапуска — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 4

lab-notify держит 1000 подписчиков, отвечает на /health и не перезапускается; код приложения прежний — ещё не выполнена
Настройка лежит в drop-in службы, юнит из пакета прежний, процесс запущен с этой настройкой — ещё не выполнена
systemd-analyze verify lab-notify.service ничего не печатает — ещё не выполнена
Служба держит ту же нагрузку и после перезапуска — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 4

lab-notify держит 1000 подписчиков, отвечает на /health и не перезапускается; код приложения прежний — ещё не выполнена
Настройка лежит в drop-in службы, юнит из пакета прежний, процесс запущен с этой настройкой — ещё не выполнена
systemd-analyze verify lab-notify.service ничего не печатает — ещё не выполнена
Служба держит ту же нагрузку и после перезапуска — ещё не выполнена

Процессы · подобрано по лабе

ulimit и лимиты процесса: открытые файлы, процессы, core

Шпаргалка

$_ — вставить в терминал

ulimit -a все лимиты оболочки
ulimit -Sn; ulimit -Hn мягкий и жёсткий лимит файлов
ulimit -Sn 4096 поднять только мягкий, до жёсткого
cat /proc/1234/limits лимиты работающего процесса
ls /proc/1234/fd | wc -l сколько файлов он держит сейчас
sudo prlimit --pid 1234 --nofile=4096:8192 поменять на лету
systemctl show app -p LimitNOFILE -p LimitNOFILESoft

Сколько файлов открыто и сколько можно

bash

pid=$(systemctl show -p MainPID --value app)
sudo ls /proc/$pid/fd | wc -l
grep 'open files' /proc/$pid/limits

Число дескрипторов близко к мягкому лимиту — служба вот-вот получит Too many open files. Растёт и не падает — служба не закрывает файлы (утечка); кто открыт, покажет lsof -p <PID>.

Поднять лимит в своей оболочке

bash

ulimit -Hn                # потолок
ulimit -Sn 65536          # до потолка можно без root

Действует на эту оболочку и всё, что из неё запущено.

Too many open files

Процесс упёрся в мягкий лимит nofile (код ошибки EMFILE, номер 24):

text

student@ubuntu:~$ (ulimit -n 16; python3 -c \
  'f=[open("/etc/hostname") for i in range(20)]')
OSError: [Errno 24] Too many open files: '/etc/hostname'

Проверь Max open files в /proc/<PID>/limits и число файлов в /proc/<PID>/fd. Служба — подними LimitNOFILE drop-in'ом и перезапусти её. Число дескрипторов растёт без нагрузки — ищи утечку в приложении.

cannot modify limit: Operation not permitted

Мягкий поднимают выше жёсткого или жёсткий выше текущего без root. root получит то же выше fs.nr_open. Проверь ulimit -Hn; в своей оболочке жёсткий, опущенный ulimit -n, не вернуть — открой новую.

Поднял в limits.conf, а службе не помогло

limits.conf действует на вход пользователей через PAM. Службе нужен LimitNOFILE= в юните или drop-in'е (см. ulimit).

systemctl show показывает новый лимит, а служба падает по-старому

После daemon-reload служба не перезапущена: лимиты процесс получает при запуске. sudo systemctl restart <служба> и проверь /proc/<PID>/limits.

fork: retry: Resource temporarily unavailable

Пользователь упёрся в лимит процессов nproc (ulimit -u). Часто это программа, которая плодит процессы в цикле. Найди её (ps -u <user> | wc -l), останови; для службы — LimitNPROC= или TasksMax=.

ulimit -n в рабочей оболочке

ulimit -n 4096 опускает и жёсткий лимит. Обратно его поднимет только root — обычному пользователю поможет лишь новая оболочка. Для пробы запускай ulimit в подоболочке: (ulimit -n 16; команда).