Система изнутри: ресурсы, ядро, процессы / Ступень 2 из 12 · шаг 7 из 9

Служба перезапускается по кругу

~25 мин

Не запущена Запускается обычно ~20 с

Ситуация

Служба feedd собирает фид товаров для маркетплейсов: раз в полсекунды пересобирает файл /var/lib/feedd/feed.xml, а маркетплейсы его забирают. Вчера вечером feedd обновили до версии 2.4. С тех пор маркетплейсы получают устаревший фид, а служба lab-feedd то запущена, то снова перезапускается.

Юнит службы пришёл с пакетом: /usr/lib/systemd/system/lab-feedd.service. Настройки приложения — в /etc/feedd/feedd.conf.

Задача

Лимит памяти службы — 128 МиБ: столько ей отведено на этой машине. Лимит переживает перезагрузку, а файл юнита из пакета остаётся как есть — не правь его и не подменяй копией: обновление пакета его перезапишет.
feedd работает без перезапусков: проверка подождёт, пока процесс службы проработает 30 секунд подряд.
Фид обновляется, как раньше, раз в полсекунды, а память процесса не растёт от задания к заданию. Код feedd в /usr/lib/feedd не меняй.

Интернета на машине нет. Управлять службой и править файлы в /etc — через sudo.

Цели лабы

0 из 3

Лимит памяти lab-feedd — 128 МиБ, задан дополнением к юниту и переживёт перезагрузку — ещё не проверялась
feedd работает 30 секунд подряд без перезапусков — ещё не проверялась
Фид обновляется раз в полсекунды, а память процесса не растёт от задания к заданию; код feedd прежний — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Процессы · подобрано по лабе

Память и swap: free, available и кэш страниц

Шпаргалка

$_ — вставить в терминал

free -h память и swap; запас — available
grep -E '^(Mem|Cached)' /proc/meminfo то же из ядра, КиБ
ps -eo pid,rss,comm --sort=-rss | head -5 кто держит больше
swapon --show активный swap; пусто — swap нет
vmstat 1 5 si и so — чтение и запись swap
sysctl vm.swappiness охота ядра до swap, 60 по умолчанию
sync; echo 3 | sudo tee /proc/sys/vm/drop_caches сбросить кэш

Добавить swap-файл

bash

sudo fallocate -l 512M /swapfile    # файл нужного размера
sudo chmod 600 /swapfile            # читать может только root
sudo mkswap /swapfile               # разметить под swap
sudo swapon /swapfile               # включить
swapon --show

text

student@ubuntu:~$ swapon --show
NAME      TYPE SIZE USED PRIO
/swapfile file 512M   0B   -2

Чтобы swap включался при загрузке, нужна строка в /etc/fstab:

bash

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
sudo swapoff /swapfile; sudo swapon -a; swapon --show   # проверить

swapon -a включает всё, что описано в fstab: если файл снова в списке, строка записана без опечаток. Вместо fallocate подойдёт sudo dd if=/dev/zero of=/swapfile bs=1M count=512 — дольше, но работает на любой ФС.

Три детали, на которых ошибаются:

Размер. 512M — это 512 МиБ (536870912 байт), 512MB — 512 000 000 байт. Перевести одно в другое — инструмент «Конвертер единиц объёма».
Права. chmod 600 — до swapon: иначе содержимое памяти программ сможет прочитать любой пользователь.
Путь в fstab. Swap-файл в fstab пишут путём /swapfile. Строка UUID=… none swap sw 0 0 для файла проходит проверку swapon -a, но при загрузке systemd ждёт устройство /dev/disk/by-uuid/…, а такие ссылки бывают только у дисков и разделов. Через 90 секунд в журнале — Timed out waiting for device, swap не включён.

Выключить swap

bash

sudo swapoff /swapfile   # страницы из swap вернутся в память

Затем убери строку из /etc/fstab и удали файл.

Сбросить кэш перед замером

bash

sync; echo 3 | sudo tee /proc/sys/vm/drop_caches

Нужно только для опыта: замерить чтение с диска, а не из кэша. Работе это не помогает, кэш наполнится снова. Запись sudo echo 3 > /proc/sys/vm/drop_caches не сработает: перенаправление делает твоя оболочка без прав root, и она отвечает Permission denied.

free почти ноль

Норма: свободную память занял кэш страниц. Смотри available. Тревога — когда мал available и растут si/so в vmstat.

Сервер тормозит, растут si и so

Памяти не хватает, ядро гоняет страницы между памятью и swap. Найди, кто держит больше всех (ps -eo pid,rss,comm --sort=-rss | head), и останови или ограничь его (MemoryMax службы, см. oom-killer). Добавить swap — отсрочка, памяти он не прибавит.

Процесс завершился, в журнале Killed process

Память кончилась, и ядро завершило процесс — разбор в oom-killer.

mkswap или swapon: insecure permissions 0644

mkswap пишет insecure permissions 0644, fix with: chmod 0600 /swapfile, swapon — insecure permissions 0644, 0600 suggested. Swap включится и так, но содержимое памяти программ сможет прочитать любой пользователь. sudo chmod 600 /swapfile.

swapon failed: Device or resource busy

Файл уже включён. Проверь swapon --show.

После перезагрузки swap пропал

swapon действует до перезагрузки. Нужна строка в /etc/fstab (рецепт выше). Строка есть, а в журнале загрузки Timed out waiting for device /dev/disk/by-uuid/… и Dependency failed for …swap — файл записан через UUID=; замени на путь.

swap.img.swap в списке failed

text

student@ubuntu:~$ systemctl --failed --no-legend
● swap.img.swap loaded failed failed /swap.img
student@ubuntu:~$ sudo swapon -a
swapon: cannot open /swap.img: No such file or directory

Для каждой строки swap в fstab systemd делает юнит <путь>.swap. Файл удалили, а строку оставили — юнит падает при каждой загрузке. Убери строку из /etc/fstab, затем sudo systemctl daemon-reload и sudo systemctl reset-failed.

vm.swappiness вернулся к 60

Значение поставили sysctl vm.swappiness=… — оно живёт до перезагрузки. Положи строку в файл /etc/sysctl.d/*.conf. Больше 200 ядро не принимает: sysctl: setting key "vm.swappiness": Invalid argument.

swapoff при нехватке памяти

swapoff возвращает все страницы из swap в память. Если места в памяти нет, команда долго гоняет диск, а потом приходит oom-killer. Перед swapoff сравни used в строке Swap с available.