Система изнутри: ресурсы, ядро, процессы / Ступень 2 из 12

Память, swap и OOM killer

Не запущена Запускается обычно ~20 с

Шаг 7 из 9 · лаба · 25 мин

Служба перезапускается по кругу

После обновления служба фида для маркетплейсов перезапускается каждые несколько секунд, и фид не обновляется. Найди, что её останавливает, и почини так, чтобы она работала в отведённой ей памяти.

Ситуация

Служба feedd собирает фид товаров для маркетплейсов: раз в полсекунды пересобирает файл /var/lib/feedd/feed.xml, а маркетплейсы его забирают. Вчера вечером feedd обновили до версии 2.4. С тех пор маркетплейсы получают устаревший фид, а служба lab-feedd то запущена, то снова перезапускается.

Юнит службы пришёл с пакетом: /usr/lib/systemd/system/lab-feedd.service. Настройки приложения — в /etc/feedd/feedd.conf.

Задача

Лимит памяти службы — 128 МиБ: столько ей отведено на этой машине. Лимит переживает перезагрузку, а файл юнита из пакета остаётся как есть — не правь его и не подменяй копией: обновление пакета его перезапишет.
feedd работает без перезапусков: проверка подождёт, пока процесс службы проработает 30 секунд подряд.
Фид обновляется, как раньше, раз в полсекунды, а память процесса не растёт от задания к заданию. Код feedd в /usr/lib/feedd не меняй.

Интернета на машине нет. Управлять службой и править файлы в /etc — через sudo.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 3

Лимит памяти lab-feedd — 128 МиБ, задан дополнением к юниту и переживёт перезагрузку — ещё не выполнена
feedd работает 30 секунд подряд без перезапусков — ещё не выполнена
Фид обновляется раз в полсекунды, а память процесса не растёт от задания к заданию; код feedd прежний — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 3

Лимит памяти lab-feedd — 128 МиБ, задан дополнением к юниту и переживёт перезагрузку — ещё не выполнена
feedd работает 30 секунд подряд без перезапусков — ещё не выполнена
Фид обновляется раз в полсекунды, а память процесса не растёт от задания к заданию; код feedd прежний — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 3

Лимит памяти lab-feedd — 128 МиБ, задан дополнением к юниту и переживёт перезагрузку — ещё не выполнена
feedd работает 30 секунд подряд без перезапусков — ещё не выполнена
Фид обновляется раз в полсекунды, а память процесса не растёт от задания к заданию; код feedd прежний — ещё не выполнена

Процессы · подобрано по лабе

Память и swap: free, available и кэш страниц

Шпаргалка

$_ — вставить в терминал

free -h память и swap; запас — available
grep -E '^(Mem|Cached)' /proc/meminfo то же из ядра, КиБ
ps -eo pid,rss,comm --sort=-rss | head -5 кто держит больше
swapon --show активный swap; пусто — swap нет
vmstat 1 5 si и so — чтение и запись swap
sysctl vm.swappiness охота ядра до swap, 60 по умолчанию
sync; echo 3 | sudo tee /proc/sys/vm/drop_caches сбросить кэш

Добавить swap-файл

bash

sudo fallocate -l 512M /swapfile    # файл нужного размера
sudo chmod 600 /swapfile            # читать может только root
sudo mkswap /swapfile               # разметить под swap
sudo swapon /swapfile               # включить
swapon --show

text

student@ubuntu:~$ swapon --show
NAME      TYPE SIZE USED PRIO
/swapfile file 512M   0B   -2

Чтобы swap включался при загрузке, нужна строка в /etc/fstab:

bash

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
sudo swapoff /swapfile; sudo swapon -a; swapon --show   # проверить

swapon -a включает всё, что описано в fstab: если файл снова в списке, строка записана без опечаток. Вместо fallocate подойдёт sudo dd if=/dev/zero of=/swapfile bs=1M count=512 — дольше, но работает на любой ФС.

Три детали, на которых ошибаются:

Размер. 512M — это 512 МиБ (536870912 байт), 512MB — 512 000 000 байт. Перевести одно в другое — инструмент «Конвертер единиц объёма».
Права. chmod 600 — до swapon: иначе содержимое памяти программ сможет прочитать любой пользователь.
Путь в fstab. Swap-файл в fstab пишут путём /swapfile. Строка UUID=… none swap sw 0 0 для файла проходит проверку swapon -a, но при загрузке systemd ждёт устройство /dev/disk/by-uuid/…, а такие ссылки бывают только у дисков и разделов. Через 90 секунд в журнале — Timed out waiting for device, swap не включён.

Выключить swap

bash

sudo swapoff /swapfile   # страницы из swap вернутся в память

Затем убери строку из /etc/fstab и удали файл.

Сбросить кэш перед замером

bash

sync; echo 3 | sudo tee /proc/sys/vm/drop_caches

Нужно только для опыта: замерить чтение с диска, а не из кэша. Работе это не помогает, кэш наполнится снова. Запись sudo echo 3 > /proc/sys/vm/drop_caches не сработает: перенаправление делает твоя оболочка без прав root, и она отвечает Permission denied.

free почти ноль

Норма: свободную память занял кэш страниц. Смотри available. Тревога — когда мал available и растут si/so в vmstat.

Сервер тормозит, растут si и so

Памяти не хватает, ядро гоняет страницы между памятью и swap. Найди, кто держит больше всех (ps -eo pid,rss,comm --sort=-rss | head), и останови или ограничь его (MemoryMax службы, см. oom-killer). Добавить swap — отсрочка, памяти он не прибавит.

Процесс завершился, в журнале Killed process

Память кончилась, и ядро завершило процесс — разбор в oom-killer.

mkswap или swapon: insecure permissions 0644

mkswap пишет insecure permissions 0644, fix with: chmod 0600 /swapfile, swapon — insecure permissions 0644, 0600 suggested. Swap включится и так, но содержимое памяти программ сможет прочитать любой пользователь. sudo chmod 600 /swapfile.

swapon failed: Device or resource busy

Файл уже включён. Проверь swapon --show.

После перезагрузки swap пропал

swapon действует до перезагрузки. Нужна строка в /etc/fstab (рецепт выше). Строка есть, а в журнале загрузки Timed out waiting for device /dev/disk/by-uuid/… и Dependency failed for …swap — файл записан через UUID=; замени на путь.

swap.img.swap в списке failed

text

student@ubuntu:~$ systemctl --failed --no-legend
● swap.img.swap loaded failed failed /swap.img
student@ubuntu:~$ sudo swapon -a
swapon: cannot open /swap.img: No such file or directory

Для каждой строки swap в fstab systemd делает юнит <путь>.swap. Файл удалили, а строку оставили — юнит падает при каждой загрузке. Убери строку из /etc/fstab, затем sudo systemctl daemon-reload и sudo systemctl reset-failed.

vm.swappiness вернулся к 60

Значение поставили sysctl vm.swappiness=… — оно живёт до перезагрузки. Положи строку в файл /etc/sysctl.d/*.conf. Больше 200 ядро не принимает: sysctl: setting key "vm.swappiness": Invalid argument.

swapoff при нехватке памяти

swapoff возвращает все страницы из swap в память. Если места в памяти нет, команда долго гоняет диск, а потом приходит oom-killer. Перед swapoff сравни used в строке Swap с available.