Система изнутри: ресурсы, ядро, процессы / Ступень 2 из 12

Память, swap и OOM killer

Не запущена Запускается обычно ~20 с

Шаг 8 из 9 · лаба · 20 мин

Сборке не хватает памяти

Ночная сборка поискового индекса падает по памяти, а прибавить ей оперативной памяти нельзя. Дай машине swap-файл так, чтобы он пережил перезагрузку, и настрой, насколько охотно система им пользуется.

Ситуация

Каждую ночь таймер lab-build.timer запускает сборку поискового индекса сайта документации — службу lab-build. Сборке отведено 192 МиБ оперативной памяти: остальное нужно сайту и базе. Страниц стало больше, и уже которую ночь индекс не обновляется. Сборку можно запустить и днём: sudo systemctl start lab-build.

Прибавить сборке оперативной памяти нельзя. Решили дать машине swap: что не помещается в 192 МиБ, уйдёт на диск — сборка пойдёт медленнее, но закончится.

Задача

Swap — файл ровно на 512 МиБ, и он включён. В swap попадает память процессов, поэтому читать и писать файл может только root (права 600).
После перезагрузки swap включается сам, и строки swap в /etc/fstab не дают ошибок при загрузке.
Система неохотно отправляет память в swap: vm.swappiness = 10 сейчас и после перезагрузки, настройка записана файлом в /etc/sysctl.d.
Сборка sudo systemctl start lab-build проходит — проверка запустит её сама. Юнит сборки и её лимит памяти не меняй.

Интернета на машине нет, нужные программы уже установлены.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 4

Включён swap-файл ровно на 512 МиБ, владелец root, права 600 — ещё не выполнена
Swap-файл записан в /etc/fstab, и строк swap на несуществующие файлы там нет — ещё не выполнена
vm.swappiness = 10 сейчас и после перезагрузки — из файла в /etc/sysctl.d — ещё не выполнена
Ночная сборка lab-build проходит в прежнем лимите памяти 192 МиБ — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 4

Включён swap-файл ровно на 512 МиБ, владелец root, права 600 — ещё не выполнена
Swap-файл записан в /etc/fstab, и строк swap на несуществующие файлы там нет — ещё не выполнена
vm.swappiness = 10 сейчас и после перезагрузки — из файла в /etc/sysctl.d — ещё не выполнена
Ночная сборка lab-build проходит в прежнем лимите памяти 192 МиБ — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 4

Включён swap-файл ровно на 512 МиБ, владелец root, права 600 — ещё не выполнена
Swap-файл записан в /etc/fstab, и строк swap на несуществующие файлы там нет — ещё не выполнена
vm.swappiness = 10 сейчас и после перезагрузки — из файла в /etc/sysctl.d — ещё не выполнена
Ночная сборка lab-build проходит в прежнем лимите памяти 192 МиБ — ещё не выполнена

Процессы · подобрано по лабе

Память и swap: free, available и кэш страниц

Шпаргалка

$_ — вставить в терминал

free -h память и swap; запас — available
grep -E '^(Mem|Cached)' /proc/meminfo то же из ядра, КиБ
ps -eo pid,rss,comm --sort=-rss | head -5 кто держит больше
swapon --show активный swap; пусто — swap нет
vmstat 1 5 si и so — чтение и запись swap
sysctl vm.swappiness охота ядра до swap, 60 по умолчанию
sync; echo 3 | sudo tee /proc/sys/vm/drop_caches сбросить кэш

Добавить swap-файл

bash

sudo fallocate -l 512M /swapfile    # файл нужного размера
sudo chmod 600 /swapfile            # читать может только root
sudo mkswap /swapfile               # разметить под swap
sudo swapon /swapfile               # включить
swapon --show

text

student@ubuntu:~$ swapon --show
NAME      TYPE SIZE USED PRIO
/swapfile file 512M   0B   -2

Чтобы swap включался при загрузке, нужна строка в /etc/fstab:

bash

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
sudo swapoff /swapfile; sudo swapon -a; swapon --show   # проверить

swapon -a включает всё, что описано в fstab: если файл снова в списке, строка записана без опечаток. Вместо fallocate подойдёт sudo dd if=/dev/zero of=/swapfile bs=1M count=512 — дольше, но работает на любой ФС.

Три детали, на которых ошибаются:

Размер. 512M — это 512 МиБ (536870912 байт), 512MB — 512 000 000 байт. Перевести одно в другое — инструмент «Конвертер единиц объёма».
Права. chmod 600 — до swapon: иначе содержимое памяти программ сможет прочитать любой пользователь.
Путь в fstab. Swap-файл в fstab пишут путём /swapfile. Строка UUID=… none swap sw 0 0 для файла проходит проверку swapon -a, но при загрузке systemd ждёт устройство /dev/disk/by-uuid/…, а такие ссылки бывают только у дисков и разделов. Через 90 секунд в журнале — Timed out waiting for device, swap не включён.

Выключить swap

bash

sudo swapoff /swapfile   # страницы из swap вернутся в память

Затем убери строку из /etc/fstab и удали файл.

Сбросить кэш перед замером

bash

sync; echo 3 | sudo tee /proc/sys/vm/drop_caches

Нужно только для опыта: замерить чтение с диска, а не из кэша. Работе это не помогает, кэш наполнится снова. Запись sudo echo 3 > /proc/sys/vm/drop_caches не сработает: перенаправление делает твоя оболочка без прав root, и она отвечает Permission denied.

free почти ноль

Норма: свободную память занял кэш страниц. Смотри available. Тревога — когда мал available и растут si/so в vmstat.

Сервер тормозит, растут si и so

Памяти не хватает, ядро гоняет страницы между памятью и swap. Найди, кто держит больше всех (ps -eo pid,rss,comm --sort=-rss | head), и останови или ограничь его (MemoryMax службы, см. oom-killer). Добавить swap — отсрочка, памяти он не прибавит.

Процесс завершился, в журнале Killed process

Память кончилась, и ядро завершило процесс — разбор в oom-killer.

mkswap или swapon: insecure permissions 0644

mkswap пишет insecure permissions 0644, fix with: chmod 0600 /swapfile, swapon — insecure permissions 0644, 0600 suggested. Swap включится и так, но содержимое памяти программ сможет прочитать любой пользователь. sudo chmod 600 /swapfile.

swapon failed: Device or resource busy

Файл уже включён. Проверь swapon --show.

После перезагрузки swap пропал

swapon действует до перезагрузки. Нужна строка в /etc/fstab (рецепт выше). Строка есть, а в журнале загрузки Timed out waiting for device /dev/disk/by-uuid/… и Dependency failed for …swap — файл записан через UUID=; замени на путь.

swap.img.swap в списке failed

text

student@ubuntu:~$ systemctl --failed --no-legend
● swap.img.swap loaded failed failed /swap.img
student@ubuntu:~$ sudo swapon -a
swapon: cannot open /swap.img: No such file or directory

Для каждой строки swap в fstab systemd делает юнит <путь>.swap. Файл удалили, а строку оставили — юнит падает при каждой загрузке. Убери строку из /etc/fstab, затем sudo systemctl daemon-reload и sudo systemctl reset-failed.

vm.swappiness вернулся к 60

Значение поставили sysctl vm.swappiness=… — оно живёт до перезагрузки. Положи строку в файл /etc/sysctl.d/*.conf. Больше 200 ядро не принимает: sysctl: setting key "vm.swappiness": Invalid argument.

swapoff при нехватке памяти

swapoff возвращает все страницы из swap в память. Если места в памяти нет, команда долго гоняет диск, а потом приходит oom-killer. Перед swapoff сравни used в строке Swap с available.