Система изнутри: ресурсы, ядро, процессы / Ступень 2 из 12 · шаг 8 из 9

Сборке не хватает памяти

~20 мин

Не запущена Запускается обычно ~20 с

Ситуация

Каждую ночь таймер lab-build.timer запускает сборку поискового индекса сайта документации — службу lab-build. Сборке отведено 192 МиБ оперативной памяти: остальное нужно сайту и базе. Страниц стало больше, и уже которую ночь индекс не обновляется. Сборку можно запустить и днём: sudo systemctl start lab-build.

Прибавить сборке оперативной памяти нельзя. Решили дать машине swap: что не помещается в 192 МиБ, уйдёт на диск — сборка пойдёт медленнее, но закончится.

Задача

Swap — файл ровно на 512 МиБ, и он включён. В swap попадает память процессов, поэтому читать и писать файл может только root (права 600).
После перезагрузки swap включается сам, и строки swap в /etc/fstab не дают ошибок при загрузке.
Система неохотно отправляет память в swap: vm.swappiness = 10 сейчас и после перезагрузки, настройка записана файлом в /etc/sysctl.d.
Сборка sudo systemctl start lab-build проходит — проверка запустит её сама. Юнит сборки и её лимит памяти не меняй.

Интернета на машине нет, нужные программы уже установлены.

Цели лабы

0 из 4

Включён swap-файл ровно на 512 МиБ, владелец root, права 600 — ещё не проверялась
Swap-файл записан в /etc/fstab, и строк swap на несуществующие файлы там нет — ещё не проверялась
vm.swappiness = 10 сейчас и после перезагрузки — из файла в /etc/sysctl.d — ещё не проверялась
Ночная сборка lab-build проходит в прежнем лимите памяти 192 МиБ — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Процессы · подобрано по лабе

Память и swap: free, available и кэш страниц

Шпаргалка

$_ — вставить в терминал

free -h память и swap; запас — available
grep -E '^(Mem|Cached)' /proc/meminfo то же из ядра, КиБ
ps -eo pid,rss,comm --sort=-rss | head -5 кто держит больше
swapon --show активный swap; пусто — swap нет
vmstat 1 5 si и so — чтение и запись swap
sysctl vm.swappiness охота ядра до swap, 60 по умолчанию
sync; echo 3 | sudo tee /proc/sys/vm/drop_caches сбросить кэш

Добавить swap-файл

bash

sudo fallocate -l 512M /swapfile    # файл нужного размера
sudo chmod 600 /swapfile            # читать может только root
sudo mkswap /swapfile               # разметить под swap
sudo swapon /swapfile               # включить
swapon --show

text

student@ubuntu:~$ swapon --show
NAME      TYPE SIZE USED PRIO
/swapfile file 512M   0B   -2

Чтобы swap включался при загрузке, нужна строка в /etc/fstab:

bash

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
sudo swapoff /swapfile; sudo swapon -a; swapon --show   # проверить

swapon -a включает всё, что описано в fstab: если файл снова в списке, строка записана без опечаток. Вместо fallocate подойдёт sudo dd if=/dev/zero of=/swapfile bs=1M count=512 — дольше, но работает на любой ФС.

Три детали, на которых ошибаются:

Размер. 512M — это 512 МиБ (536870912 байт), 512MB — 512 000 000 байт. Перевести одно в другое — инструмент «Конвертер единиц объёма».
Права. chmod 600 — до swapon: иначе содержимое памяти программ сможет прочитать любой пользователь.
Путь в fstab. Swap-файл в fstab пишут путём /swapfile. Строка UUID=… none swap sw 0 0 для файла проходит проверку swapon -a, но при загрузке systemd ждёт устройство /dev/disk/by-uuid/…, а такие ссылки бывают только у дисков и разделов. Через 90 секунд в журнале — Timed out waiting for device, swap не включён.

Выключить swap

bash

sudo swapoff /swapfile   # страницы из swap вернутся в память

Затем убери строку из /etc/fstab и удали файл.

Сбросить кэш перед замером

bash

sync; echo 3 | sudo tee /proc/sys/vm/drop_caches

Нужно только для опыта: замерить чтение с диска, а не из кэша. Работе это не помогает, кэш наполнится снова. Запись sudo echo 3 > /proc/sys/vm/drop_caches не сработает: перенаправление делает твоя оболочка без прав root, и она отвечает Permission denied.

free почти ноль

Норма: свободную память занял кэш страниц. Смотри available. Тревога — когда мал available и растут si/so в vmstat.

Сервер тормозит, растут si и so

Памяти не хватает, ядро гоняет страницы между памятью и swap. Найди, кто держит больше всех (ps -eo pid,rss,comm --sort=-rss | head), и останови или ограничь его (MemoryMax службы, см. oom-killer). Добавить swap — отсрочка, памяти он не прибавит.

Процесс завершился, в журнале Killed process

Память кончилась, и ядро завершило процесс — разбор в oom-killer.

mkswap или swapon: insecure permissions 0644

mkswap пишет insecure permissions 0644, fix with: chmod 0600 /swapfile, swapon — insecure permissions 0644, 0600 suggested. Swap включится и так, но содержимое памяти программ сможет прочитать любой пользователь. sudo chmod 600 /swapfile.

swapon failed: Device or resource busy

Файл уже включён. Проверь swapon --show.

После перезагрузки swap пропал

swapon действует до перезагрузки. Нужна строка в /etc/fstab (рецепт выше). Строка есть, а в журнале загрузки Timed out waiting for device /dev/disk/by-uuid/… и Dependency failed for …swap — файл записан через UUID=; замени на путь.

swap.img.swap в списке failed

text

student@ubuntu:~$ systemctl --failed --no-legend
● swap.img.swap loaded failed failed /swap.img
student@ubuntu:~$ sudo swapon -a
swapon: cannot open /swap.img: No such file or directory

Для каждой строки swap в fstab systemd делает юнит <путь>.swap. Файл удалили, а строку оставили — юнит падает при каждой загрузке. Убери строку из /etc/fstab, затем sudo systemctl daemon-reload и sudo systemctl reset-failed.

vm.swappiness вернулся к 60

Значение поставили sysctl vm.swappiness=… — оно живёт до перезагрузки. Положи строку в файл /etc/sysctl.d/*.conf. Больше 200 ядро не принимает: sysctl: setting key "vm.swappiness": Invalid argument.

swapoff при нехватке памяти

swapoff возвращает все страницы из swap в память. Если места в памяти нет, команда долго гоняет диск, а потом приходит oom-killer. Перед swapoff сравни used в строке Swap с available.