Хранилище / Ступень 5 из 12 · шаг 7 из 8

Зеркало на одном диске

~25 мин

Не запущена Запускается обычно ~20 с

Ситуация

Документы бухгалтерии лежат в /srv/docs — на зеркале RAID 1 /dev/md0 из двух дисков. Ночью мониторинг прислал DegradedArray: массив работает без одного диска. Отказавший диск уже вынули, вместо него подключили новый, пустой. Ещё на машине подключён диск с архивом прошлого года — он не смонтирован, и трогать его нельзя.

Задача

Верни массиву второй диск:

Массив — clean, активны оба диска (2 из 2), пересборка закончена.
Второй диск массива — новый пустой диск, архив на другом диске цел.
/srv/docs подключён с массива, документы целы.
Строка массива в /etc/mdadm/mdadm.conf соответствует нынешнему массиву.
После перезагрузки массив собирается сам с обоими дисками.

Когда массив соберётся заново, перезагрузи машину (sudo reboot) и нажми «Проверить»: проверка смотрит, как массив собрался при загрузке. Пересборку «Проверить» ждёт сам.

Состояние массива — cat /proc/mdstat, подробности — sudo mdadm --detail /dev/md0. Интернета на машине нет.

Цели лабы

0 из 5

Массив с документами — clean, активны оба диска (2 из 2), пересборка закончена — ещё не проверялась
Второй диск массива — новый пустой диск; архив на другом диске цел — ещё не проверялась
/srv/docs подключён с массива, документы целы — ещё не проверялась
Строка массива в /etc/mdadm/mdadm.conf соответствует нынешнему массиву — ещё не проверялась
После перезагрузки (sudo reboot) массив собирается сам с обоими дисками — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Хранилище и ФС · подобрано по лабе

mdadm — программный RAID: состояние, замена диска, mdadm.conf

Шпаргалка

$_ — вставить в терминал

cat /proc/mdstat все массивы: [UU] или [U_]
sudo mdadm --detail /dev/md0 состояние и роли дисков
sudo mdadm --create /dev/md0 --level=1 --raid-devices=2 \
--run /dev/vdb /dev/vdc зеркало из двух дисков
sudo mdadm /dev/md0 --fail /dev/vdc пометить диск отказавшим
sudo mdadm /dev/md0 --remove /dev/vdc убрать отказавший
sudo mdadm /dev/md0 --add /dev/vdd добавить новый, пересборка
sudo mdadm --wait /dev/md0 дождаться конца пересборки
sudo mdadm --detail --scan строка ARRAY для mdadm.conf
sudo update-initramfs -u mdadm.conf — в initramfs

Первый аргумент выбирает режим: --create, --assemble, --detail, --examine, --monitor, --grow. Команда вида mdadm /dev/md0 --add /dev/vdd — режим управления: сначала массив, потом действия над дисками, их можно ставить несколько подряд (--fail X --remove X). Полный список — man mdadm.

Создать зеркало

text

$ sudo mdadm --create /dev/md0 --level=1 --raid-devices=2 \
    /dev/loop11 /dev/loop12
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store '/boot' on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
Continue creating array?

Предупреждение касается только массива под /boot: ответь y или добавь --run, тогда mdadm не спрашивает. Дальше mdadm: array /dev/md0 started. и сверка копий (resync) — массив уже можно размечать:

bash

sudo mkfs.ext4 -L data /dev/md0
sudo blkid /dev/md0                 # UUID файловой системы — для fstab

В /etc/fstab массив монтируют по UUID файловой системы, с nofail, если система может загрузиться без него — mount. Чтобы массив собирался при загрузке, его записывают в mdadm.conf — mdadm.

Заменить отказавший диск

Порядок: пометить диск отказавшим, убрать, добавить исправный, дождаться пересборки.

text

$ sudo mdadm /dev/md0 --fail /dev/loop12
mdadm: set /dev/loop12 faulty in /dev/md0
$ sudo mdadm /dev/md0 --remove /dev/loop12
mdadm: hot removed /dev/loop12 from /dev/md0
$ sudo mdadm /dev/md0 --add /dev/loop13
mdadm: added /dev/loop13
$ cat /proc/mdstat
md0 : active raid1 loop13[2] loop11[0]
      261120 blocks super 1.2 [2/1] [U_]
      [======>..............]  recovery = 31.1% (81664/261120)
        finish=0.1min speed=20416K/sec
$ sudo mdadm --wait /dev/md0
$ cat /proc/mdstat
md0 : active raid1 loop13[2] loop11[0]
      261120 blocks super 1.2 [2/2] [UU]

Диск, который ядро само признало отказавшим, уже помечен (F) — --fail для него не нужен, сразу --remove.
--remove без --fail для рабочего диска отказывает: hot remove failed … Device or resource busy.
Файлы на массиве доступны всё время: пересборка идёт под смонтированной файловой системой.
--wait возвращается, когда пересборка закончилась; на образах по 256 МиБ это секунды.
UUID массива при замене диска не меняется, строка ARRAY в mdadm.conf остаётся верной.

Записать массив в mdadm.conf

mdadm --detail --scan печатает строку ARRAY для каждого собранного массива:

text

$ sudo mdadm --detail --scan
ARRAY /dev/md0 metadata=1.2 UUID=ee095d69:d8d31363:75f3592e:351da00a

bash

sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf
grep ^ARRAY /etc/mdadm/mdadm.conf   # одна строка на массив
sudo update-initramfs -u            # копия mdadm.conf в initramfs

Массив находят по UUID: имена дисков в строке не нужны. Вывод --detail --scan --verbose с devices=/dev/loop11,… в файл не пиши — после замены диска он устареет. Резерв в массиве добавляет к строке spares=1: mdmonitor сверяет число резервов с ним. Команда с tee -a, запущенная дважды, оставит две одинаковые строки, и --assemble --scan откажется собирать массив — mdadm.

Зачем update-initramfs -u. Массивы собирает ранний этап загрузки — initramfs, и mdadm там читает свою копию mdadm.conf, сделанную при последней сборке образа. Если копия не знает массива, он собирается под номером с конца — /dev/md127 (mdadm) — или не собирается совсем. На учебной машине update-initramfs -u идёт около 5 секунд и пишет update-initramfs: Generating /boot/initrd.img-6.8.0-124-generic; что файл попал в образ, видно так:

text

$ lsinitramfs /boot/initrd.img-$(uname -r) | grep mdadm.conf
etc/mdadm/mdadm.conf
etc/modprobe.d/mdadm.conf

Массиву из loop-образов, которые лежат на корневой ФС, initramfs не нужен: он собирается уже после корня, службой — mdadm.

Собрать и остановить массив

text

$ sudo umount /mnt/raid
$ sudo mdadm --stop /dev/md0
mdadm: stopped /dev/md0
$ sudo mdadm --assemble --scan
mdadm: /dev/md/0 has been started with 2 drives and 1 spare.

--assemble --scan ищет суперблоки на всех дисках и собирает массивы из mdadm.conf, а если записей нет — все найденные. /dev/md/0 — ссылка на /dev/md0 по имени массива. Остановить смонтированный массив нельзя — сначала umount (mdadm).

Горячий резерв

Диск, добавленный в исправный массив, становится резервом:

text

$ sudo mdadm /dev/md0 --add /dev/loop12
mdadm: added /dev/loop12
$ cat /proc/mdstat
md0 : active raid1 loop12[3](S) loop13[2] loop11[0]
      261120 blocks super 1.2 [2/2] [UU]

При отказе рабочего диска ядро само начнёт пересборку на резерв. Сразу при создании резерв задают ключом --spare-devices=1.

Вывести диск из массива насовсем

На диске, убранном из массива, суперблок остаётся: mdadm --examine покажет прежний UUID массива и роль. Чтобы диск больше не узнавался как член массива:

text

$ sudo mdadm --zero-superblock /dev/loop12
$ sudo mdadm --examine /dev/loop12
mdadm: No md superblock detected on /dev/loop12.

Расширить массив

bash

sudo mdadm /dev/md0 --add /dev/vde           # встаёт резервом
sudo mdadm --grow /dev/md0 --raid-devices=3  # и получает место

У RAID 1 третий диск — ещё одна копия, объём тот же. У RAID 5 растёт объём: после перестройки массива растяни файловую систему (resize2fs) или том LVM.

Уведомления об отказе

mdmonitor.service (mdadm --monitor --scan) следит за массивами и пишет на адрес MAILADDR из mdadm.conf. На учебной машине служба static: её не включают, она запускается сама, когда в системе появляется массив (systemctl is-active mdmonitor → active). Таймер mdcheck_start.timer в первое воскресенье месяца в 01:00 запускает сверку копий всех массивов. Письмо уйдёт только при настроенной почте: на учебной машине её нет, и в журнале остаётся событие DegradedArray и sendmail: not found. Поэтому /proc/mdstat проверяют и в мониторинге. /proc/mdstat читает и student, mdadm --detail — только через sudo.

hot remove failed … Device or resource busy

text

mdadm: hot remove failed for /dev/loop12: Device or resource busy

Диск ещё рабочий: ядро не отдаёт его, пока он в строю. Сначала --fail, потом --remove, или обе команды разом: mdadm /dev/md0 --fail /dev/loop12 --remove /dev/loop12.

Cannot open … Device or resource busy

text

mdadm: Cannot open /dev/loop11: Device or resource busy

--add или --create с диском, который уже занят: он член этого или другого массива, смонтирован или открыт. Проверь lsblk и cat /proc/mdstat — скорее всего, перепутан диск.

create aborted

На вопрос Continue creating array? не ответили y (например, команда шла из скрипта без терминала). Добавь --run.

Cannot get exclusive access

text

mdadm: Cannot get exclusive access to /dev/md0:Perhaps a running
  process, mounted filesystem or active volume group?

--stop для массива, который занят: на нём смонтирована файловая система, открыт файл или лежит группа томов LVM. Сначала sudo umount (или vgchange -an для группы томов), потом --stop.

Duplicate MD device names in conf file

text

mdadm: Devices UUID-1ba9062a:… and UUID-1ba9062a:… have the same
  name: /dev/md0
mdadm: Duplicate MD device names in conf file were found.

В /etc/mdadm/mdadm.conf две строки ARRAY с одним именем — обычно mdadm --detail --scan | tee -a запустили дважды. --assemble --scan не собирает ничего. Оставь одну строку на массив (grep ^ARRAY /etc/mdadm/mdadm.conf) и обнови образ загрузки: sudo update-initramfs -u.

Cannot remove …, array will be failed

text

mdadm: Cannot remove /dev/loop11 from /dev/md127, array will be failed.

--fail для последнего рабочего диска: ядро его не отдаёт, массив остаётся degraded и работает. Проверь, какой диск на самом деле выпал — cat /proc/mdstat.

После перезагрузки /dev/md127 вместо /dev/md0

Массив собран, но под номером с конца. В суперблоке записано имя массива вида ubuntu:0 — машина и номер. Когда mdadm не находит массив в mdadm.conf и машина не та (копия mdadm.conf в initramfs не знает массива, диски перенесли с другого сервера), он берёт свободный номер с конца и ссылку по полному имени:

text

$ sudo mdadm --assemble --scan --homehost=otherhost
mdadm: /dev/md/ubuntu:0 has been started with 2 drives.
$ ls -l /dev/md/
lrwxrwxrwx 1 root root 8 Oct 27 15:03 ubuntu:0 -> ../md127

Данные целы. Запиши массив и обнови образ загрузки — mdadm. Файловые системы на массиве монтируй по UUID: тогда номер md в /etc/fstab не важен.

Массив не собрался при загрузке

Строки md0 нет в /proc/mdstat, mdadm --detail /dev/md0 пишет mdadm: cannot open /dev/md0: No such file or directory. Причины по порядку: дисков ещё нет к моменту сборки, нет строки ARRAY или она с чужим UUID (сверь с mdadm --examine --scan), образ загрузки не обновлён. Собрать вручную — sudo mdadm --assemble --scan. Если массив был в /etc/fstab без nofail, загрузка остановится в emergency mode — boot-targets.

Массив из loop-устройств сам при загрузке не собирается — ни со строкой ARRAY, ни после update-initramfs: правило udev собирает массив, когда диск появляется, а loop получает содержимое позже, при losetup. Его собирает та же служба, что подключает образы: после losetup — udevadm settle и mdadm --assemble --scan --run. --run запускает и degraded-массив; без него массив без одного диска при загрузке не стартует.

Старый диск вернулся резервом

Диск, который убрали и добавили снова, в исправном массиве становится (S). Это нормально: место уже занято тем, кто его заменил.

--create на дисках с данными

mdadm --create на дисках, где уже есть данные или чужой массив, перезаписывает суперблок и может уничтожить данные. Существующий массив собирают --assemble; --create — только для дисков, в которых ты уверен.

--zero-superblock

Стирает запись о массиве с диска безвозвратно. Применяй только к диску, уже убранному из массива и больше не нужному в этом составе.

mkfs на /dev/md0

mkfs поверх массива стирает его файловую систему на всех дисках сразу: RAID защищает только от отказа диска — raid.

1 · Основа

2 · Система

3 · Ремесло администратора

4 · Сервер в работе

5 · Эксплуатация

Зеркало на одном диске

Ситуация

Задача

Цели лабы

Подсказки

mdadm — программный RAID: состояние, замена диска, mdadm.conf

Шпаргалка

Создать зеркало

Заменить отказавший диск

Записать массив в mdadm.conf

Собрать и остановить массив

Горячий резерв

Вывести диск из массива насовсем

Расширить массив

Уведомления об отказе

hot remove failed … Device or resource busy

Cannot open … Device or resource busy

create aborted

Cannot get exclusive access

Duplicate MD device names in conf file

Cannot remove …, array will be failed

После перезагрузки /dev/md127 вместо /dev/md0

Массив не собрался при загрузке

Старый диск вернулся резервом

--create на дисках с данными

--zero-superblock

mkfs на /dev/md0

Выйти из лабы?