Хранилище / Ступень 5 из 12

RAID 1: диск вышел из строя

Не запущена Запускается обычно ~20 с

Шаг 7 из 8 · лаба · 25 мин

Зеркало на одном диске

Мониторинг сообщил, что зеркало с документами бухгалтерии работает без одного диска. Отказавший диск уже вынули и подключили новый. Верни массиву второй диск так, чтобы и после перезагрузки он собирался с обоими.

Ситуация

Документы бухгалтерии лежат в /srv/docs — на зеркале RAID 1 /dev/md0 из двух дисков. Ночью мониторинг прислал DegradedArray: массив работает без одного диска. Отказавший диск уже вынули, вместо него подключили новый, пустой. Ещё на машине подключён диск с архивом прошлого года — он не смонтирован, и трогать его нельзя.

Задача

Верни массиву второй диск:

Массив — clean, активны оба диска (2 из 2), пересборка закончена.
Второй диск массива — новый пустой диск, архив на другом диске цел.
/srv/docs подключён с массива, документы целы.
Строка массива в /etc/mdadm/mdadm.conf соответствует нынешнему массиву.
После перезагрузки массив собирается сам с обоими дисками.

Когда массив соберётся заново, перезагрузи машину (sudo reboot) и нажми «Проверить»: проверка смотрит, как массив собрался при загрузке. Пересборку «Проверить» ждёт сам.

Состояние массива — cat /proc/mdstat, подробности — sudo mdadm --detail /dev/md0. Интернета на машине нет.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 5

Массив с документами — clean, активны оба диска (2 из 2), пересборка закончена — ещё не выполнена
Второй диск массива — новый пустой диск; архив на другом диске цел — ещё не выполнена
/srv/docs подключён с массива, документы целы — ещё не выполнена
Строка массива в /etc/mdadm/mdadm.conf соответствует нынешнему массиву — ещё не выполнена
После перезагрузки (sudo reboot) массив собирается сам с обоими дисками — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 5

Массив с документами — clean, активны оба диска (2 из 2), пересборка закончена — ещё не выполнена
Второй диск массива — новый пустой диск; архив на другом диске цел — ещё не выполнена
/srv/docs подключён с массива, документы целы — ещё не выполнена
Строка массива в /etc/mdadm/mdadm.conf соответствует нынешнему массиву — ещё не выполнена
После перезагрузки (sudo reboot) массив собирается сам с обоими дисками — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 5

Массив с документами — clean, активны оба диска (2 из 2), пересборка закончена — ещё не выполнена
Второй диск массива — новый пустой диск; архив на другом диске цел — ещё не выполнена
/srv/docs подключён с массива, документы целы — ещё не выполнена
Строка массива в /etc/mdadm/mdadm.conf соответствует нынешнему массиву — ещё не выполнена
После перезагрузки (sudo reboot) массив собирается сам с обоими дисками — ещё не выполнена

Хранилище и ФС · подобрано по лабе

mdadm — программный RAID: состояние, замена диска, mdadm.conf

Шпаргалка

$_ — вставить в терминал

cat /proc/mdstat все массивы: [UU] или [U_]
sudo mdadm --detail /dev/md0 состояние и роли дисков
sudo mdadm --create /dev/md0 --level=1 --raid-devices=2 \
--run /dev/vdb /dev/vdc зеркало из двух дисков
sudo mdadm /dev/md0 --fail /dev/vdc пометить диск отказавшим
sudo mdadm /dev/md0 --remove /dev/vdc убрать отказавший
sudo mdadm /dev/md0 --add /dev/vdd добавить новый, пересборка
sudo mdadm --wait /dev/md0 дождаться конца пересборки
sudo mdadm --detail --scan строка ARRAY для mdadm.conf
sudo update-initramfs -u mdadm.conf — в initramfs

Первый аргумент выбирает режим: --create, --assemble, --detail, --examine, --monitor, --grow. Команда вида mdadm /dev/md0 --add /dev/vdd — режим управления: сначала массив, потом действия над дисками, их можно ставить несколько подряд (--fail X --remove X). Полный список — man mdadm.

Создать зеркало

text

$ sudo mdadm --create /dev/md0 --level=1 --raid-devices=2 \
    /dev/loop11 /dev/loop12
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store '/boot' on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
Continue creating array?

Предупреждение касается только массива под /boot: ответь y или добавь --run, тогда mdadm не спрашивает. Дальше mdadm: array /dev/md0 started. и сверка копий (resync) — массив уже можно размечать:

bash

sudo mkfs.ext4 -L data /dev/md0
sudo blkid /dev/md0                 # UUID файловой системы — для fstab

В /etc/fstab массив монтируют по UUID файловой системы, с nofail, если система может загрузиться без него — mount. Чтобы массив собирался при загрузке, его записывают в mdadm.conf — mdadm.

Заменить отказавший диск

Порядок: пометить диск отказавшим, убрать, добавить исправный, дождаться пересборки.

text

$ sudo mdadm /dev/md0 --fail /dev/loop12
mdadm: set /dev/loop12 faulty in /dev/md0
$ sudo mdadm /dev/md0 --remove /dev/loop12
mdadm: hot removed /dev/loop12 from /dev/md0
$ sudo mdadm /dev/md0 --add /dev/loop13
mdadm: added /dev/loop13
$ cat /proc/mdstat
md0 : active raid1 loop13[2] loop11[0]
      261120 blocks super 1.2 [2/1] [U_]
      [======>..............]  recovery = 31.1% (81664/261120)
        finish=0.1min speed=20416K/sec
$ sudo mdadm --wait /dev/md0
$ cat /proc/mdstat
md0 : active raid1 loop13[2] loop11[0]
      261120 blocks super 1.2 [2/2] [UU]

Диск, который ядро само признало отказавшим, уже помечен (F) — --fail для него не нужен, сразу --remove.
--remove без --fail для рабочего диска отказывает: hot remove failed … Device or resource busy.
Файлы на массиве доступны всё время: пересборка идёт под смонтированной файловой системой.
--wait возвращается, когда пересборка закончилась; на образах по 256 МиБ это секунды.
UUID массива при замене диска не меняется, строка ARRAY в mdadm.conf остаётся верной.

Записать массив в mdadm.conf

mdadm --detail --scan печатает строку ARRAY для каждого собранного массива:

text

$ sudo mdadm --detail --scan
ARRAY /dev/md0 metadata=1.2 UUID=ee095d69:d8d31363:75f3592e:351da00a

bash

sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf
grep ^ARRAY /etc/mdadm/mdadm.conf   # одна строка на массив
sudo update-initramfs -u            # копия mdadm.conf в initramfs

Массив находят по UUID: имена дисков в строке не нужны. Вывод --detail --scan --verbose с devices=/dev/loop11,… в файл не пиши — после замены диска он устареет. Резерв в массиве добавляет к строке spares=1: mdmonitor сверяет число резервов с ним. Команда с tee -a, запущенная дважды, оставит две одинаковые строки, и --assemble --scan откажется собирать массив — mdadm.

Зачем update-initramfs -u. Массивы собирает ранний этап загрузки — initramfs, и mdadm там читает свою копию mdadm.conf, сделанную при последней сборке образа. Если копия не знает массива, он собирается под номером с конца — /dev/md127 (mdadm) — или не собирается совсем. На учебной машине update-initramfs -u идёт около 5 секунд и пишет update-initramfs: Generating /boot/initrd.img-6.8.0-124-generic; что файл попал в образ, видно так:

text

$ lsinitramfs /boot/initrd.img-$(uname -r) | grep mdadm.conf
etc/mdadm/mdadm.conf
etc/modprobe.d/mdadm.conf

Массиву из loop-образов, которые лежат на корневой ФС, initramfs не нужен: он собирается уже после корня, службой — mdadm.

Собрать и остановить массив

text

$ sudo umount /mnt/raid
$ sudo mdadm --stop /dev/md0
mdadm: stopped /dev/md0
$ sudo mdadm --assemble --scan
mdadm: /dev/md/0 has been started with 2 drives and 1 spare.

--assemble --scan ищет суперблоки на всех дисках и собирает массивы из mdadm.conf, а если записей нет — все найденные. /dev/md/0 — ссылка на /dev/md0 по имени массива. Остановить смонтированный массив нельзя — сначала umount (mdadm).

Горячий резерв

Диск, добавленный в исправный массив, становится резервом:

text

$ sudo mdadm /dev/md0 --add /dev/loop12
mdadm: added /dev/loop12
$ cat /proc/mdstat
md0 : active raid1 loop12[3](S) loop13[2] loop11[0]
      261120 blocks super 1.2 [2/2] [UU]

При отказе рабочего диска ядро само начнёт пересборку на резерв. Сразу при создании резерв задают ключом --spare-devices=1.

Вывести диск из массива насовсем

На диске, убранном из массива, суперблок остаётся: mdadm --examine покажет прежний UUID массива и роль. Чтобы диск больше не узнавался как член массива:

text

$ sudo mdadm --zero-superblock /dev/loop12
$ sudo mdadm --examine /dev/loop12
mdadm: No md superblock detected on /dev/loop12.

Расширить массив

bash

sudo mdadm /dev/md0 --add /dev/vde           # встаёт резервом
sudo mdadm --grow /dev/md0 --raid-devices=3  # и получает место

У RAID 1 третий диск — ещё одна копия, объём тот же. У RAID 5 растёт объём: после перестройки массива растяни файловую систему (resize2fs) или том LVM.

Уведомления об отказе

mdmonitor.service (mdadm --monitor --scan) следит за массивами и пишет на адрес MAILADDR из mdadm.conf. На учебной машине служба static: её не включают, она запускается сама, когда в системе появляется массив (systemctl is-active mdmonitor → active). Таймер mdcheck_start.timer в первое воскресенье месяца в 01:00 запускает сверку копий всех массивов. Письмо уйдёт только при настроенной почте: на учебной машине её нет, и в журнале остаётся событие DegradedArray и sendmail: not found. Поэтому /proc/mdstat проверяют и в мониторинге. /proc/mdstat читает и student, mdadm --detail — только через sudo.

hot remove failed … Device or resource busy

text

mdadm: hot remove failed for /dev/loop12: Device or resource busy

Диск ещё рабочий: ядро не отдаёт его, пока он в строю. Сначала --fail, потом --remove, или обе команды разом: mdadm /dev/md0 --fail /dev/loop12 --remove /dev/loop12.

Cannot open … Device or resource busy

text

mdadm: Cannot open /dev/loop11: Device or resource busy

--add или --create с диском, который уже занят: он член этого или другого массива, смонтирован или открыт. Проверь lsblk и cat /proc/mdstat — скорее всего, перепутан диск.

create aborted

На вопрос Continue creating array? не ответили y (например, команда шла из скрипта без терминала). Добавь --run.

Cannot get exclusive access

text

mdadm: Cannot get exclusive access to /dev/md0:Perhaps a running
  process, mounted filesystem or active volume group?

--stop для массива, который занят: на нём смонтирована файловая система, открыт файл или лежит группа томов LVM. Сначала sudo umount (или vgchange -an для группы томов), потом --stop.

Duplicate MD device names in conf file

text

mdadm: Devices UUID-1ba9062a:… and UUID-1ba9062a:… have the same
  name: /dev/md0
mdadm: Duplicate MD device names in conf file were found.

В /etc/mdadm/mdadm.conf две строки ARRAY с одним именем — обычно mdadm --detail --scan | tee -a запустили дважды. --assemble --scan не собирает ничего. Оставь одну строку на массив (grep ^ARRAY /etc/mdadm/mdadm.conf) и обнови образ загрузки: sudo update-initramfs -u.

Cannot remove …, array will be failed

text

mdadm: Cannot remove /dev/loop11 from /dev/md127, array will be failed.

--fail для последнего рабочего диска: ядро его не отдаёт, массив остаётся degraded и работает. Проверь, какой диск на самом деле выпал — cat /proc/mdstat.

После перезагрузки /dev/md127 вместо /dev/md0

Массив собран, но под номером с конца. В суперблоке записано имя массива вида ubuntu:0 — машина и номер. Когда mdadm не находит массив в mdadm.conf и машина не та (копия mdadm.conf в initramfs не знает массива, диски перенесли с другого сервера), он берёт свободный номер с конца и ссылку по полному имени:

text

$ sudo mdadm --assemble --scan --homehost=otherhost
mdadm: /dev/md/ubuntu:0 has been started with 2 drives.
$ ls -l /dev/md/
lrwxrwxrwx 1 root root 8 Oct 27 15:03 ubuntu:0 -> ../md127

Данные целы. Запиши массив и обнови образ загрузки — mdadm. Файловые системы на массиве монтируй по UUID: тогда номер md в /etc/fstab не важен.

Массив не собрался при загрузке

Строки md0 нет в /proc/mdstat, mdadm --detail /dev/md0 пишет mdadm: cannot open /dev/md0: No such file or directory. Причины по порядку: дисков ещё нет к моменту сборки, нет строки ARRAY или она с чужим UUID (сверь с mdadm --examine --scan), образ загрузки не обновлён. Собрать вручную — sudo mdadm --assemble --scan. Если массив был в /etc/fstab без nofail, загрузка остановится в emergency mode — boot-targets.

Массив из loop-устройств сам при загрузке не собирается — ни со строкой ARRAY, ни после update-initramfs: правило udev собирает массив, когда диск появляется, а loop получает содержимое позже, при losetup. Его собирает та же служба, что подключает образы: после losetup — udevadm settle и mdadm --assemble --scan --run. --run запускает и degraded-массив; без него массив без одного диска при загрузке не стартует.

Старый диск вернулся резервом

Диск, который убрали и добавили снова, в исправном массиве становится (S). Это нормально: место уже занято тем, кто его заменил.

--create на дисках с данными

mdadm --create на дисках, где уже есть данные или чужой массив, перезаписывает суперблок и может уничтожить данные. Существующий массив собирают --assemble; --create — только для дисков, в которых ты уверен.

--zero-superblock

Стирает запись о массиве с диска безвозвратно. Применяй только к диску, уже убранному из массива и больше не нужному в этом составе.

mkfs на /dev/md0

mkfs поверх массива стирает его файловую систему на всех дисках сразу: RAID защищает только от отказа диска — raid.

1 · Основа

2 · Система

3 · Ремесло администратора

4 · Сервер в работе

5 · Эксплуатация

RAID 1: диск вышел из строя

Зеркало на одном диске

Ситуация

Задача

Цели

Подсказки

Цели лабы

Цели лабы

mdadm — программный RAID: состояние, замена диска, mdadm.conf

Шпаргалка

Создать зеркало

Заменить отказавший диск

Записать массив в mdadm.conf

Собрать и остановить массив

Горячий резерв

Вывести диск из массива насовсем

Расширить массив

Уведомления об отказе

hot remove failed … Device or resource busy

Cannot open … Device or resource busy

create aborted

Cannot get exclusive access

Duplicate MD device names in conf file

Cannot remove …, array will be failed

После перезагрузки /dev/md127 вместо /dev/md0

Массив не собрался при загрузке

Старый диск вернулся резервом

--create на дисках с данными

--zero-superblock

mkfs на /dev/md0