Автоматизация: Git и Ansible / Ступень 7 из 8

Роли, переменные и секреты

Не запущена Запускается обычно ~20 с

Шаг 5 из 6 · лаба · 30 мин

Роль не применяется

Плейбук страницы статуса вынесли в роль, чтобы ставить её на все магазины. На этой машине роль падает, а когда проходит — показывает чужой магазин. Почини роль, не трогая значения в site.yml.

Ситуация

Страница статуса нужна теперь на всех магазинах сети, и Тимур не стал копировать плейбук. Он вынес задачи плейбука магазина «Юг» в роль status_board, а для каждого магазина оставил короткий site.yml: свои заголовок и порт в vars: и строка roles:. На этой машине — магазин «Север», проект в ~/status-board. ansible-playbook site.yml здесь падает.

Задача

Почини роль roles/status_board так, чтобы site.yml сам приводил эту машину (localhost из inventory.ini) в нужное состояние:

ansible-playbook site.yml проходит без ошибок.
Настройки /etc/status/status.ini собраны по шаблону роли status.ini.j2 с заголовком и портом из site.yml: владелец root, группа status, права 0640.
Служба lab-status запущена, включена при загрузке и отвечает: curl http://127.0.0.1:8096/ — заголовок «Магазин «Север»: статус витрины».
Службу перезапускает прогон, который поменял настройки, а прогон без изменений её не трогает.
Повторный запуск плейбука ничего не меняет: в итоге changed=0.

«Проверить» прогоняет плейбук сам. Сначала убирает то, что делает роль: службу lab-status с юнитом, /etc/status, /var/lib/status и пользователя status. Потом от твоего имени запускает ansible-playbook site.yml из ~/status-board дважды, правит руками строку title в /etc/status/status.ini и запускает в третий раз — служба должна перезапуститься. Последний прогон — --check --diff на копии проекта, где в site.yml другие заголовок и порт: настройки должны получить их. Поэтому всё должна делать роль — настроенное руками проверка уберёт.

Значения в site.yml, приложение и файл юнита lab-status.service роли не меняй.

Запуск: cd ~/status-board && ansible-playbook site.yml. Что в роли — find roles -type f. Интернета на машине нет.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 5

ansible-playbook site.yml проходит без ошибок на машине без страницы статуса — ещё не выполнена
/etc/status/status.ini собран по шаблону роли со значениями из site.yml (root:status, 0640) — ещё не выполнена
Служба lab-status запущена, включена при загрузке и отвечает на http://127.0.0.1:8096/ заголовком из site.yml — ещё не выполнена
Служба перезапускается, когда прогон поменял настройки, и только тогда — ещё не выполнена
Повторный прогон ничего не меняет — changed=0 — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 5

ansible-playbook site.yml проходит без ошибок на машине без страницы статуса — ещё не выполнена
/etc/status/status.ini собран по шаблону роли со значениями из site.yml (root:status, 0640) — ещё не выполнена
Служба lab-status запущена, включена при загрузке и отвечает на http://127.0.0.1:8096/ заголовком из site.yml — ещё не выполнена
Служба перезапускается, когда прогон поменял настройки, и только тогда — ещё не выполнена
Повторный прогон ничего не меняет — changed=0 — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 5

ansible-playbook site.yml проходит без ошибок на машине без страницы статуса — ещё не выполнена
/etc/status/status.ini собран по шаблону роли со значениями из site.yml (root:status, 0640) — ещё не выполнена
Служба lab-status запущена, включена при загрузке и отвечает на http://127.0.0.1:8096/ заголовком из site.yml — ещё не выполнена
Служба перезапускается, когда прогон поменял настройки, и только тогда — ещё не выполнена
Повторный прогон ничего не меняет — changed=0 — ещё не выполнена

Автоматизация · подобрано по лабе

Ansible: инвентарь, разовые команды, роли и vault

Шпаргалка

$_ — вставить в терминал

ansible -i hosts.ini all -m ping связь со всеми машинами
ansible -i hosts.ini all --list-hosts кого затронет команда
ansible-inventory -i hosts.ini --graph группы и машины деревом
ansible -i hosts.ini web -m command -a 'uptime' команда на машинах
ansible -i hosts.ini web -m copy -a 'src=a.conf dest=/tmp/a.conf'
ansible -i hosts.ini web -b -m service -a 'name=nginx state=started'
ansible -i hosts.ini all -m ping -o ответ одной строкой
ansible-playbook -i hosts.ini site.yml плейбук
ansible-galaxy init roles/web каркас роли
ansible-vault encrypt group_vars/web/vault.yml зашифровать
ansible-playbook -i hosts.ini site.yml --ask-vault-pass

Инвентарь

ini

[web]
node2

[db]
db1 ansible_host=10.0.0.21 ansible_user=deploy

[local]
localhost ansible_connection=local

[web:vars]
ansible_user=student

Что	Где	Значит
имя машины	`node2`	так машина называется в выводе; по нему же Ansible подключается, если нет `ansible_host`
`ansible_host`	строка машины	адрес или имя для SSH
`ansible_user`	строка машины или `[группа:vars]`	под кем входить; без него — под твоим именем
`ansible_connection=local`	строка машины	работать на этой машине без SSH
`[web]`	заголовок	группа; `all` — все машины инвентаря

text

student@node1:~/inv$ ansible-inventory -i hosts.ini --graph
@all:
  |--@ungrouped:
  |--@web:
  |  |--node2
  |--@local:
  |  |--localhost
student@node1:~/inv$ ansible -i hosts.ini all --list-hosts
  hosts (2):
    node2
    localhost

Без -i Ansible ищет /etc/ansible/hosts; на учебной машине его нет, и команда видит только localhost. Ошибки инвентаря в плейбуке — ansible-playbook.

Разовые команды

ansible <машины> -m <модуль> -a '<параметры>' — один модуль на всех машинах группы. Ответ — по машине:

text

student@node1:~/inv$ ansible -i hosts.ini web -m copy \
> -a 'content="hello\n" dest=/tmp/hello.txt'
node2 | CHANGED => {
    "changed": true,
    "dest": "/tmp/hello.txt",
    ...
}

Повтор той же команды — node2 | SUCCESS и "changed": false: файл уже такой. Модуль command (он же по умолчанию, без -m) не знает, что делает команда, и всегда пишет CHANGED:

text

student@node1:~/inv$ ansible -i hosts.ini web -m command -a 'id -un'
node2 | CHANGED | rc=0 >>
student

В выводе	Значит
`SUCCESS`	модуль отработал, менять было нечего
`CHANGED`	модуль изменил машину (у `command` — всегда)
`FAILED!`	модуль отработал с ошибкой — причина в `msg`
`UNREACHABLE!`	к машине не подключиться — ansible

-o печатает ответ каждой машины одной строкой. service в ответе выводит сотни полей юнита — -o или плейбук читать удобнее.

become: через sudo

Модули выполняются от того, под кем Ansible вошёл. Запись в /etc без прав:

text

node2 | FAILED! => {
    ...
    "msg": "Destination /etc not writable"
}

-b (--become) — выполнить модуль через sudo:

text

student@node1:~/inv$ ansible -i hosts.ini web -b -m command -a 'id -un'
node2 | CHANGED | rc=0 >>
root

На учебных машинах sudo у student без пароля. Где sudo спрашивает пароль, добавь -K (--ask-become-pass). В плейбуке то же — become: true.

Плейбук

yaml

# site.yml
- hosts: web
  become: true
  vars:
    pkg: nginx
  tasks:
    - name: Установить {{ pkg }}
      apt: { name: "{{ pkg }}", state: present }
    - name: Конфиг из шаблона
      template: { src: nginx.conf.j2, dest: /etc/nginx/nginx.conf }
      notify: reload nginx        # обработчик — только при изменении
  handlers:
    - name: reload nginx
      service: { name: nginx, state: reloaded }

bash

ansible-playbook -i inventory.ini site.yml
ansible-playbook -i inventory.ini site.yml --check --diff
ansible-playbook -i inventory.ini site.yml --limit web1 --tags config

На учебной машине сети наружу нет: пакеты из сети не поставятся. Как читать вывод прогона, changed=0 на втором прогоне, обработчики, --check --diff и ошибки плейбука — ansible-playbook.

Роль

Одна и та же правка нужна в трёх плейбуках — значит, задачи пора вынести в роль: каталог с задачами, обработчиками, шаблонами и переменными, который плей подключает одной строкой. Каркас создаёт ansible-galaxy init (сеть не нужна):

text

$ ansible-galaxy init roles/web
- Role roles/web was created successfully

Внутри роли	Что там
`tasks/main.yml`	задачи — выполняются, когда плей вызывает роль
`handlers/main.yml`	обработчики для `notify:`
`templates/`	шаблоны `.j2` — `template:` ищет здесь первым
`files/`	файлы как есть — для `copy:`
`defaults/main.yml`	значения по умолчанию, слабее всех остальных
`vars/main.yml`	переменные роли, сильнее инвентаря и `vars:` плея
`meta/main.yml`	автор, описание, зависимости от других ролей

Ещё ansible-galaxy кладёт README.md и tests/. Имена каталогов и main.yml фиксированы: handler/ вместо handlers/ или tasks/tasks.yml роль не прочитает, и ошибки на этом месте не будет — задач нет, а notify: ответит The requested handler … was not found (ansible-playbook).

Плей вызывает роль списком roles::

yaml

- hosts: web
  gather_facts: false
  roles:
    - web

Роли идут после pre_tasks: и до tasks: этого плея. В выводе задачи роли подписаны её именем: TASK [web : Show vars]. Одна роль служит нескольким плейбукам; ansible-playbook a.yml b.yml выполнит их по очереди и после каждого напечатает PLAY RECAP с нарастающим счётом. Роль Ansible ищет в roles/ рядом с плейбуком, потом в ~/.ansible/roles, /usr/share/ansible/roles, /etc/ansible/roles; не нашёл — ansible.

template: src: site.conf.j2 в задаче роли ищет файл сначала в roles/web/templates/, потом в самой роли, рядом с задачами и в каталоге плейбука. Полный список путей Ansible печатает в ошибке — ansible.

Приоритет переменных

group_vars/<группа>.yml и host_vars/<машина>.yml рядом с инвентарём или плейбуком Ansible читает сам, подключать их не нужно. Переменная задана в нескольких местах — берётся значение из самого сильного. Проверено на учебной машине: каждое следующее место перебивает предыдущее.

От слабого к сильному	Пример
`defaults/main.yml` роли	`web_port: 8080`
`group_vars/all.yml`	для всех машин
`group_vars/<группа>.yml` или каталог `group_vars/<группа>/`	для группы `web`
переменная машины: строка инвентаря или `host_vars/<машина>.yml`	`node1 web_port=8083`
`vars:` плея	рядом с `hosts:`
`vars/main.yml` роли	`web_port: 7000`
`vars:` у роли в списке `roles:`	`- role: web` и `vars:` под ней
`-e` (`--extra-vars`)	`-e web_port=9000`

Что пользователь роли будет менять (порт, имя сайта) — в defaults/. Значение из vars/main.yml не перебить ни инвентарём, ни vars: плея: туда кладут то, что менять нельзя. -e действует на один прогон и никуда не записывается. Что машина получила из инвентаря и group_vars/ (без ролей и плеев), покажет ansible-inventory -i inventory.ini --host node1. Если значение из инвентаря «не действует», первым делом проверь vars/ роли и vars: плея — ansible. Полный порядок (там больше ступеней: факты, set_fact, переменные задач) — раздел Variable precedence документации Ansible.

Для одной группы — файл group_vars/web.yml или каталог group_vars/web/ с файлами внутри, не оба сразу: при каталоге файл web.yml рядом с ним не читается, и его переменные пропадают без предупреждения (сверено на ansible-core 2.16.3).

Секреты: ansible-vault

Пароль открытым текстом в group_vars/ виден всем, кто видит каталог или репозиторий. ansible-vault шифрует файл целиком (AES256), а Ansible расшифровывает его в памяти во время прогона:

text

$ ansible-vault encrypt group_vars/web/vault.yml \
    --vault-password-file ~/.vault_pass
$ head -1 group_vars/web/vault.yml
$ANSIBLE_VAULT;1.1;AES256
$ ls -l group_vars/web/
-rw-rw-r-- 1 student student  15 Oct 27 14:54 vars.yml
-rw------- 1 student student 419 Oct 27 14:54 vault.yml

Зашифрованный файл получил права 0600. Пароль Ansible берёт одним из способов:

--ask-vault-pass — спросит Vault password: в терминале;
--vault-password-file ~/.vault_pass — файл с паролем одной строкой, права 600, вне каталога проекта;
переменная окружения ANSIBLE_VAULT_PASSWORD_FILE=~/.vault_pass — тогда ключ в команде не нужен;
строка vault_password_file = ~/.vault_pass в разделе [defaults] файла ansible.cfg проекта — её читают и ansible-playbook, и сам ansible-vault. Файла пароля нет — прогон обрывается до первого плея: ansible.

Команда	Что делает
`ansible-vault encrypt <файл>`	зашифровать файл
`ansible-vault view <файл>`	показать расшифрованным, файл не меняется
`ansible-vault edit <файл>`	открыть в редакторе из `$EDITOR` и зашифровать снова
`ansible-vault decrypt <файл>`	расшифровать на диске
`ansible-vault encrypt_string '<значение>' --name <имя>`	одна зашифрованная переменная для вставки в YAML

Удобная раскладка: в group_vars/web/vars.yml открыто db_password: "{{ vault_db_password }}", в зашифрованном group_vars/web/vault.yml — vault_db_password: …. Поиск по имени находит переменную, значение остаётся зашифрованным.

text

$ ansible-vault encrypt_string --vault-password-file ~/.vault_pass \
    'hunter2' --name db_password
db_password: !vault |
          $ANSIBLE_VAULT;1.1;AES256
          36663965323635323632646430666666316563326133…

Расшифрованное значение Ansible покажет любому выводу, который его печатает, — ansible.

UNREACHABLE!

Ansible не подключился по SSH; до модуля дело не дошло, код возврата 4. Причина — в msg, это текст ошибки самого ssh (строки перенесены):

text

node3 | UNREACHABLE! => {
    "msg": "Failed to connect to the host via ssh: ssh: Could not
      resolve hostname node3: Temporary failure in name resolution",
node2 | UNREACHABLE! => {
    "msg": "Failed to connect to the host via ssh: admin@node2:
      Permission denied (publickey).",
web1 | UNREACHABLE! => {
    "msg": "Failed to connect to the host via ssh: Host key
      verification failed.",

Текст	Причина	Что делать
Could not resolve hostname	имени нет ни в DNS, ни в `/etc/hosts`	исправь имя или задай `ansible_host`
Permission denied (publickey)	у этого пользователя нет твоего ключа	верный `ansible_user` или ключ в его `authorized_keys`
Host key verification failed	ключа хоста нет в `known_hosts` или он сменился	`ssh` к этому адресу вручную и принять ключ; сменившийся — `ssh-keygen -R <адрес>`

На учебных машинах для имён node1 и node2 проверка ключа хоста выключена (/etc/ssh/ssh_config.d/99-lab.conf), а для IP-адреса в ansible_host — нет: тот же node2 по адресу даёт Host key verification failed. Проверяй вручную тем же пользователем: ssh -o BatchMode=yes node2 true; подробности — ansible … -vvv. Ключи — ssh-keys.

Destination /etc not writable

Модуль работает без прав root: нужен -b или become: true — ansible.

sudo: a password is required

Нужен --become и доступный sudo. По паролю — --ask-become-pass (-K) или NOPASSWD, см. sudo.

Задача каждый раз «changed»

Используешь command/shell вместо идемпотентного модуля. Бери модули (apt, copy, template, lineinfile) — они меняют только при необходимости. Для command — creates=/changed_when:, подробнее — ansible-playbook.

the role '…' was not found

text

ERROR! the role 'nope' was not found in /home/student/r/roles:
  /home/student/.ansible/roles:/usr/share/ansible/roles:
  /etc/ansible/roles:/home/student/r

Опечатка в имени роли или роль лежит не в roles/ рядом с плейбуком. Пути считаются от каталога плейбука, а не от того, где запущена команда.

Could not find or access '….j2'

text

fatal: [node1]: FAILED! => {"changed": false, "msg": "Could not find
  or access 'nope.conf.j2'\nSearched in:\n\t/home/student/r/roles/web/
  templates/nope.conf.j2\n\t…

В msg после Searched in: — все места, где Ansible искал шаблон, по порядку:

text

roles/web/templates/nope.conf.j2
roles/web/nope.conf.j2
roles/web/tasks/templates/nope.conf.j2
roles/web/tasks/nope.conf.j2
templates/nope.conf.j2
nope.conf.j2

Файла нет ни в одном: опечатка в src:, шаблон лежит в каталоге с другим именем (template/) или в другой роли. Положи его в roles/<роль>/templates/.

Attempting to decrypt but no vault secrets found

ERROR! Attempting to decrypt but no vault secrets found сразу после строки PLAY [web] — в прогоне есть зашифрованный файл, а пароля vault нет. Добавь --ask-vault-pass или --vault-password-file — ansible.

The vault password file … was not found

ERROR! The vault password file … was not found ещё до первого плея — файла из --vault-password-file или vault_password_file в ansible.cfg нет по этому пути. Проверь путь: ~ в ansible.cfg — домашний каталог того, кто запускает.

Decryption failed

text

ERROR! Decryption failed (no vault secrets were found that could
  decrypt) on /home/student/r/group_vars/web/vault.yml

Пароль не тот, которым файл зашифрован. Проверь файл пароля: одна строка, без лишних пробелов.

input is already encrypted

ERROR! input is already encrypted — файл уже зашифрован. Изменить его — ansible-vault edit, посмотреть — ansible-vault view.

Значение из инвентаря не действует

Переменную перебивает место сильнее: vars: плея, vars/main.yml роли или -e — ansible. Найти все места: grep -rn web_port . в каталоге проекта. Ещё одна причина — рядом лежат group_vars/web.yml и каталог group_vars/web/: файл тогда не читается.

Секрет в выводе

Зашифрован только файл. Расшифрованное значение печатают ansible -m debug -a var=vault_db_password и --diff:

text

$ ansible-playbook -i inventory.ini site.yml --check --diff …
--- before: /tmp/db.conf
+++ after: /tmp/db.conf
-password=hunter2
+password=hunter3

У задач, которые работают с секретом, ставь no_log: true: в выводе останется только changed: [node1], без значения и разницы.

Пароль vault рядом с проектом

Файл пароля в каталоге проекта уедет в репозиторий вместе с зашифрованными файлами, и шифрование ничего не скроет. Держи его вне проекта (~/.vault_pass, права 600).

1 · Основа

2 · Система

3 · Ремесло администратора

4 · Сервер в работе

5 · Эксплуатация

Роли, переменные и секреты

Роль не применяется

Ситуация

Задача

Цели

Подсказки

Цели лабы

Цели лабы

Ansible: инвентарь, разовые команды, роли и vault

Шпаргалка

Инвентарь

Разовые команды

become: через sudo

Плейбук

Роль

Приоритет переменных

Секреты: ansible-vault

UNREACHABLE!

Destination /etc not writable

sudo: a password is required

Задача каждый раз «changed»

the role '…' was not found

Could not find or access '….j2'

Attempting to decrypt but no vault secrets found

The vault password file … was not found

Decryption failed

input is already encrypted

Значение из инвентаря не действует

Секрет в выводе

Пароль vault рядом с проектом