Bash: обработка текста и скрипты / Ступень 2 из 9 · шаг 8 из 9

Смени адрес во всех конфигах

~25 мин

Не запущена Запускается обычно ~20 с

Ситуация

Магазин работает тридцатью экземплярами приложения, у каждого свой файл настроек в /etc/app.d/ — строки вида ключ=значение. Бэкенд заказов переехал: был 10.20.0.15:8080, теперь 10.20.0.40:8080. Вечером старый сервер выключат, и экземпляры, которые ходят на него, к этому времени должны ходить на новый. Ключ с адресом бэкенда — upstream.

Конфиги годами правили разные люди, руками.

Задача

Сделай так, чтобы во всех /etc/app.d/*.conf:

каждая строка upstream, которая вела на 10.20.0.15:8080, вела на 10.20.0.40:8080;
комментарии остались как были, в том числе закомментированные настройки: по ним коллеги смотрят историю;
остальные строки не изменились — другие ключи и upstream, которые ведут на другие адреса.

Перезапускать приложение не нужно, оно перечитает настройки само. Тридцать файлов руками править долго — правь потоком, но сначала посмотри, как записан upstream в разных файлах.

Цели лабы

0 из 3

Во всех /etc/app.d/*.conf строки upstream, которые вели на 10.20.0.15:8080, ведут на 10.20.0.40:8080 — ещё не проверялась
Комментарии и закомментированные настройки — как были — ещё не проверялась
Остальные строки — как были, в том числе upstream с другими адресами — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Текст и поиск · подобрано по лабе

sed и awk — правка и поля текстового потока

Шпаргалка

$_ — вставить в терминал

sed -n 's/old/new/p' app.ini проба: какие строки изменятся
sed -i.bak 's/old/new/g' app.ini правка, копия в app.ini.bak
sed -n '5,10p' file строки с 5 по 10
sed '/^ *#/d; /^$/d' file без комментариев и пустых строк
sed '/^ *#/! s/old/new/' file заменить вне комментариев
awk '{print $1}' access.log первое поле каждой строки
awk -F: '$3 >= 1000 {print $1}' /etc/passwd фильтр по полю
awk '{s += $4} END {print s}' log.txt сумма четвёртого поля

Основные ключи обеих программ — в таблице ниже. Полный список — man sed, man gawk.

Проверить замену, потом править

bash

sed -n 's/10\.20\.0\.15:/10.30.0.7:/p' app.ini     # что изменится
sed -i.bak 's/10\.20\.0\.15:/10.30.0.7:/' app.ini  # правка с копией
diff app.ini.bak app.ini                          # что изменилось

diff покажет каждую изменённую строку до и после:

text

student@ubuntu:~$ sed -i.bak 's/^name=app$/name=web/' app.ini
student@ubuntu:~$ diff app.ini.bak app.ini
3c3
< name=app
---
> name=web

Удалить строки

bash

sed -i '/^ *#/d; /^$/d' app.ini    # комментарии и пустые строки
sed -i '/^cache=/d' app.ini        # строку с ключом

Заменить строку целиком или добавить рядом

bash

sed -i '/^name=/c\name=web' app.ini        # заменить строку
sed -i '/^name=/a\env=prod' app.ini        # добавить строку после

Одна правка во многих файлах

bash

grep -rl '10\.20\.0\.15:' /etc/app.d/      # где встречается
sed -i.bak 's/10\.20\.0\.15:/10.30.0.7:/' /etc/app.d/*.conf

Сначала список файлов, потом правка: так видно, что именно поменяется.

Фильтр и подсчёт в awk

text

student@ubuntu:~$ awk '$3 >= 500' log.txt
GET /a 500 128
student@ubuntu:~$ awk 'END {print NR}' log.txt
4
student@ubuntu:~$ awk -F: '$3 >= 1000 {print $1}' /etc/passwd
nobody
student

sed -i ничего не поменял

Шаблон не совпал ни с одной строкой. Прогони ту же замену с -n … p: пустой вывод значит, что дело в шаблоне — регистр, пробелы вокруг =, точка или * без \.

Заменилось лишнее

Шаблон шире, чем нужно: точка без \ совпала с любым символом, нет ^ в начале, нет адреса для комментариев. Сверь вывод sed -n … p до правки.

unterminated `s' command

sed 's/a/b' — не хватает последнего разделителя. Команда целиком — s/шаблон/замена/.

unknown option to `s'

В шаблоне или замене есть /, и sed принял остаток за флаги. Смени разделитель: s#/old/path#/new/path#.

invalid reference \1 on `s' command's RHS

В замене стоит \1, а группы в шаблоне нет: скобки без -E — обычные символы. Добавь -E или пиши группу как $…$.

awk: unexpected newline or end of string

Не закрыта скобка или кавычка в программе:

text

awk: cmd. line:1: {print $1
awk: cmd. line:1:          ^ unexpected newline or end of string

Программу awk бери в одинарные кавычки — тогда $1 не подставит оболочка.

awk печатает пустые поля

Строка делится не тем разделителем: в /etc/passwd поля разделены :, в CSV — запятой. Задай -F.

sed -i без пробы и копии

sed -i переписывает файл без подтверждения. Ошибка в шаблоне по многим файлам сразу (*.conf) откатывается только из копий: пиши -i.bak и проверяй замену с -n … p до правки.

Правка на месте создаёт новый файл

sed -i пишет результат во временный файл и ставит его на место прежнего. Символическая ссылка при этом превращается в обычный файл, а жёсткая ссылка перестаёт указывать на правленое содержимое. Для ссылок нужен ключ --follow-symlinks или правка цели.