Bash: обработка текста и скрипты / Ступень 2 из 9

sed и awk: правка и поля потока

Не запущена Запускается обычно ~20 с

Шаг 8 из 9 · лаба · 25 мин

Смени адрес во всех конфигах

Бэкенд переехал: тридцать конфигов, адрес в них записан по-разному, а комментарии и соседние адреса трогать нельзя.

Ситуация

Магазин работает тридцатью экземплярами приложения, у каждого свой файл настроек в /etc/app.d/ — строки вида ключ=значение. Бэкенд заказов переехал: был 10.20.0.15:8080, теперь 10.20.0.40:8080. Вечером старый сервер выключат, и экземпляры, которые ходят на него, к этому времени должны ходить на новый. Ключ с адресом бэкенда — upstream.

Конфиги годами правили разные люди, руками.

Задача

Сделай так, чтобы во всех /etc/app.d/*.conf:

каждая строка upstream, которая вела на 10.20.0.15:8080, вела на 10.20.0.40:8080;
комментарии остались как были, в том числе закомментированные настройки: по ним коллеги смотрят историю;
остальные строки не изменились — другие ключи и upstream, которые ведут на другие адреса.

Перезапускать приложение не нужно, оно перечитает настройки само. Тридцать файлов руками править долго — правь потоком, но сначала посмотри, как записан upstream в разных файлах.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 3

Во всех /etc/app.d/*.conf строки upstream, которые вели на 10.20.0.15:8080, ведут на 10.20.0.40:8080 — ещё не выполнена
Комментарии и закомментированные настройки — как были — ещё не выполнена
Остальные строки — как были, в том числе upstream с другими адресами — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 3

Во всех /etc/app.d/*.conf строки upstream, которые вели на 10.20.0.15:8080, ведут на 10.20.0.40:8080 — ещё не выполнена
Комментарии и закомментированные настройки — как были — ещё не выполнена
Остальные строки — как были, в том числе upstream с другими адресами — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 3

Во всех /etc/app.d/*.conf строки upstream, которые вели на 10.20.0.15:8080, ведут на 10.20.0.40:8080 — ещё не выполнена
Комментарии и закомментированные настройки — как были — ещё не выполнена
Остальные строки — как были, в том числе upstream с другими адресами — ещё не выполнена

Текст и поиск · подобрано по лабе

sed и awk — правка и поля текстового потока

Шпаргалка

$_ — вставить в терминал

sed -n 's/old/new/p' app.ini проба: какие строки изменятся
sed -i.bak 's/old/new/g' app.ini правка, копия в app.ini.bak
sed -n '5,10p' file строки с 5 по 10
sed '/^ *#/d; /^$/d' file без комментариев и пустых строк
sed '/^ *#/! s/old/new/' file заменить вне комментариев
awk '{print $1}' access.log первое поле каждой строки
awk -F: '$3 >= 1000 {print $1}' /etc/passwd фильтр по полю
awk '{s += $4} END {print s}' log.txt сумма четвёртого поля

Основные ключи обеих программ — в таблице ниже. Полный список — man sed, man gawk.

Проверить замену, потом править

bash

sed -n 's/10\.20\.0\.15:/10.30.0.7:/p' app.ini     # что изменится
sed -i.bak 's/10\.20\.0\.15:/10.30.0.7:/' app.ini  # правка с копией
diff app.ini.bak app.ini                          # что изменилось

diff покажет каждую изменённую строку до и после:

text

student@ubuntu:~$ sed -i.bak 's/^name=app$/name=web/' app.ini
student@ubuntu:~$ diff app.ini.bak app.ini
3c3
< name=app
---
> name=web

Удалить строки

bash

sed -i '/^ *#/d; /^$/d' app.ini    # комментарии и пустые строки
sed -i '/^cache=/d' app.ini        # строку с ключом

Заменить строку целиком или добавить рядом

bash

sed -i '/^name=/c\name=web' app.ini        # заменить строку
sed -i '/^name=/a\env=prod' app.ini        # добавить строку после

Одна правка во многих файлах

bash

grep -rl '10\.20\.0\.15:' /etc/app.d/      # где встречается
sed -i.bak 's/10\.20\.0\.15:/10.30.0.7:/' /etc/app.d/*.conf

Сначала список файлов, потом правка: так видно, что именно поменяется.

Фильтр и подсчёт в awk

text

student@ubuntu:~$ awk '$3 >= 500' log.txt
GET /a 500 128
student@ubuntu:~$ awk 'END {print NR}' log.txt
4
student@ubuntu:~$ awk -F: '$3 >= 1000 {print $1}' /etc/passwd
nobody
student

sed -i ничего не поменял

Шаблон не совпал ни с одной строкой. Прогони ту же замену с -n … p: пустой вывод значит, что дело в шаблоне — регистр, пробелы вокруг =, точка или * без \.

Заменилось лишнее

Шаблон шире, чем нужно: точка без \ совпала с любым символом, нет ^ в начале, нет адреса для комментариев. Сверь вывод sed -n … p до правки.

unterminated `s' command

sed 's/a/b' — не хватает последнего разделителя. Команда целиком — s/шаблон/замена/.

unknown option to `s'

В шаблоне или замене есть /, и sed принял остаток за флаги. Смени разделитель: s#/old/path#/new/path#.

invalid reference \1 on `s' command's RHS

В замене стоит \1, а группы в шаблоне нет: скобки без -E — обычные символы. Добавь -E или пиши группу как $…$.

awk: unexpected newline or end of string

Не закрыта скобка или кавычка в программе:

text

awk: cmd. line:1: {print $1
awk: cmd. line:1:          ^ unexpected newline or end of string

Программу awk бери в одинарные кавычки — тогда $1 не подставит оболочка.

awk печатает пустые поля

Строка делится не тем разделителем: в /etc/passwd поля разделены :, в CSV — запятой. Задай -F.

sed -i без пробы и копии

sed -i переписывает файл без подтверждения. Ошибка в шаблоне по многим файлам сразу (*.conf) откатывается только из копий: пиши -i.bak и проверяй замену с -n … p до правки.

Правка на месте создаёт новый файл

sed -i пишет результат во временный файл и ставит его на место прежнего. Символическая ссылка при этом превращается в обычный файл, а жёсткая ссылка перестаёт указывать на правленое содержимое. Для ссылок нужен ключ --follow-symlinks или правка цели.