Конвейер: ответ из нескольких команд

Не запущена Запускается обычно ~20 с

Шаг 6 из 7 · лаба · 20 мин

Сосчитай ошибки в журналах

Сводка кодов ошибок за ночь по журналам магазина: конвейер в файл, ошибки команды — в отдельный файл, история — дописать.

Ситуация

Ночью интернет-магазин отвечал покупателям ошибками. Его журналы лежат в /var/log/shop — по файлу на каждую часть сайта. Утром коллега просит сводку: какие коды ошибок были и сколько раз. «Если какой-то журнал тебе не прочитать — ничего, только сохрани сообщение об этом отдельно, с доступом я разберусь».

Сводки за прошлые ночи коллега записывает в ~/report/history.txt, по строке на ночь.

Задача

Сделай так, чтобы:

в ~/report/errors-by-code.txt для каждого кода из строк уровня ERROR было число таких строк и сам код — по строке на код, через пробел, сначала самый частый;
в ~/report/failed.txt были сообщения об ошибках команды, которая читала журналы, и ничего больше;
в конце ~/report/history.txt появилась строка за эту ночь в том же виде, что прежние: 2026-10-19 и общее число строк ERROR. Прежние строки должны остаться на месте.

Журналы читай от своего имени, без sudo: сводка — по тому, что открыто тебе.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 3

В ~/report/errors-by-code.txt число и код каждой ошибки, сначала самый частый — ещё не выполнена
В ~/report/failed.txt только сообщения об ошибках команды — ещё не выполнена
В ~/report/history.txt прежние строки на месте и в конце строка за 2026-10-19 — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 3

В ~/report/errors-by-code.txt число и код каждой ошибки, сначала самый частый — ещё не выполнена
В ~/report/failed.txt только сообщения об ошибках команды — ещё не выполнена
В ~/report/history.txt прежние строки на месте и в конце строка за 2026-10-19 — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 3

В ~/report/errors-by-code.txt число и код каждой ошибки, сначала самый частый — ещё не выполнена
В ~/report/failed.txt только сообщения об ошибках команды — ещё не выполнена
В ~/report/history.txt прежние строки на месте и в конце строка за 2026-10-19 — ещё не выполнена

Базовые команды · подобрано по лабе

Перенаправление вывода и конвейеры

Шпаргалка

$_ — вставить в терминал

cmd > out.txt вывод в файл (перезаписать)
cmd >> out.txt вывод в конец файла
cmd 2> err.txt ошибки в файл
cmd > all.txt 2>&1 вывод и ошибки в один файл
cmd &> all.txt то же короче (bash)
cmd 2>/dev/null выбросить ошибки
cmd < in.txt ввод из файла
cmd1 | cmd2 вывод cmd1 — на ввод cmd2
cmd 2>&1 | less в конвейер вместе с ошибками
cmd | tee out.txt и на экран, и в файл

Вывод и ошибки — в разные файлы

bash

./backup.sh > backup.log 2> backup.err

Порядок 2>&1 имеет значение

bash

cmd > all.txt 2>&1     # оба потока в файл
cmd 2>&1 > all.txt     # в файл — только вывод, ошибки на экран

Оболочка читает перенаправления слева направо. Во второй строке 2>&1 копирует то, куда stdout указывал в тот момент, — экран.

Обработать вывод цепочкой команд

bash

sudo grep 'Failed password' /var/log/auth.log | wc -l
ps -eo rss,comm | sort -rn | head -n 5   # пять процессов по памяти
du -sh /var/log/* 2>/dev/null | sort -rh | head

Каждое звено делает одну вещь: grep отбирает, sort упорядочивает, wc считает, head обрезает. Такие команды — читают ввод, печатают обработанный текст — называют фильтрами.

Записать в файл, которому нужен root

bash

echo '127.0.0.1 app.local' | sudo tee -a /etc/hosts

sudo cmd > /etc/файл не сработает: перенаправление делает твоя оболочка без прав root. tee запускается через sudo и пишет сам.

Многострочный ввод прямо в команду

bash

cat > app.conf <<'EOF'
port = 8080
log = /var/log/app.log
EOF

Очистить журнал, не удаляя файл

bash

: > /var/log/app.log         # длина 0, файл и владелец на месте
sudo truncate -s 0 /var/log/app.log   # то же для файла root

Если процесс держит журнал открытым, rm не вернёт место, а обнуление вернёт.

Узнать, какое звено конвейера упало

bash

false | true
echo "${PIPESTATUS[@]}"      # 1 0 — коды каждого звена
set -o pipefail              # в скриптах: ошибка любого звена видна

Permission denied при sudo … > файл

Файл открывает твоя оболочка, а не sudo. Используй | sudo tee файл (или tee -a, чтобы дописать).

bash: $F: ambiguous redirect

В имени файла из переменной пробел, или переменная пуста. Бери переменную в кавычки: > "$F", и проверь, что она задана.

bash: out.txt: cannot overwrite existing file

Включён режим noclobber (set -o noclobber), он запрещает > поверх файла. Перезаписать явно — >|, выключить режим — set +o noclobber.

Ошибки не попали в файл

> перенаправляет только stdout. Добавь 2>&1 после > файл или используй &>.

grep в конвейере не находит текст ошибки

Ошибка ушла в stderr, а конвейер передаёт только stdout. Передай оба потока: cmd 2>&1 | grep текст.

После sort file > file файл пуст

Оболочка обнулила file для записи до того, как sort его прочитал. Пиши в новый файл и переименуй через mv; у sort для этого есть -o file.

`>` перезаписывает без вопроса

Одна стрелка вместо двух — и журнал или конфиг заменён одной строкой. Для дописывания всегда >>. В интерактивной оболочке можно включить защиту: set -o noclobber.

`2>/dev/null` прячет причину

Подавленные ошибки удобно убирать из вывода find /, но в скриптах и при диагностике они и есть ответ. Сначала прочитай ошибку, потом решай, глушить ли её.

Конвейер: ответ из нескольких команд

Ситуация

Задача

Для запуска машины нужен вход

Вывод и ошибки — в разные файлы

Порядок 2>&1 имеет значение

Обработать вывод цепочкой команд

Записать в файл, которому нужен root

Многострочный ввод прямо в команду

Очистить журнал, не удаляя файл

Узнать, какое звено конвейера упало

Permission denied при sudo … > файл

bash: $F: ambiguous redirect

bash: out.txt: cannot overwrite existing file

Ошибки не попали в файл

grep в конвейере не находит текст ошибки

После sort file > file файл пуст

> перезаписывает без вопроса

2>/dev/null прячет причину

`>` перезаписывает без вопроса

`2>/dev/null` прячет причину