Bash: обработка текста и скрипты / Ступень 2 из 9 · шаг 7 из 9

Отчёт по журналу nginx

~30 мин

Не запущена Запускается обычно ~20 с

Ситуация

Руководитель просит отчёт по сайту магазина shop.lab.test за вчера, 19 октября: какие запросы сайт обрабатывал дольше всего и сколько байт отдал с каждым кодом ответа. Сайт обслуживает nginx, его журнал запросов — /var/log/nginx/shop.access.log, формат строки задан в /etc/nginx/conf.d/shop-log.conf.

Отчёты за разные дни руководитель сравнивает между собой, поэтому вид у отчёта один.

Задача

Собери ~/report.txt из двух разделов:

[slowest]
<время> <URL>
…
[bytes]
<код> <байт>
…

В разделе [slowest] — пять самых долгих запросов за 19 октября: время обработки так, как оно записано в журнале, и URL запроса через пробел. Сначала самый долгий.
В разделе [bytes] — каждый код ответа, который встречается 19 октября, и сумма байт, отданных с этим кодом за сутки ($body_bytes_sent), через пробел. Коды по возрастанию.

Сутки — с 00:00:00 до 23:59:59 по времени в журнале. Журналы только читай. Сначала посмотри, с чем работаешь: ls -l /var/log/nginx и head -n 3 журнала. Каждый раздел собирай конвейером по звену и смотри вывод на экране; в файл отправляй, когда вывод верный.

Цели лабы

0 из 2

В разделе [slowest] пять самых долгих запросов за 19 октября — время и URL, сначала самый долгий — ещё не проверялась
В разделе [bytes] сумма байт за 19 октября по каждому коду ответа, коды по возрастанию — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Текст и поиск · подобрано по лабе

grep — поиск по тексту

Шпаргалка

$_ — вставить в терминал

grep -i word file без регистра
grep -rn word dir/ рекурсивно + номера строк
grep -v word file без слова
grep -C2 word file контекст ±2 строки
grep -rn --include='*.conf' word /etc
grep -oP 'regex' file только совпадение, Perl-regex
cmd | grep -F "literal" точная строка

Флаг	Смысл
`-i`	без учёта регистра
`-r` / `-R`	рекурсивно по каталогам (R — идти по симлинкам)
`-n`	показать номера строк
`-v`	инвертировать (строки БЕЗ шаблона)
`-c`	посчитать совпадения
`-l` / `-L`	только имена файлов с совпадением / без
`-w` / `-x`	слово целиком / строка целиком
`-E` / `-F` / `-P`	extended regex / фикс. строка / Perl-regex
`-A N`/`-B N`/`-C N`	N строк после / до / вокруг
`-o`	только совпавшую часть
`--include`/`--exclude`	фильтр имён файлов при `-r`

Примеры

bash

grep -rni "timeout" /etc                    # рекурсивно, без регистра, с номерами
grep -E "warn|error|fatal" app.log          # альтернатива (ИЛИ)
grep -A3 -B1 "panic" app.log                # контекст вокруг
grep -c "GET" access.log                     # сколько GET-запросов
grep -rl "api_key" .                         # в каких файлах встречается
grep -rn --include='*.py' "def main" .       # только .py
grep -rn --exclude-dir={.git,node_modules} "TODO" .
grep -oP '\d+\.\d+\.\d+\.\d+' access.log | sort | uniq -c | sort -rn   # топ IP (-P, -o)
grep -Ff patterns.txt data.txt               # искать любую из строк файла patterns.txt
ps aux | grep -v grep | grep nginx

grep сам попадает в вывод `ps aux | grep`

Классика. Исключи себя: grep -v grep, либо pgrep, либо трюк grep "[n]ginx".

Спецсимволы шаблона ловятся как регулярка

Точка, скобки, + — это regex. Экранируй или grep -F (фиксированная строка): grep -F "1.2.3.4".

`\d`, `\w`, lookahead не работают

Базовый/extended grep их не знает — нужен -P (PCRE): grep -P '\d{3}'.

Хочу совпадения, но grep молчит

Проверь регистр (-i), нужный файл, что данные реально приходят. Бинарные файлы grep может пропускать — -a (как текст).

Слишком медленно по большому дереву

Исключай каталоги (--exclude-dir), или используй ripgrep (rg) — заметно быстрее.