Наблюдаемость: метрики, алерты, логи / Ступень 7 из 9

Логи в одном месте

Не запущена Запускается обычно ~20 с

Шаг 6 из 7 · лаба · 30 мин

Логов второй машины нет на сборщике

Логи всех машин команда собирает на node1, каждую машину — в свой каталог. node2 настроили пересылать туда свой журнал, но на сборщике от неё нет ни строки. Доведи пересылку до конца так, чтобы она пережила перезагрузку обеих машин.

Ситуация

Логи всех серверов команда собирает в одном месте — на node1. Сборщик — rsyslog: строки других машин он раскладывает по каталогам, по одному на машину, — /var/log/remote/<имя машины>/syslog.log. Вчера к нему подключили node2: на ней rsyslog пересылает на node1 всё, что попадает в её журнал. Сегодня ночью на node2 что-то случилось, а на сборщике от неё нет ни строки — нет даже каталога /var/log/remote/node2.

node1 — твой терминал. На node2 student входит по ключу: ssh node2 'команда' или ssh node2, назад — exit. sudo на обеих машинах работает без пароля. Каталог сборщика читается через sudo.

Задача

Строка, которую logger пишет на node2, через несколько секунд появляется на node1 в /var/log/remote/node2/.
Логи на node1 принимает rsyslog на стандартном порту syslog — 514: к нему будут подключать и другие машины.
Межсетевой экран node1 остаётся включённым: открой в нём только то, что нужно для приёма логов.
Настройка переживает перезагрузку обеих машин.

Ограничения

Проверка сама пишет на node2 строку logger со своей меткой и ищет её на node1. Ещё она отправляет с node2 на node1:514 свои строки напрямую и на время открывает на node1 лишний порт — убедиться, что межсетевой экран его закрывает.
Перезагружать машины для проверки не нужно: она сверяет, что работающий rsyslog запущен с конфигом из файлов, а правила nftables в ядре — те, что загрузятся из /etc/nftables.conf.

Интернета в лабе нет — только сеть между node1 и node2. Всё нужное установлено на обеих машинах.

Лаба · самостоятельно

Команды в этой лабе не даны: набирай их в терминале сам. Цели проверяются на машине после каждой команды.

Цели

0 из 4

Строка, которую logger пишет на node2, через несколько секунд появляется на node1 в /var/log/remote/node2/ — ещё не выполнена
На node1 порт 514 слушает rsyslog — на адресе, к которому может подключиться node2 — ещё не выполнена
Межсетевой экран node1 работает — пропускает к приёму логов, а другие порты для node2 по-прежнему закрыты — ещё не выполнена
Настройка переживёт перезагрузку — rsyslog на обеих машинах включён и работает с конфигом из файлов, правила nftables в ядре — из /etc/nftables.conf — ещё не выполнена

Ctrl+Enter

Запустит машину node1 · Ubuntu 24.04

Машина запускается

Подсказки

0 из 3

Сообщить о проблеме

Цели лабы

0 из 4

Строка, которую logger пишет на node2, через несколько секунд появляется на node1 в /var/log/remote/node2/ — ещё не выполнена
На node1 порт 514 слушает rsyslog — на адресе, к которому может подключиться node2 — ещё не выполнена
Межсетевой экран node1 работает — пропускает к приёму логов, а другие порты для node2 по-прежнему закрыты — ещё не выполнена
Настройка переживёт перезагрузку — rsyslog на обеих машинах включён и работает с конфигом из файлов, правила nftables в ядре — из /etc/nftables.conf — ещё не выполнена

node1 Ubuntu 24.04

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Цели лабы

0 из 4

Строка, которую logger пишет на node2, через несколько секунд появляется на node1 в /var/log/remote/node2/ — ещё не выполнена
На node1 порт 514 слушает rsyslog — на адресе, к которому может подключиться node2 — ещё не выполнена
Межсетевой экран node1 работает — пропускает к приёму логов, а другие порты для node2 по-прежнему закрыты — ещё не выполнена
Настройка переживёт перезагрузку — rsyslog на обеих машинах включён и работает с конфигом из файлов, правила nftables в ядре — из /etc/nftables.conf — ещё не выполнена

Логи и аудит · подобрано по лабе

rsyslog: текстовые логи и пересылка на сборщик

Шпаргалка

$_ — вставить в терминал

tail -f /var/log/syslog общий лог в реальном времени
sudo rsyslogd -N1 проверить конфиг целиком
sudo systemctl restart rsyslog применить конфиг
logger -t myapp 'проверка' строка в журнал и в syslog
logger -p user.warning -t myapp 'warn' строка с уровнем warning
sudo ss -tlnp | grep ':514' слушает ли приём по TCP
sudo ls -R /var/log/remote что принял сборщик
journalctl -u rsyslog -n 20 ошибки самого rsyslog

Приём по сети: imudp и imtcp

Сборщик загружает модуль приёма и открывает порт — обычно 514:

text

module(load="imtcp")
input(type="imtcp" port="514")
module(load="imudp")
input(type="imudp" port="514")

Модуль	Протокол	В `ss`
`imtcp`	TCP: соединение, строка не теряется молча	`sudo ss -tlnp` — `LISTEN … 0.0.0.0:514`
`imudp`	UDP: без соединения, проще, строки могут пропасть	`sudo ss -ulnp` — `UNCONN … 0.0.0.0:514`

Без address приём слушает все адреса машины. address="127.0.0.1" — только саму машину: другие до него не достучатся:

text

$ sudo ss -tlnp | grep ':514'
LISTEN 0  25  127.0.0.1:514  0.0.0.0:*  users:(("rsyslogd",pid=1829,…))

Что слушает приём, видно одной командой: sudo ss -lntup | grep 514 — строки tcp и udp. Порт приёма открывают в firewall — для адресов отправителей. Строка по UDP на порт, где приёма нет, пропадает без ошибки (rsyslog).

Раскладка по хостам: шаблон

Без своих правил принятые строки идут по тем же правилам, что и локальные, — в общий /var/log/syslog, вперемешку со своими. Шаблон пути раскладывает их по каталогам машин, а отдельный набор правил (ruleset) держит чужие строки отдельно от своих:

text

# /etc/rsyslog.d/10-collector.conf
module(load="imtcp")
template(name="perhost" type="string"
         string="/var/log/remote/%HOSTNAME%/syslog.log")
ruleset(name="remote") {
  action(type="omfile" dynaFile="perhost")
}
input(type="imtcp" port="514" ruleset="remote")

Свойство	Что подставит
`%HOSTNAME%`	имя машины из самой строки: `node2`
`%FROMHOST-IP%`	адрес, с которого пришло соединение
`%PROGRAMNAME%`	программа: `sshd`, `myapp`

Каталоги rsyslog создаёт сам, с правами 0700 и владельцем syslog: student без sudo их не прочитает. Другие права — dirCreateMode и fileCreateMode в action: dirCreateMode="0755" fileCreateMode="0644".

Пересылка: @, @@ и omfwd

Отправитель — файл в /etc/rsyslog.d/ с правилом, действие которого — другая машина. Короткая форма:

text

*.* @@node1:514      # TCP
*.* @node1:514       # UDP

Полная — действие omfwd, в нём всё названо словами:

text

*.* action(type="omfwd" target="node1" port="514" protocol="tcp")

Правило живёт в своём файле в /etc/rsyslog.d/ и действует после restart: уходят только новые строки, старые из /var/log заново не пересылаются. protocol по умолчанию udp. Селектор работает как у любого правила: *.warn @@node1:514 пересылает только warning и выше. Протокол и порт отправителя должны совпасть с приёмом сборщика: строки по UDP на сборщик, где загружен только imtcp, теряются без единой ошибки (rsyslog).

Применить конфиг

bash

sudo rsyslogd -N1
sudo systemctl restart rsyslog

rsyslogd -N1 разбирает всю конфигурацию, не трогая работающую службу; без ошибок печатает End of config validation run. Bye.. Конфиг второго экземпляра rsyslog — со своим файлом — проверяет rsyslogd -N1 -f <файл>. systemctl reload rsyslog на учебной машине не работает — только restart (rsyslog).

Сборщик: принимать и раскладывать

На машине-сборщике — файл из rsyslog, затем:

bash

sudo rsyslogd -N1 && sudo systemctl restart rsyslog
sudo ss -tlnp | grep ':514'

Строка LISTEN на 0.0.0.0:514 — приём слушает все адреса. Порт 514 открой в файрволе для адресов отправителей.

Отправитель: всё — на сборщик

bash

echo '*.* @@node1:514' | sudo tee /etc/rsyslog.d/60-forward.conf
sudo rsyslogd -N1 && sudo systemctl restart rsyslog

Проверить цепочку logger'ом

На отправителе:

bash

logger -t lab-check "проверка $(date +%s)"

На сборщике через пару секунд:

text

$ sudo grep lab-check /var/log/remote/*/syslog.log
/var/log/remote/node2/syslog.log:2026-10-22T05:18:46+00:00 node2
  lab-check: проверка 1792646326

Строка в выводе одна, здесь она перенесена. logger отправляет строку через rsyslog, поэтому проверяет всю цепочку: селектор, пересылку, сеть, приём и шаблон. Разделить приём и пересылку помогает rsyslog.

logger прямо на сборщик

bash

logger -n node1 -P 514 -T -t lab-check 'по TCP'
logger -n node1 -P 514 -d -t lab-check 'по UDP'

-n — адрес сборщика, -P — порт, -T — TCP, -d — UDP. rsyslog отправителя здесь не участвует: строка дошла — приём сборщика в порядке, и виновата пересылка. Порт пиши всегда: с -T без -P logger ищет порт службы syslog-conn и падает:

text

logger: failed to resolve name 127.0.0.1 port syslog-conn: Servname
  not supported for ai_socktype

По UDP logger выходит с кодом 0, даже если порт закрыт: ответа UDP не ждёт (rsyslog).

Строки не доходят до сборщика

Иди по цепочке от отправителя к сборщику:

Отправитель: есть ли правило пересылки и проходит ли строка его селектор — grep -r '@\|omfwd' /etc/rsyslog.d/.
Отправитель: ошибки пересылки — journalctl -u rsyslog -n 20 (rsyslog).
Сеть: открыт ли порт — nc -zv node1 514 для TCP (nc).
Сборщик: слушает ли приём нужный адрес и протокол — sudo ss -tlnp и sudo ss -ulnp.
Сборщик: пропускает ли firewall порт 514 от отправителя.
Сборщик: куда пишет шаблон — sudo ls -R /var/log/remote.

cannot connect … Connection refused

text

$ journalctl -u rsyslog -o cat | tail -2
cannot connect to 127.0.0.1:10514: Connection refused
  [v8.2312.0 try https://www.rsyslog.com/e/2027 ]
action 'action-10-builtin:omfwd' suspended (module 'builtin:omfwd'),
  next retry is Thu Oct 22 05:19:22 2026, retry nbr 0. …

Отправитель по TCP стучится в порт, который никто не слушает: не тот порт, приём не загружен или слушает только 127.0.0.1. rsyslog приостанавливает пересылку и пробует снова примерно раз в 30 секунд; когда сборщик ответит, в журнале появится resumed. Строки, пришедшие за это время, по умолчанию пропадают: на учебной машине две строки, отправленные, пока порт молчал, на сборщик не попали. Чтобы они ждали, в action добавляют очередь: queue.type="LinkedList" и action.resumeRetryCount="-1".

UDP теряет строки без ошибок

Отправитель шлёт по UDP (@ или protocol="udp"), а сборщик принимает только TCP (imtcp). Ошибок нет ни на одной стороне: UDP не ждёт ответа. Сверь протокол отправителя (@ или @@) с модулем приёма и с ss -ulnp / ss -tlnp на сборщике.

Приём слушает только 127.0.0.1

ss -tlnp показывает 127.0.0.1:514: в input стоит address="127.0.0.1". Строки с самой машины доходят, с других — нет. Убери address или поставь адрес сетевого интерфейса.

Уходят только предупреждения

На сборщике есть строки уровня warning, а logger без -p не доходит: селектор пересылки — *.warn или строже. logger пишет user.notice. Для всех строк — *.*.

Job type reload is not applicable

text

$ sudo systemctl reload rsyslog
Failed to reload rsyslog.service: Job type reload is not applicable
  for unit rsyslog.service.

У службы нет команды перечитывания. Новый конфиг применяет sudo systemctl restart rsyslog.

rsyslogd -N1 ругается на чужой файл

text

rsyslogd: error during parsing file /etc/rsyslog.d/20-ufw.conf, on or
  before line 2: invalid character ':' in object definition …
rsyslogd: could not interpret master config file '/etc/rsyslog.conf'.

Файлы rsyslog.d читаются подряд, как один текст. Незакрытая скобка input(… в 11-broken.conf «съела» начало следующего по имени файла, и ошибку rsyslog увидел уже в 20-ufw.conf. Смотри файл перед названным.

Нет прав на /var/log/remote

ls: cannot open directory '/var/log/remote': Permission denied — каталоги приёма созданы с правами 0700 для syslog. Читай через sudo или задай dirCreateMode (rsyslog).

Логи растут и забивают диск

Ротацией занимается logrotate, rsyslog файлы сам не чистит. Принятые строки в /var/log/remote в правила logrotate из пакета не входят — для них нужен свой файл в /etc/logrotate.d/.

Строки дублируются

Одна и та же строка подходит под несколько правил и пишется в несколько файлов. Пересмотри селекторы: none исключает источник, а отдельный ruleset держит принятые строки отдельно от своих.

journald или rsyslog — где смотреть

Поиск по службе, полю, времени — journalctl (-u, --since, -o json). Текстовые файлы, привычный grep и пересылка на сборщик — rsyslog.

Приём 514 открыт всем

Любой, кто достучался до порта, пишет в логи сборщика что угодно: поддельные строки от чужого имени или поток, который забьёт диск. Открывай 514 в файрволе только для адресов своих машин.