Наблюдаемость: метрики, алерты, логи / Ступень 7 из 9 · шаг 6 из 7

Логов второй машины нет на сборщике

~30 мин

Не запущена Запускается обычно ~20 с

Ситуация

Логи всех серверов команда собирает в одном месте — на node1. Сборщик — rsyslog: строки других машин он раскладывает по каталогам, по одному на машину, — /var/log/remote/<имя машины>/syslog.log. Вчера к нему подключили node2: на ней rsyslog пересылает на node1 всё, что попадает в её журнал. Сегодня ночью на node2 что-то случилось, а на сборщике от неё нет ни строки — нет даже каталога /var/log/remote/node2.

node1 — твой терминал. На node2 student входит по ключу: ssh node2 'команда' или ssh node2, назад — exit. sudo на обеих машинах работает без пароля. Каталог сборщика читается через sudo.

Задача

Строка, которую logger пишет на node2, через несколько секунд появляется на node1 в /var/log/remote/node2/.
Логи на node1 принимает rsyslog на стандартном порту syslog — 514: к нему будут подключать и другие машины.
Межсетевой экран node1 остаётся включённым: открой в нём только то, что нужно для приёма логов.
Настройка переживает перезагрузку обеих машин.

Ограничения

Проверка сама пишет на node2 строку logger со своей меткой и ищет её на node1. Ещё она отправляет с node2 на node1:514 свои строки напрямую и на время открывает на node1 лишний порт — убедиться, что межсетевой экран его закрывает.
Перезагружать машины для проверки не нужно: она сверяет, что работающий rsyslog запущен с конфигом из файлов, а правила nftables в ядре — те, что загрузятся из /etc/nftables.conf.

Интернета в лабе нет — только сеть между node1 и node2. Всё нужное установлено на обеих машинах.

Цели лабы

0 из 4

Строка, которую logger пишет на node2, через несколько секунд появляется на node1 в /var/log/remote/node2/ — ещё не проверялась
На node1 порт 514 слушает rsyslog — на адресе, к которому может подключиться node2 — ещё не проверялась
Межсетевой экран node1 работает — пропускает к приёму логов, а другие порты для node2 по-прежнему закрыты — ещё не проверялась
Настройка переживёт перезагрузку — rsyslog на обеих машинах включён и работает с конфигом из файлов, правила nftables в ядре — из /etc/nftables.conf — ещё не проверялась

Подсказки

открыто 0 из 3 · открываются по одной

Подсказка 1

Показать решение после 3 неудачных проверок

Для запуска машины нужен вход

Машина запускается на твой аккаунт, там же хранится прогресс. Читать можно без входа.

После входа вернёшься на эту лабу.

Логи и аудит · подобрано по лабе

rsyslog: текстовые логи и пересылка на сборщик

Шпаргалка

$_ — вставить в терминал

tail -f /var/log/syslog общий лог в реальном времени
sudo rsyslogd -N1 проверить конфиг целиком
sudo systemctl restart rsyslog применить конфиг
logger -t myapp 'проверка' строка в журнал и в syslog
logger -p user.warning -t myapp 'warn' строка с уровнем warning
sudo ss -tlnp | grep ':514' слушает ли приём по TCP
sudo ls -R /var/log/remote что принял сборщик
journalctl -u rsyslog -n 20 ошибки самого rsyslog

Приём по сети: imudp и imtcp

Сборщик загружает модуль приёма и открывает порт — обычно 514:

text

module(load="imtcp")
input(type="imtcp" port="514")
module(load="imudp")
input(type="imudp" port="514")

Модуль	Протокол	В `ss`
`imtcp`	TCP: соединение, строка не теряется молча	`sudo ss -tlnp` — `LISTEN … 0.0.0.0:514`
`imudp`	UDP: без соединения, проще, строки могут пропасть	`sudo ss -ulnp` — `UNCONN … 0.0.0.0:514`

Без address приём слушает все адреса машины. address="127.0.0.1" — только саму машину: другие до него не достучатся:

text

$ sudo ss -tlnp | grep ':514'
LISTEN 0  25  127.0.0.1:514  0.0.0.0:*  users:(("rsyslogd",pid=1829,…))

Что слушает приём, видно одной командой: sudo ss -lntup | grep 514 — строки tcp и udp. Порт приёма открывают в firewall — для адресов отправителей. Строка по UDP на порт, где приёма нет, пропадает без ошибки (rsyslog).

Раскладка по хостам: шаблон

Без своих правил принятые строки идут по тем же правилам, что и локальные, — в общий /var/log/syslog, вперемешку со своими. Шаблон пути раскладывает их по каталогам машин, а отдельный набор правил (ruleset) держит чужие строки отдельно от своих:

text

# /etc/rsyslog.d/10-collector.conf
module(load="imtcp")
template(name="perhost" type="string"
         string="/var/log/remote/%HOSTNAME%/syslog.log")
ruleset(name="remote") {
  action(type="omfile" dynaFile="perhost")
}
input(type="imtcp" port="514" ruleset="remote")

Свойство	Что подставит
`%HOSTNAME%`	имя машины из самой строки: `node2`
`%FROMHOST-IP%`	адрес, с которого пришло соединение
`%PROGRAMNAME%`	программа: `sshd`, `myapp`

Каталоги rsyslog создаёт сам, с правами 0700 и владельцем syslog: student без sudo их не прочитает. Другие права — dirCreateMode и fileCreateMode в action: dirCreateMode="0755" fileCreateMode="0644".

Пересылка: @, @@ и omfwd

Отправитель — файл в /etc/rsyslog.d/ с правилом, действие которого — другая машина. Короткая форма:

text

*.* @@node1:514      # TCP
*.* @node1:514       # UDP

Полная — действие omfwd, в нём всё названо словами:

text

*.* action(type="omfwd" target="node1" port="514" protocol="tcp")

Правило живёт в своём файле в /etc/rsyslog.d/ и действует после restart: уходят только новые строки, старые из /var/log заново не пересылаются. protocol по умолчанию udp. Селектор работает как у любого правила: *.warn @@node1:514 пересылает только warning и выше. Протокол и порт отправителя должны совпасть с приёмом сборщика: строки по UDP на сборщик, где загружен только imtcp, теряются без единой ошибки (rsyslog).

Применить конфиг

bash

sudo rsyslogd -N1
sudo systemctl restart rsyslog

rsyslogd -N1 разбирает всю конфигурацию, не трогая работающую службу; без ошибок печатает End of config validation run. Bye.. Конфиг второго экземпляра rsyslog — со своим файлом — проверяет rsyslogd -N1 -f <файл>. systemctl reload rsyslog на учебной машине не работает — только restart (rsyslog).

Сборщик: принимать и раскладывать

На машине-сборщике — файл из rsyslog, затем:

bash

sudo rsyslogd -N1 && sudo systemctl restart rsyslog
sudo ss -tlnp | grep ':514'

Строка LISTEN на 0.0.0.0:514 — приём слушает все адреса. Порт 514 открой в файрволе для адресов отправителей.

Отправитель: всё — на сборщик

bash

echo '*.* @@node1:514' | sudo tee /etc/rsyslog.d/60-forward.conf
sudo rsyslogd -N1 && sudo systemctl restart rsyslog

Проверить цепочку logger'ом

На отправителе:

bash

logger -t lab-check "проверка $(date +%s)"

На сборщике через пару секунд:

text

$ sudo grep lab-check /var/log/remote/*/syslog.log
/var/log/remote/node2/syslog.log:2026-10-22T05:18:46+00:00 node2
  lab-check: проверка 1792646326

Строка в выводе одна, здесь она перенесена. logger отправляет строку через rsyslog, поэтому проверяет всю цепочку: селектор, пересылку, сеть, приём и шаблон. Разделить приём и пересылку помогает rsyslog.

logger прямо на сборщик

bash

logger -n node1 -P 514 -T -t lab-check 'по TCP'
logger -n node1 -P 514 -d -t lab-check 'по UDP'

-n — адрес сборщика, -P — порт, -T — TCP, -d — UDP. rsyslog отправителя здесь не участвует: строка дошла — приём сборщика в порядке, и виновата пересылка. Порт пиши всегда: с -T без -P logger ищет порт службы syslog-conn и падает:

text

logger: failed to resolve name 127.0.0.1 port syslog-conn: Servname
  not supported for ai_socktype

По UDP logger выходит с кодом 0, даже если порт закрыт: ответа UDP не ждёт (rsyslog).

Строки не доходят до сборщика

Иди по цепочке от отправителя к сборщику:

Отправитель: есть ли правило пересылки и проходит ли строка его селектор — grep -r '@\|omfwd' /etc/rsyslog.d/.
Отправитель: ошибки пересылки — journalctl -u rsyslog -n 20 (rsyslog).
Сеть: открыт ли порт — nc -zv node1 514 для TCP (nc).
Сборщик: слушает ли приём нужный адрес и протокол — sudo ss -tlnp и sudo ss -ulnp.
Сборщик: пропускает ли firewall порт 514 от отправителя.
Сборщик: куда пишет шаблон — sudo ls -R /var/log/remote.

cannot connect … Connection refused

text

$ journalctl -u rsyslog -o cat | tail -2
cannot connect to 127.0.0.1:10514: Connection refused
  [v8.2312.0 try https://www.rsyslog.com/e/2027 ]
action 'action-10-builtin:omfwd' suspended (module 'builtin:omfwd'),
  next retry is Thu Oct 22 05:19:22 2026, retry nbr 0. …

Отправитель по TCP стучится в порт, который никто не слушает: не тот порт, приём не загружен или слушает только 127.0.0.1. rsyslog приостанавливает пересылку и пробует снова примерно раз в 30 секунд; когда сборщик ответит, в журнале появится resumed. Строки, пришедшие за это время, по умолчанию пропадают: на учебной машине две строки, отправленные, пока порт молчал, на сборщик не попали. Чтобы они ждали, в action добавляют очередь: queue.type="LinkedList" и action.resumeRetryCount="-1".

UDP теряет строки без ошибок

Отправитель шлёт по UDP (@ или protocol="udp"), а сборщик принимает только TCP (imtcp). Ошибок нет ни на одной стороне: UDP не ждёт ответа. Сверь протокол отправителя (@ или @@) с модулем приёма и с ss -ulnp / ss -tlnp на сборщике.

Приём слушает только 127.0.0.1

ss -tlnp показывает 127.0.0.1:514: в input стоит address="127.0.0.1". Строки с самой машины доходят, с других — нет. Убери address или поставь адрес сетевого интерфейса.

Уходят только предупреждения

На сборщике есть строки уровня warning, а logger без -p не доходит: селектор пересылки — *.warn или строже. logger пишет user.notice. Для всех строк — *.*.

Job type reload is not applicable

text

$ sudo systemctl reload rsyslog
Failed to reload rsyslog.service: Job type reload is not applicable
  for unit rsyslog.service.

У службы нет команды перечитывания. Новый конфиг применяет sudo systemctl restart rsyslog.

rsyslogd -N1 ругается на чужой файл

text

rsyslogd: error during parsing file /etc/rsyslog.d/20-ufw.conf, on or
  before line 2: invalid character ':' in object definition …
rsyslogd: could not interpret master config file '/etc/rsyslog.conf'.

Файлы rsyslog.d читаются подряд, как один текст. Незакрытая скобка input(… в 11-broken.conf «съела» начало следующего по имени файла, и ошибку rsyslog увидел уже в 20-ufw.conf. Смотри файл перед названным.

Нет прав на /var/log/remote

ls: cannot open directory '/var/log/remote': Permission denied — каталоги приёма созданы с правами 0700 для syslog. Читай через sudo или задай dirCreateMode (rsyslog).

Логи растут и забивают диск

Ротацией занимается logrotate, rsyslog файлы сам не чистит. Принятые строки в /var/log/remote в правила logrotate из пакета не входят — для них нужен свой файл в /etc/logrotate.d/.

Строки дублируются

Одна и та же строка подходит под несколько правил и пишется в несколько файлов. Пересмотри селекторы: none исключает источник, а отдельный ruleset держит принятые строки отдельно от своих.

journald или rsyslog — где смотреть

Поиск по службе, полю, времени — journalctl (-u, --since, -o json). Текстовые файлы, привычный grep и пересылка на сборщик — rsyslog.

Приём 514 открыт всем

Любой, кто достучался до порта, пишет в логи сборщика что угодно: поддельные строки от чужого имени или поток, который забьёт диск. Открывай 514 в файрволе только для адресов своих машин.