Оповещения (алертер)

Алертер — встроенная служба оповещений. Она следит за состоянием потоков, оборудования узла, приёма DVB и записи DVR и поднимает алерты (инциденты), когда что-то выходит за заданные пределы. Список активных алертов виден в админке, а в сети с включённым разносом по домену каждый узел показывает сводный набор алертов всего домена.

Алертер работает и на одиночном узле — Meshwork нужен только для разноса алертов по домену.

Как устроен алерт

  • У каждого инцидента есть устойчивый идентификатор: повторное появление той же проблемы — это тот же инцидент, а не новый.

  • Инцидент проходит состояния: поднят (впервые замечен), обновлён (замечен снова с существенным изменением), снят (проблема ушла). Активный набор — это инциденты, которые ещё не сняты.

  • У каждого алерта есть уровень серьёзности (по нарастающей: информация, предупреждение, ошибка, критический, требует действий администратора), код (числовой вид инцидента — см. каталог ниже), источник (поток, узел, хранилище), узел-источник (кто поднял алерт) и человекочитаемое имя объекта.

  • Уровень серьёзности за инцидентом не закреплён навсегда. Пока инцидент открыт, служба переоценивает его вместе с остальными проверками (примерно раз в 5 секунд) и при изменении переводит инцидент в состояние «обновлён» — с тем же идентификатором, поэтому вторая строка в списке не появляется, а список пересортировывается. Внешним адресатам такое изменение не отправляется: переоценка не должна превращаться в письмо или сообщение в чат.

  • Большинство алертов уровневые: служба периодически переоценивает условие и сама поднимает или снимает алерт. Часть алертов, требующих действий администратора, липкие: кратковременное восстановление их не снимает. Одни снимаются сами, только когда причина действительно устранена, другие остаются до ручного снятия (см. Просмотр и снятие алертов).

Список активных алертов хранится в памяти и очищается при перезапуске службы.

Управление на уровне потока. У каждого потока есть выключатель, полностью заглушающий его алерты (вместе с алертами его входов и выходов), и задержка алерта: источник, восстановившийся в течение заданного времени, алерт не поднимает — это сглаживает кратковременные мерцания. Той же задержкой гасится и короткий отказ основного входа: если поток успел уйти на резерв раньше, чем она истекла, алерта об ошибке входа не будет вовсе. О переключении сообщит оповещение о работе на резерве (код 27), отложенное той же задержкой. Порог отсутствия данных у потока считается отдельно и задержкой не сдерживается, поэтому сработать он может и раньше.

Настройки алертера

Настройки находятся в разделе оповещений и требуют роли администратора. Точные поля описаны в разделе Веб-интерфейс; ниже — что можно настроить.

  • Главный выключатель службы оповещений (по умолчанию включена). Выключенный алертер молчит целиком. Узел не поднимает собственных алертов и ничего не отправляет во внешние назначения — ни своих алертов, ни разнесённых по домену с соседних узлов.

  • Разнос по домену (по умолчанию включён): узел делится своими алертами с узлами того же домена и принимает их; на каждом узле виден сводный набор. Действует только при заданном домене. Super-node в дополнительном домене принимает алерты только от соседей из своего списка и не поднимает алерт кода 26 о других узлах этого домена — их состояние видно на карте сети.

  • Разнос системных алертов (по умолчанию выключен): алерты об оборудовании узла (CPU и память хоста, процесса стримера и транскодеров, загрузка сети и GPU, заполнение видеопамяти GPU, рабочие потоки и фронтенд DVB — коды 16–23, 40–45 и 64) по умолчанию локальны; включите, чтобы они тоже разносились по домену. Алерты хранилищ (коды 24–25) остаются локальными всегда.

  • Пороги потоков: таймаут отсутствия данных (по умолчанию 15 с), минимально допустимый битрейт (по умолчанию проверка выключена), порог ошибок счётчика непрерывности за окно 10 с (уровни предупреждения и ошибки).

  • Резервные входы и ресинхронизация (с версии 2.0.2.420; блоки «Ресинхронизация входа (коды 58, 59, 61)» и «Резервные входы (код 65)» экрана Оповещатель): алерт о неисправном резерве (код 65) и срок, после которого непроверяемый резервный вход выходит из него; пороги кодов 58, 59 и 61 (порог 61 по умолчанию выключен) и число спокойных часов до их снятия (Каталог кодов алертов).

  • Выдержка алерта ошибок CC (код 15, с версии 2.0.2.417). Алерт поднимается или повышает уровень, только когда потери продолжаются 30 секунд; короткие паузы между потерями отсчёт не сбрасывают. Снимается он после 60 секунд без потерь. Уровень ошибки держится, пока число ошибок за окно не опустится ниже половины порога ошибки. Поэтому один потерянный пакет алерта не даёт, а источник, который теряет пакеты постоянно, даёт один устойчивый алерт вместо череды подъёмов и снятий. Время задаётся на экране Оповещатель или ключами stream-cc-raise-sec и stream-cc-clear-sec секции alerter файла настроек (Файл настроек pss.json): от 0 до 3600 секунд; 0 — сразу, как в прежних версиях. Проверка TR 101 290 (1.4 и сводный вердикт, код 49) не меняется.

  • Пороги ресурсов узла — пары «предупреждение / ошибка» в процентах для CPU и памяти хоста, процесса стримера и транскодеров, загрузки сетевого интерфейса и GPU, а также заполнения хранилища DVR. Пороги хоста заданы выше, чем у процесса стримера и транскодеров, чтобы отдельный компонент предупреждал раньше, чем насытится вся машина. Значение 0 отключает соответствующий уровень. Пороги заполнения видеопамяти GPU NVIDIA (код 64) — строка «Видеопамять GPU», по умолчанию 85 % и 95 % (ключи gpu-mem-warning-pct и gpu-mem-error-pct секции alerter файла настроек, Файл настроек pss.json).

  • Выдержка системных алертов (с версии 2.0.2.416). Алерт о ресурсах узла (коды 16–24, 40 и 64) поднимается или повышает уровень, только когда значение продержится за порогом 30 секунд. Понижается или снимается он, когда значение 60 секунд держится ниже порога. Поэтому нагрузка, которая скачет через порог от замера к замеру, не даёт алертов, появляющихся и исчезающих за секунды. Время задаётся на экране Оповещатель или ключами system-alert-raise-sec и system-alert-clear-sec секции alerter файла настроек: от 0 до 3600 секунд; 0 — сразу, как в прежних версиях.

  • Пороги DVB-фронтенда — уровень сигнала, SNR/качество, частота битовых ошибок и неисправленные блоки; применяются к адаптеру с захватом сигнала.

  • Пороги записи DVR — число неудачных записей подряд, множитель застопоривания записи, доля непокрытия архива и время чтения/записи чанков на диск.

Каталог кодов алертов

Код — числовой вид инцидента, удобный для группировки и локализации. В колонке «Разнос» указано, разносится ли алерт по домену (при включённом разносе) или остаётся локальным для узла.

Потоки: состояние и рабочий цикл (источник — поток)

Код

Событие

Разнос

1

вход или выход перешёл в состояние ошибки

по домену

2

неустранимая ошибка рабочего цикла, нужен ручной сброс (требует действий администратора)

по домену

3

запущенный поток не отдаёт данные дольше таймаута

по домену

4

битрейт потока держится ниже минимального

по домену

13

поток остановлен в ожидании действий администратора: не осталось пригодного входа (входов нет или все на паузе)

по домену

14

вход или выход самоприпарковался и не восстанавливается повтором (требует действий администратора)

по домену

27

поток работает на резервном входе — произошло переключение

по домену

39

высокая загрузка CPU рабочим потоком потока

по домену

58

скачок PCR источника за окно разрыва порвал выдачу — накопленное отброшено

по домену

59

выдача пересинхронизирована по реальному времени: подача не выдерживает заданной задержки

по домену

60

у запущенного потока не осталось подающего входа

по домену

61

скачок PCR источника за окно разрыва обошёлся без потерь

по домену

62

отдельный модуль CI, которому вход отдаёт поток, недоступен или перестал возвращать пакеты: вход передаёт поток без дескремблирования

по домену

65

пока поток идёт через один вход, другие его входы в ошибке — неисправен резерв (с версии 2.0.2.420)

по домену

С версии 2.0.2.420 алерт кода 1 всегда критический: он означает, что поток потерял источник или доставку. Отказавший выход получает его всегда — за выходом нет резерва. Отказавший вход получает его, только если поток идёт именно через него или активного входа ещё нет. Входы, которые отказали, пока поток идёт через другой вход, собственного алерта кода 1 не получают: как только поток понёс другой вход, их строки снимаются, а неисправный резерв описывает один алерт кода 65 на поток. Так неисправный резерв не красит исправный поток в критический. До версии 2.0.2.420 каждый такой вход держал свою строку кода 1 с уровнем «ошибка», и внешнее назначение получало её обновление с «критического» на «ошибку»; теперь оно получает снятие строки кода 1 и подъём кода 65. Причина, по которой поток ушёл с входа, остаётся видна в интерфейсе как история (Резервирование источников).

Алерт кода 65 (уровень «предупреждение») перечисляет неисправные входы потока по порядку резервирования с последней ошибкой каждого: не больше пяти, дальше — сколько ещё. Это и отказавший основной вход, пока поток идёт через резервный, и резервный вход, который не поднялся при попытке переключения. Алерт поднимается после задержки алертов потока и только когда поток уже стабильно идёт через один и тот же вход; изменившийся список переписывает сообщение, только продержавшись не меньше минуты (или задержки алертов потока, если она больше). Пока поток не идёт ни через один вход, алерт не меняется: аварию описывают коды 60 и 1. Алерт снимается, когда неисправных входов не осталось — вход восстановился или поставлен на паузу, поток вернулся на него, — а также при остановке, паузе или удалении потока. Резервный вход, стоящий в порядке ниже активного, во время работы потока больше не проверяется, поэтому через сутки после его последней ошибки он из списка выходит. Срок задаёт ключ stream-backup-input-max-age-min секции alerter файла настроек (в минутах, по умолчанию 1440, 0 — не выводить по сроку), на экране Оповещатель — поле «Забывать ошибку резервного входа через, мин»; выключает алерт ключ stream-backup-input-alert (по умолчанию включён), на экране — переключатель «Оповещать о сбоях резервных входов». Вход, стоящий выше активного, проверяется постоянно и остаётся в списке, пока не восстановится.

Код 60 описывает поток целиком, а не отдельную точку: он держится, пока у запущенного потока ни один вход не приносит данных, и переживает любое число переключений на резерв. Код 1, напротив, всегда привязан к конкретному входу или выходу и потому на потоке с резервированием распадается на несколько недолговечных инцидентов. Условие должно продержаться пятнадцать секунд, поэтому запуск узла и применение настроек, где входы на мгновение не отдают данных, кода 60 не поднимают. Под него не подпадают поток на паузе и поток, вставший в ожидании действий администратора: это состояние описывают коды 13 и 14.

Коды 58, 59 и 61 означают рекомендацию по настройке синхронизации входа, а не отчёт о разовом сбое: узел считает такие события в скользящем окне длиной час и поднимает инцидент, когда их становится больше порога. Разделены они по цене для получателя. Код 58 — скачок PCR источника, стоивший содержимого: буфер синхронизации отброшен, выдача порвана; в сообщении указано, сколько накопленного потока отброшено последним таким случаем. Код 61 — тот же разрыв таймлайна источника, проведённый без потерь. С версии 2.0.2.420 код 61 имеет уровень «информация» (раньше — «предупреждение»; с порогом внешних назначений по умолчанию он туда не уходит) и по умолчанию выключен: его порог задаёт отдельный ключ stream-sync-absorbed-count секции alerter (от 0 до 256, 0 — выключен), а ключ stream-sync-gap-count теперь относится только к коду 58. События считаются и при выключенном алерте, поэтому включение сразу оценивает накопленную историю. Код 59 не про источник вовсе: буфер синхронизации опустошался, то есть подача не выдерживает заданной задержки. Это лечится увеличением буфера (Синхронизация), а у входа транскодера ещё и сглаживанием битрейта на родительском потоке. Все три липкие: переподключение входа их не снимает. Инцидент снимается сам, когда меняют любую из настроек синхронизации входа или потока (изменённая настройка оценивается заново), либо когда число событий держится ниже порога два часовых окна подряд. Число окон задаёт ключ stream-sync-quiet-clear-windows секции alerter (от 1 до 24, по умолчанию 2); до версии 2.0.2.420 нужны были шесть часов без единого события, и источник с одним-двумя разрывами в час держал строку бесконечно. С версии 2.0.2.420 снимается и строка входа, с которого поток переключился на другой вход, а также строка потока, поставленного на паузу. Остановленный поток инцидент сохраняет: рекомендация остаётся в силе.

Соответствие транспортного потока (анализатор TR 101 290) (источник — поток; все разносятся по домену)

Код

Событие

5

повторяющиеся разрывы PCR (TR 101 290, 2.3)

6

интервал повторения PCR более 40 мс (2.3a)

7

интервал повторения PAT более 500 мс (1.3)

8

интервал повторения PMT более 500 мс (1.5)

9

интервал повторения PTS более 700 мс (2.5)

10

точность PCR хуже 500 нс (2.4)

11

пере- или недополнение буфера T-STD по видео (3.3)

12

дрейф PCR более 30 ppm (историческое: оповещение больше не поднимается, дрейф отображается как метрика — Постоянные измерения)

15

ошибки счётчика непрерывности выше порога за короткое окно (1.4)

46

ошибка CRC таблиц PSI (2.2)

47

установлен признак transport_error_indicator (2.1)

48

превышен интервал повторения SI-таблицы (SDT / EIT / TDT / NIT)

49

сводный вердикт: поток не соответствует TR 101 290

Часть кодов анализатора появляется только при включённых опциях анализа (глубокий анализ, анализ PTS-разрывов, анализ буфера T-STD) и применима лишь к потокам с постоянным битрейтом; сводный вердикт (49) выносится только для уверенно постоянного битрейта. Подробнее — в разделе Анализатор.

Ресурсы и оборудование узла (источник — система)

Код

Событие

16

загрузка CPU хоста выше порога

17

использование памяти хоста выше порога

18

CPU процесса стримера выше порога

19

память процесса стримера выше порога

20

суммарный CPU транскодеров выше порога

21

суммарная память транскодеров выше порога

22

загрузка сетевого интерфейса выше порога (на каждый интерфейс)

23

загрузка GPU выше порога (на каждое устройство)

24

заполнение хранилища DVR выше порога (на каждое хранилище)

25

файловая система хранилища DVR недоступна (требует действий администратора)

40

высокая загрузка CPU рабочим потоком DVB-адаптера

41

DVB-фронтенд потерял сигнал (lock)

42

уровень сигнала DVB ниже порога

43

SNR/качество сигнала DVB ниже порога

44

частота битовых ошибок (BER) DVB выше порога

45

неисправленные блоки DVB выше порога

63

DVB-фронтенд держит захват (lock), но мультиплекс не принимается: PAT не разбирается 20 секунд, три перенастройки подряд

64

заполнение видеопамяти GPU NVIDIA выше порога (на каждое устройство)

Все алерты этой группы по умолчанию локальны. Коды 16–23, 40–45 и 64 можно разнести по домену переключателем разноса системных алертов; коды 24–25 и 63 остаются локальными всегда. Пороговые алерты DVB-фронтенда (42–45) оцениваются только на адаптере с захватом сигнала; код 41 поднимается при потере захвата (lock). BER (44) по умолчанию выключен, так как сырая шкала зависит от приёмника (см. DVB-приёмник). Код 63 поднимается только у адаптера, к которому подключены потоки, и показатели сигнала при этом могут оставаться в норме. После третьей перенастройки адаптер повторяет попытку раз в пять минут; алерт снимается, как только разбирается PAT.

Код 23 следит за загрузкой GPU, а код 64 — за тем, сколько видеопамяти карты занято. Карта с заполненной видеопамятью не может запустить новый канал транскодера, хотя её загрузка при этом может выглядеть нормальной. Код 64 поднимается только для карт NVIDIA, которые сообщают заполнение памяти; для GPU Intel его нет. Если карта перестала сообщать заполнение, алерт снимается. Узел прежней версии (до 2.0.2.416) показывает разнесённый по домену алерт кода 64 без названия, пока его не обновят.

Meshwork и жизненный цикл (источник — сеть/система; локально)

Код

Событие

26

узел сети замолчал — перестал подтверждать связь

28

процесс стримера завершил запуск (кратковременное уведомление)

37

в одном домене два узла с одинаковым именем (требует действий администратора)

С версии 2.0.2.417 алерт кода 26 поднимается, только когда узел молчит дольше минуты, хотя на карте сети он помечается недоступным уже через 15 секунд. Поэтому быстрый перезапуск соседа алерта не даёт. Задержку задаёт поле «Оповещение „узел упал“ через, с» блока «Контакт Meshwork (расширенное)» настроек сервера (Настройки сервера), в файле настроек — параметр cluster-node-down-sec секции cluster (Файл настроек pss.json): по умолчанию 60 секунд, от 0 до 3600; короче 15 секунд она не бывает.

Узел, который останавливают или перезапускают намеренно (остановка или перезапуск службы, действие «Перезапустить сейчас» в админке, восстановление конфигурации, обновление лицензии), сначала сообщает об этом соседям. Соседи 5 минут не поднимают для него алерт кода 26, а в таблице узлов он значится как «Перезапуск (N с)» (Узлы); если за это время узел не вернулся, алерт поднимается как обычно. Срок задаёт поле «Отсрочка при плановой остановке, с» того же блока, в файле настроек — параметр cluster-leave-grace-sec той же секции: по умолчанию 300 секунд, от 0 до 86400. Уведомление получают соседи, к которым узел подключается сам; сосед, который только подключается к нему (например, узел за NAT), уведомления не получает, и для него действует обычная задержка. Узлы версий до 2.0.2.417 уведомление не учитывают. С версии 2.0.2.420 узел предупреждает только соседей версии 2.0.2.417 и новее (и тех, чья версия ещё неизвестна), причём всех сразу, поэтому в сети со старыми узлами остановка службы короче примерно на 3 секунды. Остановка службы из-за лицензии (истёкшей, неподлинной или отклонённой) соседей не предупреждает.

Алерт кода 26 держится всё время, пока узел числится недоступным, — до недели (Карта сети). Снимается он сам, когда узел возвращается на связь, и уходит вместе со строкой узла, если недоступный узел забыли вручную.

Здоровье записи DVR (источник — поток; локально)

Код

Событие

29

записи сегментов или индекса DVR не проходят — архив не пишется

30

запись DVR застопорилась: есть вход, но новый сегмент долго не сохраняется

31

архив DVR деградировал — пропуски в недавнем покрытии

32

индекс архива DVR повреждён и не пересоздаётся — сбой диска (требует действий администратора); отдельные повреждённые записи индекса пропускаются без этого алерта

50

высокое время чтения/записи чанков DVR на диск

Конфигурация, транскодеры, OTT, сертификаты и лицензия (источник — система/поток)

Код

Событие

Разнос

33

основная конфигурация не загрузилась при старте, служба поднялась на запасной (требует действий администратора)

по домену

34

в режиме low-latency HLS/DASH отброшены звуковые дорожки в неподдерживаемом кодеке (поддерживаются AAC и AC-3)

по домену

35

не удалось выпустить или продлить HTTPS-сертификат через встроенный клиент ACME

по домену

36

настроенный транскодер не загрузился при старте — нет исполняемого файла или устройства (требует действий администратора)

по домену

38

поток требует транскодер (программный, NVIDIA или Intel VPL), недоступный на этом узле (требует действий администратора)

локально

55

истекает срок действия лицензии узла: предупреждение за две недели до конца, после его наступления — требует действий администратора, и узел перезапускает службу; служба не запустится снова, пока на узле не окажется действующая лицензия

по домену

56

лицензия узла признана неподлинной (требует действий администратора): узел перезапускает службу, и запуск отклоняется — служба остаётся остановленной, пока на узле не окажется подлинная лицензия и её не запустят заново

по домену

57

лицензия узла подлинна, но принадлежит поколению, которое эта версия больше не принимает (требует действий администратора): срок не истёк и подделки нет — поколение 2 принимается только как временная пробная лицензия, поэтому бессрочная того поколения отклоняется сразу

по домену

Алерт кода 35 снимается сам при следующем успешном выпуске сертификата, а также при выключении автоматического выпуска. С версии 2.0.2.417 алерт о проблеме самого узла (нет HTTPS-сервера с именем хоста, занят порт проверки HTTP-01, ошибка ключа учётной записи ACME) снимается, как только очередная попытка выпуска проходит этот шаг; раньше он держался до выключения автоматического выпуска (Сертификаты HTTPS).

Дескремблирование: модуль условного доступа (CI/CAM, EN 50221) и BISS (источник — система; локально)

Код

Событие

51

модуль CAM извлечён (требует действий администратора)

52

нет подписки: модуль сообщает, что программа не оплачена

53

ошибка CI/CA — неустранимая ошибка канала или условного доступа

54

дескремблирование не удаётся: программа с заданным ключом BISS или назначенная CAM остаётся скремблированной

Отдельный модуль CI, которому вход отдаёт поток (CI/CAM на входе потока), сообщает о сбое потоковым кодом 62, а не кодами этой группы. На вход приходится один такой алерт, даже если вход задействует несколько слотов. Снимается он, когда модуль снова отвечает 30 секунд, когда модуль у входа снят или когда вход удалён. Модуль, который отвечает, но ничего не дескремблирует, этот алерт не поднимает.

Просмотр и снятие алертов

В админке есть раздел оповещений со списком алертов. Его можно фильтровать по набору (только активные / только снятые / все), по уровню серьёзности, по типу и идентификатору источника, по коду, по домену и по времени, а также искать по тексту сообщения. По умолчанию показаны и активные, и недавно снятые записи (журнал переходов), поэтому общее число строк может превышать число активных инцидентов. Для текущего активного набора выбирайте режим «только активные».

Состояние не обязательно опрашивать вручную: админка получает изменения активного набора в реальном времени и обновляет список сама, как только алерт поднимается, обновляется или снимается.

Уровневые алерты снимаются автоматически, когда условие уходит. Липкие алерты, требующие действий администратора (например, ошибка загрузки конфигурации, недоступность хранилища, жёсткая ошибка рабочего цикла), сами не снимаются: после устранения причины такой инцидент снимают (подтверждают) вручную. Снятие действует на том узле, который поднял алерт: если в сети вы видите чужой (разнесённый по домену) инцидент, снимать его нужно на узле-источнике (он указан в строке). Если источник замолчал, соседи примерно через сорок пять секунд после последнего его сообщения убирают его строки из своего сводного списка. Это не снятие инцидента, а удаление копии: у самого источника инцидент остаётся, и, когда узел снова выйдет на связь, не снятые у него строки вернутся в список. Так со сводного списка уходит и алерт об истёкшей лицензии остановившегося узла — снять его на источнике невозможно, потому что служба там не работает.

Инцидент, который раз за разом поднимается и снимается, узел перестаёт гасить сразу. После трёх завершённых циклов «подъём — снятие», разошедшихся не больше чем на десять минут, снятия удерживаются: строка остаётся в активном наборе, а одно настоящее снятие уходит только после того, как условие продержится снятым не меньше длины самой серии (по умолчанию те же десять минут). Повторный подъём отсчёт отменяет, и серия читается как один непрерывный инцидент, а не как десяток коротких. Первое или редкое восстановление гасится мгновенно, а ручное снятие, удаление потока, выключение оповещений у потока и выключение самой службы выдержку обходят. Механизм включён по умолчанию и нужен прежде всего внешней доставке: без него мигающее условие слало бы получателям пару сообщений на каждый цикл.

Разнос оповещений по домену

При включённом разносе и заданном домене на каждом узле виден сводный активный набор по всему домену: собственные алерты узла плюс алерты соседей того же домена. У каждой строки указан узел-источник, поэтому видно, на каком именно узле возникла проблема.

  • Разносятся по домену: потоковые алерты и алерты соответствия транспортного потока, переключение на резервный вход, ошибки загрузки конфигурации и транскодера, отбраковка звука OTT, ошибка сертификата ACME, истечение срока лицензии, признание её неподлинной и лицензия поколения, которое эта версия больше не принимает.

  • Остаются локальными: ресурсные алерты об оборудовании и хранилищах, «узел замолчал», коллизия имён узлов, уведомление о старте службы, алерты здоровья записи DVR, требование недоступного на узле транскодера, алерты модуля условного доступа и неудачное дескремблирование, потеря мультиплекса при захвате DVB (код 63). Системные алерты об оборудовании (коды 16–23 и 40–45) можно перевести в разнос переключателем разноса системных алертов.

Алерт «узел сети замолчал» каждый узел поднимает самостоятельно о том соседе, который перестал отвечать, поэтому об одном упавшем узле его соседи поднимут такой алерт независимо друг от друга.

Внешняя доставка алертов

Помимо списка в браузере, алерты можно доставлять во внешнюю команду, в чат Telegram и по электронной почте (SMTP). Каждый канал независим и по умолчанию выключен, а доставку ведёт на своём фоновом потоке, поэтому медленный или недоступный адресат не задерживает остальные каналы и саму службу.

У каждого канала есть минимальный уровень серьёзности для доставки (по умолчанию — предупреждение): доставляется каждый видимый на узле алерт (собственный или разнесённый по домену) не ниже этого уровня, причём и при подъёме, и при снятии. Уровень применяется к инциденту целиком: если серьёзность поднялась до уровня уже после возникновения, о возникновении сообщается в момент повышения, а о снятии сообщается всегда, когда сообщили о возникновении, — подъём и снятие приходят парой. Параметры подключения каждого канала описаны в разделе Веб-интерфейс. Как запускается внешняя команда, что она получает и как писать для неё скрипт, с готовыми заготовками на /bin/sh и Python, — в Внешние скрипты для оповещений.

Независимы каналы только друг от друга: все три подчинены главному выключателю алертера (Настройки алертера). При выключенной службе не уходит ничего — ни по своим алертам, ни по разнесённым с соседних узлов, ни по снятию инцидента, о котором уже сообщили.

Типичные проблемы

  • Алерты соседей не видны. Проверьте, что на узлах включён разнос по домену и задан общий домен. Системные алерты об оборудовании по умолчанию локальны — включите разнос системных алертов, если их тоже нужно видеть по домену.

  • Липкий алерт не уходит после устранения причины. Снимите его вручную на узле-источнике.

  • Внешние уведомления не приходят, хотя канал настроен и порог подходит. Проверьте главный выключатель алертера на том узле, от которого ждёте доставку: выключенная служба молчит и по чужим, разнесённым по домену алертам, хотя в админке они по-прежнему видны.