Micro Focus ArcSight Logger через Fluentd¶
Обзор примера¶
Вебхуки могут использоваться как один из источников логов в системе. Общее количество подобных источников зависит от сложности системы: чем больше компонентов в системе, тем больше количество источников и объем логов. Наиболее распространенная схема логирования в сложных системах состоит из компонентов:
-
Сборщик логов: принимает логи от нескольких источников и выгружает логи в SIEM-систему.
-
SIEM-система: используется для анализа логов и мониторинга состояния системы.
В приведенном примере уведомления о событиях отправляются через вебхуки в сборщик логов Fluentd и выгружаются в систему ArcSight Logger.
Интеграция с Enterprise‑версией SIEM‑системы ArcSight ESM
Чтобы настроить отправку логов в Enterprise‑версию SIEM‑системы ArcSight ESM через Fluentd, рекомендуется настроить Syslog Connector для обработки логов по стандарту Syslog на стороне ArcSight и отправлять логи из Fluentd на порт настроенного коннектора. Для получения более подробной информации о коннекторах, скачайте SmartConnector User Guide из официальной документации на коннекторы ArcSight.
Используемые ресурсы¶
-
ArcSight Logger 7.1, установленный на CentOS 7.8, с веб‑интерфейсом на URL
https://192.168.1.73:443
-
Fluentd, установленный на Debian 10.4 (Buster) и доступный по адресу
https://192.168.1.65:9880
-
Доступ администратора к Консоли управления Валарм в EU‑облаке для настройки webhook‑интеграции
Настройка ArcSight Logger¶
На стороне ArcSight Logger настроен получатель логов Wallarm Fluentd logs
:
-
Принимает логи по протоколу UDP (
Type = UDP Receiver
) -
Слушает порт
514
-
Применяет к логам парсер syslog
-
Использует остальные настройки по умолчанию
Для получения более подробной информации о настройке получателя логов, скачайте Logger Installation Guide подходящей версии из официальной документации на ArcSight Logger.
Настройка Fluentd¶
Настройка Fluentd описана в конфигурационном файле td-agent.conf
:
-
Обработка входящих вебхуков настроена в директиве
source
:- Весь HTTP и HTTPS‑трафик поступает на порт Fluentd 9880
- TLS‑сертификат для HTTPS‑подключения расположен в файле
/etc/pki/ca.pem
-
Отправка логов в ArcSight Logger и вывод логов настроены в директиве
match
:- Логи всех событий копируются из Fluentd и отправляются в ArcSight Logger по IP‑адресу
https://192.168.1.73:514
- Логи из Fluentd в ArcSight Logger отправляются в формате JSON по стандарту Syslog
- Соединение с ArcSight Logger выполняется по протоколу UDP
- Логи Fluentd дополнительно выводятся в командную строку в формате JSON (19-22 строки кода). Настройка используется для проверки, что события записываются в логи Fluentd
- Логи всех событий копируются из Fluentd и отправляются в ArcSight Logger по IP‑адресу
<source>
@type http # input‑плагин для HTTP и HTTPS‑трафика
port 9880 # порт для входящих запросов
<transport tls> # сертификаты для HTTPS‑подключения
ca_path /etc/pki/ca.pem
</transport>
</source>
<match **>
@type copy
<store>
@type remote_syslog # output‑плагин для отправки логов из Fluentd по стандарту Syslog
host 192.168.1.73 # IP‑адрес, на который отправляются логи
port 514 # порт, на который отправляются логи
protocol udp # протокол соединения
<format>
@type json # формат отправки логов
</format>
</store>
<store>
@type stdout # output‑плагин для вывода логов Fluentd в командную строку
output_type json # формат вывода логов Fluentd в командную строку
</store>
</match>
Более подробное описание конфигурационного файла доступно в официальной документации Fluentd.
Тестирование настроек Fluentd
Чтобы протестировать запись логов в Fluentd и выгрузку данных в ArcSight Logger, можно отправить POST‑запрос в Fluentd.
Пример запроса:
curl -X POST 'https://192.168.1.65:9880' -H "Content-Type: application/json" -d '{"key1":"value1", "key2":"value2"}'
Логи Fluentd:
Событие в ArcSight Logger:
Настройка webhook‑интеграции¶
-
Вебхуки отправляются на
https://192.168.1.65:9880
-
Для отправки вебхуков используются запросы типа POST
-
В запросе передается дополнительный параметр аутентификации
X-Auth-Token
-
Вебхуки отправляют на Webhook URL все доступные события: хиты, системные события, уязвимости, изменения сетевого периметра
Тестирование примера¶
Для тестирования настроек в Консоли управления Валарм добавляется новый пользователь:
В логах Fluentd появится запись:
В событиях ArcSight Logger появится запись: