Micro Focus ArcSight Logger через Fluentd¶

Обзор примера¶

Вебхуки могут использоваться как один из источников логов в системе. Общее количество подобных источников зависит от сложности системы: чем больше компонентов в системе, тем больше количество источников и объем логов. Наиболее распространенная схема логирования в сложных системах состоит из компонентов:

• Сборщик логов: принимает логи от нескольких источников и выгружает логи в SIEM-систему.

• SIEM-система: используется для анализа логов и мониторинга состояния системы.

В приведенном примере уведомления о событиях отправляются через вебхуки в сборщик логов Fluentd и выгружаются в систему ArcSight Logger.

Используемые ресурсы¶

• ArcSight Logger 7.1, установленный на CentOS 7.8, с веб‑интерфейсом на URL https://192.168.1.73:443

• Fluentd, установленный на Debian 10.4 (Buster) и доступный по адресу https://192.168.1.65:9880

• Доступ администратора к Консоли управления Валарм в EU‑облаке для настройки webhook‑интеграции

Ссылки на сервисы ArcSight Logger и Fluentd приведены в документации в качестве примера и недоступны для внешнего использования.

Настройка ArcSight Logger¶

На стороне ArcSight Logger настроен получатель логов Wallarm Fluentd logs:

• Принимает логи по протоколу UDP (Type = UDP Receiver)

• Слушает порт 514

• Применяет к логам парсер syslog

• Использует остальные настройки по умолчанию

Для получения более подробной информации о настройке получателя логов, скачайте Logger Installation Guide подходящей версии из официальной документации на ArcSight Logger.

Настройка Fluentd¶

Настройка Fluentd описана в конфигурационном файле td-agent.conf:

• Обработка входящих вебхуков настроена в директиве source:

  • Трафик поступает на порт 9880
  • Fluentd обрабатывает только HTTPS‑соединения
  • TLS-сертификат для Fluentd расположен в файле /etc/ssl/certs/fluentd.crt
  • Приватный ключ сертификата расположен в файле /etc/ssl/private/fluentd.key

• Отправка логов в ArcSight Logger и вывод логов настроены в директиве match:

  • Логи всех событий копируются из Fluentd и отправляются в ArcSight Logger по IP‑адресу https://192.168.1.73:514
  • Логи из Fluentd в ArcSight Logger отправляются в формате JSON по стандарту Syslog
  • Соединение с ArcSight Logger выполняется по протоколу UDP
  • Логи Fluentd дополнительно выводятся в командную строку в формате JSON (19-22 строки кода). Настройка используется для проверки, что события записываются в логи Fluentd

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

<source>
  @type http # input‑плагин для HTTP и HTTPS‑трафика
  port 9880 # порт для входящих запросов
  <transport tls> # настройки для обработки подключений к Fluentd
    cert_path /etc/ssl/certs/fluentd.crt
    private_key_path /etc/ssl/private/fluentd.key
  </transport>
</source>
<match **>
  @type copy
  <store>
      @type remote_syslog # output‑плагин для отправки логов из Fluentd по стандарту Syslog
      host 192.168.1.73 # IP‑адрес, на который отправляются логи
      port 514 # порт, на который отправляются логи
      protocol udp # протокол соединения
    <format>
      @type json # формат отправки логов
    </format>
  </store>
  <store>
     @type stdout # output‑плагин для вывода логов Fluentd в командную строку
     output_type json # формат вывода логов Fluentd в командную строку
  </store>
</match>

Более подробное описание конфигурационного файла доступно в официальной документации Fluentd.

Тестирование настроек Fluentd

Чтобы протестировать запись логов в Fluentd и выгрузку данных в ArcSight Logger, можно отправить POST‑запрос в Fluentd.

Пример запроса:

curl -X POST 'https://192.168.1.65:9880' -H "Content-Type: application/json" -d '{"key1":"value1", "key2":"value2"}'

Логи Fluentd:

Событие в ArcSight Logger:

Настройка webhook‑интеграции¶

• Вебхуки отправляются на https://192.168.1.65:9880

• Для отправки вебхуков используются запросы типа POST

• В запросе передается дополнительный параметр аутентификации X-Auth-Token

• Вебхуки отправляют на Webhook URL все доступные события: хиты, системные события, уязвимости, изменения сетевого периметра

Тестирование примера¶

Для тестирования настроек в Консоли управления Валарм добавляется новый пользователь:

В логах Fluentd появится запись:

В событиях ArcSight Logger появится запись: