SIEM против Data Lake: почему мы отказались от традиционного ведения журналов?

В этом выпуске Клифф Кросланд, генеральный директор и соучредитель Scanner.dev, откровенно рассказывает о своей попытке (и поначалу безуспешной) создать собственное озеро данных безопасности, которое заменит дорогостоящую традиционную SIEM.

Клифф объясняет, наступил экономический кризис, когда масштабирование SIEM стало «дороже, чем весь бюджет команды разработчиков». Он подробно описывает технические сложности переноса терабайт журналов в S3 и болезненное осознание того, что запросы к ним с помощью Amazon Athena были медленными и дорогостоящими для задач безопасности.

В этом выпуске мы подробно рассмотрим эволюцию архитектуры журналирования: от устаревших инструментов на основе SQL до современных «грязных» озер данных, включающих полнотекстовый поиск по неструктурированным данным. Мы обсуждаем «подъем в области проектирования данных», необходимый для создания собственного, перспективы (и ограничения) Amazon Security Lake и то, как агенты ИИ начинают автоматизировать обнаружение и управление схемами.

Задаваемые вопросы:
00:00 Введение
02:25 Кто такой Клифф Кросфорд?
03:00 Почему команды переходят с SIEM-систем на озера данных
06:00 «Чёрная дыра» журналов S3: первое неудачное озеро данных Клиффа
07:30 Инженерный лифт: нужен ли инженер по данным для создания озера данных?
11:00 Почему Amazon Athena не справилась с расследованиями безопасности
14:20 Опасность удаления журналов для экономии средств
17:00 Заблуждения о создании собственного озера данных
19:00 Эволюция журналирования: от SQL до полнотекстового поиска
21:30 Amazon Security Lake — это решение? (OCSF и пользовательские журналы)
24:40 Кошмар нормализации журналов и пользовательских схем
28:00 Почему будущие инструменты должны использовать «грязные» журналы
29:55 Как ИИ-агенты автоматизируют разработку обнаружения
35:45 Использование ИИ для масштабного мониторинга изменений схем
39:45 Разработка или покупка: нужны ли вашей команде безопасности специалисты по обработке данных?
43:15 Забавные вопросы: Физическое моделирование и тыквенный пирог

--------------------------------------------------------------------------------
📱Подкаст о безопасности в облачных сервисах в социальных сетях📱
_____________________________________
🛜 Сайт: https://cloudsecuritypodcast.tv/
🧑🏾‍💻 Лагерь по безопасности в облачных сервисах - https://www.cloudsecuritybootcamp.com/
✉️ Новостная рассылка по безопасности в облачных сервисах - https://www.cloudsecuritynewsletter.com/
Twitter:   / cloudsecpod  
LinkedIn:   / cloud-security-podcast  

#cloudsecurity