Дата с Димой | Новости из мира BigTech | Эпизод 3

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.

🎯 Ключевые темы выпуска:

🔹 📦 Snowflake + Iceberg — новые форматы хранения и поддержка Iceberg в Snowflake
🔹 ⚙️ SQLMesh и нишевые тулзы — быстро, гибко, но пока сложно масштабировать
🔹 💾 Big Data ≠ Big Volume — 94% нагрузок укладываются в 10 ТБ, SSD — наше всё
🔹 🏗 DataBricks vs Snowflake — архитектура, ML, рост команд, кто кого
🔹 🧠 Семантический слой — YAML, NLP и осмысленные данные
🔹 🌍 Data Sharing и обмен метриками — как Facebook и Netflix делятся данными
🔹 🕵️‍♂️ Агенты и веб-скрейпинг — как автоматизировать сбор и обработку рыночных данных
🔹 🧑‍⚖️ Маск, Tesla и корпоративная монархия — теория заговора или новое будущее?
🔹 📉 Трамп и экономика — тарифы, эмиграция и как это влияет на рынок недвижимости
🔹 🔓 Open Source рулит — почему большие компании обожают открытые решения


🎥 Хронометраж:

00:00 Введение
00:50 Новые инструменты от вендоров (Iceberg, Lake House)
01:47 Современные аналитические хранилища данных
03:17 Поддержка формата Iceberg в Snowflake
04:32 Особенности SQL Mesh и его применение
06:59 Реальные объемы Big Data и использование SSD
09:29 Использование Street-таблиц в Snowflake
10:57 Преимущества Delta-формата и Liquid Clustering
13:06 Рейтинг популярности платформ Snowflake и DataBricks
14:04 Сравнение компаний DataBricks и Snowflake
16:18 Развитие агентов в экосистеме DataBricks
18:01 Важность семантического слоя и метрик для AI агентов
20:29 Архитектура Lakehouse в DataBricks
23:27 Инструменты оптимизации в DataBricks (Spark, Photon)
26:36 Обзор инструментов для стриминга данных
27:33 Сравнение подходов ML в Snowflake и DataBricks
29:16 Возможности Data Sharing в DataBricks
30:41 Сравнение дашбордов в DataBricks и Snowflake
32:10 Роль агентов в онлайн-торговле и инвестициях
34:06 Веб-скрепинг и использование агентов
36:09 Влияние экономической политики Трампа
37:38 Обмен данными между Netflix и Facebook
38:35 Анализ и визуализация трафика
40:18 Проблемы и конфликты вокруг Tesla
42:11 Мнение Сергея Брина о 60-часовой рабочей неделе
43:59 Технофашизм и корпоративная монархия
44:59 Влияние Open Source на индустрию
48:38 Использование стиля Ghibli и вопросы авторского права
50:36 Компании Илона Маска и их финансовое положение
51:23 Cloudflare, ИИ и вопросы кибербезопасности
52:16 Проблемы с поиском работы и увольнениями
54:38 Три-модальный подход к трудоустройству
56:35 Как правильно оценивать качество работы
58:01 Проблемы программ Imbibition и карьерных гарантий
58:59 Недостатки переквалификации и актуальность навыков
01:01:34 Реальные проблемы с трудоустройством в IT
01:02:33 Стартапы и сложности привлечения инвестиций
01:04:23 Востребованность облачных технологий и курсы
01:06:20 Значение soft skills в IT-командах
01:08:53 Современные инновации Apple
01:10:35 Как совмещать работу и отдых
01:11:35 Эффективность работы после 30 лет
01:11:54 Инструмент DROU для моделирования баз данных

⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢

💡 Источники:

https://aws.amazon.com/blogs/storage/...
https://duckdb.org/2025/03/14/preview...
https://duckdb.org/2025/03/12/duckdb-ui
https://delta.io/blog/liquid-clustering/
https://www.databricks.com/blog/genie...
https://docs.databricks.com/aws/en/la...
https://www.databricks.com/product/bu...
https://github.com/mendableai/firecrawl
https://www.financialsamurai.com/
https://www.newyorker.com/culture/inf...
https://www.anthropic.com/news/model-...
https://github.com/ahujasid/blender-mcp
https://blog.cloudflare.com/ai-labyri...
https://www.instagram.com/pubity/p/DG...
https://dagster.io/blog/python-packag...
https://yandex.cloud/ru/training/compute
  / roy-lee-goat_i-just-got-kicked-out-of-colu...  
https://github.com/astronomer/airflow...
https://www.bloomberg.com/news/articl...
https://github.com/drawdb

Ссылки:
🛠️ Телеграм Канал: https://t.me/rockyourdata
🛠️ Сайт: dataengineer.ru
🛠️ Валютная удаленка: surfalytics.com