Дата с Димой | Новости из мира BigTech | Эпизод 4

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции.

🎯 Ключевые темы выпуска:

🔹 📊 DBT, аналитическая инженерия и тренды в индустрии данных
🔹 ⚡️ Качество данных, рост зарплат и новые возможности за пределами IT
🔹 🤖 Роль AI в аналитике — автоматизация, курсоры и исправление ошибок
🔹 ❄️ Iceberg vs Snowflake — форматы хранения и скрытые издержки DataBricks
🔹 🔥 Альтернативы Pandas — Fire DXS, Polars и новые подходы к обработке данных
🔹 🚀 Гибридные СУБД, DAGDB и сверхпроизводительность на AWSS3
🔹 🧵 Pipe Syntax и упрощение работы с SQL
🔹 🛡 Безопасность в AI и уязвимости в Apache Spark
🔹 🏦 Инвестиции в OpenAI и влияние религии на Кремниевую долину
🔹 🎯 Навыки 2030 года — AI, Big Data и новые подходы к найму
🔹 🧠 Сверхинтеллект в 2027 году — риск или шанс
🔹 📚 Будущее образования — навыки важнее дипломов
🔹 🧩 Data-инженерия, AI Tutors и прокачка навыков через код
🔹 🏢 AI в бизнесе — примеры Shopify и развитие внутренних AI-отделов
🔹 🏗 Проблемы с дата-центрами и оптимизация инфраструктуры
🔹 🇷🇺 Арена Day, российские вендоры и будущее отечественного софта
🔹 📈 Возвращение западных компаний в Россию и адаптация решений
🔹 📖 Литературные рекомендации по технологиям и AI
🔹 ☁️ Проблемы Яндекс Облака и работа с отказами в облачных сервисах
🔹 ⚙️ AI-агенты, Kubernetes и локальные аналитические платформы
🔹 🧩 Облачные BI-инструменты и тренды в AI-образовании
🔹 💻 Использование AI в разработке и обучение Spark через Яндекс
🔹 🛠 Трансформация Алисы в умного ассистента от Яндекса
🔹 ✍️ Vibe Codding — новые подходы к написанию кода


🎥 Хронометраж:

00:01 Введение в новости аналитики, AI и карьерных трендов.
00:39 Обзор DBT Cloud и развития аналитической инженерии.
02:32 Качество данных, расширение профессии и зарплаты.
04:21 Роль AI в аналитике и примеры автоматизации.
05:18 Iceberg, Snowflake и скрытые затраты на облачные решения.
08:10 Альтернативы Pandas: Fire DXS, Arrow, Polars.
09:05 Проблемы DataBricks и новые подходы в аналитике.
12:50 Гибридная обработка данных и производительность AWSS3.
14:42 Облегчение работы с SQL с помощью pipe syntax.
16:34 Использование AI и обнаружение уязвимостей в Spark.
19:16 Инвестиции в AI и развитие рынка OpenAI.
22:05 Тренды поиска работы и рост зарплат инженеров.
26:45 Изменения в подходах к найму и собеседованиям.
27:42 Опасности и потенциал сверхинтеллекта в будущем.
28:39 Трансформация образования и самообучение.
30:34 Реалии трудоустройства после окончания обучения.
33:40 AI Tutor и важные навыки для дата-инженеров.
35:37 Как компании интегрируют AI в бизнес-процессы.
37:27 Проблемы использования дата-центров в Китае.
39:19 Арена Day и развитие российских IT-вендоров.
40:14 Возвращение западных компаний на рынок и вызовы для локальных решений.
41:10 Рекомендации книг о технологиях и будущем.
42:05 Проблемы Яндекс Облака и управление кризисами.
43:59 Развитие AI-агентов и Kubernetes в России.
44:52 Облачный BI и использование AI в образовании.
46:43 AI в разработке и обучение Apache Spark.
48:37 Трансформация Алисы в полноценного ассистента.
50:31 Инструменты Vibe Coding и создание BI Cube.

⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢

💡 Источники:

https://www.getdbt.com/resources/repo...
https://iceberg.apache.org/spec/#nest...
https://squadrondata.com/Databricks-S...
https://research.google/pubs/sql-has-...
https://www.anthropic.com/customers/b...
https://www.bleepingcomputer.com/news...
https://blog.cloudflare.com/r2-data-c...
https://reports.weforum.org/docs/WEF_...
https://newsletter.pragmaticengineer....
https://ai-2027.com/
https://trackingai.org/IQ
https://www.reddit.com/r/ApplyingToCo...
   • everyone is putting AI in schools......  
https://academy.openai.com/public/con...
https://x.com/tobi/status/19092519462...
https://www.technologyreview.com/2025...
https://yandex.cloud/ru/special/ai-ub...
https://langfuse.com/blog/2025-03-19-...
https://yandex.cloud/ru/training/data...
https://habr.com/ru/companies/h3llo_c...
   • Postgres против MySQL: что решает выбор ба...  


Ссылки:
🛠️ Телеграм Канал: https://t.me/rockyourdata
🛠️ Сайт: dataengineer.ru
🛠️ Валютная удаленка: surfalytics.com