Обзор 40 аспектов экосистемы Cloud Dataproc и Spark для профессиональных инженеров по машинному о...

Обзор Google Cloud Professional Machine Learning Engineer, часть 40: Cloud Dataproc (экосистема, Spark и Hadoop, когда выбирать), временные кластеры — 16 декабря
ПОСМОТРЕТЬ ЗАПИСЬ: https://fathom.video/share/EL9SY1Xjmw...
Цель встречи

Обзор Cloud Dataproc для подготовки к экзамену GCP ML Associate.

Основные выводы

Управляемый Spark/Hadoop: Dataproc — это полностью управляемый сервис для Apache Spark и Hadoop, устраняющий накладные расходы на инфраструктуру для распределенной обработки данных.

Временные кластеры: его основная ценность — это кластеры по запросу, которые автоматически удаляются после выполнения заданий, что приводит к соответствию затрат фактическому использованию. Это снижает стоимость круглосуточного кластера с ~6000 долларов в месяц до ~500 долларов в месяц за 2-часовое ежедневное задание.

Интеграция с GCP: Подключается к Cloud Storage и BigQuery и поддерживает Spark MLlib для распределенного машинного обучения, который может быть интегрирован в конвейеры Vertex AI.

Структура принятия решений: Используйте Dataproc для существующего кода Spark/Hadoop или распределенной MLlib. Для новых конвейеров предпочтительнее использовать Dataflow (бессерверная архитектура) или BigQuery (SQL).

Темы

Cloud Dataproc: Управляемый Spark и Hadoop

Полностью управляемый сервис для Apache Spark и Hadoop, обеспечивающий распределенные вычисления без управления инфраструктурой.

Ценностное предложение: Соединяет локальные рабочие процессы обработки больших данных с облачными конвейерами машинного обучения.

Фокус на экзамене GCP ML Associate:

Когда следует выбирать Dataproc вместо Dataflow или BigQuery.

Оптимизация затрат с помощью временных кластеров и прерываемых рабочих процессов.

Интеграция рабочих процессов Spark ML с Vertex AI.

Временные кластеры: оптимизация затрат

Проблема: Традиционные локальные кластеры работают круглосуточно, что влечет за собой высокие затраты на простаивающее оборудование.

Решение: Временные кластеры существуют только в течение времени выполнения задания (например, от 10 минут до 10 часов).

Рабочий процесс: Создание → Отправка → Мониторинг → Удаление.

Влияние на стоимость: Согласование затрат с фактическим использованием.

Пример: Кластер из 10 узлов, работающий круглосуточно, стоит около 6000 долларов в месяц.

Тот же кластер, работающий 2 часа в день для проектирования признаков, стоит около 500 долларов в месяц.

Экосистема Dataproc: Spark и Hadoop

Apache Spark: Предоставляет полный стек Spark без ручной настройки.

Компоненты: Spark SQL, Spark MLlib (для распределенных алгоритмов, таких как случайные леса), PySpark, Spark Streaming.

Hadoop: Включает традиционные компоненты для миграции существующих рабочих нагрузок с минимальными изменениями кода.

Компоненты: HDFS (распределенное хранилище), Hive (SQL-подобные запросы), Pig (скриптинг потоков данных), HBase (NoSQL).

Когда выбрать Dataproc

Варианты использования:

Существующие кодовые базы Spark или Hadoop.

Наборы данных объемом более 100 ГБ, требующие распределенной обработки.

Использование распределенных алгоритмов Spark MLlib.

Интеграция с более широкой экосистемой Hadoop.

Альтернативы:

Dataflow: Для новых конвейеров без зависимостей от Spark (бессерверная модель).

BigQuery: Для преобразований на основе SQL (превосходная производительность/простота).

Дальнейшие шаги

Джулс: Добавьте в закладки предоставленный URL-адрес для получения подробной информации об установке Dataproc.

Целевая аудитория: Ставьте лайки, подписывайтесь и делитесь информацией для подготовки к экзамену GCP ML Associate.