От ноутбука до облака: комплексный проект по обработке и анализу данных с помощью AWS SageMaker

Готовы перенести свои проекты по анализу данных с локального компьютера в облако? Это подробное руководство поможет вам создать и развернуть полноценный сквозной конвейер машинного обучения с помощью AWS SageMaker.

В этом видео вы узнаете, как:
Понять основы облачных вычислений для анализа данных.
Настроить и использовать среду AWS SageMaker Studio.
Клонировать репозиторий GitHub непосредственно в ваш экземпляр SageMaker.
Провести первоначальное исследование и предварительную обработку данных в облачном блокноте Jupyter.
Эффективно отслеживать и сравнивать результаты экспериментов по машинному обучению с помощью MLflow.
Обучить модель scikit-learn с помощью задания обучения SageMaker.
Развернуть обученную модель как масштабируемую конечную точку API для прогнозирования в режиме реального времени.
Тестировать развернутую модель с использованием примеров входных данных и управлять конечной точкой.

К концу этого руководства вы приобретете навыки, необходимые для переноса ваших проектов по анализу данных из локальной среды в готовое к использованию облачное решение.

Временная метка:
00:00 — Введение
01:54 — Преимущества Amazon SageMaker для машинного обучения/GenAI
03:41 — Обзор консоли AWS: регионы и сервисы
04:45 — Создание домена и профиля пользователя SageMaker
06:03 — Запуск SageMaker Studio (JupyterLab)
09:45 — Запуск/остановка серверов для контроля затрат
15:03 — Структура репозитория и план проекта
17:02 — Подготовка данных: EDA, кодирование, артефакты (joblib)
21:34 — Базовые уровни обучения (RF/LR/XGBoost) и метрики
23:23 — Зачем нужно отслеживание экспериментов? Знакомство с MLflow
24:59 — Контейнеры S3 + политики IAM для MLflow
28:02 — Автоматическое протоколирование многомодельных запусков в MLflow
31:59 — Загрузка необработанных/обработанных данных в S3
33:43 — Настройка SageMaker Estimator и задания обучения
37:04 — Мониторинг журналов, артефактов и выходных данных
40:05 — Развертывание конечной точки в реальном времени (model.deploy) и тестирование
42:46 — Советы по автоматическому масштабированию и обеспечению готовности к работе
44:04 — Обзор, дальнейшие действия и заключение