Пошаговое руководство по экзамену AWS Machine Learning Associate: вопросы и ответы 110 (с 141 по ...

Пошаговое руководство по экзамену AWS Machine Learning Associate: вопросы и ответы 141–160 — 15 октября
СМОТРЕТЬ ЗАПИСЬ: https://fathom.video/share/E5DxFPMbtD...
Цель встречи

Обзор вопросов 141–160 экзамена AWS Machine Learning Associate с подробными объяснениями и анализом.

Ключевые выводы

Рассмотрено 20 сложных вопросов по машинному обучению

Темы

Обработка данных (Q141)

AWS Batch признан лучшим сервисом для задач геномики:
Альтернативы (Glue, SageMaker Processing, EMR) признаны неподходящими из-за специализации или избыточности

Обучение SageMaker (Q142)

Рекомендуется режим конвейера для обучающего набора данных размером 1 ТБ:
Передача данных напрямую из S3, что исключает время ожидания загрузки
Снижение затрат на хранение за счет отказа от томов EBS
Оптимизировано для больших наборов данных и шаблонов последовательного доступа

Хранилище моделей SageMaker (Q143)

Модели хранятся в виде сжатых tar-архивов .tar.gz в S3

Передача обучения для ограниченного количества данных (Q144)

Рекомендуется для классификации изображений всего с 200 изображениями на класс
Использование предварительно обученных признаков из ImageNet
Процесс: загрузка предварительно обученных ResNet50, заморозить свёрточные слои, заменить финальный классификационный слой, обучить новый слой

Недообучение (Q145)

Решения: Уменьшить регуляризацию, добавить больше признаков
Характеристики недообучения: Высокая ошибка обучения, высокая ошибка валидации, малый разрыв между кривыми
Дополнительные стратегии: Увеличить сложность модели, увеличить время обучения, использовать более мощные алгоритмы

Высокая дисперсия (Q146)

Рекомендуется ранняя остановка для предотвращения переобучения:
Мониторинг эффективности валидации во время обучения
Останавливается, когда потери валидации увеличиваются в течение n эпох
Автоматическое восстановление наилучших весов модели

Обучение с подкреплением (Q147)

Неверные положительные вознаграждения определены как причина отклонения агента от цели
Крайне важна правильная структура вознаграждения: движение к цели должно поощрять, а отклонение — наказывать

Качество данных (Q148)

Рекомендуется использовать склеивание данных для автоматизированных проверок:
Обнаруживает изменения схемы, пропущенные значения и аномалии

Развёртывание модели на GPU (Q149)

SageMaker для вывода данных в реальном времени с автоматическим масштабированием (минимум 1 экземпляр) оптимально подходит для непредсказуемого трафика:
Поддерживает экземпляры GPU, обрабатывает пиковые нагрузки
Минимум один экземпляр предотвращает холодный запуск

Аудит моделей (Q150)

SageMaker Lineage Tracking обеспечивает полный журнал аудита:
Отслеживает данные, обучение, модель и развертывание

Анализ длинных текстов (Q151)

Иерархическое внимание рекомендуется для проверок объёмом более 1000 слов:
Обрабатывает документы в предложения, а затем агрегирует

Настройка команды SageMaker Studio (Q152)

Оптимальный вариант — один домен с отдельными профилями пользователей:
Позволяет совместно использовать VPC, S3 и общие ресурсы
Обеспечивает индивидуальную изоляцию (хранилище, роли, среды)
Экономичность благодаря встроенному контролю доступа

Развертывание модели в нескольких регионах (Q153)

Межрегиональная репликация S3 с Рекомендуется использовать конечные точки и Route 53:

Обеспечивает доступность артефактов модели во всех регионах

Обеспечивает действительно низкую задержку и региональную избыточность
Обеспечивает возможность аварийного восстановления

Важность функций в Autopilot (Q154)

Объясняемость модели Autopilot автоматически генерирует отчёты:
Включает рейтинги важности функций с использованием значений SHAP
Доступно в результатах заданий Autopilot без дополнительной настройки

Автоматизированный рабочий процесс переобучения модели (Q155)

Рекомендуется использовать конвейеры SageMaker с EventBridge:
Запускается при появлении новых данных по событиям S3
Встроенные условные шаги для развертывания с учётом точности
Интеграция с SageMaker для обучения, оценки и развертывания

Система рекомендаций для электронной коммерции (Q156)

Amazon Personalize идеально подходит для пользователей с минимальным опытом в области машинного обучения:
Специально разработано для рекомендаций
Автоматически обрабатывает данные о взаимодействии пользователя с товарами
Предоставляет несколько рецептов рекомендаций
Масштабируется до миллионов пользователей/товаров

Обработка отсутствующих данных (Q157)

Полное случайное отсутствие данных (MCAR) наиболее безопасно для простого удаления:
Пропуски не зависят от каких-либо переменных
Удаление не вносит смещения
Только уменьшает размер выборки, не искажая результаты

Высокопроизводительный вывод компьютерного зрения (Q158)

Вывод в режиме реального времени с несколькими экземплярами соответствует требованиям:
Задержка менее секунды при пропускной способности 1000 изображений в секунду
Полезная на...