Пошаговое руководство для инженеров машинного обучения Google Cloud Professional 34. Шифрование п...

Пошаговое руководство для инженеров машинного обучения Google Cloud Professional: шифрование по умолчанию, CMEK, CSEK, облачное хранилище и жизненный цикл машинного обучения — 1 декабря
СМОТРЕТЬ ЗАПИСЬ: https://fathom.video/share/-xwiuDJpnn...
Цель встречи

Обзор вариантов шифрования облачного хранилища для экзамена GCP ML Associate.

Основные выводы

– Шифрование по умолчанию (AES-256): автоматическое, прозрачное и достаточное для большинства рабочих нагрузок машинного обучения.
– CMEK (управляется клиентом): для соответствия требованиям (например, HIPAA) используйте Cloud KMS для управления жизненным циклом ключей (ротация, отзыв), в то время как Google занимается шифрованием.
– CSEK (предоставляется клиентом): для максимального контроля предоставляйте свой собственный ключ при каждом чтении/записи; Google никогда его не хранит, но в случае потери ключа вы рискуете безвозвратной потерей данных. - Сквозное хранилище машинного обучения: Облачное хранилище играет центральную роль в жизненном цикле машинного обучения (сбор данных, предварительная обработка, обучение, развертывание, мониторинг, переобучение), требуя тщательного управления политиками жизненного цикла, IAM и шифрованием.

Темы

Шифрование по умолчанию

Функция: Автоматическое прозрачное шифрование в состоянии покоя для всех данных облачного хранилища.
Метод: Шифрование AES-256.
Управление: Google управляет ключами самостоятельно; это не влияет на конфигурацию или производительность.
Безопасность: Передаваемые данные защищены протоколом HTTPS/TLS.
Пример использования: Достаточно для большинства рабочих нагрузок машинного обучения.

CMEK (Ключи шифрования, управляемые клиентом)

Функция: Ключи шифрования, управляемые клиентом, с использованием Cloud KMS. Google шифрует данные вашими ключами.
Контроль: Вы управляете жизненным циклом ключей (создание, ротация, отключение, уничтожение).
Зачем использовать CMEK?
Соответствие нормативным требованиям (например, HIPAA для PHI).
Журналы аудита использования ключей.
Отзыв доступа путём отключения ключа.
Разделение обязанностей (данные и управление ключами).
Настройка через CLI:
1. Создайте связку ключей: gcloud kms keyrings create my-keyring --location us-central1
2. Создайте ключ: gcloud kms keys create my-storage-key --keyring my-keyring --location us-central1 --purpose encrypted
3. Предоставьте разрешения: добавьте привязку политики IAM к ключу, предоставив учётной записи службы Cloud Storage роль шифрования/дешифрования Cloud KMS. 4. Создайте контейнер: gsutil mb -p [ИД_ПРОЕКТА] -l us-central1 -k projects/[ИД_ПРОЕКТА]/locations/us-central1/keyRings/my-keyring/cryptoKeys/my-storage-key gs://[ИМЯ_КОРЗИНЫ]

5. Установите значение по умолчанию для существующего контейнера: gsutil kms encrypted -d projects/[ИД_ПРОЕКТА]/locations/us-central1/keyRings/my-keyring/cryptoKeys/my-storage-key gs://[ИМЯ_КОРЗИНЫ]
Ротация ключей: Cloud KMS поддерживает автоматическую ротацию (например, каждые 90 дней). Старые версии ключей остаются доступными для расшифровки данных.
Управление доступом: Отключение ключа делает все данные, зашифрованные с его помощью, навсегда недоступными.

CSEK (Ключи шифрования, предоставляемые заказчиком)

– Функция: Вы предоставляете свой ключ для каждой операции чтения/записи. Google использует его для шифрования, но никогда не сохраняет.
– Контроль: Максимальный контроль; ключи никогда не покидают вашу инфраструктуру.
– Ответственность: Максимальная ответственность; вы управляете хранилищем ключей, резервным копированием и доступностью.
– Риск: В случае потери ключа данные становятся навсегда недоступными и не подлежат восстановлению Google.
– Пример использования: Чрезвычайно конфиденциальные исследовательские данные, для которых нормативные требования требуют, чтобы ключи никогда не хранились в инфраструктуре облачного провайдера. - Использование через gsutil:
Загрузка: gsutil cp -e [BASE64_ENCODED_KEY] [LOCAL_FILE] gs://[BUCKET_NAME]/[OBJECT_NAME]
Загрузка: gsutil cp -e [BASE64_ENCODED_KEY] gs://[BUCKET_NAME]/[OBJECT_NAME] [LOCAL_FILE]

Сквозной жизненный цикл машинного обучения с облачным хранилищем

Сбор данных: хранение необработанных журналов, транзакций и данных датчиков.
Предварительная обработка: использование Dataflow с политиками жизненного цикла для передачи данных между классами хранения (Standard → Nearline → Coldline → Archive).
Обучение: Vertex AI извлекает наборы данных из контейнеров; сохраняет контрольные точки и журналы.
Развертывание: конечные точки Vertex AI извлекают артефакты модели из контейнеров, используя учетную запись службы с ролью storage.objectViewer.
– Мониторинг: Сохранение результатов пакетного прогнозирования в контейнере для анализа на панели мониторинга.
– Переобучение: Выполнение ежемесячных заданий с обновлёнными моделями; использование управления версиями для откатов.
– Безопасность: Обеспечение защиты от публичного доступа, использование IAM с минимальными привилегиями и внедрение CMEK/CS...