Михаил Марюфич — CI/CD для Ml-моделей и датасетов
Автор: SmartData
Загружено: 2021-02-17
Просмотров: 1383
Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
В индустрии многим знакома ситуация, когда вы быстро задеплоили модель, сделанную DS на коленке. А через месяц, когда её нужно переобучить на новых данных или добавить новый признак, оказывается, что DS по каким-то странным причинам не может этого сделать (потерял код или стер данные, на которых создавал модель).
Вывод модели в продакшн — это не только её упаковка в условный контейнер, но и фиксация процесса ее обучения, и дальнейший мониторинг ее работы. Подробное описание того, как модель была получена, позволяет избежать потерь знаний и результатов экспериментов.
В ОК построили процесс, в котором:
— все параметры обучения, зависимости и артефакты фиксируются в git;
— модели обучаются автоматически в контролируемом окружении;
— модели проходят ревью и попадают в мастер;
— из мастера улетают в продакшен.
Михаил в этом докладе расскажет:
— о процессе и используемых инструментах;
— как организовали версионируемое хранилище дата-сетов на dvc;
— как организовали выкатки через репозиторий;
— путь модельки от поставленной задачи в JIRA до прода и обратно;
— как организовали автоматическое переобучение (не теряя воспроизводимости и возможности отката).
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
