Собираем Kubernetes пайплайн для генерации картинок Stable Diffusion в Argo Workflow & Minikube

В этом видео я хочу показать и рассказать про Argo Workflows - это прослойка между пользователем и кубернетесом, которая позволяет создавать пайплайны из нескольких связанных докер-контейнеров. Такие пайпланы отлично подходят для масштабирования разных задач машинного обучения, например, для тренировки или инференса machine learning моделей.
Мы развернем локальный Minikube кластер и запустим пайплайн с генерацией картинок Stable Diffusion моделью в Арго Воркфлоус.

Код из видео доступен в репозитории - https://github.com/korney3/argo_minik...

ТГ канал про жизнь в Нью-Йорке: https://t.me/korney3_travel
ТГ канал про машинное обучение: https://t.me/deeplearnme
ТГ чат про машинное обучение: https://t.me/deeplearnme_chat

Ссылки из видео:

Introduction
Scaling Laws for Neural Language Models - https://arxiv.org/abs/2001.08361
Choose Your Weapon: Survival Strategies for Depressed AI Academics - https://arxiv.org/abs/2304.06035
Серия постов с введением в k8s -   / kubernetes-a-gentle-introduction  

Установка Argo Workflows
Сайт для установки kubectl - https://kubernetes.io/docs/tasks/tools/
Сайт с версиями миникуба - https://github.com/kubernetes/minikub...
Сайт для установки minikube - https://minikube.sigs.k8s.io/docs/start/
Инструкция по установке Argo Workflows - https://argoproj.github.io/argo-workf...
Гитхаб для установки Арго Воркфлоус - https://github.com/argoproj/argo-work...
Ссылка на hello-world конфиг argo workflow - https://raw.githubusercontent.com/arg...

Stable Diffusion пайплайн
Stable Diffusion репозиторий - https://github.com/fboulnois/stable-d...
Сайт hugging face - https://huggingface.co/
Ссылка для создания токена в hugging face - https://huggingface.co/settings/tokens
Сайт докер хаба -  https://hub.docker.com/
Ссылка для создания токена в docker.hub - https://hub.docker.com/settings/security
Ссылка для установки helm - https://helm.sh/docs/helm/helm_install/
00:00 PRE-INTRODUCTION
02:56 INTRODUCTION
07:55 SETUP ARGO WORKFLOW + MINIKUBE
32:07 FAN-IN FAN-OUT ARGO WORKFLOW
47:57 STABLE DIFFUSION