Entrené una IA para que haga música

En este video explico los conceptos fundamentales de los modelos de IA para la generación de musica (Autoencoders Variacionales, Difusión y Transformers). Después de la parte teórica, les muestro un pipeline automático que armamos para generar un conjunto de datos de música y prompts, usando instrumentos virtuales para el audio y llamadas a APIs + un agente de LLM para el prompt. Una vez generado el dataset, reentreno un modelo y muestro los resultados.

SPOILER:
El proyecto que les muestro es mi tesis de Licenciatura en Ciencias de la Computación de la Universidad de Buenos Aires, la cuál defendí en Mayo. Desde poco después de defenderla estoy preparando el vídeo, espero que les guste :)

Links:
HuggingFace: https://huggingface.co/santifiorino/S...
GitHub: https://github.com/santifiorino/sao-i...
Tesis: https://gestion.dc.uba.ar/media/acade...
Contacto / Redes:
https://hoo.be/santifiorino
----------------------------------------------------
00:00 Intro
01:32 Explicación del Problema
04:47 Autoencoder
09:34 Autoencoder Variacional
11:39 Difusión
18:26 Transformers
25:55 Estructura del Dataset
27:10 Síntesis de Audio
32:00 Generación de Prompts
37:34 Aplicación Web
39:06 Entrenamiento
40:02 Resultados
44:44 Outro
----------------------------------------------------
Espacio latente de autoencoder:
   • Autoencoders | Deep Learning Animated  
Espacio latente de autoencoder variacional:
https://robz.github.io/mnist-vae/
Y las animaciones de transformers las escribí yo pero están robadísimas del one an only 3b1b:
   • Attention in transformers, step-by-step | ...