Coder un Transformer avec Tensorflow et Keras (LIVE)

Dans la dernière vidéo j'introduis les mécanismes d'attention, l'architecture transformer ainsi que le papier Attention is all you need. Dans ce LIVE nous passons à la pratique et codons ensemble un Transformer avec Tensorflow et Keras !

Google colab du live:
https://colab.research.google.com/dri...

00:00 Intro
04:00 Data
20:00 Scaled dot product attention
43:00 Encoder
49:00 Multi Head Attention
49:00 Multi Head Attention
01:14:00 Masked multi head
01:14:00 Masked multi head
01:48:00 Decoder
02:10:00 Pos encoding
02:15:00 Prediction

Pour suivre au mieux la vidéo, le cours théorique suivant sur les Transformer est recommandée:
   • Comprendre les Transformers et les mécanis...  

Ainsi que les vidéos suivantes:
Pour aider à aborder les notions de cette vidéo :
Comment passer le test de Turing ? Traitement automatique du langage (NLP)    • Comment passer le test de Turing ? Traitem...  
Comprendre les réseaux de neurones récurrents (RNN)    • Comprendre les réseaux de neurones récurre...  
Comprendre les LSTM - Réseaux de neurones récurrents
   • Comprendre les LSTM - Réseaux de neurones ...  

Slides: https://docs.google.com/presentation/...
Attention is all you need: https://arxiv.org/abs/1706.03762




About me:
Visual Behavior : https://visualbehavior.ai/
Github: https://github.com/thibo73800
Medium:   / thibo73800  
Twitter:   / thiboneveu