Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

Lecture 10: What are token embeddings?

Автор: Vizuara

Загружено: 2024-09-11

Просмотров: 21879

Описание:

In this lecture, we will learn all about token embeddings: an essential step for Large Language Model (LLM) training.

The key reference book which this video series very closely follows is Build a Large Language Model from Scratch by Manning Publications. All schematics and their descriptions are borrowed from this incredible book!

This book serves as a comprehensive guide to understanding and building large language models, covering key concepts, techniques, and implementations.

Affiliate links for purchasing the book will be added soon. Stay tuned for updates!

0:00 Lecture agenda
3:35 What are token embeddings?
16:50 Hands on token embeddings demo
26:17 LLM Embedding Weight Matrix introduction
33:52 Coding Embedding Weight Matrix
41:27 Embedding matrix as a lookup table
48:32 Embedding layer vs neural network linear layer
55:09 Lecture recap

Google Colab Google News Token Embedding Notebook: https://colab.research.google.com/dri...

LLM codefile link: https://drive.google.com/file/d/1tF5a...
=================================================

✉️ Join our FREE Newsletter: https://vizuara.ai/our-newsletter/

=================================================
Vizuara philosophy:

As we learn AI/ML/DL the material, we will share thoughts on what is actually useful in industry and what has become irrelevant. We will also share a lot of information on which subject contains open areas of research. Interested students can also start their research journey there.

Students who are confused or stuck in their ML journey, maybe courses and offline videos are not inspiring enough. What might inspire you is if you see someone else learning and implementing machine learning from scratch.

No cost. No hidden charges. Pure old school teaching and learning.

=================================================

🌟 Meet Our Team: 🌟

🎓 Dr. Raj Dandekar (MIT PhD, IIT Madras department topper)
🔗 LinkedIn:   / raj-abhijit-dandekar-67a33118a  


🎓 Dr. Rajat Dandekar (Purdue PhD, IIT Madras department gold medalist)
🔗 LinkedIn:   / rajat-dandekar-901324b1  


🎓 Dr. Sreedath Panat (MIT PhD, IIT Madras department gold medalist)
🔗 LinkedIn:   / sreedath-panat-8a03b69a  

🎓 Sahil Pocker (Machine Learning Engineer at Vizuara)
🔗 LinkedIn:   / sahil-p-a7a30a8b  

🎓 Abhijeet Singh (Software Developer at Vizuara, GSOC 24, SOB 23)
🔗 LinkedIn:   / abhijeet-singh-9a1881192  

🎓 Sourav Jana (Software Developer at Vizuara)
🔗 LinkedIn:   / souravjana131  

Lecture 10: What are token embeddings?

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

array(10) { [0]=> object(stdClass)#6078 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "ufrPLpKnapU" ["related_video_title"]=> string(51) "Lecture 11: The importance of Positional Embeddings" ["posted_time"]=> string(27) "9 месяцев назад" ["channelName"]=> string(7) "Vizuara" } [1]=> object(stdClass)#6051 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "mk-6cFebjis" ["related_video_title"]=> string(82) "Lecture 12: The entire Data Preprocessing Pipeline of Large Language Models (LLMs)" ["posted_time"]=> string(27) "9 месяцев назад" ["channelName"]=> string(7) "Vizuara" } [2]=> object(stdClass)#6076 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "XN7sevVxyUM" ["related_video_title"]=> string(83) "Lecture 13: Introduction to the Attention Mechanism in Large Language Models (LLMs)" ["posted_time"]=> string(27) "9 месяцев назад" ["channelName"]=> string(7) "Vizuara" } [3]=> object(stdClass)#6083 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "sxLMh4-QRg4" ["related_video_title"]=> string(103) "Как сделать сайт с помощью нейросети? (ИИ) 5 способов 👋🏻" ["posted_time"]=> string(25) "2 месяца назад" ["channelName"]=> string(23) "Данил Суслов" } [4]=> object(stdClass)#6062 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "hVM8qGRTaOA" ["related_video_title"]=> string(25) "What Are Word Embeddings?" ["posted_time"]=> string(25) "4 месяца назад" ["channelName"]=> string(14) "Under The Hood" } [5]=> object(stdClass)#6080 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "KFgwXXWT7sQ" ["related_video_title"]=> string(170) "ИИ-агенты — вот что действительно изменит разработку. Пишем ИИ-агент на Python, LangChain и GigaChat" ["posted_time"]=> string(23) "1 месяц назад" ["channelName"]=> string(29) "Диджитализируй!" } [6]=> object(stdClass)#6075 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "pOFcwcwtv3k" ["related_video_title"]=> string(47) "Build a Small Language Model (SLM) From Scratch" ["posted_time"]=> string(25) "3 недели назад" ["channelName"]=> string(7) "Vizuara" } [7]=> object(stdClass)#6085 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "BgPpYdBet8M" ["related_video_title"]=> string(188) "«Сами скоро сдохнут, а нас хоронят!»: Путин ответил на попытки Запада похоронить экономику России" ["posted_time"]=> string(23) "8 часов назад" ["channelName"]=> string(14) "Diplomatrutube" } [8]=> object(stdClass)#6061 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "7TKCrt--bWI" ["related_video_title"]=> string(31) "Measuring the LLM loss function" ["posted_time"]=> string(27) "7 месяцев назад" ["channelName"]=> string(7) "Vizuara" } [9]=> object(stdClass)#6079 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "TprZ-83fAiE" ["related_video_title"]=> string(150) "Нейробиолог: Как не отупеть к 50 годам. Связь слабоумия и привычек | Владимир Алипов" ["posted_time"]=> string(27) "9 месяцев назад" ["channelName"]=> string(46) "Подкаст Алексея Голубева" } }
Lecture 11: The importance of Positional Embeddings

Lecture 11: The importance of Positional Embeddings

Lecture 12: The entire Data Preprocessing Pipeline of Large Language Models (LLMs)

Lecture 12: The entire Data Preprocessing Pipeline of Large Language Models (LLMs)

Lecture 13: Introduction to the Attention Mechanism in Large Language Models (LLMs)

Lecture 13: Introduction to the Attention Mechanism in Large Language Models (LLMs)

Как сделать сайт с помощью нейросети? (ИИ) 5 способов 👋🏻

Как сделать сайт с помощью нейросети? (ИИ) 5 способов 👋🏻

What Are Word Embeddings?

What Are Word Embeddings?

ИИ-агенты — вот что действительно изменит разработку. Пишем ИИ-агент на Python, LangChain и GigaChat

ИИ-агенты — вот что действительно изменит разработку. Пишем ИИ-агент на Python, LangChain и GigaChat

Build a Small Language Model (SLM) From Scratch

Build a Small Language Model (SLM) From Scratch

«Сами скоро сдохнут, а нас хоронят!»: Путин ответил на попытки Запада похоронить экономику России

«Сами скоро сдохнут, а нас хоронят!»: Путин ответил на попытки Запада похоронить экономику России

Measuring the LLM loss function

Measuring the LLM loss function

Нейробиолог: Как не отупеть к 50 годам. Связь слабоумия и привычек | Владимир Алипов

Нейробиолог: Как не отупеть к 50 годам. Связь слабоумия и привычек | Владимир Алипов

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]