Stanford CS229 | Машинне навчання | Побудова великих мовних моделей (ВММ) 🤖 (Ч.1)

📖 Адаптований опис українською:
Про лекцію:
Ця лекція надає стислий огляд побудови моделі, схожої на ChatGPT 🧠, охоплюючи як попереднє навчання (мовне моделювання), так і пост-навчання (SFT/RLHF). Для кожного компоненту розглядаються поширені практики збору даних, алгоритми та методи оцінювання. Гостьову лекцію прочитав Янн Дюбуа в рамках курсу Stanford CS229: Машинне навчання, літо 2024 року.

Про лектора:
Янн Дюбуа — аспірант 👨🎓 четвертого року навчання з комп'ютерних наук у Стенфорді під керівництвом Персі Ліанга та Тацу Хашімото. Його дослідження зосереджені на покращенні ефективності ШІ в умовах обмежених ресурсів. Останнім часом він був частиною команди Alpaca, працюючи над більш ефективним навчанням та оцінюванням мовних моделей за допомогою інших ВММ.

🔗 Корисні посилання:

Більше про програми зі ШІ від Стенфорду: https://stanford.io/ai

Усі онлайн-курси та програми Стенфорду: http://online.stanford.edu



Автор перекладу:

Threads: https://www.threads.com/@lali.mi

Telegram-канал: https://t.me/+xWW_b1mfQzAyNDgy

Підтримати проект ☕: https://lalirun.gumroad.com/






⏰ Розділи лекції (тайм-коди):

00:00 - Вступ

00:10 - Повторення ВММ

00:16 - Визначення ВММ

00:19 - Приклади ВММ

01:16 - Важливість даних

01:20 - Метрики оцінювання

01:33 - Системний компонент

01:41 - Важливість систем

01:47 - ВММ на основі трансформерів

01:57 - Фокус на ключових темах

02:00 - Перехід до попереднього навчання

03:02 - Огляд мовного моделювання

04:17 - Генеративні моделі

05:15 - Визначення авторегресивних моделей

06:36 - Пояснення авторегресивного завдання

07:49 - Огляд навчання

08:48 - Важливість токенізації

10:50 - Процес токенізації

13:30 - Приклад токенізації

16:00 - Оцінювання через перплексію

20:50 - Сучасні методи оцінювання

24:30 - Академічний бенчмарк: MMLU

❗️Важливе зауваження (Дисклеймер): Цей переклад є неофіційною ініціативою і створений виключно в освітніх цілях для поширення знань. Він може містити помилки, неточності або спрощення. Першоджерелом є лекція, надана Stanford Online. Для отримання найбільш точної інформації, будь ласка, звертайтеся до оригінального матеріалу.