35-летняя история ChatGPT

Я прослеживаю 35-летний путь, который привёл к взрывному развитию больших языковых моделей. Этот документальный фильм рассказывает о том, как ИИ научился говорить, от пионерской работы Джордана в 1986 году до сегодняшней GPT-4. В нём представлены идеи пионеров ИИ, включая Хомского, Хофштадтера, Хинтона и Лекуна, а также рассматриваются революционные концепции, сделавшие ChatGPT возможным: архитектура преобразователя, механизм внимания, прогнозирование следующего токена и эмерджентные возможности. Следующее видео по модели O1 Open AI

Мой сценарий, ссылки и визуализации здесь: https://docs.google.com/document/d/1s...
Подпишитесь на мой канал YouTube:    / @artoftheproblem  

Это часть серии «Машина шаблонов»:    • What is Deep Learning?  

Тайм-коды:
00:00 — Введение
00:32 — Размышления Хофштадера о чате GPT
01:00 — Обзор обучения с учителем
01:55 — Первый Статья о последовательном обучении
02:55 — первое использование единиц состояний (RNN)
04:33 — первое наблюдение обнаружения границ слов
05:30 — первое наблюдение кластеризации слов
07:16 — первая «большая» языковая модель Хинтона/Суцкевера
10:10 — нейрон настроений (Илья | OpenAI)
12:30 — объяснение трансформатора
15:50 — GPT-1
17:00 — GPT-2
17:55 — GPT-3
18:20 — контекстное обучение
19:40 — ChatGPT / GPT-4
21:10 — использование инструментов
23:25 — философский вопрос: что такое мысль?