Эдвин Чен: Почему передовые лаборатории расходятся во взглядах, среды обучения с подкреплением и ...

Задайте вопрос Джейкобу: Форма для вопросов: https://docs.google.com/forms/d/1vHBY...

Эдвин Чен — основатель и генеральный директор Surge AI, компании, занимающейся инфраструктурой данных и лежащей в основе практически всех ведущих моделей в области искусственного интеллекта. Surge сотрудничает с OpenAI, Anthropic, Meta и Google, предоставляя высококачественные данные и инфраструктуру оценки, которые лежат в основе их моделей.

Эдвин рассказывает, почему оптимизация для популярных бенчмарков, таких как LMArena, — это «по сути, оптимизация для кликбейта», как модели одной из передовых лабораторий регрессировали в течение 6-12 месяцев, оставаясь незамеченными, и почему подход отрасли к измерению принципиально ошибочен. Джейкоб и Эдвин обсуждают, что на самом деле делает экспертов по оценке ИИ высококлассными специалистами, почему «не будет универсального решения» для моделей ИИ и как передовые лаборатории выбирают удивительно разные пути к созданию общего искусственного интеллекта.

0:00 Вступление
0:56 Подводные камни оптимизации для LMArena
4:34 Проблемы с качеством данных и измерением
9:44 Важность человеческой оценки
13:40 Рост сред обучения с подкреплением
17:21 Вызовы и уроки обучения моделей
19:59 Культура переориентации в Силиконовой долине
23:06 Технологически ориентированный подход
24:18 Качество, выходящее за рамки квалификации
27:51 Влияние масштабирования
28:35 Наем сотрудников для исследовательской культуры
30:48 Расхождения в парадигмах обучения ИИ
34:16 Будущее моделей ИИ
39:32 Мультимодальный ИИ и качество
43:44 Блиц-опрос

Вместе с вашими соведущими:
@jacobeffron
Партнер Redpoint, бывший менеджер проектов Flatiron Health
@patrickachase
Партнер Redpoint, Бывший инженер по машинному обучению, LinkedIn
@ericabrescia
Бывший операционный директор Github, основатель Bitnami (приобретена VMWare)
@jordan_segall
Партнер в Redpoint