[Open DMQA Seminar] In-context Learning of LLMs

Автор: ‍김성범[ 교수 / 산업경영공학부 ]

Загружено: 2025-01-17

Просмотров: 847

Описание:

사전학습된 대형언어모델(LLM)은 추가적인 파라미터 업데이트 없이도 주어진 context를 기반으로 태스크를 수행하는 in-context learning 능력을 갖추고 있다. 일반적으로 언어모델은 사전에 학습한 prior를 바탕으로 주어진 context의 패턴을 파악하며 응답을 생성한다. 이때, 만약 사전학습에서 봐왔던 역할과 다른 역할을 하는 예제들이 in-context로 제공된다면 모델은 이 새로운 맥락에 따라 표현을 재구성할 수 있을까? 예를 들어, 새로 출시된 소프트웨어 제품 이름이 "strawberry"라고 모델에게 설명하는 경우 이상적으로 모델은 이 context를 기반으로 "strawberry"의 의미를 기존의 과일이 아닌 제품으로 파악해야 한다. 이번 세미나에서는 이러한 이상적인 상황이 언어모델의 in-context learning에서 발생할 수 있는지 분석한 연구에 대해 알아본다.

참고자료:
[1] Park, Core Francisco, et al. "ICLR: In-Context Learning of Representations." arXiv preprint arXiv:2501.00070 (2024).

[2] Dong, Qingxiu, et al. "A survey on in-context learning." arXiv preprint arXiv:2301.00234 (2022).

[Open DMQA Seminar] In-context Learning of LLMs

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

[DMQA Open Seminar] Fine Tuning for Segment Anything

[DMQA Open Seminar] Fine Tuning for Segment Anything

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

[Open DMQA Seminar] Vision Language Models

[Open DMQA Seminar] Vision Language Models

[Leçon inaugurale] Yann Le Cun - Apprentissage profond et au-delà : les nouveaux défis de l'IA

[Leçon inaugurale] Yann Le Cun - Apprentissage profond et au-delà : les nouveaux défis de l'IA

[Open DMQA Seminar] Representation Learning for Time-Series Data

[Open DMQA Seminar] Representation Learning for Time-Series Data

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

Titans: Learning to Memorize at Test Time (Paper Analysis)

Titans: Learning to Memorize at Test Time (Paper Analysis)

[Open DMQA Seminar] Deep Semi-Supervised Learning with Out-of-distribution Unlabeled Data

[Open DMQA Seminar] Deep Semi-Supervised Learning with Out-of-distribution Unlabeled Data

Что такое стек ИИ? Магистратура LLM, RAG и аппаратное обеспечение ИИ

Что такое стек ИИ? Магистратура LLM, RAG и аппаратное обеспечение ИИ

[Open DMQA Seminar] Introduction to Test time Adaptation

[Open DMQA Seminar] Introduction to Test time Adaptation

ЛУЧШАЯ БЕСПЛАТНАЯ НЕЙРОСЕТЬ Google, которой нет аналогов

ЛУЧШАЯ БЕСПЛАТНАЯ НЕЙРОСЕТЬ Google, которой нет аналогов

[Open DMQA Seminar] Multitask Learning

[Open DMQA Seminar] Multitask Learning

Как подключить свои документы к LLM — полный разбор RAG

Как подключить свои документы к LLM — полный разбор RAG

Краткое объяснение больших языковых моделей

Краткое объяснение больших языковых моделей

[Open DMQA Seminar] Lightweight Segment Anything

[Open DMQA Seminar] Lightweight Segment Anything

What Is In-Context Learning in Deep Learning?

What Is In-Context Learning in Deep Learning?

[Open DMQA Seminar] Unsupervised Semantic Segmentation

[Open DMQA Seminar] Unsupervised Semantic Segmentation

20 концепций искусственного интеллекта, объясненных за 40 минут

20 концепций искусственного интеллекта, объясненных за 40 минут

[Paper Review] Understanding In-Context Learning

[Paper Review] Understanding In-Context Learning

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение