[Open DMQA Seminar] Introduction to Test time Adaptation

Автор: ‍김성범[ 교수 / 산업경영공학부 ]

Загружено: 2025-05-15

Просмотров: 833

Описание:

요약: 일반적으로 딥러닝 모델은 훈련 데이터와 테스트 데이터의 분포가 i.i.d. (independent and identically distributed)하다고 가정하고 학습되지만, 실제 환경에서는 다양한 요인으로 인해 이 가정이 쉽게 깨지고, 그로 인해 모델 성능이 크게 저하되는 문제가 자주 발생한다. 이러한 문제를 극복하기 위해, 테스트 시점에서 모델이 주어진 입력에 기반해 스스로 적응하는 방식인 test-time adaptation (TTA)이 활발히 연구되고 있다. TTA는 훈련 데이터에 대한 접근 없이, 테스트 시점에 주어진 입력 데이터 X값만을 활용하여 모델을 동적으로 조정함으로써, 분포가 달라진 환경에서도 성능을 유지하거나 향상시킬 수 있는 방법론이다. 기존의 테스트 방식이 모델을 고정된 상태로 사용하는 것에 그쳤다면, TTA는 실제 사용 환경에서 발생하는 분포 변화에 모델이 능동적으로 적응하도록 설계되었다는 점에서 높은 실용적 가치를 지닌다. 본 세미나에서는 TTA의 전반적인 개념을 소개하고, 이를 대표하는 세 가지 방법론을 살펴보고자 한다.

참고자료:
[1] Wang, D., Shelhamer, E., Liu, S., Olshausen, B., & Darrell, T. (2021). Tent: Fully test-time adaptation by entropy minimization. (ICLR)
[2] Liang, J., Hu, D., & Feng, J. (2020). Source-free domain adaptation with source hypothesis transfer. (ICML)
[3] Zhang, M., Levine, S., & Finn, C. (2022). Memo: Test time robustness via adaptation and augmentation. (NeurIPS)

[Open DMQA Seminar] Introduction to Test time Adaptation

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

[Open DMQA Seminar] Out-of-Distribution Generalization Subpopulation: Shifts and Approaches

[Open DMQA Seminar] Out-of-Distribution Generalization Subpopulation: Shifts and Approaches

[DMQA Open Seminar] Weakly Supervised Semantic Segmentation

[DMQA Open Seminar] Weakly Supervised Semantic Segmentation

ICCV 2023 Tutorial: Test-time Adaptation: Formulations, Methods and Benchmarks

ICCV 2023 Tutorial: Test-time Adaptation: Formulations, Methods and Benchmarks

Test-Time Adaptation: the key to reasoning with DL

Test-Time Adaptation: the key to reasoning with DL

ЛУЧШАЯ БЕСПЛАТНАЯ НЕЙРОСЕТЬ Google, которой нет аналогов

ЛУЧШАЯ БЕСПЛАТНАЯ НЕЙРОСЕТЬ Google, которой нет аналогов

[Open DMQA Seminar] Tabular Data Generation

[Open DMQA Seminar] Tabular Data Generation

ESP32: распознавание речи нейросетью (TensorFlow Lite)

ESP32: распознавание речи нейросетью (TensorFlow Lite)

RAG простыми словами: как научить LLM работать с файлами

RAG простыми словами: как научить LLM работать с файлами

[Open DMQA Seminar] RLHF Preference based Reinforcement Learning-Part 3

[Open DMQA Seminar] RLHF Preference based Reinforcement Learning-Part 3

Как создаются степени магистра права?

Как создаются степени магистра права?

[Open DMQA Seminar] Industrial Image Anomaly Detection

[Open DMQA Seminar] Industrial Image Anomaly Detection

Beethoven: Violinkonzert ∙ hr-Sinfonieorchester ∙ Hilary Hahn ∙ Alain Altinoglu

Beethoven: Violinkonzert ∙ hr-Sinfonieorchester ∙ Hilary Hahn ∙ Alain Altinoglu

#TWIMLfest: Deep Learning for Time Series in Industry

#TWIMLfest: Deep Learning for Time Series in Industry

Как LLM могут хранить факты | Глава 7, Глубокое обучение

Как LLM могут хранить факты | Глава 7, Глубокое обучение

Я ,Нэтэниэль , играю И.С. Баха и пою Генделя --Великая Балерина

Я ,Нэтэниэль , играю И.С. Баха и пою Генделя --Великая Балерина

Как научиться читать мысли по руке

Как научиться читать мысли по руке

Краткое объяснение больших языковых моделей

Краткое объяснение больших языковых моделей

GraphRAG: союз графов знаний и RAG: Эмиль Эйфрем

GraphRAG: союз графов знаний и RAG: Эмиль Эйфрем

Иллюстрированное руководство по нейронной сети Transformers: пошаговое объяснение

Иллюстрированное руководство по нейронной сети Transformers: пошаговое объяснение

[Open DMQA Seminar] Test Time Prompt Tuning in Vision Language Models

[Open DMQA Seminar] Test Time Prompt Tuning in Vision Language Models