BERT: transfer learning for NLP

Автор: Lennart Svensson

Загружено: 2021-09-10

Просмотров: 11626

Описание:

In this video we present BERT, which is a transformer-based language model. BERT is pre-trained in a self-supervised manner on a large corpus. After that, we can use transfer learning and fine-tune the model for new tasks and obtain good performance even with a limited annotated dataset for the specific task that we would like solve (e.g., a text classification task).

The original paper: https://arxiv.org/abs/1810.04805.

Slides used in video: https://chalmersuniversity.box.com/s/....

BERT: transfer learning for NLP

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

Transformers - Part 1 - Self-attention: an introduction

Transformers - Part 1 - Self-attention: an introduction

Diffusion Language Models: The Next Big Shift in GenAI

Diffusion Language Models: The Next Big Shift in GenAI

BERT Demystified: Like I’m Explaining It to My Younger Self

BERT Demystified: Like I’m Explaining It to My Younger Self

Fine-Tuning BERT for Text Classification (w/ Example Code)

Fine-Tuning BERT for Text Classification (w/ Example Code)

Практическое занятие по BERT

Практическое занятие по BERT

Fine-Tune BERT for ANY Text Classification Task| Explained With Code

Fine-Tune BERT for ANY Text Classification Task| Explained With Code

Лекция. Transfer Learning в NLP.

Лекция. Transfer Learning в NLP.

Разъяснение статьи BERT

Разъяснение статьи BERT

Что такое BERT и как он работает? | Краткий обзор

Что такое BERT и как он работает? | Краткий обзор

Сочетание BERT с категориальными и числовыми признаками

Сочетание BERT с категориальными и числовыми признаками

Почему «Трансформеры» заменяют CNN?

Почему «Трансформеры» заменяют CNN?

Исследование BERT - Эпизод 3 - Тонкая настройка - стр. 1

Исследование BERT - Эпизод 3 - Тонкая настройка - стр. 1

BERT для предварительной подготовки Трансформеров

BERT для предварительной подготовки Трансформеров

Transformers - Part 7 - Decoder (2): masked self-attention

Transformers - Part 7 - Decoder (2): masked self-attention

⚡️ Командный пункт ВСУ захвачен || Военный переворот в Украине?

⚡️ Командный пункт ВСУ захвачен || Военный переворот в Украине?

Тонкая настройка BERT с помощью HuggingFace и PyTorch Lightning для классификации многометковых т...

Тонкая настройка BERT с помощью HuggingFace и PyTorch Lightning для классификации многометковых т...

Объяснение BERT: обучение, вывод, BERT против GPT/LLamA, тонкая настройка, токен [CLS]

Объяснение BERT: обучение, вывод, BERT против GPT/LLamA, тонкая настройка, токен [CLS]

Трансформаторы предложений — ОБЪЯСНЕНИЕ!

Трансформаторы предложений — ОБЪЯСНЕНИЕ!

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Transformer - Part 6 - Decoder (1): testing and training

Transformer - Part 6 - Decoder (1): testing and training