Представление текста в цифровом виде для нейросети | Нейросети для анализа текстов

В видео рассматриваются различные методы токенизации и векторизации текста для представления его в виде, пригодном для обработки нейросетью. Страница курса - https://www.asozykin.ru/courses/nnpython

Нейронные сети могут работать только с числами. Поэтому перед обработкой текста нейронной сетью, его нужно конвертировать в набор чисел. Для этого используется два шага:
1. Токенизация - разделение текста на отдельные части: символы, слова, предложения.
2. Векторизация - представление каждого токена в виде чисел: кода или вектора (one hot encoding или embedding).

Предварительно обученные плотные векторные представления слов:
1. GloVe (Global Vectors) - https://nlp.stanford.edu/projects/glove/
2. Word2Vec, Google - https://code.google.com/archive/p/wor...
3. FastText, Facebook - https://fasttext.cc

Плотные векторные представления слов для русского языка:
1. RusVectōrēs – https://rusvectores.org
2. RUSSE (Russian Semantic Evaluation) – https://russe.nlpub.org/downloads/

Tomas Mikolov, Wen-tau Yih, Geoffrey Zweig. Linguistic Regularities in Continuous Space Word Representations - https://www.microsoft.com/en-us/resea...

Как можно поддержать курс:
1. Яндекс Кошелек - https://money.yandex.ru/to/4100142982...
2. PayPal - https://www.paypal.me/asozykin
Заранее спасибо за помощь!

Добавляйтесь в друзья в социальных сетях:
вКонтакте - https://vk.com/avsozykin
Instagram -   / sozykin_andr  
Facebook -   / asozykin  
Twitter -   / andreysozykin  

Мой сайт - https://www.asozykin.ru

Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках -    / andreysozykincs