Что изменилось в визуальном поиске с внедрением VLM?

Поиск по картинкам существует в Яндексе уже больше десяти лет. За это время технология сильно изменилась: например, научилась более глубокому анализу изображений и распознаванию его отдельных частей.

А в 2024 году, с появлением Поиска с Нейро, пользователям стал доступен визуальный мультимодальный поиск. Теперь можно не только искать по загруженному изображению или фотографии, но и сопровождать их текстом, а также задавать уточняющие вопросы.

👀 Попробуйте Поиск с Нейро https://ya.ru/neuro-search

В новом «Вопросе со звёздочкой» руководитель Умной камеры Елена Бондарь рассказывает, как Поиск с Нейро работал с картинками раньше и что изменилось в нём с появлением VLM-модели.

«Вопрос со звёздочкой» — это рубрика, в которой разработчики и инженеры Яндекса рассказывают о сложных технологиях простым языком

#поиск #нейро #умнаякамера #мультимодальность #vlm #яндекс #технологии

00:00 — Что нового у Поиска по картинкам?
00:26 — Зачем визуальному поиску VLM?
02:36 — Как нейросеть понимает, что на картинке?
03:34 — Где и как использовать?