Neon Postgres: как включить расширение pgvector для систем RAG (хранилище векторов)

Хотите превратить вашу базу данных Postgres в хранилище векторных данных?

Описание:
В этом руководстве вы узнаете, как включить расширение pgvector для преобразования вашей базы данных Neon Postgres в векторную базу данных. Это позволит вам хранить и искать векторные вложения, которые необходимы при построении систем дополненной генерации (RAG). В руководстве для всех необходимых действий используется редактор Neon SQL.

Скидка 20% на VPS-сервер Hostinger (реферальная ссылка):
https://hostinger.com?REFERRALCODE=BY...

Wispr Flow — мой инструмент для быстрого и качественного преобразования голоса в текст в любом приложении. https://ref.wisprflow.ai/mike-murphy (партнёрская ссылка)

Векторное хранилище:
База данных или таблица, в которой хранятся ваши вложения и метаданные.

Вложения:
Числовое представление текста, изображения или аудиоконтента.

Система RAG:
Процесс, который ищет в хранилище векторных изображений соответствующие вложения и затем передает их в LLM для получения результатов.

pgvector:
Расширение Postgres, позволяющее Postgres хранить вложения/векторы.

В этом руководстве вы узнаете:
👉 Редактор SQL
👉 Сохранение SQL-запросов
👉 Включение расширения pgvector
👉 Проверка pgvector
👉 Создание таблицы для хранения векторных представлений
👉 Добавление индекса вектора
👉 Вставка тестовых строк данных
👉 Поиск по схожести

1. Регистрация учётной записи Neon:
https://neon.com

2. Расширение pgvector (документация Neon):
https://neon.com/docs/extensions/pgve...

3. Руководство по созданию базы данных Postgres в Neon:
   • How to Create A PostgreSQL on Neon: A Step...  

——————
✅ Главы:
00:00 Введение: О руководстве
00:32 Что вы изучите
00:52 Предварительные требования
01:11 Руководство: Настройка базы данных Neon
01:24 Шаг 1: Открытие редактора SQL
01:35 Войти на Neon.com
01:49 Открытие панели проектов
01:58 Открытие редактора SQL
02:07 Выбор базы данных
02:29 Шаг 2: Включение pgvector
02:41 Документация Neon (pgvector)
03:02 IF NOT EXISTS
03:49 Редактор SQL: Включение pgvector
04:22 Команда RUN
04:42 Шаг 3: Проверка включения pgvector
04:50 Основы редактора SQL
05:15 Добавление комментариев в редакторе SQL
05:53 Как выполнять команды
06:13 Шаг 4: Создание таблицы вложений
06:42 Обзор кода создания таблицы
07:27 Вектор вложений (измерение)
08:05 Модели вложений LLM
08:55 Подтверждение вставки таблицы
09:14 Сохранить запрос
09:55 Шаг 5: Добавление индекса вектора
10:42 Ivfflat: небольшое предупреждение о дате
10:58 Шаг 6: Вставка тестовой строки
11:41 Внедрение вектора (4) для демонстрации
12:19 Таблица Documents_Demo
12:33 Внедрение измерения в заголовок
12:59 Создание нового запроса
13:33 Подтверждение тестовой строки данных
13:50 Поиск по схожести
14:15 Как работает RAG
15:39 Тест поиска по схожести

——————

🪜 Как включить расширение PGVECTOR в базе данных Neon Postgres:

1. Войдите на https://neon.com
2. Откройте редактор SQL
3. Войдите в панель управления Neon
4. Выберите свою организацию
5. Нажмите «Проекты», откройте свой проект
6. Нажмите «Редактор SQL» и выберите нужную базу данных
7. Скопируйте/вставьте CREATE EXTENSION vector (IF NOT EXISTS) в редактор SQL. 8. Нажмите «Запустить», чтобы включить pgvector.
9. Проверьте расширение, чтобы убедиться, что расширение pgvector успешно включено.
10. Создайте таблицу хранилища векторов (документы).
11. Убедитесь, что номер измерения встраиваемого вектора (например, 1536) соответствует размерности, используемой в выбранной вами модели большого языка.
12. Добавьте векторный индекс: скопируйте и запустите фрагмент кода, чтобы добавить векторный индекс в новую таблицу, что ускорит поиск по сходству.
13. Проверьте функциональность: вставьте тестовую строку с образцом данных.
Выполните запрос на поиск по сходству, чтобы убедиться, что база данных может правильно сопоставлять текст и векторы. ——————Ресурсы———————
➜ Оборудование, которое я использую: https://mikemurphy.co/resources
➜ Adobe After Effects: https://mikemurphy.co/adobe
➜ Terrapin Textures: https://terrapintextures.com
➜ Курс Adobe Audition (Domestika): https://mikemurphy.co/domestika

➜ Магазин Amazon Influencer: https://www.amazon.com/shop/mikemurphyco
➜ Посмотреть всё моё оборудование: https://www.mikemurphy.co/podgear
➜ Adobe Creative Cloud: https://mikemurphy.co/adobe
➜ Screenflow: https://mikemurphy.co/screenflow

➜ Сайт: https://mikemurphy.co
➜ Подкаст: https://mikemurphy.co/mmu
➜ Instagram:   / mikeunplugged  
➜ X: http://x.com/mikeunplugged
➜ YouTube: https://mikemurphy.co/youtube

Информация о программе Amazon Associates:
Майк Мерфи является участником программы Amazon Services LLC Associates, партнерской рекламной программы, разработанной для предоставления сайтам возможности зарабатывать на рекламе и размещении ссылок на Amazon.com.