Паспорт проекта
- Тип
- Технические модули
- Задача
- Уменьшить размерность векторов до 512, сохраняя косинусное сходство.
- Для кого
- В описании не уточняется
- Технологии
- См. описание механизма
- Что потребуется
- Для описанного преобразования используется выходная проекция модели.
- Основание
- 1 первоисточников
За 30 секунд
Уменьшить размерность векторов до 512, сохраняя косинусное сходство.
Используют QR-разложение выходной проекции для преобразования векторов и сравнивают варианты с штатным MRL-сокращением.
512-мерные векторы. Для QR-direct на пяти миллионах документов авторы сообщают снижение пика памяти с 15,88 до 11,11 ГиБ и задержки одного запроса с 36,19 до 34,80 мс.
Как это работает
На входе
Выходная проекция EmbeddingGemma 2 ранга 512 и её штатные 768-мерные векторы; в экспериментах также конвертировали готовую базу.
Механизм
Используют QR-разложение выходной проекции для преобразования векторов и сравнивают варианты с штатным MRL-сокращением.
Результат
512-мерные векторы. Для QR-direct на пяти миллионах документов авторы сообщают снижение пика памяти с 15,88 до 11,11 ГиБ и задержки одного запроса с 36,19 до 34,80 мс.
Что важно понять
Техническое устройство
Низкий относительно длины эмбеддинга ранг выходной проекции используется через QR-разложение для перехода в 512-мерное пространство.
Для чего создано
Уменьшить размерность векторов до 512, сохраняя косинусное сходство.
Сценарии использования
Проверка поиска на SciFact и FiQA, измерение точного поиска FAISS на MS MARCO и времени конвертации готовой базы.
Идея решения
Уменьшать размерность по структуре самой проекции модели, а не ограничиваться штатным MRL-вариантом.
Какую задачу описывает источник
Источник ставит задачу сэкономить память при работе с эмбеддингами; в описанном исходном варианте на пяти миллионах документов пик памяти составлял 15,88 ГиБ.
Что известно из описания
Что потребуется
- Для описанного преобразования используется выходная проекция модели.
- Измерения проведены на RTX 5090 с точным поиском FAISS; обязательность именно этой GPU для метода не заявлена.
Что учитывать
- Опубликованные здесь измерения ограничены стендом RTX 5090 и корпусами MS MARCO до пяти миллионов документов; качество поиска проверяли на SciFact и FiQA.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Общая справка
Что стоит уточнить