Паспорт проекта
- Тип
- Технические модули
- Задача
- Сжатие перед истечением кэша описано как способ избежать полного пересчёта длинного контекста по полной цене при следующем сообщении.
- Для кого
- В описании не уточняется
- Технологии
- См. описание механизма
- Что потребуется
- В описании не уточняется
- Основание
- 1 первоисточников
За 30 секунд
Сжатие перед истечением кэша описано как способ избежать полного пересчёта длинного контекста по полной цене при следующем сообщении.
По публикации, среда начинает запускаться уже при наборе сообщения, а не после его отправки.
Модели передаётся сжатый архив истории; неактивный длинный разговор также сжимается.
Как это работает
На входе
История диалога; для idle compaction указаны разговор от 200 тысяч токенов и около 54 минут бездействия.
Механизм
По публикации, среда начинает запускаться уже при наборе сообщения, а не после его отправки.
Результат
Модели передаётся сжатый архив истории; неактивный длинный разговор также сжимается.
Что важно понять
Техническое устройство
По посту, срок кэша составляет час; автоматическое сжатие выполняется немного раньше его сброса.
Для чего создано
Сжатие перед истечением кэша описано как способ избежать полного пересчёта длинного контекста по полной цене при следующем сообщении.
Идея решения
Подготовка среды переносится на время ввода, а уменьшение контекста привязано к периоду бездействия и сроку кэша.
Что известно из описания
Что потребуется
- В описании нет сведений.
Что учитывать
- В описании нет сведений.
Что пока неизвестно
- Что потребуется — в первоисточнике нет сведений.
- Ограничения — в первоисточнике нет сведений.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Что стоит уточнить