Паспорт проекта
- Тип
- Технические модули
- Задача
- Автор хочет запускать большие MoE-модели на обычном домашнем компьютере.
- Для кого
- Автор рассматривает владельцев домашних компьютеров с небольшой видеокартой.
- Технологии
- См. описание механизма
- Что потребуется
- Эксперимент относится к компьютеру с 6 ГБ видеопамяти, 24 ГБ памяти и SATA-диском. Это испытанная конфигурация, а не минимальные требования llama.cpp.
- Основание
- 1 первоисточников
За 30 секунд
Автор хочет запускать большие MoE-модели на обычном домашнем компьютере.
В описанном сравнении штатный параметр -fit сопоставлен с -ngl 99 на длинном запросе. Автор утверждает, что первый оказался быстрее, а его дополнительные изменения выигрыша не дали.
Приведён относительный результат скорости 2,44 раза и отсутствие выигрыша от авторских изменений; абсолютные скорости не сообщаются.
Как это работает
На входе
Модель gpt-oss-20b и длинный запрос; сам запрос, длина контекста и параметры генерации отсутствуют.
Механизм
В описанном сравнении штатный параметр -fit сопоставлен с -ngl 99 на длинном запросе. Автор утверждает, что первый оказался быстрее, а его дополнительные изменения выигрыша не дали.
Результат
Приведён относительный результат скорости 2,44 раза и отсутствие выигрыша от авторских изменений; абсолютные скорости не сообщаются.
Что важно понять
Для чего создано
Автор хочет запускать большие MoE-модели на обычном домашнем компьютере.
Сценарии использования
Один описанный случай: gpt-oss-20b, длинный запрос и две настройки llama.cpp на ограниченном оборудовании.
Идея решения
Практический предмет эксперимента — сравнение двух штатных параметров llama.cpp с собственными изменениями автора на одной ограниченной конфигурации.
Что известно из описания
Что потребуется
- Эксперимент относится к компьютеру с 6 ГБ видеопамяти, 24 ГБ памяти и SATA-диском.
- Это испытанная конфигурация, а не минимальные требования llama.cpp.
Что учитывать
- Авторские ускорения не улучшили результат штатного -fit в описанном испытании.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Что стоит уточнить