Паспорт проекта
- Тип
- Технические модули
- Задача
- Помочь найти модели, подходящие имеющейся машине, либо оценить оборудование для выбранной конфигурации модели.
- Для кого
- Пользователи локальных LLM, разработчики dashboards/orchestrators и автоматизированного планирования развёртываний.
- Технологии
- Rust / React / API / CLI / LLM / JSON
- Что потребуется
- Поддерживаемая ОС и доступные системные инструменты GPU detection; конкретный runtime для live benchmark.
- Основание
- 17 первоисточников
За 30 секунд
Помочь найти модели, подходящие имеющейся машине, либо оценить оборудование для выбранной конфигурации модели.
Определяет RAM/CPU/GPU/VRAM/backend, считает fit и ожидаемый tok/s, показывает объяснимую оценку либо отмеченное измерение. Отдельный benchmark обращается к работающему runtime и сохраняет результаты.
Ранжированный список, fit verdict и quantization, ожидаемые либо измеренные tok/s, известные TTFT/prefill и данные для планирования оборудования. CLI/API дают JSON; web dashboard показывает те же fit/scoring данные.
Как это работает
На входе
Характеристики обнаруженного компьютера или заданный hardware profile; метаданные модели, квантизация, контекст и задача. Локальные пользовательские модели могут дополнять или перекрывать каталог. Для настоящего benchmark нужен живой provider.
Механизм
Определяет RAM/CPU/GPU/VRAM/backend, считает fit и ожидаемый tok/s, показывает объяснимую оценку либо отмеченное измерение. Отдельный benchmark обращается к работающему runtime и сохраняет результаты.
Результат
Ранжированный список, fit verdict и quantization, ожидаемые либо измеренные tok/s, известные TTFT/prefill и данные для планирования оборудования. CLI/API дают JSON; web dashboard показывает те же fit/scoring данные.
Что важно понять
01Техническое устройство
Rust core с sysinfo и ratatui; React/Vite web UI. HF каталог встроен в binary. Квантизация перебирается Q8_0→Q2_K, при необходимости с половинным контекстом; decode оценивается через bandwidth/model size×efficiency, а собственные и community measurements имеют приоритет над формулой.
02Для чего создано
Помочь найти модели, подходящие имеющейся машине, либо оценить оборудование для выбранной конфигурации модели.
03Для кого
Пользователи локальных LLM, разработчики dashboards/orchestrators и автоматизированного планирования развёртываний.
04Сценарии использования
Подобрать quantization под RAM/VRAM, сравнить модели и hypothetical hardware, оценить ресурсы для конкретного контекста, измерить live provider и опционально отправить результат в community. Storage planner считает одну библиотеку для последовательного использования моделей.
05Идея решения
Объединить hardware detection, прозрачные расчётные допущения и реальные измерения одного оборудования, сохраняя различие measured/calibrated/estimated.
06Какую задачу описывает источник
Нужно понять, какая модель помещается и с какой скоростью может работать, до загрузки всех вариантов; обратное планирование оценивает требуемые ресурсы.
Что известно из описания
Что потребуется
- Поддерживаемая ОС и доступные системные инструменты GPU detection; конкретный runtime для live benchmark.
- Для llama.cpp detection нужен llama-cli/server, загрузка GGUF требует сети.
- GitHub-отправка результатов использует device flow/token, хотя gh CLI не нужен.
Что учитывать
- Оценка не гарантирует фактический запуск/качество.
- В расчётном пути how-it-works без fp16 throughput оценки TTFT/prefill остаются null; отдельный live benchmark измеряет время до первого токена непосредственно.
- Android GPU autodetection отсутствует.
- Profile calibration[] ещё не применяется; discrete profile сохраняет VRAM host; --profile несовместим с --force-runtime.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Автор документа по источнику: @JasonYeYuhe, перевод и сопровождение китайского README
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Общая справка
Что стоит уточнить
Основания и справочные материалы
API ↗JSON ↗