Технические модули

MiniMind-3: малые Dense/MoE модели с прозрачной цепочкой обучения

MiniMind-3 — малые языковые модели Dense 64M и MoE 198M-A64M с раскрытой цепочкой обучения; README датирует их выпуск 1 апреля 2026 года.

Для кого

Учебная и практическая аудитория, начинающая изучать LLM и желающая воспроизводить обучение.

17.10.2026·2 источников·По описаниям проекта ↗

КЛЮЧЕВЫЕ СВЕДЕНИЯ

Паспорт проекта

По первоисточникам

Тип: Технические модули
Задача: Снизить порог изучения LLM и дать возможность понять код и самостоятельно обучить малую модель с нуля.
Для кого: Учебная и практическая аудитория, начинающая изучать LLM и желающая воспроизводить обучение.
Технологии: LLM / PyTorch
Что потребуется: Для CUDA-обучения требуется распознанный GPU; README допускает CPU и MPS, предупреждая о большой разнице скорости и совместимости.
Основание: 2 первоисточников

СУТЬ

За 30 секунд

01 / Зачем

Снизить порог изучения LLM и дать возможность понять код и самостоятельно обучить малую модель с нуля.

02 / Как

Обучение от предобучения и SFT до LoRA, DPO, PPO/GRPO/CISPO, вызова инструментов и Agentic RL; основные алгоритмы описаны как нативные реализации PyTorch.

03 / Результат

Весовые файлы SFT в out/full_sft_*.pth и ответы легковесного OpenAI-совместимого сервиса, включая поля reasoning_content и tool_calls.

ПОСЛЕДОВАТЕЛЬНОСТЬ

Как это работает

На входе

Тексты для предсказания следующего токена; обучающие agent_rl.jsonl / agent_rl_math.jsonl для многоходового использования инструментов и проверяемых математических задач.

Механизм

Результат

Весовые файлы SFT в out/full_sft_*.pth и ответы легковесного OpenAI-совместимого сервиса, включая поля reasoning_content и tool_calls.

ПОДРОБНОСТИ

Что важно понять

Техническое устройство

Decoder-only Transformer с Pre-Norm/RMSNorm, SwiGLU, RoPE/YaRN; MoE использует четыре эксперта и top-1 маршрутизацию. В многоходовой траектории результат инструмента возвращается в контекст, затем рассчитывается отложенная награда и обновляется политика.

Для чего создано

Снизить порог изучения LLM и дать возможность понять код и самостоятельно обучить малую модель с нуля.

Сценарии использования

Авторский тест сравнивает Agent и full_sft на лёгких математических заданиях с Tool Use. Это демонстрационный сценарий, не подтверждённое внедрение.

Идея решения

Малый размер модели и прозрачные PyTorch-реализации позволяют проследить всю цепочку обучения; для Tool Use связываются вызов инструмента, наблюдение результата и оценка полной траектории.

Какую задачу описывает источник

README прямо отмечает, что огромные модели сложно обучать и даже размещать на личном оборудовании.

ГОТОВНОСТЬ К ПРОВЕРКЕ

Что известно из описания

Полнота описанияЗапуск не проверялся

МеханизмОписано

ТребованияОписано

ОграниченияОписано

Что потребуется

Для CUDA-обучения требуется распознанный GPU; README допускает CPU и MPS, предупреждая о большой разнице скорости и совместимости.
Ограниченная оценка времени относится к одной NVIDIA 3090.

Что учитывать

Около десяти имитируемых инструментов не подтверждают обобщение; сочетание Tool Call и явного рассуждения нестабильно.
Agentic RL ограничен вызовом, наблюдением и перепланированием, не полным управлением памятью/сложными процессами.
Обучение синхронное.

СМОТРИМ ГЛУБЖЕ

Комментарий NeoBridge

Общая справка

Dense и MoE — Dense — модель, в которой для каждого шага используются все основные вычислительные блоки; MoE (смесь экспертов) выбирает лишь часть специализированных блоков для обработки каждого токена.
SFT — Обучение с учителем на примерах желательных ответов; это отдельный этап, который сам по себе не означает обучение модели с нуля.
LoRA — Способ дообучения, при котором изменяют небольшие добавочные матрицы параметров вместо всех весов модели.
Обучение с подкреплением (RL) — Обучение, где поведение корректируют по оценке или вознаграждению полученного результата.
Токен — Фрагмент текста или другой единицы представления, с которым работает модель.

Что стоит уточнить

Какая база измерения актуальна: вступительный SFT за 2 часа или таблица pretrain+SFT за 2.31 часа, и для какого набора данных? Развести расходящиеся оценки времени и стоимости.
Какие Tool Use и Agentic RL веса опубликованы в текущем релизе и как проверена работа вне десяти имитируемых инструментов? Не принять учебный сценарий за общее агентное решение.
Какие конкретные части датасетов имеют некоммерческие условия и допустимы для предполагаемого применения? README перечисляет разные лицензии данных.

↗

ОСНОВАНИЯ

Из первоисточников

2 ссылок

Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.

Независимое тестирование проекта не проводилось.

github.com

← Вернуться к проектам Продолжить исследование ↗