Паспорт проекта
- Тип
- Технические модули
- Задача
- Разобраться в устройстве LLM через создание собственной небольшой работающей модели.
- Для кого
- Разработчики, которые применяют LLM и хотят разобраться в их устройстве.
- Технологии
- API / LLM / PyTorch
- Что потребуется
- Проект описан как реализованный на PyTorch; аппаратные требования и версии не указаны.
- Основание
- 1 первоисточников
За 30 секунд
Разобраться в устройстве LLM через создание собственной небольшой работающей модели.
Генерирует текст с KV-cache; для взаимодействия добавлены консольный чат и Telegram-бот. Автор также описывает обучение и простой бенчмарк.
Генерация текста через чатовые интерфейсы; автор сообщает о публикации SFT-checkpoint и соответствующего токенизатора на Hugging Face.
Как это работает
На входе
Русский текст и диалоги; для обучения предусмотрены подготовка данных и собственный обученный токенизатор, но состав корпуса не раскрыт.
Механизм
Генерирует текст с KV-cache; для взаимодействия добавлены консольный чат и Telegram-бот. Автор также описывает обучение и простой бенчмарк.
Результат
Генерация текста через чатовые интерфейсы; автор сообщает о публикации SFT-checkpoint и соответствующего токенизатора на Hugging Face.
Что важно понять
Техническое устройство
Собственная decoder-only архитектура дополнена токенизатором, подготовкой данных, предварительным обучением и SFT; генерация использует KV-cache, доступны консольный чат и Telegram-бот.
Для чего создано
Разобраться в устройстве LLM через создание собственной небольшой работающей модели.
Сценарии использования
Русскоязычный текстовый диалог через консольный чат и Telegram-бот; опубликованные checkpoint и токенизатор упомянуты как результат проекта.
Идея решения
Пройти полный небольшой цикл от реализации архитектуры и подготовки данных до обучения и диалоговых интерфейсов вместо одного вызова готового API.
Какую задачу описывает источник
Названа потребность разработчиков, уже использующих LLM, понять их внутреннюю работу.
Что известно из описания
Что потребуется
- Проект описан как реализованный на PyTorch; аппаратные требования и версии не указаны.
Что учитывать
- В реализации не используется готовый AutoModelForCausalLM: архитектуру автор реализовал сам.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Автор проекта по источнику: eragon369
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Общая справка
Что стоит уточнить
Основания и справочные материалы
API ↗