Паспорт проекта
- Тип
- Технические модули
- Задача
- Сравнить полученных игровых ботов после одинаково описанного итерационного процесса.
- Для кого
- В описании не уточняется
- Технологии
- См. описание механизма
- Что потребуется
- Модели должны иметь возможность читать код, запускать бенчмарки и изменять программу; лимит — десять итераций.
- Основание
- 1 первоисточников
За 30 секунд
Сравнить полученных игровых ботов после одинаково описанного итерационного процесса.
Каждая модель пишет игрового бота, читает его код, запускает бенчмарки и переписывает реализацию в течение десяти итераций. Итоговые боты затем сравниваются напрямую.
Итоговые боты, сравнение их результатов и заявленные затраты с приростом качества для трёх моделей. Определение метрики качества не дано.
Как это работает
На входе
Задача игры в Tetris, собственный код бота и результаты запуска бенчмарков. Правила теста и доступные инструменты полностью не раскрыты.
Механизм
Каждая модель пишет игрового бота, читает его код, запускает бенчмарки и переписывает реализацию в течение десяти итераций. Итоговые боты затем сравниваются напрямую.
Результат
Итоговые боты, сравнение их результатов и заявленные затраты с приростом качества для трёх моделей. Определение метрики качества не дано.
Что важно понять
Техническое устройство
Цикл обратной связи устроен как код → измерение бенчмарком → переписывание кода, после фиксированного числа итераций выполняется итоговое сравнение.
Для чего создано
Сравнить полученных игровых ботов после одинаково описанного итерационного процесса.
Сценарии использования
В публикации сравниваются Qwen 3.7-Max, Claude Opus 4.7 и GPT-5.5 на задаче Tetris. Результаты не объявляются общей оценкой качества этих моделей.
Идея решения
Оценивать модель не только по первому коду, а по способности улучшать программу через повторный доступ к коду и измеримому результату.
Что известно из описания
Что потребуется
- Модели должны иметь возможность читать код, запускать бенчмарки и изменять программу; лимит — десять итераций.
Что учитывать
- В описании нет сведений.
Что пока неизвестно
- Ограничения — в первоисточнике нет сведений.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Автор проекта по источнику: atomic.chat
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Общая справка
Возможное применение · гипотезы
Что стоит уточнить
Основания и справочные материалы
Основание пояснения ↗