Паспорт проекта
- Тип
- Технические модули
- Задача
- Сравнить, насколько полно модели воспроизводят требуемую функциональность программ.
- Для кого
- В описании не уточняется
- Технологии
- См. описание механизма
- Что потребуется
- В описании не уточняется
- Основание
- 1 первоисточников
За 30 секунд
Сравнить, насколько полно модели воспроизводят требуемую функциональность программ.
Для запусков моделей подсчитываются полностью решённые задачи; дополнительно сравнивается доля задач, где пройден заданный процент тестов, включая порог 95%.
Доля полных решений и кривая доли задач для разных порогов прохождения тестов. Сообщается об одной полностью решённой задаче в двух запусках GPT-5.5.
Как это работает
На входе
Сгенерированные моделью программы и набор из 200 задач с тестами. Тексты заданий и сами тесты в посте не приведены.
Механизм
Для запусков моделей подсчитываются полностью решённые задачи; дополнительно сравнивается доля задач, где пройден заданный процент тестов, включая порог 95%.
Результат
Доля полных решений и кривая доли задач для разных порогов прохождения тестов. Сообщается об одной полностью решённой задаче в двух запусках GPT-5.5.
Что важно понять
Техническое устройство
Тестовый результат отдельной программы переводится в долю успешно пройденных проверок; затем задачи агрегируются по порогу этой доли.
Для чего создано
Сравнить, насколько полно модели воспроизводят требуемую функциональность программ.
Сценарии использования
Сравнение GPT-5.5 xhigh, GPT-5.5 high и Claude Opus 4.7 xhigh. Для порога 95% источник приводит соответственно 13,5%, 5% и 4,5%.
Идея решения
Дополнить строгий критерий полного решения непрерывной оценкой покрытия проверяемой функциональности.
Что известно из описания
Что потребуется
- В описании нет сведений.
Что учитывать
- По замечанию автора, модели не запускались в Codex или Claude Code и не использовали описанный им цикл работы до завершения.
Что пока неизвестно
- Что потребуется — в первоисточнике нет сведений.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Что стоит уточнить