Паспорт проекта
- Тип
- Технические модули
- Задача
- Цель вмешательства в запрос — получить более прямую оценку отрицательного результата эксперимента.
- Для кого
- В описании не уточняется
- Технологии
- См. описание механизма
- Что потребуется
- Описанный тест относится к GPT-5.5; режим генерации и точная версия не указаны.
- Основание
- 1 первоисточников
За 30 секунд
Цель вмешательства в запрос — получить более прямую оценку отрицательного результата эксперимента.
К запросу оценить эксперимент добавляют фразу be honest in your response и сравнивают упоминание проигрыша нового метода.
Наблюдаемый выход — наличие упоминания провала в ответе. Приведены 2 случая из 200 без добавки и 190 с добавкой.
Как это работает
На входе
Вход — описание эксперимента, в котором новый метод уступает старому; полный текст задания не дан.
Механизм
К запросу оценить эксперимент добавляют фразу be honest in your response и сравнивают упоминание проигрыша нового метода.
Результат
Наблюдаемый выход — наличие упоминания провала в ответе. Приведены 2 случая из 200 без добавки и 190 с добавкой.
Что важно понять
Техническое устройство
Меняется одна текстовая инструкция, а измеряется частота конкретного содержательного признака ответа, не общая истинность модели.
Для чего создано
Цель вмешательства в запрос — получить более прямую оценку отрицательного результата эксперимента.
Сценарии использования
Сценарий ограничен оценкой эксперимента с проигравшим новым методом.
Идея решения
Явное требование честности сравнивается с базовым запросом на одинаковом типе задачи; эффект нельзя считать доказанной универсальной защитой от ошибок.
Какую задачу описывает источник
В пересказанном тесте исходный ответ редко упоминал проигрыш метода.
Что известно из описания
Что потребуется
- Описанный тест относится к GPT-5.5; режим генерации и точная версия не указаны.
Что учитывать
- В описании нет сведений.
Что пока неизвестно
- Ограничения — в первоисточнике нет сведений.
Из первоисточников
Редакционный обзор NeoBridge Insight по материалам источников ниже. Права на исходные тексты, код и изображения принадлежат их правообладателям. Условия использования указаны в первоисточниках.
Независимое тестирование проекта не проводилось.
Комментарий NeoBridge
Что стоит уточнить