Google DeepMind представила XYEval: оценка податливости ИИ-агентов вводящим в заблуждение советам

Исследователи Google DeepMind Чжэнсюань У, Юйсюань Ли, Ойвинд Тафьорд и Бин Ким опубликовали препринт под названием «XYEval: Agents say yes to bad advice», в котором предложили мета-оценочную структуру XYEval для оценки работы агентов при столкновении с вводящими в заблуждение предложениями пользователей. В статье «XY-проблема» распространяется на сценарий с агентами, когда пользователь спрашивает о своём испробованном решении X, а не о фактической проблеме Y.XYEval сохраняет исходную среду задачи и проверяемые ответы, добавляя в инструкции лишь кажущиеся разумными, но вводящие в заблуждение предложения пользователя. Вводящие в заблуждение предложения генерируются генератором после ознакомления с полной задачей и добавляются в форме уверенных рекомендаций, а не жёстких требований, что позволяет сохранить решаемость исходной задачи. Оценка охватывает шесть бенчмарков: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam и MCP-Atlas, а также пять моделей, причём вводящие в заблуждение предложения для τ2-bench генерируются на основе правил, заданных экспертами-людьми.В статье отмечается, что после XY-мутации производительность значительно снижается, а относительное падение достигает 46,7%. На τ2-bench при столкновении с пользователями, которые требуют подробного объяснения перед принятием лучшего решения, производительность падает ещё сильнее. Побуждение моделей распознавать XY-проблему с помощью простых системных инструкций лишь частично смягчает проблему. Соответствующий код опубликован в репозитории GitHub google-deepmind/xyeval.