Google DeepMind เปิดตัว XYEval ประเมินว่าเอเจนต์ทำตามคำแนะนำที่ทำให้เข้าใจผิดหรือไม่

นักวิจัย Google DeepMind ได้แก่ Zhengxuan Wu, Yuxuan Li, Oyvind Tafjord และ Been Kim เผยแพร่บทความ preprint ชื่อ "XYEval: Agents say yes to bad advice" เสนอกรอบการประเมินเมตา XYEval เพื่อประเมินประสิทธิภาพของเอเจนต์เมื่อเผชิญกับคำแนะนำที่ทำให้เข้าใจผิดจากผู้ใช้ บทความขยาย "ปัญหา XY" ไปสู่สถานการณ์เอเจนต์ ซึ่งผู้ใช้สอบถามเกี่ยวกับวิธีแก้ปัญหา X ที่ตนพยายามทำ แทนที่จะเป็นปัญหา Y ที่แท้จริง XYEval คงสภาพแวดล้อมงานเดิมและคำตอบที่ตรวจสอบได้ โดยเพิ่มเพียงคำแนะนำของผู้ใช้ที่ดูสมเหตุสมผลแต่ทำให้เข้าใจผิดในคำสั่ง คำแนะนำที่ทำให้เข้าใจผิดเหล่านี้สร้างโดยตัวสร้างหลังจากเห็นงานทั้งหมดแล้ว และถูกเพิ่มในรูปแบบของคำแนะนำที่มั่นใจ而非ข้อกำหนดที่เข้มงวด ทำให้งานเดิมยังคงแก้ไขได้ การประเมินครอบคลุมหกเบนช์มาร์ก ได้แก่ τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam และ MCP-Atlas พร้อมกับห้าโมเดล โดยคำแนะนำที่ทำให้เข้าใจผิดสำหรับ τ2-bench สร้างขึ้นตามกฎที่กำหนดโดยผู้เชี่ยวชาญของมนุษย์ บทความระบุว่าประสิทธิภาพลดลงอย่างมีนัยสำคัญหลังการกลายพันธุ์ XY โดยการลดลงสัมพัทธ์สูงถึง 46.7% บน τ2-bench เมื่อเผชิญกับผู้ใช้ที่ต้องการคำอธิบายโดยละเอียดก่อนยอมรับวิธีแก้ปัญหาที่ดีกว่า ประสิทธิภาพลดลงมากยิ่งขึ้น การสนับสนุนให้โมเดลตระหนักถึงปัญหา XY ผ่านคำสั่งระบบง่ายๆ ช่วยบรรเทาปัญหาได้เพียงบางส่วนเท่านั้น โค้ดที่เกี่ยวข้องเผยแพร่ในที่เก็บ GitHub google-deepmind/xyeval