大模型为何总答非所问？XYBench基准揭示XY问题短板

真正实用的 AI 助手不仅要能解答清晰准确的提问，更需要帮助那些提问本身带有误区的用户。卡内基梅隆大学、NVIDIA 与约翰斯·霍普金斯大学的研究人员联合推出了测试基准 XYBench，该论文获得了 EMNLP 2026 最佳资源论文奖。

什么是提问中的“XY 问题”？

用户想解决目标 X，误以为方案 Y 是可行途径，于是去请教如何实现 Y，这就是著名的“XY 问题（XY Problem）”。比如烘焙中，用户询问如何让糖霜变稠防止其从纸杯蛋糕上滑落，但核心问题其实是蛋糕刚出炉太烫，而非糖霜浓度不够。

XYBench 汇集了 8,115 个真实场景问题，涵盖编程开发、烹饪及家居维修等日常操作，旨在评估大语言模型是否能识别这些隐含的误区，并在回复中优先提供针对真实目标的有效方案。

XYBench 的构建方式

该基准的数据来自四个渠道：Stack Overflow（1,557 题）、Stack Exchange（184 题）、人工精选样本（102 题）以及基于 WikiHow 指南生成的 6,272 题。对于每个问题，研究团队均标定了表层提问（Y）以及结合上下文可推断出的真实意图（X）。

为了评估回答的有效性，XYBench 从语用学角度设立了三个维度的评估指标：

1. 语用解决方案：检测模型是否分别给出了针对表层提问（Y）和真实目标（X）的解答。
2. 语用重心：判断模型的回答重心是在表层提问、真实意图，还是二者兼顾。
3. 误区识别：衡量模型是否主动引导用户聚焦真实目标（X），并指出或规避错误的方案（Y）。

基准采用 Claude Sonnet 4.5 担任自动化裁判。人工复核 500 条样本的结果显示，裁判与人类专家在判定方案存在与否的一致率达 97.5%~100%，在误区识别判定上达 84.6%~93.3%。

主流前沿模型表现如何？

研究团队测试了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 以及 DeepSeek-V4 Pro 在单轮问答下的表现：

• 普遍迁就错误提问：面对 Stack Overflow 的技术提问，所有模型给出表层方案（Y）的概率在 75%~86% 之间，而提供真实目标方案（X）的概率仅为 59%~71%。
• 缺乏主动纠偏意识：模型主要聚焦真实目标的回答占比仅为 35%~41%，其余大部分篇幅仍在顺着用户的错误思路作答。而在高质量的人类社区回答中，纠偏与重定向占据主导地位。

“看懂”不等于“能答对”

当测试中直接向模型告知用户的真实意图 X 时，模型提供正确方案的比例有所提升，但纠正用户误区的概率反而有所下降。这表明仅仅识别出真实意图并不够，模型必须具备主动逆转错误思路的行动力。

另一项选择题实验显示，当直接给出“顺从错误”和“指出误区并解决本质问题”两种选项时，六款模型在 71%~84% 的情况下都能正确挑选出直击本质的优质建议；但在自由生成回答时，模型主动聚焦本质目标的比例跌落至 35%~41%。

这种“选得出却写不出”的断层，说明常规的选择题评测容易高估模型实力。XYBench 为后续大语言模型的提示词工程、对齐训练与意图推理提供了精细化的评测工具。