哈佛最新研究：AI论文审稿表现全面超越人类专家

AI不仅在加速论文产出，如今甚至开始在学术评审环节超越人类同行。

哈佛大学研究人员近日发表了一篇题为《AI审稿意见全面胜过高水平人类同行评审》的研究。团队对比了134组由AI与人类专家分别撰写的审稿意见，结果显示，AI在七个评价维度上取得了全面领先。

在对具体论断的核查中，AI审稿意见的事实错误率仅为5.5%，而资深人类专家撰写的意见中事实错误率达15.9%。研究团队还邀请了三位曾任权威学术期刊主编的专家进行盲评，在30次对比测试中，人类主编有26次认为AI的审稿意见更为出色。

全维度盲测：人类审稿人全面落后

此次对照实验选用的基准并非普通志愿者的草稿。研究采用了124篇真实学术论文，以及哈佛大学定量社会科学研究所旗下 rapidPeer 提供的134份付费专家评审报告。在接受调查的74位原作者中，有88%此前对这些人类专家给出的反馈质量表示高度认可。

实验中，研究团队利用 Claude 配合专门优化的提示词生成审稿意见，并使用 GPT 担任初轮盲审评委，两项模型互换后结论依然一致。

在优化提示词并开放联网搜索后，134组对比中AI取得了132次明确胜利，其余2次持平，人类专家无一胜出。在“补充参考文献”、“发现论文弱点”和“研究方法分析”三个关键维度上，AI的胜率达到100%；在“理论创新”、“论据框架”与“表达质量”方面，AI胜率也均超过90%。

针对学术界普遍担心的“AI模型幻觉”问题，研究人员人工核查了AI在审稿过程中引用的651篇带有 DOI 或 arXiv 编号的参考文献，证实全部真实有效，无一捏造。

这一结果推动学术界开始严肃反思传统出版流程。斯坦福大学相关学者公开指出，学术界或许应当重塑同行评审规则，让人类专家主要负责宏观方向裁决与终审，免除撰写长篇基础分析报告的负担。

优势与短板：不知疲倦但偶现“吹毛求疵”

AI之所以能在此类繁重的分析工作中拉开差距，首要原因在于推理精度的持续性。高标准的同行评审耗时极长，人类审稿人容易产生认知疲劳，往往在发现一两个硬伤后便草草收尾。相比之下，开启高推理模式的AI平均每审阅一篇论文就会进行12.4次联网查证，保证了地毯式的信息比对。

但AI审稿也暴露出过度严苛的倾向。研究人员指出，AI有时会出现逻辑过载般的挑剔：明明知道“2+2=4”在语境中成立，却仍会指出作者“未事先定义加号的数学概念”。这种缺乏弹性的挑错偏好，仍需依赖人类编辑在最终审核中予以校正。

近期以陶哲轩为代表的数学家团体曾多次发声，呼吁严防未经严格审查的AI学术成果流入主流学界。然而，哈佛这项针对社会科学领域的测试表明，学术守门人自身的工作范式，正在以超乎预期的速度被技术重构。