大语言模型在学术撤稿识别中的表现与局限：一项压力测试分析

1. 项目概述：当大语言模型遇上学术撤稿，一场关于信息可靠性的压力测试

如果你最近在写论文或者做文献综述，大概率已经用过大语言模型（LLM）来帮忙了。无论是让ChatGPT帮你总结一篇论文的核心观点，还是用Claude来梳理某个领域的研究脉络，这些工具确实能极大提升效率。但不知道你有没有想过一个问题：如果模型推荐给你一篇文献，而这篇文献其实已经被学术期刊正式撤稿了，它会不会告诉你？

这可不是杞人忧天。撤稿是学术出版中纠正错误的最后一道防线，意味着论文因存在严重缺陷（如数据造假、结论无法重复、伦理问题等）而被正式撤销。阅读并引用一篇已撤稿的论文，轻则浪费研究时间，重则可能将错误结论作为自己工作的基础，导致整个研究方向的偏差。最近，谢菲尔德大学的Mike Thelwall教授团队做了一项非常“较真”的实验，他们测试了三个主流的大语言模型——GPT OSS 120B、Gemma 3 27B和DeepSeek R1 70B——让它们判断161篇高关注度的已撤稿论文的状态。结果有点令人不安：在超过80%的情况下，这些模型看着论文的标题和摘要，却信誓旦旦地告诉你“这篇论文没有被撤稿”。

这个实验像一次针对AI信息可靠性的“压力测试”。它揭示的不仅仅是模型的一个小bug，而是触及了当前生成式AI在学术辅助应用中的一个核心痛点：模型对训练数据中事实性知识的记忆、提取和关联能力，远不如我们想象的那么可靠，尤其是在处理像“撤稿”这种动态、具体且关键的事实信息时。 对于依赖LLMs进行快速文献调研的学生、学者，甚至是需要评估研究现状的基金评审人来说，这个发现都是一个重要的警示。本文将深入拆解这项实验的设计、结果背后的原因，并分享在实际科研工作中，如何安全、有效地利用大语言模型，同时规避其潜在的信息陷阱。

2. 实验设计解析：如何科学地给大语言模型“出考题”

要评估大语言模型的能力，一个严谨的实验设计是得出结论的基础。Thelwall教授的这项研究在数据选取、模型选择和提问方式上都做了精心考量，其思路值得我们借鉴，尤其是在设计自己的验证性实验时。

2.1 数据集构建：为什么选择“高关注度”撤稿论文？

实验的核心是两组数据：测试集和基准集。

测试集（161篇高关注度撤稿论文）：这是实验的“考题”。研究者没有随机挑选撤稿论文，而是特意从“撤稿观察”（Retraction Watch）网站获取列表，并利用Altmetric.com的数据，筛选出在社交媒体上讨论度最高的250篇论文。经过过滤，最终确定了161篇在2023年10月之前被撤稿的“明星”论文。

注意：选择“高关注度”论文是关键策略。这些论文通常涉及重大发现（后来被证伪）、知名学者或敏感话题，因此在学术社区和公共媒体中被广泛讨论。这意味着关于它们撤稿的信息，更有可能被大量文本数据记录（如新闻报道、学术评论、社区讨论），从而更大概率地被收录进大语言模型的训练数据中。这相当于给了模型一个“最佳表现机会”——如果连这些广为人知的撤稿案例都识别不出来，那么对更冷门论文的识别能力就更值得怀疑了。

基准集（34,070篇非撤稿论文）：这是实验的“对照组”，用于评估模型的“假阳性”率，即把没撤稿的论文错判为已撤稿的概率。研究者从多学科开放获取出版社MDPI的FTP服务器获取了全文数据，并选取了来自8个不同学科领域期刊的论文。为了控制计算成本，他们从每个期刊中随机抽取了最多5000篇论文构成基准集。

这个基准集的设计巧妙之处在于：

1. 学科多样性：涵盖了人文、社会科学、电子、医疗、可持续性等多个领域，避免了模型在特定学科上表现偏差。
2. 全文与摘要对比：实验分别用论文的“全文”和“仅标题与摘要”作为输入，这能测试模型信息处理深度对判断的影响。
3. 包含极少数“已知阳性”：基准集中意外包含了3篇标题明确以“RETRACTED:”开头的已撤稿论文，这可以顺便检验模型对明确撤稿信号的识别能力。

2.2 模型与提示词：如何让模型“听懂”问题？

实验选择了三个具有代表性的开源大语言模型：

1. GPT OSS 120B：OpenAI发布的大规模开源模型，参数量巨大，代表了当前顶尖的通用能力。
2. Gemma 3 27B：Google发布的专家混合模型，在之前的学术文本处理任务中表现良好。
3. DeepSeek R1 70B：深度求索公司发布的推理模型，以其较强的逻辑推理能力著称。

选择这三个模型覆盖了不同的提供方、模型架构（混合专家 vs. 推理优化）和规模，使结论更具普遍性。

提示词工程是另一个关键。研究者使用了结构化的提示词，明确要求模型扮演“关注论文撤稿状态的学术研究者”，并严格按照给定格式回答。格式如下：

这种设计有两大好处：

1. 标准化输出：强制模型以“是/否”开头，便于程序自动化地统计结果，避免了自由文本回答带来的解析困难。
2. 诱导深度思考：要求解释原因和提供撤稿通知文本，可以检验模型不仅仅是瞎猜，而是是否真的“知道”相关的具体信息。这为后续分析模型犯错的原因提供了宝贵材料。

2.3 核心研究问题与实验逻辑

整个实验围绕三个清晰的研究问题展开：

• RQ1（核心性能）：离线的开源大语言模型，能多频繁地正确报告一篇论文已被撤稿？
• RQ2（一致性）：不同模型对同一篇论文撤稿状态的判断是否相似？这能反映问题是模型共性还是个例。
• RQ3（可靠性）：模型多频繁地会误判一篇正常论文为已撤稿？（即假阳性率）

实验的逻辑链条非常清晰：先用高难度但“理应知道”的撤稿论文测试模型的知识储备上限（RQ1），再用海量正常论文测试其“胡说八道”的下限（RQ3），最后通过模型间的一致性（RQ2）来判断问题是源于训练数据的共性缺失，还是模型自身的随机行为。这种设计使得结论扎实，有说服力。

3. 结果深度剖析：大语言模型在撤稿识别上如何“翻车”

实验的结果用一句话概括就是：模型在识别撤稿上表现糟糕，但在避免误伤正常论文上做得还不错。 这种矛盾的表现恰恰揭示了当前大语言模型在事实性知识检索上的复杂性和局限性。

3.1 令人失望的撤稿识别率

面对161篇高关注度的已撤稿论文，三个模型的表现均不理想：

• GPT OSS 120B: 仅正确识别出29篇（18%）
• Gemma 3 27B: 仅正确识别出25篇（16%）
• DeepSeek R1 70B: 仅正确识别出19篇（12%）

这意味着，超过80%的情况下，当你拿着一篇已被撤稿的论文标题和摘要去问模型，它会自信地告诉你“这篇论文没问题”。这个数字对于旨在辅助学术研究的工具来说，是相当高的风险。

更值得玩味的是模型在“答对”时的表现。当模型罕见地正确判断一篇论文已撤稿时，它提供的“解释”和“撤稿通知”内容，往往也是胡编乱造的。例如，在一例中，Gemma 3模型虽然给出了“撤稿”判断，但其编造的撤稿原因是“数据可重复性问题和数据捏造”，而该论文实际的官方撤稿通知指出的是“材料来源、实验测量和数据处理协议未准确反映”以及“电阻数据可靠性存疑”。模型似乎只是根据“撤稿”这个标签，关联了一些常见的、模糊的撤稿原因（如数据问题、学术不端）进行拼凑，而非准确调取了真实信息。

一个关键发现是模型的“推理模式”：当模型判断论文“未撤稿”时，其理由通常是“所提供的文本（标题和摘要）中没有表明该文章已被撤稿”。这强烈暗示，在本次实验的提示词设置下，模型主要是在对输入的文本进行“模式匹配”和“内容分析”，而不是从其庞大的参数记忆中主动检索关于这篇论文的已知事实。它更像一个只能阅读眼前文本的“文盲”，而不是一个拥有海量背景知识的“学者”。

3.2 较低的误判率与“幻觉”问题

在基准测试的3.4万多篇非撤稿论文中，模型的“假阳性”（误判为撤稿）率非常低：

• 使用全文输入时：55次误判（错误率约0.11%）
• 仅使用标题和摘要输入时：28次误判

这说明模型在“无事生非”方面相对克制。然而，这少量的误判案例却暴露了另一个典型问题——事实性幻觉。模型会生成极其逼真但完全虚假的“撤稿通知”，包含虚构的期刊名称、卷期号、详细的撤稿理由（如“与已发表作品存在大量文本重叠”、“数学推导不一致”等），甚至模仿正式的学术伦理声明格式。

实操心得：这一点对使用者至关重要。模型生成的文本越具体、越符合规范，其欺骗性就越强。你不能因为模型提供了一份“有模有样”的撤稿声明，就相信论文真的被撤了。任何时候，对模型提供的具体事实（如日期、期刊、具体理由）都必须进行二次核实，最可靠的方式是直接去出版社官网、PubMed或Crossref等权威数据库查询。

3.3 模型间的高度一致性与错误根源推测

统计检验显示，不同模型对同一篇论文的判断具有高度一致性（p值极低）。它们倾向于同时对少数论文做出正确的撤稿判断，或者同时对大多数论文做出错误的“未撤稿”判断。这表明，问题很可能不是某个模型的个别缺陷，而是源于它们训练数据的共性局限。

大语言模型并非数据库，它们不“记忆”原文，而是学习单词、概念和事实之间的统计关联。一篇论文的标题、摘要与其“撤稿状态”之间的关联，在训练数据的海洋中可能非常微弱。除非“论文X已被撤稿”这个事实在训练数据中被反复、明确地提及（例如，在一篇专门讨论撤稿的综述中被列出），否则模型很难建立稳固的“提取路径”。即使训练数据中包含了一次撤稿通知，这条信息也可能被淹没在数十亿的其他文本模式中，难以在需要时被有效激活和关联到具体的论文标题上。

4. 延伸探讨：为什么大语言模型不擅长处理“撤稿”这类信息？

实验数据背后，是生成式AI工作原理与学术信息特性之间的根本性错配。理解这一点，能帮助我们更理性地看待和使用这些工具。

4.1 生成 vs. 检索：根本的能力鸿沟

大语言模型的核心能力是生成合乎语言规律的文本，而不是精确检索特定事实。它的工作模式是：根据输入（提示词+问题），预测下一个最可能出现的词是什么。当被问及“论文A是否被撤稿”时，模型并不是去一个内部知识库中执行一次查询，而是基于“论文A”、“撤稿”、“是否”这些词汇在训练数据中共同出现的概率分布，生成一个最可能的回答序列。

如果关于“论文A撤稿”的文本模式在训练数据中足够强、足够独特，模型就可能生成“是，因为它存在数据问题…”。但大多数情况下，这种关联很弱，模型更可能生成一个更通用的、安全的模式，比如“根据提供的文本，没有发现撤稿信息”。这本质上是一种“模式补全”，而非“事实核查”。

4.2 静态训练与动态世界：知识的“截止日期”问题

所有参与测试的模型都是“离线”或“开源权重”模型，其知识截止日期在2024年中左右。这意味着它们对2024年之后发生的撤稿事件一无所知。但问题在于，即使是2024年之前的撤稿，模型也识别不佳。这引出了更深层的问题：学术知识是动态的，而模型的训练数据是静态的快照。

一篇论文从发表、引起讨论、到被发现问题、最终被撤稿，是一个随时间演变的过程。模型的训练数据可能大量包含了该论文发表初期正面讨论的文本，而关于其撤稿的讨论在数量上和传播广度上可能远不如前者。因此，在模型的参数空间中，“论文X”更强烈的关联可能是其“创新性”、“重要性”，而非其“撤稿”状态。

4.3 提示词的局限性与“检索增强生成”的出路

本实验使用的提示词只提供了论文的标题和摘要。这相当于让一个学者仅凭论文的“名片”来判断其整个学术生涯的结局，显然是不充分的。即使提供全文，模型也可能因为上述的生成机制缺陷而无法定位到关键信息。

解决这一问题的前沿方向是 “检索增强生成”（RAG）。RAG不依赖模型内部记忆，而是在回答问题时，先通过搜索引擎或专业数据库（如PubMed、Crossref）实时检索最新、最相关的信息（包括撤稿状态），然后将这些检索到的真实信息与问题一起喂给模型，让模型基于这些确凿的证据来组织答案。目前许多联网版的AI助手（如ChatGPT Plus的联网搜索功能）正是采用了这种思路。实验结论也明确指出，离线模型存在此局限，而能进行在线检查的模型则可能表现不同。

5. 给研究者的实操建议：如何安全地利用大语言模型进行文献工作？

认识到局限性不是为了否定工具，而是为了更安全地使用它。以下是一些结合实验发现和个人经验总结的实操建议。

5.1 明确模型定位：助手，而非仲裁者

首先要建立正确预期：将大语言模型视为一个高效的“文献初筛助理”或“内容总结助手”，而不是一个可靠的“事实核查官”或“学术评价仲裁者”。它可以帮你快速了解一个领域有哪些代表性论文、一篇长论文的大致脉络是什么，但它提供的关于论文的具体事实性断言（如发表年份、期刊卷期、是否被引、是否撤稿）必须被验证。

5.2 构建安全的文献工作流

一个结合了AI效率与人工核查的工作流可以这样设计：

1. 初步探索与清单生成：使用大语言模型，基于你的研究主题，让其推荐相关领域的关键文献、经典论文或最新研究方向。将它的输出视为一个“待查证文献清单”，而不是最终书单。
2. 关键信息核实：对于清单上的每一篇论文，务必亲自通过权威渠道进行核实。核心步骤包括：
   • 身份确认：使用Google Scholar、PubMed、Web of Science、出版社官网，通过准确的标题、作者、DOI进行搜索，确认论文真实存在。
   • 状态核查：在论文的官方页面上，仔细查看是否有“Retracted”、“Expression of Concern”、“Correction”等标签。对于生物医学领域，PubMed的记录通常会明确标注“Retracted”。
   • 内容交叉验证：对于模型生成的论文摘要或观点总结，快速浏览原文的摘要和结论部分，确认核心观点没有被曲解或遗漏关键限制条件。
3. 深度阅读与思考：对于核实后确认为可靠且相关的论文，进行人工深度阅读。AI总结无法替代你对研究动机、方法细节、数据分析和论证逻辑的亲自把握。

5.3 善用专业工具与插件

• 浏览器插件：安装如“Unpaywall”、“Kopernio”等插件，它们不仅能帮你快速获取全文，有时也会集成文献状态信息。
• 学术数据库的警报功能：在Google Scholar或专业数据库设置“被引提醒”，如果一篇论文被撤稿，有时后续批评或评论它的文章会触发提醒，间接提示你关注。
• 专门网站：对于心存疑虑的论文，可以直接访问“Retraction Watch”（撤稿观察）网站进行搜索，这是追踪学术撤稿新闻最全面的平台。

5.4 对模型输出的“危险信号”保持警惕

当模型在文献相关回答中出现以下情况时，需要格外小心：

• 提供非常具体但无法验证的细节：如精确的撤稿日期、卷期号、详细的撤稿理由（尤其是与官方通知不符的）。
• 对一篇知名或争议论文的状态语焉不详：如果一篇论文在学术界广为人知，而模型只是含糊地说“根据提供的信息无法判断”，这本身可能就是一个提示——你需要自己去查了。
• 在总结时忽略重要的限制条件或争议：模型倾向于生成流畅、肯定的陈述，可能会忽略原文中“作者指出该结论的局限性在于…”，“然而，有批评认为…”这类关键信息，使总结显得比原文更确定。

大语言模型无疑改变了我们处理信息的方式，但这项实验清晰地提醒我们，在学术研究这条追求精确与真实的道路上，它仍然是一个会犯严重事实性错误的“实习生”。它的价值在于处理语言、激发思路、提升效率，但其输出的每一个事实锚点，都需要我们研究者用专业的工具和审慎的态度去亲手加固。最终，对文献的批判性评估和对事实的执着追求，仍然是研究者不可替代的核心能力。