Next-token 预测器错在哪：LLM 后训练与 RLVR

「Next-token predictor」是错的心智模型：为什么它决定了你怎么用大模型

一个 Hacker News 短文抛出被中文技术圈忽视的问题：把大模型理解成"更强的 token 预测器"，会让你在评测、微调和产品定位上系统性走偏。RLVR 后训练已经把优化目标从模仿改成了达成结果——用错心智模型，代价是每一笔训练投入。

一句话的错误，能让整支团队用错模型。

9 月 4 日，一位署名 Gordon McGoldrick 的开发者在个人博客上贴出一篇短文：《"Next-token predictor" is the wrong mental model for LLMs》。这篇文章当天进入 Hacker News 首页讨论。原文没有任何数据、没有 benchmark、只有两段 Python 伪代码和一个国际象棋比喻——但它把一个在中文技术圈几乎无人系统讨论的问题摆到了桌面上：如果你还把大模型理解成"更强的 next-token 预测器"，那么你在设计评测、微调路线和产品逻辑时，几乎注定会走弯路。

一、"形状"和"编码"是两件事

McGoldrick 的原话很克制：

"Strictly speaking, the statement 'LLMs are next-token predictors' isn't wrong, but it's incomplete."

严格来说，这个说法没错。基于 Transformer 的语言模型确实是自回归吐 token 的：

while not done:
    tokens.append(model.sample_next_token(tokens))

预训练阶段做的事情也确实符合"预测下一个词"的直观描述——喂进一段已经存在的语料，让模型把真实出现的下一个 token 变得更可能：

for tokens in training_data:
    for position in range(1, len(tokens)):
        prior_tokens = tokens[:position]
        actual_next_token = tokens[position]
        model.make_more_likely(actual_next_token, after=prior_tokens)

关键的一句紧接着出现：每一个 actual_next_token 都来自训练集里已有的序列。到这一步，"next-token predictor"是准确的——base model 就是在预测训练分布下的下一个词。

但我们在生产里用的，从来不是 base model。RLHF、DPO、RLVR、GRPO 一路做下来，模型早就不再只从"已有序列"里学。McGoldrick 给了一段对照的伪代码：

for task in training_tasks:
    for explored_tokens in model.explore(task):
        reward = evaluate_outcome(task, explored_tokens)
        for position in range(len(explored_tokens)):
            prior_tokens = task + explored_tokens[:position]
            explored_next_token = explored_tokens[position]
            model.make_more_likely(
                explored_next_token,
                after=prior_tokens,
                according_to=reward,
            )

看形状，两段循环几乎一样——都在调 make_more_likely，都在往下写 token。看目的，两者完全不同。前者让"训练集里出现过的下一个词"更可能；后者让"模型自己走出来、并被 reward 判为好"的下一个词更可能。没有 reward 就没有信号，这个信号函数是人为定义的、不来自任何语料。

McGoldrick 用一句话锁住了他的论点：

"That is why 'next-token predictor' is the wrong mental model. It describes the shape of the mechanism, one token emitted after another, while ignoring what that mechanism encodes."

机制的形状和编码的目标，是两件事。混为一谈的代价，在下面会具体展开。

这里还有一个容易被忽略的层次差别。RLHF 用的 reward 来自人的偏好（哪一份回复更好），本质仍然是"模仿人"，只是模仿对象从"训练文本"换成了"人的评价函数"。McGoldrick 明确把 RLVR 单挑出来："RLVR goes further still: it allows an LLM to explore and learn from ideas never seen in its training data."——可验证 reward（能不能编译、答案是否正确、证明是否成立）第一次让模型可以走出人类语料，向着"没人写过但能被判定为正确"的答案更新参数。这也是过去两年被反复讨论的"推理能力"提升的技术底盘。你可以把它理解为：SFT 教模型"说得像"，RLHF 教模型"说得让人满意"，RLVR 教模型"做得对"。三层目标的差距，比"下一个 token 预测"这一句能容纳的多得多。