From Correctness to Utility: Gain-Based Prefix Evaluation for LLM Reasoning

主类别：LLM
论文入口：arXiv:2606.07190
作者与机构：Yuhang Zhou、Yixin Cao、Guangnan Ye；一作和通讯作者均标注为 Fudan University 与 Shanghai Innovation Institute。
方法简称：PUM，Prefix Utility Model。
代码/项目页状态：已核验项目页；页面确认 20K reasoning trajectories、280K utility preferences、selection/search/RL 三类用途，但 Resources 区仍写 Code、PUM-Math、PUM Model 为 Coming soon，因此本笔记按“项目页存在，代码/数据/模型尚未公开”处理。

这篇论文问的问题很直接：当大模型已经生成了一段推理前缀时，我们到底应该评价它“这一步是否正确”，还是评价它“会不会让后续更容易解出答案”。作者把后一个量定义为 prefix gain，并用一组轻量学生模型的 with-prefix 与 no-prefix 求解率差异来构造监督信号。这个设定让 PUM 同时能服务完整答案选择、搜索过程剪枝和强化学习里的过程级信用分配。

1. 背景和问题

过程奖励模型通常被放在数学推理、代码生成和复杂任务规划里使用，因为这些任务的最终答案奖励太稀疏，只看 final answer 很难知道哪一步推理开始偏离。传统 PRM 的直觉是给每个中间步骤打局部正确性分数：某一步是否符合数学规则，是否看起来能导向正确解，或者是否和人工标注的 step label 一致。这个设定有明显好处，它把最终答案的一次性监督拆成多次反馈，能让搜索和训练更早地看到信号。但是局部正确性并不等于前缀效用。一个步骤可以在形式上完全正确，却没有提供新的分解方向；另一个步骤可能还没有完成严格证明，却给出了关键变量替换、约束重写或子问题切分，让后续模型更容易继续。

PUM 的核心背景就是这种错位。论文把 reasoning prefix 看成会改变未来轨迹的条件，而不是只看作已经发生的文本片段。给定问题 x 和前缀 p，真正关心的不是 p 本身是否漂亮，而是同一批求解器在看到 p 后，解决问题的概率是否高于从空前缀重新开始。这个反事实视角把 problem difficulty 和 prefix usefulness 分开：一道题本来很容易，即使某个前缀后续成功率很高，也不说明前缀贡献大；一道题本来很难，如果某个前缀能显著提高弱模型的完成概率，它就应该被认为有 utility。

这和推荐系统、搜索排序里的“增量贡献”很像。一个召回通道产生高点击 item，并不一定说明该通道有独立价值，因为用户本来就可能通过其他通道看到类似内容；真正需要比较的是加入这个通道后相对基线增加了多少有效曝光或转化。PUM 把同样的思想移到 LLM reasoning：value model 问“这个状态未来能成功吗”，gain model 问“这个前缀相对于无前缀状态让成功概率增加了吗”。这一区别决定了后续数据构造方式，也解释了为什么作者不满足于把最终正确轨迹上的 prefix 全部标成好 prefix。

论文选择数学推理作为验证场景，主要因为数学答案可以用 verifier 判断正确性，便于做大规模 rollout 估计。它并不是只想解决数学题，而是在数学题上建立一个可验证的 prefix utility 数据构造范式。PUM-Math 使用 20K reasoning trajectories，最终形成 280K outcome-grounded pairwise utility preferences。项目页也把三类用途写得很清楚：selection、search、RL。也就是说，PUM 不是单纯的离线 judge，而是一个能被插到 inference-time selection、beam search 和 RLVR 的过程控制信号。

我认为这篇论文值得精读的原因有三点。第一，它没有继续沿用“局部正确性约等于过程价值”的隐含假设，而是把价值定义为可观测的求解率提升。第二，它没有要求人工逐步标注，而是用学生模型 rollout 和 pairwise preference 把成本压低。第三，它在实验上不仅看 Best-of-N 的完整答案排序，还看 beam search 的前缀剪枝和 RL 的训练动态，这让方法从一个评价器变成一个可接入推理控制和训练信用分配的模块。需要注意的是，项目页虽然写了 release all data, models, and code 的方向，但当前公开页面资源仍是 Coming soon，因此可复现性目前主要依赖论文细节而不是开源仓库。

还有一个容易被忽略的背景是，PUM 并不是要替代答案 verifier，而是要填补 verifier 到中间状态之间的空白。最终答案 verifier 只能说整条轨迹对不对，却不能说明是哪一段前缀开始提供帮助；局部 PRM 可以给步骤打分，却可能把“语法上成立但没有推进”的内容看得过高。PUM 试图把这两者连接起来：它仍以最终答案是否正确作为 rollout 结局，但把监督归因到前缀对 continuation 成功率的影响。这样得到的标签既不是人工主观判断，也不是简单继承最终正确性，而是一个可重复估计的边际量。

从今天的论文修复角度看，这个背景也解释了为什么必须逐表复核。PUM 的主张横跨 selection、search 和 RL，如果只读摘要，很容易把它误写成“又一个 reward model”。真正的贡献在于同一套 prefix utility 分数如何在三个位置发挥作用：完整回答选择时作为 terminal-prefix scorer，beam search 中作为 partial-prefix pruning signal，RLVR 中作为 nested prefix difference。三者的实验口径不同，不能用一个平均提升代替所有证据。

2. 方法

2.1 prefix gain：为什么 utility 不是 step correctness

PUM 从一个反事实问题开始：同一个学生模型在看到前缀 p 以后，继续采样并得到正确答案的概率是多少；如果不看这个前缀、只从问题本身开始，正确概率又是多少。二者差值就是这个前缀对该学生模型的增益。这个定义把前缀从“已经生成的局部文本”改成“改变后续条件分布的干预”。因此，一个前缀的分数不是由它是否局部符合规则直接决定，而是由它对后续 solvability 的影响决定。

Figure 1 是论文最重要的动机图。上半部分的 PRM 路径把每一步当作局部判断对象，Step 2 被高亮后，评价器输出 score = I(step is correct)。这个信号能说明某一步是不是错了，却不直接说明它是否让后续更容易完成。下半部分的 PUM 路径把 Step 1 到 Step 3 当作一个 prefix p，然后同时比较 without prefix 和 with prefix p 的 sampled continuations。图中 q_i(x, empty) 和 q_i(x,p) 分别表示第 i 个学生模型在无前缀和有前缀条件下的成功率，最终 Utility(p) 是这些差异的平均。这里的关键不是“PUM 看得更长”，而是它问了不同的问题：PRM 判断已经发生的步骤，PUM 衡量这个步骤组合对未来求解分布的边际影响。如果一个正确步骤没有降低剩余问题难度，它对 PUM 来说可能效用有限；如果一个不完整前缀给出关键分解，它可能获得正增益。

论文把这个量正式写成学生模型 s 的 prefix-conditioned solve rate：

q_s(x,p)=\Pr_{c\sim \pi_s(\cdot\mid x,p)}[V(x,p\oplus c)=1]

符号解释：x 是待解问题，p 是已经给定的推理前缀，c 是学生模型在问题和前缀条件下采样出的 continuation，π_s 是学生模型 s 的生成策略，V 是答案 verifier，p⊕c 表示把前缀和 continuation 拼接成完整推理轨迹。这个概率不是 PUM 自己的输出，而是用 rollout 估计出来的监督信号来源。

对应的 prefix gain 是：

g_s(x,p)=q_s(x,p)-q_s(x,\varnothing)

符号解释：q_s(x,∅) 是同一个学生模型在没有前缀时从零求解的成功率。g_s(x,p) 大于零，表示前缀提高了后续成功概率；小于零，表示前缀把模型带向了更难继续的状态。这个差值把问题本身难度从监督里扣掉，因此更接近“前缀本身贡献”。

这个定义也解释了 PUM 与 value-style evaluator 的区别。PQM 或一般 value model 倾向于估计当前状态最终会不会成功；如果某道题很简单，很多状态都会有高 value。PUM 关注的是状态相对无前缀基线的增量。如果某个 prefix 只是复述题面，value 可能不低，但 gain 很小；如果某个 prefix 把题目转成标准公式，即使还没给 final answer，也可能让多个学生模型的成功率显著上升。这个差异对于 beam search 尤其重要，因为搜索时保留的不应该只是“当前看起来像正确解”的文本，而应该是能让后续扩展继续变好的分支。

2.2 lightweight student group：用多能力学生估计求解率

单个学生模型的 gain 可能带有很强的模型偏好。弱模型可能非常依赖详细步骤，强模型可能从简短提示就能恢复完整推理；某些模型对格式、符号和语言风格更敏感。因此论文没有用一个学生模型做 rollout，而是引入 lightweight student model group。主文把估计结果写成 gain profile：

\hat{g}(x,p)=[\hat{g}_{s_1}(x,p),\hat{g}_{s_2}(x,p),\ldots,\hat{g}_{s_M}(x,p)]

符号解释：S={s_1,...,s_M} 是多能力学生模型集合，\hat{g}_{s_m}(x,p) 是第 m 个学生对问题 x 和前缀 p 的经验增益。这个向量保留了不同能力模型对同一前缀的反应差异。论文附录给出的学生模型包括 Qwen3-1.7B、InternLM2.5-1.8B-Chat、Phi-4-mini、Gemma-E2B、Qwen3-0.6B 和 SmolLM3-3B，每个 problem-prefix pair 对每个学生采 K=8 个 continuation，无前缀基线也用同样预算。

这个 student group 的设计有两层含义。第一层是监督构造上的降本：用平均规模约 2B 的学生模型做大量 rollout，比用更大的 completer 做 step-level annotation 成本更低。第二层是统计上的去偏：如果一个 prefix 只对某个模型的格式偏好有帮助，而对其他学生没有稳定增益，那么它不应该轻易成为“通用前缀效用”的训练目标。论文后面 Figure 5 的 policy-dependent utility 也说明，学生能力差异不是噪声，而是 prefix utility 的组成部分。

在主模型训练中，作者先把每个学生的 gain 单独归一化，再平均得到 intrinsic utility：

G_{\mathrm{intr}}(x,p)=\frac{1}{M}\sum_{m=1}^{M}\mathrm{Norm}_m(\hat{g}_{s_m}(x,p))

符号解释：Norm_m 表示对第 m 个学生的 gain 分布做标准化，M 是学生数量，G_intr 是跨学生共享的 intrinsic utility 标量。归一化很关键，因为不同学生的 baseline solve rate 和 gain scale 不一致。如果不归一化，强模型或弱模型的绝对尺度可能支配训练目标。平均则代表一种 reference population 假设：主 PUM 学的是对一组求解器普遍有帮助的前缀，而不是只服务某个下游 policy。

这一点在工程上很有启发。若把 PUM 类方法迁移到推荐或搜索，可以把“学生模型”理解为不同能力或不同预算的探针：小模型、旧模型、不同 retrieval 配置、不同 decoder budget，甚至不同用户分桶。一个中间状态的价值，不应只看它对当前最强策略是否有用，也要看它是否对一组代表性策略稳定改善下游目标。PUM 当前只用简单平均作为主目标，但论文也承认完整 gain profile 里有 policy-dependent variation，未来可以对不同下游 policy 重新加权。

2.3 pair construction：纵向、横向、同模型与跨模型比较

有了每个 prefix 的 intrinsic utility 后，论文没有直接做回归。原因是不同问题之间的 gain 数值不可直接比较，rollout 的有限采样也会让小差异不可靠。PUM 因此把监督转成同一问题内部的 pairwise preferences：对同一个 x 的两个前缀 p_i 和 p_j，只判断哪个更有 utility，或者它们差异不足以排序。

候选 pair 的来源分为两类。纵向 pair 来自同一条 trajectory 的不同截断位置，论文使用相对位置 R={0.1,0.2,0.35,0.5,0.7,0.9}。这类 pair 让 PUM 学到同一条推理轨迹中 utility 如何随进展变化：正确轨迹越接近有效分解，gain 往往越高；错误轨迹越深入错误路径，gain 可能下降。横向 pair 来自同一问题的不同 trajectory，但要求截断后 token 长度相近，约束为两段 prefix 长度差不超过较长者的 5%。这个约束很重要，否则模型可能学到“更长的 prefix 更好”这种捷径，而不是比较实际 reasoning quality。

轨迹来源还分 within-model 和 cross-model。within-model pair 从同一个 generator 采样，并要求 final-answer correctness 不同，用来减少风格差异；cross-model pair 来自不同 generator，用来暴露不同模型的推理格式、错误模式和表达风格。附录 Table 5 把这四个维度概括得很清楚：vertical 学 utility progression，horizontal 缓解长度捷径，within-model 降低 style confound，cross-model 提高 style generalization。虽然这张表在本次没有截图进入正文，但其信息已经融入 pair construction 的解释中。

偏好标签不是直接由 final correctness 决定，而是由 student gain 估计决定。对候选 pair (p_i,p_j)，论文计算每个学生的 utility difference，并做平均：

\bar{d}(x,p_i,p_j)=\frac{1}{|S_{ij}|}\sum_{s\in S_{ij}}d_s(x,p_i,p_j)

符号解释：d_s 是学生 s 对两个 prefix 的归一化 utility 差，S_ij 是两个 prefix 上都有有效估计的学生集合。这个均值表示跨学生后的偏好方向。为了减少 rollout variance，论文不用零阈值，而是用 adaptive margin：

\epsilon=\max(\epsilon_{\mathrm{global}},\lambda_{\mathrm{res}}\cdot \frac{0.125}{N_{\mathrm{eff}}})

符号解释：0.125 来自 K=8 rollout 的最小准确率分辨率，也就是一次成功样本变化对应 1/8；N_eff 是有效学生数量；epsilon_global 来自候选 pair 的经验差异分布。只有当平均差异超过这个 margin 时才给出明确偏好；差异很小且学生方向冲突不高时标成 tie；方向冲突或证据不足时丢弃。这个过滤把 PUM 的监督从“正确轨迹一定更好”变成“有足够 outcome-grounded gain 证据的相对偏好”。

2.4 pairwise ranking：从 gain preference 到 PUM 分数

PUM 的模型形式是一个标量 utility evaluator U_θ(x,p)。实现上，作者在 Qwen3-4B-Instruct-2507 上加 MLP value head，输入是 problem 与 prefix 的拼接，取最后一个 non-padding token 的 hidden state 输出一个标量。为了和 PRM、PQM、CRM 公平比较，论文把学习器都做成相同的 scalar-scoring architecture，只改变 supervision target。PUM 使用 gain-based pairwise utility，PQM 使用 value-style process supervision，PRM 和 CRM 使用更接近 step correctness 或 outcome-conditioned 的监督。

Figure 2 把方法链路串起来。左侧 Prefix Sampling 展示 vertical、horizontal、within-model 和 cross-model 四类采样如何产生 problem + trajectories；中间 Gain-based Preference Construction 展示同一个 prefix 在 without prefix 和 with prefix 条件下让不同轻量学生生成 continuation，并把学生的 gain profile 汇总成 utility G(x,p_i) 与 G(x,p_j)；右侧 Train PUM 展示问题和 prefix 输入 LLM backbone，MLP value head 输出 Utility Score，训练目标则是偏好 prefix 的分数应该高于不偏好的 prefix。它不是一个单纯的示意图，而是对应论文数据流的三个硬步骤：先产生可比较前缀，再用 rollout 得到 outcome-grounded preference，最后让 PUM 学会在不做 rollout 的情况下预测前缀 utility。

PUM 的 pairwise 训练采用 tie-aware Bradley-Terry 目标。给同一问题的两个 prefix p_a 和 p_b，模型输出差值：

\Delta_\theta=U_\theta(x,p_a)-U_\theta(x,p_b)

偏好标签 y∈{1,0,-1} 被映射成 soft target：y=1 时 t=1，y=0 时 t=0.5，y=-1 时 t=0。最终损失为：

L_{\mathrm{PUM}}=-\mathbb{E}[t\log \sigma(\Delta_\theta)+(1-t)\log(1-\sigma(\Delta_\theta))]

符号解释：U_θ(x,p_a) 和 U_θ(x,p_b) 是 PUM 对两个前缀的标量效用预测；Δ_θ 是二者差；σ 是 sigmoid；t 是由偏好或 tie 标签映射来的目标。当 t=0.5 时，模型被鼓励不要把两段证据不足的 prefix 强行拉开。这个 tie-aware 设计和前面的 adaptive margin 配合，降低了有限 rollout 噪声对排序模型的伤害。

训练配置方面，附录 Table 6 写明 PUM 使用 LoRA + value head，LoRA rank 64，alpha 128，dropout 0.1，max length 8192，bf16，gradient checkpointing，学习率 1e-5，训练 2 epochs。这个配置说明 PUM 不是重新训练一个大模型，而是在已有指令模型上加过程效用头。更重要的是，PRM、PQM、CRM 和 PUM 在主实验里共享 backbone、MATH-origin data 和训练 recipe，差异主要来自 process-supervision target。因此后续性能差异更能归因于 gain-based utility 这个监督定义，而不是模型容量或训练预算。

2.5 Best-of-N 与 beam search：PUM 在推理时如何使用

PUM 的第一个推理用途是 Best-of-N selection。给定一个问题，policy model 生成 N 个完整候选回答。PUM 把每个完整回答当作 terminal prefix，计算 U_θ(x,y)，选择 utility 最高的候选。这个用法类似 verifier 或 reward model，但 PUM 的分数来自 prefix gain supervision，而不是局部 step correctness。完整回答虽然已经到终点，但在 PUM 的形式里仍然是一个 prefix；这让同一个模型既能给 partial prefix 打分，也能给 complete trajectory 排序。

第二个用途是 beam search。论文的 beam search 不是只在最终答案后再排序，而是在推理过程中反复生成 partial continuations，用 evaluator 对当前 prefix 打分，保留 top unfinished prefixes 再继续扩展。这里 PUM 的优势理论上更明显，因为它的训练目标本来就是 prefix-level utility。局部正确性模型可能偏好表面合法但未来空间狭窄的分支；value model 可能偏好已经接近答案但缺乏增量贡献的状态；PUM 则更接近“这个分支继续扩展后是否更容易成功”的选择标准。

这个接口对搜索预算很敏感。如果 N 很小，很多 evaluator 都可能选到相近分支；当 N 增大，错误但看似合理的候选会更多，评价器的 misalignment 更容易被放大。论文 Table 1 显示一些 baseline 随 N 增大反而退化，例如 Qwen2.5-3B 在 GAOKAO2023 上 PRM 从 N=20 的 61.56 掉到 N=100 的 42.34；Llama3.1-8B 在 MATH500 上 PRM 从 N=8 的 44.00 掉到 N=100 的 23.00。PUM 在这些大预算列仍保持最高，说明 gain-based prefix utility 更适合在搜索空间扩大时剪枝。

从工程角度看，PUM 作为 beam scorer 也带来成本问题。每个 partial prefix 都要过 evaluator，如果 evaluator 太大或调用太频繁，延迟会抵消搜索质量收益。论文主文没有给线上延迟表，但从架构看，它把昂贵的 student rollout 放到离线监督构造阶段，推理时只需要一次 PUM 打分。这比在线 rollout value estimation 便宜，也比每个状态都让多个学生采样更可控。真正部署时仍要设计 batched scoring、prefix cache 和搜索预算上限。

2.6 RLVR 接入：nested prefix-utility differences 作为 dense advantage

PUM 的第三个用途是强化学习，尤其是数学推理里的 RLVR。传统 rule-based GRPO 只在最终答案正确时给 group-level reward，早期训练如果一个 rollout group 几乎没有正确答案，信号会非常稀疏。PUM 提供的是过程级 dense signal：当一段新生成的 reasoning segment 让当前 prefix utility 上升时，它可以形成正的过程优势；如果让 utility 下降，则形成负反馈。论文把这称为 nested prefix-utility differences。

这个设计的要点是 anchoring。作者在 outcome-anchored 设置里把 evaluator feedback 和 rule-based GRPO 结合：最终答案 correctness 仍然作为轨迹级锚点，避免模型只优化 evaluator 偏好而偏离正确答案；PUM 则在 rollout 内部提供细粒度过程信号。PRM 和 PQM 也可以构造类似 dense process-level advantages，但它们的 step correctness 或 state value 更容易被长度偏好利用。论文没有把 CRM 纳入 RL 对比，因为 CRM 不自然提供可转成 per-segment advantage 的 step-wise scores。

在 process-only 设置里，PUM 的区别更明显。没有最终答案规则奖励锚定时，PRM/PQM 容易被策略利用，模型生成更长回答来拿更高过程分数，却不提高最终正确率。PUM 因为直接监督“前缀是否提高后续求解概率”，对这种单纯拉长推理的漏洞相对更稳。论文 Figure 4 的曲线和 Table 2 的 process-only 平均分共同支撑了这一点。换句话说，PUM 不是消除 reward hacking 的万能方案，但它把 reward hacking 的方向从“局部看起来合理”推向“必须真的提高 continuation solve rate”，难度更高。

3. 实验结果

3.1 Best-of-N：完整回答当作 terminal prefix

实验设置先固定训练公平性：PUM、PRM、PQM、CRM 使用相同 Qwen3-4B-Instruct-2507 标量评分架构，Best-of-N 评估使用 Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct、Qwen3-4B-Instruct-2507、Llama3.1-8B-Instruct 四个 policy，在 MATH500、GAOKAO2023、AIME2025 上采 N∈{1,2,4,8,16,32,64,128} 个回答。PUM 把完整回答当 terminal prefix 打分；PRM 使用 min step score；PQM 和 CRM 使用 final-position score；majority voting 选择出现最多的最终答案。

Figure 3 左侧六个子图给出不同 policy 和 benchmark 下的 Best-of-N accuracy。总体趋势是，N 增大时 PUM 往往继续上升或保持高位，尤其在 MATH500 和 GAOKAO 上更明显。例如 Llama3.1-8B-Instruct 的 MATH500 图中，绿色 PUM 曲线在 N=128 附近仍高于其他 evaluator；Qwen2.5-3B-Instruct 的 MATH500 图中，PUM 在大 N 时也领先。右侧 rank percentile 更能说明排序鲁棒性：worst-correct rank percentile 越高，说明即使是最不被偏爱的正确候选也不会被压得太低；best-incorrect rank percentile 越低，说明最诱人的错误候选也不会排得太靠前。PUM 在两项上都更符合目标：正确答案群体整体保持较高排序，错误答案群体中的强干扰项被压低。这比单纯 top-1 accuracy 更重要，因为线上 selection 常常面对很多“看起来正确”的错误推理。

这组实验支持 PUM 的第一个结论：gain-based prefix utility 可以作为完整回答 verifier 使用。但它也有边界。AIME2025 难度更高、题量较少，图中曲线更噪，PUM 虽然竞争力强，但不是每个点都稳定压倒所有 baseline。论文没有把这解释成 PUM 完全解决 verifier，而是强调在候选池变大、错误候选更复杂时，PUM 的优势更容易出现。这个结论比较克制，也符合方法定义：PUM 学的是前缀效用，不是数学答案证明器本身。

3.2 Beam search：前缀级剪枝是否能随预算放大收益

Beam search 是更严格的测试，因为 evaluator 在最终答案出来之前就要影响分支保留。Table 1 覆盖 Qwen2.5-3B-Instruct 和 Llama3.1-8B-Instruct 两个 policy，数据集是 MATH500 与 GAOKAO2023，预算 N=4、8、20、100。它直接回答一个问题：当搜索预算扩大时，PUM 是否仍能把有用 prefix 留下来。

Table 1：Beam Search accuracy on MATH500 and GAOKAO2023

Table 1 的逐项复核结果很强：PUM 在所有行组和所有预算列都是最高。Qwen2.5-3B-Instruct 上，MATH500 的 PUM 从 N=4 的 71.80 到 N=100 的 78.00，GAOKAO2023 从 61.04 到 71.43；同一组里 PRM 在 GAOKAO2023 N=100 掉到 42.34，说明更大预算反而放大了错误剪枝。Llama3.1-8B-Instruct 上，PUM 在 MATH500 N=100 达到 73.60，GAOKAO2023 N=100 达到 63.90，同样明显高于 CRM、PQM 和 PRM。这个表最值得注意的不是单列最高，而是随着 N 增大，PUM 的收益通常扩大，baseline 则可能退化。搜索预算本来应该提供更多机会，但如果 evaluator 偏好错误前缀，预算越大越会探索到更多诱导性错误路径；PUM 的 gain supervision 正好缓解了这个问题。

这也说明 PUM 的 prefix-level 训练目标和 beam search 使用方式是一致的。Best-of-N 只把完整 trajectory 当 terminal prefix，仍然可以被看作后验排序；beam search 要在 partial state 上做 pruning。如果 PUM 只是在完整回答上学到某些答案格式，它不一定能在 partial prefixes 上稳定工作。Table 1 的结果表明，PUM 学到的信号至少在数学推理搜索中能迁移到未完成分支。

3.3 RLVR：稀疏规则奖励下的 dense prefix utility

RL 实验把 evaluator 放到训练闭环里，因此风险更大。一个离线排序模型即使有偏差，最多选错候选；一个 reward model 如果可被策略利用，会改变生成分布，甚至让模型学会更长、更啰嗦但不更正确的回答。论文把 RL 分成 outcome-anchored 和 process-only 两种设置，前者保留 rule-based GRPO final-answer reward，后者只看 process evaluator 信号。

Table 2 显示 outcome-anchored 设置下，Vanilla GRPO 的 AVG 是 55.21，PUM+GRPO 提升到 58.09；PRM+GRPO 是 53.55，PQM+GRPO 是 49.22。分数据集看，PUM+GRPO 在 MATH500 达到 80.40，在 AMC23 达到 70.00，在 AIME(24-26) 达到 17.78；Minerva Math 上它是 28.68，略低于 Vanilla GRPO 的 29.04。这个细节很重要，说明 PUM 的平均提升并不是每个 benchmark 都无条件最高，而是靠 MATH500、AMC23 和 AIME 的收益拉动。process-only 设置下，PUM 的 AVG 是 57.21，明显高于 PRM 的 47.89 和 PQM 的 48.78；MATH500 80.20、AMC23 65.00、Minerva Math 26.10、AIME(24-26) 20.00。这里 PUM 的优势更大，因为没有 final-answer reward 锚定时，局部 correctness 和 value signals 更容易被策略误用。

Figure 4 解释了 Table 2 背后的训练动态。左侧 outcome-anchored 曲线中，PUM+GRPO 的 weighted accuracy 早期快速上升，并在后期保持最高区间；PRM+GRPO 和 vanilla GRPO 也有提升，但曲线低于 PUM+GRPO；PQM+GRPO 在中后期波动较大。右侧 process-only 曲线更关键：PUM 持续维持在较高水平，而 PRM 和 PQM 在初期上升后快速坍缩到接近零。论文解释这是长度偏好和 reward hacking：策略生成更长回答来拿过程分数，但最终答案正确率下降。PUM 不完全依赖局部“看起来合理”的步骤，而是学习 prefix 是否提高后续 solve rate，因此在纯 process reward 下更难被简单拉长策略利用。

这组 RL 结果支撑 PUM 的第三个用途：它可以作为稀疏规则奖励的 dense credit assignment 补充。论文还指出，在训练早期，rule-based GRPO 因正确答案很少而信号稀疏，PUM advantages 的平均绝对幅度约为 GRPO advantages 的 10 倍，可以提供 cold start guidance；随着 policy 变强，GRPO 信号增强，PUM 继续提供细粒度前缀信用。这个解释和 RL 曲线一致，但也提示实际使用时不能完全去掉最终答案锚点。Outcome-anchored 更接近稳妥工程方案，process-only 更像压力测试。

3.4 扩展分析：迁移、能力依赖、规模和 hard data

主结果之外，论文用 Figure 5 做了五组扩展分析。它们回答的是 PUM 是否只是拟合了学生模型、是否需要针对下游 policy 调整、数据量和 backbone 是否还有扩展空间，以及在极稀疏 hard data 上是否仍能提供训练信号。

Figure 5：weak-to-strong、policy dependence、scaling 和 hard-data RL

Figure 5(a) 是 weak-to-strong generalization：作者用比构造数据的 trajectory generators、student models 和 PUM backbone 都更强的 Qwen2.5-32B-Instruct 作为 policy，PUM 在 GAOKAO 和 MATH 上仍随 candidate pool 增大而提升。这说明 PUM 没有只记住弱模型的生成模式，而是捕捉到一定 intrinsic prefix utility。Figure 5(b) 展示 policy-dependent utility：PUM-Weak 用 [0.6,0.3,0.1] 加权弱、中、强学生，PUM-Strong 用 [0.1,0.3,0.6] 加权；结果是较弱 Llama3.1-8B policy 更适合 PUM-Weak，较强 Qwen2.5-32B policy 更适合 PUM-Strong。这个结果很重要，因为它承认 prefix utility 不完全通用，能力相近的学生对下游 policy 更有参考价值。

Figure 5(c) 是 data size scaling，10%、20%、50%、100% pairwise utility data 逐步增加时，PUM 在大候选池下继续变好，50% 已经接近 100%，但 full data 仍最好。Figure 5(d) 是 PUM backbone scaling，从 Qwen2.5-1.5B、3B、7B 到 Qwen3-4B，backbone 越强，学习 subtle utility difference 的能力越好。Figure 5(e) 是 hard data RL：作者从 DAPO-Math-17K 中挑出 base model 在 16 rollouts 里都没有正确解的 5.7K hard problems。在这种 RLVR 几乎没有有效 group advantage 的场景，PUM-only 在 step 20 左右相对 GRPO 有约 21% 绝对提升，并达到 GRPO 大约 5.4 倍训练步数后才接近的水平。这个结果说明 PUM 的价值不只是最终精度，还包括在稀疏奖励冷启动阶段提供可训练信号。

3.5 构造成本：PUM-Math 的 1.0x 相对计算口径

最后看成本。PUM 的构造需要多学生 rollout，直觉上可能很贵；Table 3 给出的是相对监督构造成本比较，说明作者想证明收益不是靠更大标注预算换来的。

Table 3 对比三类数据。PRM800K 来自 MATH，约 75K trajectories，800K step labels，标注方是 human annotators，表中没有给相对 compute 数字，因为它是人工标注。Math-Shepherd 使用 MATH + GSM8K，约 445K trajectories，约 4.0M outcome-derived step labels，7B completer，约 35.6M calls，相对计算 18.5x。PUM-Math 使用 MATH，约 20K trajectories，280K pairwise utilities，Avg. 2B students，6.72M calls，相对计算 1.0x。论文正文解释 PUM-Math 的 6.72M calls 来自每条 trajectory 多个 prefix 与 48 continuations，而 Math-Shepherd 按每条轨迹 10 steps、每步 N=8 completions 的估计会更贵，并且 completer 规模更大。

这个表的结论要谨慎读。PUM-Math 的相对成本低，不代表任何任务上构造 gain supervision 都便宜；它依赖可靠 verifier、可批量 rollout 的学生模型和适合数学题的 continuation 采样。若迁移到开放问答、推荐排序或复杂 agent task，正确性 verifier 可能不再简单，prefix-conditioned success 也可能需要人工或线上反馈定义。但在数学推理场景里，Table 3 至少说明 PUM 不是靠人工 step annotation 或超大 completer 堆出来的，监督目标本身更高效。

4. 总结

4.1 我的判断

PUM 的贡献不在于提出一个更复杂的 reward model，而在于把 process supervision 的目标从局部正确性改成边际效用。这个改动看似小，实际改变了数据构造、训练目标和使用接口。它要求我们在评价中间推理时问一个反事实问题：看到这个前缀以后，求解器群体是否比从零开始更容易成功。这个问题比“这一步对不对”更贴近 search、selection 和 RL 的真实需求，因为这些系统真正需要的是保留能改善未来轨迹的状态。

我会把 PUM 看成三类系统的候选模块。第一类是大候选池选择，尤其是 Best-of-N 或 self-consistency 后需要选一个最终回答的场景。第二类是推理搜索，当 partial prefix 需要被剪枝时，PUM 的训练目标比 terminal-only verifier 更匹配。第三类是 RLVR cold start，规则奖励过稀疏时，PUM 可以给 rollout 内部提供 dense advantage。不过，最稳妥的方式仍是 outcome-anchored，把最终答案 verifier 作为锚点，而不是完全相信过程模型。

4.2 局限与后续跟进

局限至少有四点。第一，PUM 依赖可验证最终答案来估计 solve rate，因此数学题最合适，开放式任务、主观评价任务或推荐线上目标需要重新定义 verifier。第二，学生模型集合会影响 gain profile；如果学生能力分布和目标 policy 差距太大，intrinsic utility 平均可能不是最佳监督。第三，rollout 估计有采样噪声，虽然 adaptive margin 和 conflict filtering 降低了误标，但 K=8 continuation 的分辨率仍有限。第四，当前项目页资源仍是 Coming soon，代码、PUM-Math 和 PUM Model 未公开，外部复现需要等待 release 或自行实现。第五，RL 实验显示 PUM 稳定性优于 PRM/PQM，但 process-only 仍是高风险设置，真正训练时需要 final-answer reward、长度约束和分布外监控。

后续我建议跟三件事。第一，等项目页释放代码和数据后，优先复核 PUM-Math 的 pair construction、student rollout cache、verifier 实现和 adaptive margin 参数，确认 280K preference 的噪声率。第二，在非数学任务上尝试替代 verifier，例如代码单测、检索答案命中、用户模拟器或离线排序指标，观察 prefix gain 是否仍能稳定估计。第三，做 policy-adaptive PUM：根据目标 policy 的能力选择学生权重，而不是固定平均，Figure 5(b) 已经提示能力匹配会影响效果。第四，评估推理成本，尤其是 beam search 中 PUM scoring 的 batch latency、prefix cache、最大搜索预算和失败回退。第五，做 reward hacking 压力测试，检查模型是否能学会制造高 PUM 分数但不提高最终正确性的文本模式。