TGR：从生成范式排序迈向统一生成与推理的工业推荐框架

TGR 技术报告的英文题目是 TGR: Advancing Industrial Recommendation from Generative-Paradigm Ranking toward Unified Generation and Reasoning，作者署名为 TGR Team、Lei Cheng、Haonan Hu 等，主机构为腾讯平台与内容事业群（Tencent Platform and Content Group），于 2026 年 9 月 1 日公开。论文入口为 arXiv:2609.00986。本轮未在论文或 arXiv 元数据中核验到独立官方代码仓库，现阶段可复核的主要公开工件是这份技术报告。它不是把一个模型包装成“全栈”，而是汇总四条已经走到生产验证的模型线：级联内部的 CCFormer、逐物品生成的 BARGE、整页生成的 HiGR，以及把离线推理结果注入生成器的 TGR-Reason。

工业推荐仍被分段优化的检索、粗排、精排与重排链路切开：模型容量增长会饱和，逐阶段截断和逐物品打分损害整页质量，而只依赖共现的 ID 表征在冷启动、长尾和模糊意图上缺少世界知识与推理。

1. 背景和问题

传统工业推荐把一次决策拆成召回、粗排、精排、重排，每一段都有自己设计的 DLRM、训练目标和候选预算。这种架构便于逐段控制风险，却有三个结构问题。第一，高基数稀疏特征、行为序列和候选特征被不同模块处理，模型容量增长并不会像语言模型那样持续换来质量提升；为了控制成本，长历史还经常先被池化、截断或按目标检索，细粒度兴趣在进入排序器前已经丢失。第二，候选集合逐段收缩，每一段只优化局部指标，最终展示列表中的物品依赖、位置效应和多样性只能交给后置规则补救。第三，基于 item ID 共现的模型擅长复现历史模式，却不知道内容语义之外的世界知识；新用户、长尾物品与模糊意图恰恰最缺共现证据。

TGR 对此没有声称一次性撤掉所有级联。它先提出两种部署制度：TGR-GenRank 在级联内把旧 ranker 换成可扩展的 Transformer，仍输出逐候选多任务分数；TGR-GenRec 则直接解码有序 slate，分别探索 next-token prediction 与 next-slate prediction。随后，TGR-Reason 把大模型产生的意图先验变成与推荐器同词表的层级语义 ID，在请求到来前物化，线上只做定长注入和检索。这个“逐段替换、共享表示、列表优先”的路线很务实：每个模型必须在现有过滤、去重和业务规则后面可插拔，离线至少不输 incumbent，并保持同级延迟与 GPU 预算。

生成式推荐自身也不是天然适合推荐。BARGE 指出的第一个问题是 item-boundary gap：一个物品被量化成多层 SID 后，用户历史会被摊平成长 token 序列；同一 codeword 在不同 prefix 下代表不同树节点，但输入 embedding 往往只看 code index 和层级，编码器必须同时猜出哪些 token 属于同一物品、同名 code 在当前 prefix 下是什么意思。第二个问题是 semantic drift：SID 是从粗到细的一条树路径，早期 code 预测错后，正确叶子会从可达子树中消失；扩大 beam 只能线性增加延迟和内存，不能显式判断路径的全局语义是否一致。

Figure 4 把两类错配拆得很清楚。左侧的两个历史物品各含多层 SID，flatten 后进入普通 encoder，token 仍在但物品分组边界消失；“Where is the item?” 不是排版疑问，而是编码器缺少任务单位这一结构事实。右侧的树说明 prefix 错误为何不可逆：真实目标沿绿色路径位于一棵子树中，一旦中间层选到红色分支，后续即使局部 code 概率很高也只能在错误子树里精细化。BARGE 的 ICA、HPR、DPD 因而不是三项随意叠加的增强：ICA 修复编码侧的任务单位，HPR 在每层判断累计路径是否与用户意图一致，DPD 再用正交语义通道提供不同的可达路径。后文 Table 8 会把这种错误级联量化，而不是只停留在示意图上。

HiGR 面对的是更高一层的错位：即使单个物品能被准确生成，逐物品 NTP 仍需要解码 $M\times D$ 个 SID token，且 token likelihood 并不等于整页的排序、真实兴趣与多样性。TGR-Reason 则面对时间预算错位：显式 CoT 会在每次请求多生成数百 token，latent rollout 虽不输出文字仍要在线多跑若干步；工业推荐的毫秒级路径无法承担这种同步思考。由此，TGR 的研究问题不是“生成模型是否能做推荐”这么宽泛，而是：怎样把语言模型式的可扩展建模、列表级生成和推理先验，分别改造成可在固定候选、固定 beam、固定 GPU 与故障隔离约束下上线的组件。

2. 方法

2.1 TGR Stack：渐进替换、共享结构与列表级目标

O_u=(\hat v_{u1},\ldots,\hat v_{uM}),\qquad O_u=F_\theta(u,S_u,x_u)

符号解释： $$O_u$$ 是一次请求的完整 slate， $\hat v_{um}$ 是第 $$m$$ 个展示位置的物品， $F_\theta$ 是端到端生成器。级联内的 CCFormer 不直接实现第二个等式，而是一次前向输出所有候选的多任务分数，由下游组成 $$O_u$$ ；BARGE、HiGR 与 TGR-Reason 才直接在共享 SID 空间内解码列表。这个区分很重要，因为报告中的“统一”首先是表示、接口和目标的统一，不等于当前已经只有一个模型。

Figure 1 从上到下给出实际分层。ranking layer 中，CCFormer 把用户画像、行为序列和候选特征都 token 化，通过跨字段与序列内交互后接多任务头，保持对参与、留存和变现等目标的兼容。中层把生成、记忆和推理放在一个 SID 接口上：BARGE 负责 NTP 逐物品生成，HiGR 负责 NSP 整页生成，TGR-Reason 的离线 SID 既可直接提示 decoder，也可查询 Group Memory；Personal Memory 则保留用户自己的历史。底层 Numerous-Torch、用户建模、多模态内容理解和 OSQ/PCRQ 两类 tokenizer 是共享基础。图中仍能看到两个 tokenizer 和多个模型头，因此更准确的理解是“可组合的生产栈”，而不是已经训练成单一参数体的推荐基础模型。

2.2 CCFormer：跨字段交互与压缩长序列

CCFormer 把输入分为用户 token $U\in\mathbb{R}^{L_u\times d}$ 、逐行为 token $S\in\mathbb{R}^{L_s\times d}$ 、候选 token $T\in\mathbb{R}^{L_t\times d}$ 。每个 block 只计算 user→sequence、target→sequence、target→user 三条排序真正需要的定向 cross-attention；target 之间互不注意，因而不会发生候选信息泄漏，服务时可把所有候选一次打包，共享用户与历史计算。序列内部则把相邻 $$m$$ 个行为和 $$n$$ 个通道组成子空间，以 gated per-channel FFN 做 token mixing，并在每层后用 stride convolution 缩短序列，使浅层保留短期细节、深层以更大感受野提取长期兴趣。相对时间位置权重可概括为：

w_{ij}=\alpha\beta^{|t_i-t_j|^\gamma},\qquad 0<\beta<1

符号解释： $$t_i,t_j$$ 是两次行为发生时间， $\alpha,\beta,\gamma$ 为可学习参数；时间差越大，指数衰减通常越强。它只在局部行为组中计算，代价约为 $$O(L_sm)$$ ，不是全局 attention bias 的 $$O(L_s^2)$$ 。CCFormer 的核心不是用更便宜算子机械替换注意力，而是把“字段间应该看谁”和“序列内如何传播”分成两条次二次复杂度路径。

Figure 2 左侧展示 target、user、sequence 三路状态在一个 CCFormer block 内的残差与归一化路径；中间的 Cross Attention 只连必要方向，避免对全部拼接 token 做全局自注意力。右侧把 sequence interaction 展开：行为先按 token/通道分组，在小矩阵中混合，再恢复原形；相对时间和位置编码在子空间内加入，卷积压缩把 $$L_s$$ 递减后交给下一层。输出端对 target item 和汇聚后的 user/sequence 分别池化，再接 click、like、share 等任务头。训练依赖 BF16/FP16、INT8 稀疏 embedding 与 double hashing；推理端由于 target 只作 query，可单次评分多候选，论文报告即使单样本 FLOPs 更高，峰值 QPS 仍提升 30%。

2.3 BARGE：恢复物品边界并纠正层级语义漂移

BARGE 由三个相互补位的模块组成。ICA 为每个物品用可学习 query 聚合其 $$L$$ 个 SID token，再通过门控残差把 item context 注回每个 token；门值趋近 0 时退化为恒等路径。HPR 构造第 $$l$$ 层的累计路径，DPD 则让 OSQ-VAE 用 Householder 参数化旋转把同一 item latent 切成两个正交子空间：

p^{(l)}=\sum_{j=1}^{l}e_{c_j},\qquad R^\top R=I

符号解释： $$c_j$$ 是第 $$j$$ 层已选择的 codeword， $e_{c_j}$ 是其 embedding， $p^{(l)}$ 表示当前 prefix 的整体语义； $$R$$ 是可学习旋转， $R^\top R=I$ 由参数化硬保证，无需额外正则。HPR 用双塔比较生成前用户状态 $$h_0$$ 与 $p^{(l)}$ ，负样本包括 batch 内路径、NTP 高概率错误 prefix 和可选曝光未点击物品；推理时把兼容分与累计 log-probability 按 $\lambda$ 融合，在 Top- $$N$$ 池内重排但仍只保留 Top- $$B$$ 。两个独立残差码本则得到两条 SID 通道，共享 encoder 后由私有 decoder 与 HPR 打分，再用 soft-OR 合并 item-space 结果。两通道在 Beauty、Sports 的 Top-10 Jaccard 只有 0.183 与 0.172，确实提供互补可达区域。

Figure 5 上半部从左到右是 OSQ-VAE 的正交分裂、两组码本、两条 user SID history，以及共享 Transformer encoder 后的双 decoder。ICA 位于 encoder 前，针对的是输入结构；HPR 位于每条 decoder 后，针对的是 prefix 质量；OR-Fusion 在 item space 合并两个 Top- $$K$$ ，针对的是路径覆盖。下半部进一步表明 ICA 先对一个物品内部的 code 做 cross-attention 汇聚，再以 gate 分配注入量；HPR 则以 $$h_0$$ 为 context anchor，对每层累计 path 做 contrastive scoring。模块位置与失败源一一对应，也解释了为何删去任一模块都会降质，而把 beam 简单加宽并不能获得同样修复。

2.4 HiGR：从逐物品 token 生成改为粗到细整页生成

HiGR 先用 PCRQ-VAE 整理离散空间：global quantization 约束聚合 code 与原 latent 对齐，prefix contrastive loss 只拉近前 $$D-1$$ 层的语义/协同相关物品，叶层不做该约束以保留 item identity。随后 HSD 把生成分成两个尺度：planner 以 $$M$$ 个 preference embedding 规划整页的全局意图和位置关系，shared item generator 再把每个 preference 落成短的 $$D$$ 层 SID。训练时还用 intra-list diversity 约束 planner 几何，并从隐式反馈构造 ranking fidelity、genuine interest、diversity 三类整页正负对，以 reference-free ORPO 将列表偏好与 NTP 联合。

Figure 7 的三块对应三个 disconnect。(a) 中 related item 的前缀 code 被拉近，而最后一层仍可区分具体 item；(b) 中 Context Encoder 只产一次 key/value，Coarse-grained Slate Planner 先生成整页 preference embeddings，多个 Fine-grained Item Generator 实际共享参数并把各位置解成 SID；(c) 中同一正 slate 分别与错序、负反馈物品和低多样性 slate 配对，ORPO 不是把三个逐 item reward 生硬相加，而是直接学习 whole-slate 偏好。这里真正改变的是生成单位：全局列表结构由 planner 决定，beam search 只负责局部 item code。论文把解码复杂度写为：

O(BM^3D^3l_{\mathrm{slate}}d)\ \longrightarrow\ O(M^3l_{\mathrm{slate}}d+BMD^3l_{\mathrm{item}}d)

符号解释： $$B$$ 是 beam width， $$M$$ 是 slate 长度， $$D$$ 是每个物品的 SID 层数， $l_{\mathrm{slate}}$ 与 $l_{\mathrm{item}}$ 分别为 planner 和 item generator 层数， $$d$$ 是隐藏维。左式让 beam 贯穿整个 $$MD$$ 序列；右式让全局 planner 贪心运行，只对每个短 item code 做局部 beam。实现还把首个 SID 层的共享 preference 只计算一次，后续 beam prefix 批量前向，并让 cross-attention 的多 beam 共享 ragged user memory。

2.5 TGR-Reason：训练时潜在推理、离线 reason token 与在线注入

TGR-Reason 的 Think model 基于 LatentRec。训练时从历史末 token 的状态 $$h_0$$ 开始做 $$K$$ 步单 token latent rollout，并用 Soft Token Selection 把状态投回输入 embedding 流形，再由 Per-step Reasoning Loss 对每一步施加共享预测头监督：

\begin{aligned} e_k&=\phi(h_k),& h_{k+1}&=\mathrm{LLM}(e_k,KV^{(k)}),\\ \alpha_i^{(k)}&=\frac{\exp(q_k^\top s_i/\sqrt d)}{\sum_j\exp(q_k^\top s_j/\sqrt d)},& e_k&=\sum_i\alpha_i^{(k)}s_i,\\ L_{\mathrm{PRL}}&=\frac{1}{K}\sum_{k=1}^{K}\mathrm{CE}(\mathrm{LMhead}(h_k)/T_k,y),& T_k&=T_b+T_s(1-k/K). \end{aligned}

符号解释： $$h_k$$ 是第 $$k$$ 步潜在状态， $KV^{(k)}$ 包含历史与前 $$k$$ 步 cache， $$q_k=W_qh_k$$ ； $$s_i$$ 是 $$N=64$$ 个词表尺度 soft tokens， $\alpha_i^{(k)}$ 的凸组合让 $$e_k$$ 回到输入流形； $$y$$ 是目标 SID 第一层， $$T_k$$ 逐步下降。Qwen3-1.7B 的 hidden state 范数约为输入 embedding 的 14 倍，直接回馈会使 logits 离开 SID 词表，STS 因而是稳定训练的必要条件。完整目标为 $L=L_{\mathrm{CE}}+\lambda L_{\mathrm{PRL}}$ ，生产配方用 $K_{train}=2$ 、 $\lambda=0.1$ 、 $$T_b=1$$ 、 $$T_s=5$$ ；收益写入 LoRA adapter 后，离线生成设置 $$K=0$$ 并精确跳过 CTM。

Figure 11 的 (a) 说明用户历史先经 LLM encoder 得到 $$h_0$$ ，CTM 只在训练期反复回馈，最终 SID decoder 仍是普通生成头；(b) 展开 STS， $$h_k$$ 经过 query 后在 64 个 soft token 上做 softmax，再把凸组合 $$e_k$$ 送回同一 backbone；(c) 表明 PRL 对 $h_1,\ldots,h_K$ 每一步都接共享 LM head，以第一层 SID 为监督。这里不存在新的 reasoning Transformer，新增可训练参数约 2.5M、低于 backbone 的 0.2%。因此“offline reasoning”不是把一条昂贵 CoT 缓存下来，而是先用逐步监督塑形参数，再用普通 SID decoding 周期性产出候选。Think model 为用户输出 $$K_r$$ 个完整 SID reason tokens，DRI 在第 $$l$$ 个 codebook 层取出证据集合 $$E_u^l$$ ，以 Personal Memory 汇聚得到的 $$q_u$$ 作 query：

E_u^l=[e_l(r_{u,1}^l),\ldots,e_l(r_{u,K_r}^l)],\qquad z_u^l=\mathrm{MHA}_l(q_u,E_u^l)+p_0+\tau_l

符号解释： $r_{u,k}^l$ 是第 $$k$$ 个 reason token 的第 $$l$$ 层 code， $$p_0$$ 是物品位置 embedding， $\tau_l$ 是层类型 embedding。没有候选顺序编码，因此 reason set 的排列不改变输出；不同层有独立注意力参数，让粗意图 code 与细残差 code 选择不同证据。 $$z_u^l$$ 被插在对应目标 $$y_l$$ 前，由 causal mask 保证预测时看不到答案，且一次计算后供所有 beam 共享。

Figure 10 上半部显示 Personal Encoder 与 Group Encoder 都向 TGR-GenRec decoder 提供 key/value，但 reason tokens 还能通过 DRI 直接进入 decoder 输入；下半部把两条路径拆开：DRI 按 SID 层把多个候选重新组织并用个人历史选择，GMR 则用完整 SID 在全局行为序列里检索后继窗口，再把群体证据编码。前者是语义先验，后者是协同事实，两者都不增加输出 SID 的步数。论文评估的默认部署只启用 Personal Encoder + DRI，Table 16 明确排除了 GMR，因此不能把离线与线上增益归因于完整双记忆设计。GMR 对每个 reason token 单独收集群体序列中的后继窗口，保留频率最高的 $$M$$ 个，再拼接 $C_u=C_{u,1}\Vert\cdots\Vert C_{u,K_r}$ 。个人与群体记忆由不同 encoder 表示，decoder 第 $$l$$ 层分别注意二者并用非对称门控融合；Gen model 则保持标准分层 NTP 目标：