Towards a Densing Law for User Representation Learning at Billion-Scale Capacity / 面向十亿级容量用户表示学习的行为稠密化定律

这篇论文由蚂蚁集团 DeepFind Team 的 Bin Dou 等人与浙江大学合作完成，于 2026 年 8 月 24 日公开，唯一论文入口为 arXiv:2608.23392。作者先用支付宝真实行为数据诊断“原始行为扩展墙”，再把用户行为转为 RQ-VAE 语义 ID，以效用—成本 Pareto 前沿定义“最小充分分词容量”，并拟合数据规模与容量的对数—对数关系。最后，论文提出 Adaptive Length Gated Network（ALGN），根据残差与量化不确定性为不同行为片段分配可变残差层数。本轮未核验到作者独立官方代码仓库，因此可复现性判断以 PDF 中的公开描述为限。

真实工业用户建模通常同时扩大用户数、行为时间窗口和模型参数，但十亿级原始行为中的重复与低信息事件会让下游收益迅速饱和；已有分词方法又缺少“数据变大时，最少需要多大表示容量”的定量选型规则。

1. 背景和问题

工业平台上的通用用户表示会同时服务分类、文本检索式人群定向和 U2U 检索。论文的参考系统先把多源行为按天组织，用过去时段预测未来时段的文本表达：Transformer 编码过去行为，LoRA 微调的 Qwen3-Embedding 类模型编码未来行为模板，两者以 InfoNCE 对齐。预训练统计覆盖 1 亿到 20 亿用户、30到270天序列、0.05B到0.4B参数，每个用户约 2200 个行为文本 token。下游不是单一数据集：分类对 50 个场景求平均，文本检索与 U2U 检索各覆盖 22 个场景，每个场景约 50 万用户。

作者把问题拆成三个递进问题。RQ1 先问原始行为的用户数和时间窗口是否能持续换来下游收益；RQ2 在分词确实缓解饱和后，追问某一数据规模需要多大的最小充分容量；RQ3 再追问同一个全局配置是否应当平均分给每个用户片段。它们对应三个层次：先证明扩展瓶颈，再校准全局容量，最后做样本级分配。

Figure 1 左侧从账单类行为日志出发，把扩大用户量、延长历史、原始连续编码、离散语义 ID 与下游应用放在同一条链路上；右侧两组 AUC 曲线则提前显示分歧。时间窗口从 30 天延长到 270 天时，原始序列从 72.36 升到约 73.96 后趋平，分词序列继续升到 74.78；用户量扩展曲线也显示同方向。这张图是问题地图，并非单独的严格因果证明：它把后文的实验趋势汇总在一起，真正的可比口径还要看同一编码器、同一对比目标和同一下游协议下的分项扫描。

论文把“原始行为扩展墙”定义为：递增用户数、历史长度或模型容量时，下游边际收益严重递减，甚至出现预训练 loss 继续降低、下游质量不再上升的解耦。在具体 pilot 设置中，用户数从 0.01B 扫到 0.1B，时间窗口在 30到120 天之间比较，模型从 0.05B 扫到 0.4B。作者观察到，用户数在约 0.03B 之后、历史窗口在约 60 天之后、编码器参数在约 0.2B 之后开始显著趋平。这些数是支付宝 PayBill 实验中的经验拐点，不是可直接移植到视频、内容流或电商互动的行业常数。

Figure 4 的三个三维曲面分别展示 Accuracy、KS 和 AUC，横纵两个扩展轴是用户数与时间长度。三个指标在小数据区域斜率较大，过了约 3000 万用户与 60 天后曲面明显变平，说明趋势并非某一个阈值指标的偶然。但图中是有限网格点的插值曲面，而不是连续地扫遍所有 $$N,D$$ 组合；“饱和”也需要结合作者选定的差异容忍度来判定。实际部署时，应把它视为寻找“本平台当前边际收益区间”的方法，而不是根据 0.03B/60 天直接裁剪所有业务数据。

更强的诊断来自模型容量轴。当 $$N=0.1B,D=180$$ 天已处在原始数据饱和区域时，模型从 0.05B 扩大到 0.2B 能改善下游，再到 0.4B 则基本不变；同时预训练 loss 仍会降低。这意味着更大模型能拟合重复的细节，但没有获得新的、可迁移到下游的区分信号。论文因此把瓶颈从“编码器不够大”改写为“每个有效输入单位承载的下游相关信息不够密”。

Figure 5 对分类、文本检索和 U2U 检索分别画出模型参数与 AUC。原始与分词两条曲线都在约 0.2B 后趋平，但分词数据整体位于更高平台：例如分类 AUC 从原始序列的 73.92% 平台移到约 74.56%，文本检索从约 57.95% 移到 58.68%。这幅图有两层含义：分词提高了可达的信息密度前沿，但它并没有消除模型容量的边际递减。因而工程上不应解读为“分词后可以无限加大模型”，而应解读为“先改变输入密度，再在新的饱和点前选择足够的模型”。

论文把“行为稠密化”定义为：把长而重复的原始历史变换成紧凑表示，尽量保留下游任务需要的区分，同时压制例行、可预测或弱相关事件。它不等于追求最高压缩比：丢掉太多细节会伤害效用，保留太多代码又回到冗余。这个权衡正是“最小充分容量”的出发点。

2. 方法

2.1 从行为—文本对齐到 RQ-VAE 稠密化

原始与分词两种设置共用同一个行为—文本对比目标，这是归因设计的核心。它把监督信号、用户编码器和下游协议固定住，尽量使性能差异只由原始行为或离散码输入引起。对 batch 中用户 $$i$$ 的过去行为嵌入 $$e_i^b$$ 和未来行为文本嵌入 $$e_i^q$$ ，预训练损失为：

\mathcal L_{\mathrm{CP}} =-\frac{1}{B}\sum_{i=1}^{B} \log\frac{\exp(\operatorname{sim}(e_i^b,e_i^q)/\tau)} {\sum_{j=1}^{B}\exp(\operatorname{sim}(e_i^b,e_j^q)/\tau)}.

符号解释： $$B$$ 是 batch size， $\operatorname{sim}$ 是余弦相似度， $\tau$ 是可学习温度；同用户的过去—未来配对为正例，其余 batch 文本为负例。分词组不换下游编码器也不换对比目标，只把编码器的输入从原始文本行为改为离散行为 token，因此结果差异更能指向输入表示。

对用户 $$n$$ 的连续行为序列 $X_n=(x_{n,1},\ldots,x_{n,L_n})$ ，局部聚合先生成固定预算的 $Z_n=(z_{n,1},\ldots,z_{n,H})$ ，其中 $H\ll L_n$ 。对每个 $z_{n,h}$ ，RQ-VAE 从第一个 codebook 开始逐层量化残差：

r_{n,h}^{(1)}=z_{n,h},\qquad k_{n,h}^{(m)}=\arg\min_{k\in\{1,\ldots,K_m\}} \left\|r_{n,h}^{(m)}-c_k^{(m)}\right\|_2^2,

r_{n,h}^{(m+1)}=r_{n,h}^{(m)}-c_{k_{n,h}^{(m)}}^{(m)},\qquad \hat z_{n,h}=\sum_{m=1}^{M}c_{k_{n,h}^{(m)}}^{(m)},\qquad t_{n,h}=(k_{n,h}^{(1)},\ldots,k_{n,h}^{(M)}).

符号解释： $$M$$ 是残差量化深度， $$K_m$$ 是第 $$m$$ 层 codebook 大小， $c_k^{(m)}$ 是码字， $r^{(m)}$ 是当前尚未解释的残差， $t_{n,h}$ 是由多层索引构成的语义 ID。前层更像常见消费类别或周期习惯的粗粒度码，后层继续拟合商户偏好、额度变化等残余细节；多层组合在紧凑预算下比单大 codebook 更容易复用共享结构。

\mathcal L_{\mathrm{RQ}} =\mathcal L_{\mathrm{rec}}(Z_n,\hat Z_n) +\sum_{m=1}^{M}\left\|\operatorname{sg}[r^{(m)}]-\hat r^{(m)}\right\|_2^2 +\beta\sum_{m=1}^{M}\left\|r^{(m)}-\operatorname{sg}[\hat r^{(m)}]\right\|_2^2.

符号解释： $\mathcal L_{\mathrm{rec}}$ 约束完整重构， $\operatorname{sg}$ 是 stop-gradient， $\hat r^{(m)}$ 是第 $$m$$ 层选中的量化向量， $\beta$ 控制 commitment 项。训练边界是：RQ-VAE 先用重构目标学习 codebook，之后被冻结；用户编码器只读取离散 token，仍用前述 InfoNCE 学与未来行为文本对齐。

Figure 6 上半部是只在 tokenizer 训练时使用的分支：Encoder 得到连续潜变量，多层 RQ-VAE codebook 逐步抵消残差，Decoder 用 MSE/重构信号还原表示。下半部是用户表示学习：过去行为先被 Tokenization 压成 ID 序列，再进 Transformer；未来行为经文本模板和冻结嵌入模型生成监督向量，两路以 $\mathcal L_{\mathrm{CP}}$ 对齐。图中“Decoder only used during codebook training”很关键：法则和下游提升不是靠线上附加一个重型解码器，而是靠离线学到的更高密度输入。但 tokenizer 本身的训练、版本刷新和全量行为转码成本仍然存在，论文未把这些成本完整计入线上收益表。

2.2 最小充分容量：从 Pareto 目标到可操作搜索

论文不把稠密化定义为“token 越少越好”，而是在给定数据规模 $$s$$ 时寻找下游效用 $$U$$ 与表示成本 $$C$$ 的 Pareto 最优点。压缩过度会丢掉能区分用户的信号，压缩不足则只是把冗余换了一种存储形式，所以目标必须同时看质量与成本，并允许不同部署对两者设不同交换率：

\rho^*(s)=\frac{\widehat C_{\mathrm{raw}}(s)}{C^*(s)},\qquad \phi^*(\lambda,s)=\arg\max_{\phi\in\Phi} \left[U(\phi,s)-\lambda C(\phi)\right].

符号解释： $\widehat C_{\mathrm{raw}}(s)$ 是原始序列达到同等效用所需的有效成本， $$C^*(s)$$ 是稠密表示成本， $\rho^*$ 表示密度改善； $\lambda$ 是部署系统对成本的敏感度。 $\lambda$ 越大越偏向廉价表示，越小越容许用更多容量换效用。这个定义把业务的成本权重显式化，但论文并没有给出所有部署环境可共用的 $\lambda$ 。

对 RQ-VAE 配置 $\kappa=(K,M,d,H)$ ，作者用下式近似离散码空间与码嵌入成本。这一口径同时惩罚更长序列、更深残差层、更大码本与更高维嵌入，但它是容量代理量而不是端到端时延模型：

C_{\mathrm{tok}}(\kappa)=HM\log K+\eta HMd.

符号解释： $$H$$ 是输出 token 数， $$M$$ 是残差层数， $$K$$ 是 codebook 大小， $$d$$ 是码嵌入维度， $\eta$ 把连续嵌入存储/计算折算到同一成本口径。因为下游训练有随机噪声，直接在连续 $\lambda$ 上找最优不稳定，论文改用“接近最佳效用的最小配置”：

U^*(N,D)=\max_{\kappa\in\mathcal K}U(q_\kappa,N,D),

\kappa^*(N,D)=\arg\min_{\kappa\in\mathcal K}C_{\mathrm{tok}}(\kappa) \quad\text{s.t.}\quad U(q_\kappa,N,D)\ge U^*(N,D)-\epsilon.

符号解释： $\mathcal K$ 是实际扫描的离散 tokenizer 配置集， $q_\kappa$ 是指定配置的分词器， $$U^*$$ 是这个搜索网格中的最高下游效用， $\epsilon$ 是容许的接近最佳差距。所以 $$C^*$$ 不是一个与实验无关的真值，它依赖配置网格、指标汇总方式、随机波动和 $\epsilon$ 。“最小充分”是约束搜索的可操作定义，不是凭法则曲线直接算出的绝对最优。

2.3 对数—对数轨迹与数据唯一性

为了把离散 Pareto 点压缩成选型规则，论文假设饱和区域内的效用前沿可局部近似为一条随容量递减的反幂曲线。这个局部形状是后面 log-log 线性的关键条件，它不是从任意效用函数都能推出的恒等式：

U(C,s)=U_\infty(s)-a(s)C^{-b},\qquad b>0.

符号解释： $U_\infty(s)$ 是在规模 $$s$$ 下的渐近效用， $$a(s)$$ 是有限容量距离前沿的缺口， $$b$$ 控制边际收益衰减曲率。把它代入 $U-\lambda C$ 并对 $$C$$ 求一阶条件，可得 $C^*=(a(s)b/\lambda)^{1/(b+1)}$ 。再假设缺口随多个规模维度以幂函数增长，便得到运维形式：

\ln C^*(s)=\beta+ \sum_{i=1}^{r}\alpha_i\ln\frac{s_i}{s_{i,0}} -\alpha_\lambda\ln\lambda.

符号解释： $$s_i$$ 可以是用户数、时间窗口、模态数或场景多样性， $s_{i,0}$ 是参考尺度， $\beta$ 是截距， $\alpha_i$ 是对应维度的容量弹性， $\alpha_\lambda$ 反映成本偏好。当部署 $\lambda$ 固定，其项可并入截距；本文实验将 $$s$$ 实例化为用户数 $$N$$ 与时间窗口 $$D$$ 。这段推导说明了幂律形状从哪些假设来，也同时限定了结论：如果效用前沿不符合该局部形状，或 $$a(s)$$ 不按幂函数变化，对数—对数线性就不必然成立。

作者进一步将斜率写成 $\alpha_i=f_i(U_d,E_\phi)$ ，把它视为数据内在多样性与 tokenizer 码空间组织方式的联合结果。为了给第一部分一个可测代理，论文用 LLM 文本嵌入的平均 $$k$$ 近邻余弦距离衡量数据源内唯一性：

U_d=\frac{1}{Mk}\sum_{i=1}^{M} \sum_{j\in k\mathrm{NN}(i)}d(i,j).

符号解释： $$M$$ 此处是抽样行为嵌入的数量， $k\mathrm{NN}(i)$ 是样本 $$i$$ 的 $$k$$ 个近邻， $$d(i,j)$$ 是余弦距离， $E_\phi$ 概括 tokenizer 如何组织代码空间及其冗余。 $$U_d$$ 越大表示同源行为语义更分散，理论上需要更大容量避免碰撞。论文观察到斜率比约为 $$1:1.15:0.92$$ ，而 $$U_d$$ 比约为 $$1:1.07:0.96$$ ，并提出 $\alpha_i\propto U_d^2$ 的近似关系。这仍是三个数据源上的经验对齐，论文没有证明平方形式在任意嵌入器、任意模态或分布下不变。