LUNAR：基于通用用户行为日志的个性化大模型评测

LUNAR 是一项面向个性化大模型的 benchmark 工作，完整标题为 LUNAR: Benchmarking Personalized Large Language Models on UNiversal User BehAvioR Logs。论文由深圳理工大学 Jiahao Zhang 等人与蚂蚁集团合作完成，一作主机构为深圳理工大学；作者在文中注明部分工作于蚂蚁集团完成。论文于 2026 年 8 月 5 日提交 arXiv，入口为 arXiv:2608.05246。截至本轮核验，事实包与 arXiv 官方页面均未提供可确认的代码或独立项目页。

现有个性化大模型基准大多把用户表示成文字 persona 或孤立的单域行为信号，难以检验模型能否从服饰、餐饮、居住、出行等异构日常活动中选择并整合证据。已有行为基准又常受合成轨迹偏离真实分布、行为来源单一所限，因而不足以覆盖真实服务助手面对的跨域推理与隐私控制问题。

1. 背景和问题

1.1 从显式 persona 到纵向行为证据

个性化问答最容易的设定，是直接给模型一段用户自述：偏好什么、住在哪里、有什么禁忌。模型只需把这些显式属性复述进答案，便可能在传统指标上显得“个性化”。真实服务平台却更常留下隐式、分散而带时间顺序的行为记录：购买、出行、住宿、缴费、搜索与办事记录分别位于不同业务域，某次提问真正需要的事实只占长期历史的一小部分。模型不仅要“知道用户数据”，还要判断哪些记录与当前问题有关、哪些域之间能够互相补全、哪些细节即使有关也不应直白暴露。

论文把既有 benchmark 分为两路。文本型基准以 persona、对话历史、偏好陈述或 memory archive 表示用户，能够评测显式条件控制，却较少覆盖自然产生的行为信号。行为型基准进一步使用商品评论、网页浏览、生活轨迹或移动应用记录，但不少工作依赖完全模拟的轨迹，或只集中在单一行为来源。LUNAR 因而把问题推进到 cross-domain behavioral personalization：面对一个查询，模型要从长期、多域行为历史中筛选和融合证据，而不是把所有记录机械塞进回答。

这里最需要守住的数据口径是：LUNAR 发布的是由大模型合成的行为日志和查询，不是真实个体的纵向日志。 真实平台数据先经过匿名化，只在生成过程中充当人口统计、行为数量、金额分布、时间节律和事件顺序的锚点；最终数据移除了所有真实锚记录，也不包含可识别 profile。论文验证的是“现实分布约束能否让合成轨迹更接近真实统计规律”，不是证明合成用户等价于真实用户，更不是把图中的某位用户当作真实案例。

1.2 任务定义：从全量日志中找出跨域证据

论文把用户 (u) 的行为日志按领域组织为：

B_u = \{B_{u,d}\}_{d\in D}

符号解释：(D) 是行为领域集合，本文覆盖 clothing、food、housing、mobility 四域；(B_{u,d}) 是用户 (u) 在领域 (d) 下按时间形成的记录序列；(B_u) 则是该用户的完整多域行为历史。这个表示保留了“域”这层结构，使后续实验能够区分单域证据缺失、跨域证据不完整和全历史噪声。

给定查询 (q) 与完整行为历史，被测模型 (M) 生成回答：

$$ r = M(q, B_u) $$

符号解释：(q) 是当前用户请求，(M) 是任一待评测大模型，(r) 是个性化响应。这个式子只定义推理任务，不是模型训练目标；LUNAR 不训练一个新的 personalization model，而是用相同 benchmark 对 19 个现成模型做比较。

真正与查询相关的证据只是全量日志的子集：

E_{u,q} \subseteq \bigcup_{d\in D} B_{u,d}

符号解释：(E_{u,q}) 表示用户 (u) 针对查询 (q) 的相关证据集合；右侧并集是四域全部候选记录。这个区分正是 Full Context 与 Curated Context 的分水岭：前者要求模型自己从噪声历史中找证据，后者把 (E_{u,q}) 作为近似 oracle 输入，用来观察“检索已经解决之后，模型还会不会推理”。

论文再从证据集合定义相关领域：

D_{u,q} = \{d\in D \mid E_{u,q}\cap B_{u,d}\neq\varnothing\}

符号解释：(D_{u,q}) 收集所有至少贡献一条相关记录的领域；交集非空意味着该领域确实为当前查询提供证据。若满足

|D_{u,q}| \ge 2

符号解释：(|D_{u,q}|) 是相关领域数量；至少两个领域共同支撑回答时，查询被定义为 cross-domain。这个定义避免仅凭“用户有四域日志”就把任务算成跨域，必须是当前查询实际需要两域以上证据。

Figure 1 把任务难点放到一个登机提问中。查询发生在 06:42，航班 08:35 起飞；mobility 域给出航班和剩余时间，payment/clothing 域给出 06:18 在机场购买防晒喷雾，housing 域暗示家庭房、儿童同行和当日退房。通用答案只能给“提前到机场、准备证件”一类任何旅客都适用的建议；更深的回答要把喷雾与安检规则、家庭房与儿童证件、退房日与登机时刻连接起来。图也暴露了风险：一旦模型把“能用的证据”理解成“都要说出来”，个性化便会滑向监控感。LUNAR 由此同时考查证据筛选、跨域整合与表达克制，而不是简单奖励日志复述量；任何单域记录都不足以独立支撑图中的完整回答，这个增量无法由单条记录解释。

2. 方法

LUNAR 的方法不是一套新的生成模型，而是一条 benchmark construction → evidence/rubric construction → response evaluation 流水线。原文 Figure 2 将真实分布锚点、合成行为池、反向取证和成对评分连接起来；其中真实数据不进入最终发布样本，Personalized/Generic 两条回答路径才是 19 个模型被评测时的推理过程。流程的核心是为每个查询建立可追溯证据与评分清单，从而检查模型用了哪条记录、是否跨域推理、相比通用答案多解决了什么。

2.1 Reality-Anchored Data Generation：用真实分布约束合成轨迹

第一阶段解决大规模行为数据稀疏、隐私敏感且难直接开放的问题。Profile Expanding 以预匿名化人口统计记录 (delta_u) 为起点，从 13 类兴趣 schema 中选择兴趣并赋 affinity score，补充服饰、餐饮、居住、出行等生活方式约束，得到固定 profile (P_u)。固定意味着后续 12 周的合成事件必须围绕同一个用户语义约束展开，而不是每周重新随机定义“这个人是谁”。

Trajectory Planning 不一次性让 LLM 生成 12 周日志，而把计划分解成：

\tau_u = (T_w, T_d, T_s)

符号解释：( au_u) 是用户 (u) 的层级轨迹计划，(T_w) 表示周级主题与节律，(T_d) 表示由周主题约束的日级 anchor activity，(T_s) 表示细到时段的 5W1H 场景与期望行为类型。上层输出约束下层，避免“本周出差”却在日计划里持续居家之类冲突。作者还做双向一致性检查：正向看日/时段是否支持周主题，反向从 slot 计划重构周摘要再与原周计划比较，低分周重新生成。

Record Instantiation 把每个 slot 实例化为结构化记录。真实记录若落在相应时间窗，会在生成时原样注入，约束时刻、类别与地点；但这些 hard anchor 只作 scaffold，随后从最终数据集中删除。真实数据也以聚合统计贯穿三层：数量、金额与时段分布约束周级节奏，时间排序的真实事件辅助日级规划，原始记录约束具体 slot。因此“reality-anchored”表示多粒度统计和生成约束来自现实，不表示发布轨迹由真实用户日志脱敏改写。

查询生成则从真实服务请求抽样 few-shot exemplar，引导 LLM 学习自然意图和表达方式，再由人工按简洁性、歧义和自然度筛选。最终每个合成用户配两条查询；这种设计扩大了 benchmark 构造规模，但查询分布仍受最初真实请求池、六个人工选择的生活服务场景和生成模型偏好共同影响。

2.2 Retroductive Evidence and Rubric：从通用答案反推必要证据

第二阶段采用 retroductive strategy。作者不先问“历史里有什么”，而先让模型在看不到行为日志时生成 generic response，再追问：若要让这份通用答案真正适合该用户，还缺哪些信息？Cross-domain Relevance Analysis 对四个领域分别评估增益，只有能在 generic answer 之外补充约束或建议的领域才被保留。这样可以减少一种常见错误：因为某条记录很具体就把它当成相关证据，哪怕它与查询没有关系。

Evidence Grounding 对每个保留领域检索或合成满足条件的行为记录，组成 (Esubseteq B)。不同领域可以同时贡献证据，例如 hotel 的家庭房、mobility 的航班和 payment 的机场喷雾共同支持登机回答。随后 Rubric Construction 逐条分析证据应该怎样改变回答，将各域建议合并成结构化 (R)：高质量回答应覆盖哪些事实、做出什么个性化推断、哪些信息点缺失会降低分数。输入是 query、generic answer 和行为池，输出是相关域、证据集合与可核验 rubric；这一阶段属于 benchmark 标注，不会在被测模型在线回答时重新替模型决定答案。

这种反向取证的优点是把“相关性”绑定到相对通用答案的增量价值，也为后面的 Curated Context 与 evidence ablation 提供 oracle。局限也很明确：generic answer 的覆盖范围、证据筛选、rubric 合并均高度依赖 LLM 判断。如果生成器和 judge 共享偏好，它们可能共同认为某种表达“更个性化”，却忽略人类真正关心的约束。因此论文用人工核验与 human–LLM agreement 缓解风险，但不能彻底消除同源偏差。

2.3 Evidence-grounded Evaluation：把证据覆盖、推理深度与隐私拆开评分

第三阶段为每个 query 生成两份答案：Personalized Response 可见某种形式的行为上下文，Generic Response 完全看不到行为日志。GPT-5.1 judge 在 rubric (R) 下做 blinded pairwise comparison；目标答案和基线答案的位置随机交换，一半目标在前、一半在后，以平均位置偏差。与只给单份答案绝对打分相比，通用答案提供了“没有用户证据时会怎样回答”的参照，能够减少 judge 因常识正确而把普通建议误判成个性化。

Personalization Coverage（PC）关注答案是否覆盖查询要求的核心信息、是否理解用户真实处境与隐含意图；Personalization Depth（PD）关注模型是否基于用户数据做出会随用户改变的差异化推理。评分从 1 到 5：2 分接近任何人都适用的 generic baseline，3 分能找到相关记录却仍给通用建议，4 分做出一步超越字面记录的推理，5 分融合多条证据推导用户特有的未明说需求。PC 与 PD 正交：答案可以覆盖全面但泛化，也可以推理深入却漏掉关键事项。

Figure 2（局部）：Evidence-grounded Evaluation 的 PC/PD 评分面板

这是原 Figure 2 中完整、独立的 C. Scoring 子面板，而非重新绘制的示意图。它把同一轮盲比较拆成两项 1–5 分：PC 询问回答是否充分覆盖并理解当前情境，PD 询问回答是否真正针对这个个体。两轴拆分很关键：引用一条酒店或航班记录可能提高 coverage，却未必形成会随用户而改变的建议；相反，某个深度推断也可能只覆盖任务的一角。面板本身未展示左侧的数据生成和 evidence grounding，但它是整条流程的输出接口：前两阶段构造的证据与 rubric，最终都要落到这两个可区分、可人工复核的响应维度。

被测模型获取证据的方式在实验中分成 Full Context、Curated Context、RAG 和 Agentic Memory。前两者分别提供完整历史与 query-relevant oracle 子集；RAG 直接保留细粒度事件，Agentic Memory 先把历史压缩成 atomic facts。隐私评价另外对 Full Context 单份响应做 1–5 分独立评分，高分代表保护更好；offense 按 profiling/labeling、surveillance/tracking、condescension 分严重、中等和轻微三级。评估因此把“找得到证据”“能融合证据”“是否过度展示证据”拆成不同轴，避免用一个 personalization 分数掩盖隐私代价。

本文没有可复用的核心训练公式或优化 loss，原因是 LUNAR 构造 benchmark 并评测现成模型，不训练新的参数化方法。以上六个独立公式块保留了原文的任务输入、相关证据、跨域判定和层级轨迹表示；JSD、余弦相似度和 Wilcoxon 检验属于数据质量或统计评价，不应被改写成作者未提出的训练目标。

3. 实验结果

3.1 数据规模、内在质量与现实分布保真度

LUNAR 包含 150 个合成用户、300 条查询与 143,008 条合成行为记录，每个用户有 12 周、四域历史和两条查询。112 条查询是单域，188 条需要至少两个相关域。六类生活服务场景分别为 Travel 57、Hotel 51、Affairs 49、Bus 49、Train 48、Plane 46。每个 query 及其 supporting evidence 都经人工验证。这里的统计规模支持多域分析，但 150 个 profile 仍不足以代表跨地区、跨平台、跨产品生态的真实人口分布。

内在质量从四方面检查。LLM 对行为记录合理性打 4.67/5，对 profile internal consistency 打 4.93/5；跨周行为组成的 all-pair 与 consecutive cosine 分别为 0.878 和 0.892；13 类 affinity 的加权归一化熵为 0.911。两位标注者另评 30 个行为历史和 100 条查询：human–human exact agreement 对历史为 94.4%、对查询为 85.4%，human–LLM 分别为 94.5% 与 81.5%。这些数字说明样本在既定 rubric 下较一致，却不能把高一致率等同于“行为来自真人”。

Table 3 用 Jensen–Shannon divergence（越低越接近）检验 reality anchor 的实际作用。内部消融中，Behavior-Amount JSD 从 no-anchor 的 0.330 降到 anchored 的 0.105，相对下降 68.2%；Behavior-Time 从 0.078 降到 0.060，相对下降 23.1%，并与 Real–Real 的点估计 0.060 相同。附录用 1,000 次 bootstrap 给出 95% 区间，提醒点估计相同不等于分布完全等价。外部比较只取三套数据都能映射的支付/出行共享视图：LUNAR 的 Cond-Type-Time JSD 为 0.028，低于 DynamicMem 的 0.045 和 Mem-PAL 的 0.085。证据支持“锚定改善了金额与时间节律保真度”，但外部结论仅限共享类别和条件时间分布，不能外推到所有语义与因果行为。

3.2 19 个模型：Full、Curated、RAG 与 Agentic Memory

19 个模型覆盖 Qwen3、DeepSeek-V4、GLM、Ling、MiniMax、Kimi、Gemini 与 GPT 系列，已知参数规模从 0.6B 到 1.6T，也包含 Dense 与 MoE。生成统一使用 temperature=0.0、max_tokens=4096。Full Context 放入完整 12 周用户行为历史；Curated Context 只放人工/流程确认与查询相关的证据，是检索噪声被移除的 oracle。RAG 把记录序列化，用 Qwen3-Embedding-8B 离线嵌入，查询时按 cosine similarity 取 top-30。Agentic Memory 采用 Mem0 vector-only：每 10 条记录由 Ling-2.6-1T 压成 atomic facts，使用 bge-m3 嵌入并存入 Qdrant，查询时取 top-50 facts。

Table 4 的第一层结论是：行为日志必要，但远不足以保证深度个性化。Full Context 最好的是 Gemini Flash，Avg. 3.90；Curated Context 最好的是 Kimi-K2.6，Avg. 4.07，而理想分是 5。Curated 对所有模型均高于 Full，说明长历史中的相关性筛选是普遍瓶颈；但即使给相同的精炼证据，模型仍落在 2.41–4.07，表明证据已经到手后，信息融合与回答表达仍拉开明显差距。附录 No Context 的 Avg. 只有 1.81–2.27，Gemini Flash 从 2.25 升到 Full 的 3.90，Kimi-K2.6 从 2.27 升到 3.83；Qwen3-0.6B 则仍为 1.81，显示极小模型几乎不能利用这类上下文。

第二层结论是参数量没有单调 scaling law。Qwen3-32B 的 Full Avg. 为 2.42，低于 14B 的 2.60 和 8B 的 2.56；Qwen3-Next-80B-A3B 为 2.58，也低于 30B-A3B 的 2.91 与 35B-A3B 的 3.63。它说明个性化需要筛选、偏好对齐和 instruction following 的组合，不能由参数规模单独解释；但跨系列训练数据与后训练策略不同，所以表格不能被读成严格控制变量的“更大一定更差”。

第三层结论是直接细粒度检索普遍优于先压缩再检索。19 个模型的 RAG Avg. 平均比 Agentic Memory 高 0.21。压缩记忆会丢掉时间、金额、地点和事件关联，弱模型更难从 atomic facts 重建情境；强模型能缩小差距，却仍未反超。这个比较针对本文的具体实现：RAG top-30 原始记录，Mem0 top-50 压缩 facts，且两者使用不同 embedding。它支持“当前配置下 granularity 很重要”，尚不能证明所有 agentic memory 设计必然弱于 RAG。

3.3 跨域整合：证据齐全不等于模型会融合

为区分检索与推理，作者选七个能力层级不同的模型，把 multi-domain query 分成 Full-E 与 Single-E。Full-E 给出全部相关域，Single-E 只随机保留一个相关域；另以 single-domain Full-E 作参照。若模型只是复述单条记录，多域证据的边际价值不会稳定增长；若模型能做互补推理，完整多域证据应显著优于只给一域。

Table 5 显示移除相关域后七个模型全部下降，但下降幅度与模型能力相关。Kimi-K2.6 从 multi-domain Full-E 的 4.14 降到 Single-E 的 3.11，下降 1.03；Gemini Flash 从 4.03 降到 3.17；Qwen3.6-35B-A3B 从 4.05 降到 3.14。三者在完整多域证据下还略高于各自 single-domain 分数，表明能把域间互补转成收益。Qwen3-0.6B 则从 2.32 降到 1.93，差值只有 0.39，而且它的 multi-domain Full-E 低于 single-domain 的 2.56：对弱模型而言，多域输入更像新增噪声，而非可组合信息。表格因此把“证据数量”与“整合能力”分开了。

Figure 3 在 58 条恰有四条证据的跨域查询上令 (k=0,ldots,4)，每次增加一条记录。所有曲线都随证据增加而上升，但形状差异很大。Kimi-K2.6、Gemini Flash、Qwen3.5-397B-A17B 和 Qwen3.6-35B-A3B 首条证据带来最大增益，随后呈边际递减，说明强模型较早捕捉互补关系；DeepSeek-V4-Flash 与 Ling-2.6-Flash 的增长更不平滑，像是某些组合达到阈值后才释放价值；Qwen3-0.6B 从很低基线缓慢上升，即使四条齐全也明显落后。误差棒是按 query 计算均值的 95% confidence interval，因此曲线主要支持能力层级和总体形状，不能据相邻单点差异断言统计显著。

3.4 隐私—个性化权衡

隐私 judge 在 Full Context 上给 1–5 分，越高表示保护越好。严重 offense 是 profiling/labeling，即从记录给用户贴价值或人格标签；中等 offense 是 surveillance/tracking，例如列举远超回答需要的完整轨迹或无关跨域记录；轻微 offense 是 condescension，即借数据说教或给未请求的总结。与问题直接相关的酒店名称、日期，或用户明确要求的偏好推荐，不自动构成 offense。这个准则评价的是回答中的不当使用和表达，不是端到端数据合规、存储安全或权限控制。

Figure 4 以 3.0 为两轴阈值划出 Balanced、Conservative、Aggressive、Weak 四区。六个模型位于高个性化且高隐私的 Balanced 区，包括 Kimi-K2.6 与 Qwen3.6-35B-A3B，说明更强个性化并非必然牺牲隐私；四个模型落入 Aggressive 区，包括 Gemini Flash 与 DeepSeek-V4-Flash，表明追求细节时可能过度暴露。Pareto front 只有 Kimi-K2.6、Gemini Flash、GPT-4.1-mini、GPT-4o-mini 四个点，覆盖高隐私低个性化到高个性化低隐私的取舍，作者认为 Kimi-K2.6 在前沿点中平衡最好。星号来自相对 privacy=3.0 的 Wilcoxon signed-rank test，不代表两个模型之间的两两显著差异。

Figure 5 解释了散点图背后的“表达控制”。面对刚买错日期的门票，Gemini Flash 得 2/5：它从优惠券、青年旅舍和校园消费推断“精打细算的学生”，还展示明日行程与服饰记录，既贴标签又越过问题边界。Kimi-K2.6 得 3/5，虽然给出可操作的退票建议，却仍概括预算习惯并带入无关线路。GPT-4o-mini 得 5/5，只利用与改期直接相关的票务信息，建议查看订单规则和联系客服。三份回答都能提供退改方向，分差主要来自是否越过必要信息边界，而非答案是否“记住更多”。这个案例说明保护隐私不要求完全忽略行为数据，而要把证据最小化到完成任务所需范围，并避免把一次行为升级成稳定人格判断；隐私分由表达边界决定。

3.5 human–LLM agreement：自动 judge 能否代表人

作者请三位标注者独立评价 40 个 Full Context 响应，沿用同一 personalization 与 privacy 准则。由于跨域日志追踪成本高，这只是小样本验证；它检验自动 judge 与人类排序/评分是否大体同向，不能证明所有模型、所有查询或真实上线场景都有同等可靠性。

Table 6 报告 human–LLM agreement：PC 为 77.2%，PD 为 76.1%，二者平均 personalization score 为 76.6%，privacy protection 为 71.1%。个性化两维的一致率较接近，说明 rubric 对“覆盖了什么”和“推理到什么程度”有一定可操作性；隐私一致率更低，符合隐私冒犯更依赖语境和主观边界的预期。论文称自动 judge 的一致性与人类之间大致可比，但 40 个响应的样本量、同一套 rubric 和 GPT-5.1 作为主要 judge 都限制了外推。实际使用 LUNAR 排名模型时，接近分数仍应做人工复核，尤其是 Pareto 前沿和隐私阈值附近的模型；71.1% 也意味着隐私判断不能完全自动放行。

4. 总结

4.1 我的判断

LUNAR 最有价值的不是又给出一张模型榜单，而是把个性化系统拆成三个可诊断环节：从长期历史中 select evidence，跨域 integrate evidence，最后以不过度暴露的方式 express evidence。Curated 一致优于 Full，证明日志越长不等于个性化越深；RAG 优于当前 Mem0 配置，说明过早压缩会损伤细粒度事件；Full-E/Single-E 与 (k) 曲线进一步显示，证据已经齐全时仍存在融合能力门槛；隐私图则提醒，答得“更像知道用户”并不必然答得更合适。

对推荐和大模型工程而言，这意味着个性化 Agent 不应只优化 recall。更合理的链路是：先按 query 建立最小证据集，再保留时序、金额、地点和跨域关联等可推理字段，生成时设置 evidence-expression policy，最后把 usefulness 与 privacy 分轴验收。RAG 与 memory 的选择也不能只看 token 节省，应把“压缩后是否仍能恢复跨记录约束”作为离线指标。

4.2 局限、复现风险与后续跟进

至少有四项边界需要保留。第一，150 个用户的 12 周历史全部由 LLM 合成，现实锚点只改善若干分布，不保证真实长期决策、地域文化和平台生态的外部效度。第二，数据生成、证据/rubric 构造和主评价都大量依赖 LLM，可能存在共享偏好与循环验证；40 个响应的人评不能完全排除偏差。第三，RAG 与 Agentic Memory 的 embedding、检索数量和中间表示不同，0.21 平均差距不能抽象成所有 memory 系统的普遍结论。第四，privacy score 只观察答案表达，未覆盖授权、数据最小化、存储、删除、访问控制与真实合规流程；Full Context 本身在生产中可能就不应默认开放。

后续最值得做三组验证。其一，在严格授权的真实、多平台行为样本上复核 JSD 以外的任务表现，观察合成 benchmark 排名能否预测真实用户满意度，并按地区与场景分层。其二，控制同一 embedding、同一检索预算与同一生成模型，对 raw-record RAG、摘要 memory、事件图和可恢复 memory 做等成本比较，定位信息损失究竟来自压缩还是检索。其三，引入独立 judge 家族与更多人工标注，对 PC、PD、privacy 的阈值、分歧样本和 Pareto 前沿做校准；同时增加“最小必要披露”约束，验证模型能否在保持答案效用时主动省略不必要的准确时间、地点和跨域轨迹。

总的看，LUNAR 提供了一套有用的研究框架：把现实统计锚定的合成行为历史用于可规模化评测，再用证据集合和成对基线把个性化拆成可追踪的能力项。它给出的结论应理解为对当前 19 个模型和本文配置的诊断，而非对真实用户或所有记忆架构的最终裁决。