LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning

LACUNA 是 Mila / McGill 团队提出的 LLM unlearning 测试床，论文入口为 arXiv:2607.02513。这篇文章的主问题不是再提出一个更强的遗忘算法，而是反过来追问：当一个方法声称已经让模型不再输出某些 PII 时，它到底有没有改到真正存储这些 PII 的参数。事实包里给出的代码状态是：PDF 首页显示 McGill-NLP/LACUNA 项目入口，本轮只核验到项目标识，没有复现代码或独立仓库内容。

LLM 会记住训练数据中的个人身份信息，事后 unlearning 看似能让模型不再输出这些信息，但现有 benchmark 主要停留在输出层，无法判断知识是否真的从参数中被擦除，还是只是被暂时遮蔽；如果 resurfacing attack 能重新唤回被遗忘内容，那么社区需要一个带有参数级真值的位置评测基准。

1. 背景和问题

LLM unlearning 的需求来自一个很现实的矛盾：模型训练阶段消耗了大规模网页和混合语料，其中不可避免地会出现个人身份信息、版权文本、危险知识或用户希望撤回的数据；但模型训练完成以后，重新清洗数据再从头训练通常不可行，尤其是 1B、7B 乃至更大规模模型。于是社区把 unlearning 当成一个折中方案，希望在不完全重训的前提下，让模型对指定 forget 数据不再给出原始答案，同时保留 retain 数据和通用任务能力。按已有 benchmark 的口径，这通常会被写成三件事：forget prompt 上输出要远离原始答案，语义相近的改写 prompt 也要泛化，retain prompt 上不要误伤，整体 utility 不要明显下降。

但 LACUNA 指出的核心缺口是：这些条件只说明模型外显行为发生了变化，并不说明参数里的知识被清掉了。一个模型可能因为某个 decoding 路径、局部表征或输出概率被压低而不再泄露 PII，可相关信息仍然分散在权重里。论文在摘要和引言里强调，已有 resurfacing / relearning 研究已经说明，被 unlearn 的知识能够在后续微调、攻击或提示构造中重新出现。这意味着“输出不泄露”与“参数中不再保存”之间有一道明显断层。对隐私和安全场景来说，这个断层很重要：如果系统只是把答案压到不容易触发的位置，攻击者仍可能通过后续训练或定制提示把它找回来。

现有 localization-based unlearning 又有另一个循环论证问题。很多方法先用某种 attribution 或 causal tracing 找到“可能存储知识”的参数，再修改这些参数；如果评测时也用类似 attribution 结果当真值，那么评测的其实只是两个定位方法是否彼此一致，而不是它们是否真的命中了知识。LACUNA 的设计是先在训练阶段规定哪些参数能够接收某组 PII 的梯度更新，再把这些 mask 当作独立真值。这样，后续 unlearning 方法修改了哪些权重，就可以直接和预先固定的 mask 比较，而不需要事后解释工具来定义答案。

这篇论文和普通 benchmark 的区别也在这里：它不是只收集一批需要被忘掉的 prompt-output pair，而是构造了一批已经知道“知识应当写在哪里”的模型。作者使用 OLMo2 1B 和 OLMo3 7B，在 masked continual pretraining 阶段把 synthetic PII 写入指定参数组，再进行 instruction tuning 让模型能用 QA 格式抽取这些 PII。之后，AlphaEdit、MemFlex、SimNPO 和一个 oracle 方法都在同一测试床上接受评测。真正值得看的不是谁在 EM/ES/Prob 上最漂亮，而是谁的权重更新更能集中在 forget mask 里，谁在 retain、utility 和后续 resurfacing attack 下仍然稳健。

从大模型安全角度看，LACUNA 的价值是把 unlearning 讨论从“模型现在还会不会说出来”推进到“模型内部有没有被准确定点修改”。这对生产系统尤其重要。隐私删除、版权撤回、危险能力移除都可能面对后续继续训练、adapter 合并、领域微调或用户攻击。如果遗忘只是输出层遮蔽，那么一次后续训练就可能把风险重新放大。LACUNA 不保证现实模型里的知识天然局部化，也不声称真实 PII 都应被写进某些固定权重；它提供的是一个可控测试床，让定位能力、遗忘强度和攻击稳健性第一次能被同时量化。

2. 方法

2.1 三阶段 pipeline：先固定知识位置，再评估是否打到位置

LACUNA 的流程可以拆成三个阶段。第一阶段是 localized information injection：作者把 synthetic PII 混进预训练语料，用 masked continual pretraining 让不同 profile group 的 PII 只能更新不同的参数 mask。这个阶段的目标不是训练一个最强模型，而是制造一个带有 ground-truth storage location 的 memorization model。第二阶段是 unlearning：给定 forget 和 retain 数据，现有方法尝试删除 forget PII，同时保留 retain PII 和通用能力。第三阶段是 evaluation：一边用行为指标看输出层是否遗忘，一边用参数 mask 看权重更新是否真的落在负责存储 forget 知识的位置上。

Figure 1 的裁图保留了论文主流程图中最关键的下半部信息流：左侧 memorization model 里只有被 mask 标出的参数接收目标 PII 更新，随后 instruction tuning 让模型能以问答形式暴露这些记忆；中间 unlearning algorithm 作用后形成 unlearned model；右侧 localization precision evaluation 再把被改动的紫色权重和原始 mask 对照。原图顶部包含较长英文 PII 示例，本笔记裁去最上方示例区以避免把示例句当成正文栏，但 continual pretraining、instruction tuning、unlearned model 与 localization precision 的连接仍然完整可读。这里最重要的是右侧评估分叉：Exact Match、Extraction Strength、Probability 和 Utility 只回答“模型输出发生了什么”，Sensitivity、Specificity 和 AUC 才回答“被改的权重是不是 mask 里的权重”。因此这张图不是普通 workflow 装饰，而是论文评测范式的声明：LACUNA 要把输出层成功和参数级成功拆开测。这个 pipeline 的直觉可以理解为“先把答案藏在带标签的抽屉里，再看清理动作有没有打开正确抽屉”。如果一个方法只让模型不再回答 PII，却把大量 out-of-mask 参数也扰乱，或者完全没有优先修改 in-mask 参数，那么它在传统 benchmark 上可能不错，在 LACUNA 上却会被定位 AUC 揭穿。

2.2 PII 数据、mask 分组与 forget/retain 划分

数据层面，作者从 PANORAMA synthetic PII corpus 里随机选择 1200 个 profile，关注 email address、birth city、phone number 和 driver's license 四类字段。为了提高模型能被 QA prompt 抽取出 PII 的概率，论文还把 profile 扩展成问答格式，并保留一部分 profile 做 instruction tuning。训练混合语料由 OLMo-2 pretraining corpus 子集、PII running text 和 PII QA pair 组成。训练完成后，作者只保留那些实际能被模型抽取出来的 profile，再把它们划成 hyperparameter tuning 和 localization evaluation 用的 forget/retain split。

Figure 2 说明了数据管理细节。左侧显示 1200 个 profile 被分成 6 个 group，每组对应独立的 weight mask；中间显示 1050 个 profile 作为 memorization target，150 个 profile 用于 instruction tuning；右侧显示 LACUNA release 中有 200 个 profile 用于 unlearning evaluation，另有 200 个用于 hyperparameter tuning，并且 forget set 和 retain set 分布在不同 group 上。图下方的示例 PII 和对应 Q&A pair 也说明，模型不是只记住一个孤立字符串，而是要能从人物描述里回答出生城市、邮箱、证件号等字段。这个图的关键不是样例本身，而是把数据、mask、评估 split 三者绑定起来：如果 forget 组和 retain 组本来就写在不同参数集合里，那么一个精确方法应该能只动 forget mask，而不是为了压低输出把 retain 相关权重也一起扰乱。

masked continual pretraining 的核心是 data-dependent gradient masking。论文的 Algorithm 1 可压缩为下面这个更新规则：

\delta_n \leftarrow \delta_n \odot m_n^{(g)},\quad \nabla\theta_n \leftarrow \nabla\theta_n + \delta_n

符号解释：$\delta_n$ 是第 $n$ 个参数张量在单个样本上的梯度，$m_n^{(g)}$ 是该样本所属 PII group $g$ 对应的二值 mask，$\odot$ 是逐元素相乘，$\nabla\theta_n$ 是 batch 内累积梯度。若样本来自 PANORAMA 或 QA 数据，训练时先识别它属于哪一组，再只允许对应 mask 内的参数接收梯度；若样本是普通预训练语料，则不使用 mask，所有权重都可更新。这样做的结果是，通用语言能力仍能通过普通语料维持，而目标 PII 的写入位置被预先限制。

作者采用的是 random element-wise mask：每个 PII group 解冻约 5% 的模型参数，且各组 mask 互不重叠，mask 只覆盖 feedforward 和 attention 参数，不覆盖 normalization layers 或 embedding matrices。选择 5% 不是拍脑袋：附录说 1% 和 2% coverage 时，1B 和 7B 都无法可靠记住 PII，5% 是能形成可用 unlearning target 的下界附近。实现上，作者把多个 mask 打包进每个参数的 32-bit 值，避免为每个 group 单独保存大规模 mask，从而支持 DDP 和 FSDP 训练。这个工程点很关键，因为 LACUNA 的贡献不是一个 toy setting，而是可以扩到 7B 模型的参数级 ground truth。

2.3 被比较的 unlearning 方法：强输出目标与精准 oracle 的对照

论文评测四类方法。SimNPO 代表 gradient-based SOTA，它基于 negative preference optimization，但去掉 reference model，使用长度归一化的 reference-free reward。附录 D 给出的 forget-set loss 是：

\ell_{\mathrm{SimNPO}}(\theta)=\mathbb{E}_{(x,y)\in D_f}\left[-\frac{2}{\beta}\log\sigma\left(-\frac{\beta}{|y|}\log\pi_\theta(y|x)-\delta\right)\right]

符号解释：$D_f$ 是 forget set，$x$ 是提示，$y$ 是需要被遗忘的目标回答，$|y|$ 是回答长度，$\beta$ 控制 reward sharpness，$\delta$ 是 margin，$\pi_\theta(y|x)$ 是当前模型对目标回答的概率。这个目标的直觉是：如果模型仍然很相信 forget answer，梯度会更强地压低它；如果已经忘得差不多，梯度权重会收缩，避免继续过度破坏模型。它解释了为什么 SimNPO 在输出层指标上很强，但它没有显式要求更新落在真实存储 PII 的参数上。

AlphaEdit 和 MemFlex 代表 localization-based 方法。AlphaEdit 继承 ROME/MEMIT 的模型编辑思路，围绕 FFN 的输出投影矩阵和 preserved knowledge 的 null space 做定向扰动；MemFlex 用 gradient 差异定位 unlearn 和 retain knowledge 分歧较大的模块，再把更新限制在这些模块中。它们都有“先定位，再修改”的味道，但 LACUNA 要检验的是：这些被定位的层或模块是否真的对应训练阶段固定的 per-parameter mask。OracleGrad 则是有特权信息的上界方法：它直接拿到 forget mask，只在这些权重上做 gradient difference，即对 forget set 做上升、对 retain set 做下降。论文不是把 OracleGrad 当现实可用算法，而是用它证明 如果定位真的准，简单的 gradient-based objective 也能产生更稳健的遗忘。

2.4 localization / unlearning / evaluation 指标如何连在一起

行为评测沿用 unlearning 文献里的三个指标。Exact Memorization 衡量生成 token 与 ground truth 的匹配比例：

\mathrm{EM}=\frac{1}{|y|}\sum_k \mathbf{1}\left[\arg\max f(y^k\mid[x,y^{<k}];\theta)=y^k\right]

符号解释：$y^k$ 是答案第 $k$ 个 token，$y^{<k}$ 是之前的前缀，$f$ 是模型下一 token 分布，$\theta$ 是模型参数。EM 越高，说明模型越能逐 token 复现目标 PII。Extraction Strength 衡量用多短前缀就能恢复剩余 suffix：

\mathrm{ES}=1-\frac{1}{|y|}\min_k\left\{k\mid f([x,y^{<k}];\theta)=y^{>k}\right\}

符号解释：$y^{>k}$ 是第 $k$ 位之后的剩余答案。ES 越高，表示只需很少前缀就能抽出剩余 PII，记忆更强。Probability 则直接看目标答案概率：

\mathrm{Prob}=p(f(y\mid x;\theta))

这些指标回答的是输出层遗忘。定位评测则把每个标量参数当成二分类样本：

y_i=M_i\in\{0,1\},\quad s_i=f\left(\theta_i^{\mathrm{inj}},\theta_i^{\mathrm{unl}},\theta_i^{\mathrm{pre}},\ldots\right)

符号解释：$M_i$ 表示第 $i$ 个权重是否属于 forget mask，$\theta^{\mathrm{pre}}$ 是注入前权重，$\theta^{\mathrm{inj}}$ 是注入后权重，$\theta^{\mathrm{unl}}$ 是 unlearning 后权重，$s_i$ 是根据权重变化构造的定位分数。论文尝试 magnitude-based、reversal-based、contrast-based 和 logistic-regression composite score，并对每个 method-field pair 取最有利的 AUC。AUC 可理解为：

\mathrm{AUC}=\Pr(s_i^{+}>s_j^{-})

其中 $s_i^{+}$ 来自 in-mask 权重，$s_j^{-}$ 来自 out-of-mask 权重。AUC 接近 1 表示方法优先修改了应被修改的权重；接近 0.5 表示和随机区分差不多。这个定义让 LACUNA 能把“忘掉答案”和“改对参数”分开报告。如果一个方法只优化 EM/ES/Prob，却让 AUC 停在 0.5 附近，那么它更像行为抑制，而不是可验证的参数级擦除。

3. 实验结果

3.1 注入是否成功：能力保持与 PII 提取率

LACUNA 首先要证明自己的训练设置不是把模型训练坏了，也不是无法形成足够强的 PII 记忆。作者在 HellaSwag、MMLU、ARC-Easy、ARC-Challenge 上比较 pretrained、masked training 和 unmasked training，并在四类 PII 字段上报告 extraction rate。主结论是：masked training 对通用能力的影响总体很小，1B 和 7B 都能记住非平凡比例的 PII，其中 7B 的 extraction rate 通常更高。这使后续 unlearning 评测有意义，因为 forget set 不是人工假设模型知道，而是经过抽取验证后构造出来的。

Figure 3 左侧显示，masked training 后的 OLMo2 1B 和 OLMo3 7B 在 ARC、HellaSwag、MMLU 上大体接近 pretrained baseline，有的指标略升有的略降，说明注入过程没有把模型通用能力大幅破坏。右侧显示 PII extraction rate，7B 在 driver's license、email、phone 等字段上明显高于 1B，birth city 相对更难，但仍有可用样本。这个结果支撑了两个实验前提：第一，LACUNA 不是牺牲模型能力换来定位真值；第二，forget/retain split 是从模型真实记住的 profile 中筛出来的，因此 unlearning 方法确实需要处理模型内部已有知识。图中也能看到 masked training 和 memorization 之间的张力。mask 越小，定位真值越精确，但可写入容量越低；mask 越大，模型更容易记住 PII，但定位目标会变得更宽。论文选择 5% coverage，实际上是在“足够局部”和“足够可记忆”之间取了一个可操作点。

3.2 主实验：输出层遗忘好，不代表参数定位准

主文最关键的实验在 OLMo2 1B 的 email address 字段上比较四种方法。行为层面，AlphaEdit 对 forget set 的压制最弱，MemFlex 次之，SimNPO 最强，几乎接近 OracleGrad；retain 和 utility 方面，OracleGrad 能保持较好的 retain 和较小 utility 损失，SimNPO 虽然 forget 强，但对 utility 有更明显影响。若只看传统 unlearning 指标，读者很容易得出 SimNPO 已经很接近 oracle 的印象。

Figure 4 右侧 AUC 表打破了这个印象。AlphaEdit 和 MemFlex 的 localization precision 都是 0.500，基本等于随机；SimNPO 只有 0.515，虽然略高但仍然非常接近随机；OracleGrad 达到 0.915。左侧柱状图说明 SimNPO 能把 forget 指标压低，右侧表格却说明它没有优先修改真正存储 email PII 的 mask 权重。换句话说，SimNPO 很会让模型“不说出来”，但 LACUNA 没有看到它“打中原来的存储位置”。这就是本文最重要的证据链：输出层有效性和参数级精准性可以明显脱钩。这个结果也解释了为什么 localization-based 方法不一定真的 localize。AlphaEdit 和 MemFlex 都带有某种定位前置，但它们的定位粒度和假设来自模型编辑或梯度模块差异，不等于 LACUNA 训练阶段固定的 per-parameter mask。即便把评测限制在这些方法可编辑的组件内部，论文也说没有看到定位精度改善。

3.3 resurfacing 攻击：没定位准的遗忘容易被重新唤回

为了检验“输出层成功是不是只是遮蔽”，作者设计了 resurfacing attack：对已经 unlearn 的模型再用 held-out PII 做 instruction tuning 风格微调，然后用 200 次提示尝试恢复 forget set 中的 PII。指标 Success@200 表示 100 个 forget profile 中有多少至少泄漏一次。这个攻击不是要模拟所有现实攻击，而是测试 unlearned model 是否仍保留容易被后续训练唤醒的隐藏知识。

Figure 5：email resurfacing vulnerability

Figure 5 左侧显示，email 字段下 AlphaEdit 和 MemFlex 的泄漏率很高：1B 上 AlphaEdit 约 74%，MemFlex 约 87%；7B 上分别约 23% 和 16%。SimNPO 明显更稳健，但仍会泄漏部分 profile；OracleGrad 最低，1B 为 0%，7B 约 8%。中间和右侧 Jaccard heatmap 则显示不同方法泄漏 profile 的重合关系。尤其在 7B 中，SimNPO 和 OracleGrad 泄漏集合有较高重合，论文把它解释为某些 profile 可能本来就更难忘，而不是某个方法特有漏洞。这组结果把定位精度和稳健性连了起来。Figure 4 已经说明 OracleGrad 的输出指标强且定位 AUC 高；Figure 5 进一步说明，它在后续 relearning 攻击下也更不容易把 forget PII 暴露出来。AlphaEdit 和 MemFlex 则相反，输出和定位都不理想，攻击后泄漏更多。SimNPO 位于中间：它输出层遗忘强，攻击稳健性比 AlphaEdit/MemFlex 好，但定位 AUC 仍低。

3.4 附录全量表：1B 和 7B 的字段级结果

主文为了节省篇幅只展示 OLMo2 1B 的 email 图，附录表给出了四类 PII 字段的完整矩阵。1B 表中可以看到，OracleGrad 在多个字段上把 forget EM / Prob 压到很低，同时保留 retain 接近 100 的指标，AUC(F) 在 0.913 到 0.915 附近；SimNPO 在 forget 指标上也强，但 AUC(F) 只有约 0.515 到 0.516。MemFlex 和 AlphaEdit 在某些字段上会出现 retain 或 forget 的取舍问题，定位 AUC 仍接近 0.5。

Table 2 的价值在于让读者看到 email 不是孤例。以 OLMo2 1B 为例，Email、Phone Number、Birth City、Driver's License 四个字段的 Precision AUC(F) 行里，AlphaEdit 和 MemFlex 基本围绕 0.500，SimNPO 稍高但仍只有 0.515 到 0.516，OracleGrad 则在 0.913 到 0.915。Forget 区域也显示不同字段难度不一样，例如 birth city 的 ES 原始水平和 unlearning 后残留形态与 email 不同，但定位结论没有随字段改变而逆转。Utility 区域则提醒，强行优化输出层可能带来 benchmark 下降，特别是 SimNPO 在若干字段上有更明显 utility drop。这个表让主文 Figure 4 从单点证据变成跨字段证据：即使 PII 类型从邮箱换成电话、出生城市或证件号，现有非 oracle 方法仍没有表现出可观的参数级定位能力。

7B 表提供了另一个维度：模型规模增大后，PII 抽取率更高，unlearning 也可能呈现不同难度。Table 3 显示 OracleGrad 在 7B 上仍然保持 AUC(F) 约 0.910 到 0.911，SimNPO 在 0.512 到 0.516，AlphaEdit/MemFlex 依旧接近 0.5。也就是说，LACUNA 的核心结论没有因为从 OLMo2 1B 换到 OLMo3 7B 而消失。

Table 3 还显示一个现实权衡：7B 上部分方法的 output-level forget 指标看起来很漂亮，例如 email 和 phone 的一些 Prob 行能被压到接近 0，但这不自动带来定位提升。对评测者来说，这意味着“更大模型 + 更强输出目标”并不能替代参数级检查。对方法开发者来说，LACUNA 给出的方向很明确：如果未来要做 localization-based unlearning，不能只证明模型答案变了，还要证明权重更新的排序能把真实存储区域排在前面。这里也能看到 retain 与 utility 的约束不能被忽略：一些方法能压低 forget，却会对 ARC、HellaSwag 或 MMLU 造成不同程度损伤；如果只看忘得干不干净，就会错过模型整体能力的代价。

3.5 超参表告诉我们：方法比较并非默认设置下的偶然现象

作者在验证集上独立为 1B 和 7B 调参，尤其是 driver license forget / email retain 的 cross-field setting。MemFlex 调了 forget/retain factor、learning rate、gradient threshold、similarity threshold 和 epoch；SimNPO 调了 $\gamma$、$\alpha$、$\beta$、$\delta$、learning rate 和 epoch；OracleGrad 比较了 GradAscent 与 GradDiff；AlphaEdit 的搜索空间更大，包括 clamp norm、null-space threshold、$v$ gradient steps、loss layer、KL factor、target layers、batch size 等。这个设置降低了一个反驳空间：结果不是因为作者没有给某个 baseline 合理超参。

Table 5 里最值得注意的是几个点。SimNPO 在 1B 和 7B 上都使用 200 epochs、$\beta=10.0$、$\delta=1.5$，但 retain weight $\alpha$ 从 0.01 变到 0.5，说明不同规模下 retain 稳定性需要不同约束。OracleGrad 也使用 200 epochs，但 1B 的 forget weight 是 5.0，7B 是 1.0，学习率从 $1\times10^{-4}$ 降到 $5\times10^{-5}$。AlphaEdit 的 loss layer 从 15 到 31，batch size 从 5 到 1，并且 MOM2 数据源也变化。这些调参细节说明，论文对各方法做了相当多的适配；即便如此，除 OracleGrad 外的 localization AUC 仍然接近随机。实验部分可以归纳成一句话：LACUNA 不是发现某个传统指标完全无用，而是证明传统指标不够。EM、ES、Prob 和 utility 仍然必须看，因为用户最终面对的是输出行为；但如果 unlearning 的目标是隐私删除或安全删除，仅靠这些指标会把“暂时不输出”和“真正定位擦除”混在一起。LACUNA 用一个构造性测试床把这两者拆开后，现有 SOTA 方法的短板就非常明显。

4. 总结

4.1 我的判断

LACUNA 的最大贡献不是提出一个可直接部署的遗忘算法，而是把 LLM unlearning 的验收标准往前推了一层。过去很多工作默认输出层成功就是遗忘成功，最多再加 retain 和 utility；这篇论文要求方法证明自己改到了负责存储目标知识的参数。这个要求在真实模型上很难，因为我们通常不知道知识在哪；但正因为真实场景难，构造一个有 ground truth 的 testbed 才有价值。它提供了一个压力测试：如果方法在“知道答案的实验室环境”里都不能优先修改目标参数，那它在真实无真值环境中的 localization claim 就应更谨慎。

我认为这篇论文对后续工作有两个直接启发。第一，unlearning benchmark 应该同时报告行为指标和内部修改指标，哪怕内部指标来自构造场景，也比完全没有好。第二，方法设计不能只追求把 forget loss 压低，还要让更新具有可解释的空间结构，例如更好地区分 forget mask、retain mask 和普通参数。OracleGrad 不是现实算法，但它说明“定位准确以后，简单目标也能足够强”，这对复杂 unlearning loss 的研究路线是一次提醒。

4.2 局限与后续跟进

这篇论文也有边界。第一，LACUNA 的 PII 是 synthetic profile，不等价于真实用户数据和真实网页分布；PANORAMA 虽然模拟多种内容形态，但真实隐私泄漏可能更杂。第二，参数级 mask 是训练阶段人为施加的局部存储，不代表 dense LLM 自然训练时会把知识按同样方式局部化。第三，评测方法依赖 pre/injection/unlearned 权重差异和 mask 真值，现实闭源模型或只有 API 的模型无法直接套用。第四，resurfacing attack 是一种相对直接的后续微调攻击，不覆盖所有 prompt attack、adapter merge、continual learning 或模型压缩场景。

后续我会重点跟三条线。其一，看 LACUNA release 后是否有方法能在不访问 oracle mask 的情况下把 AUC 从 0.5 明显推高，这才是真正的 localization progress。其二，看是否有人把这种构造扩到更自然的知识类型，例如版权段落、多跳事实、工具调用偏好或危险能力，而不只限于 PII QA。其三，看生产侧能否使用类似思想做“可删除训练”：训练时就把敏感数据约束在可控 adapter、专家、低秩子空间或参数块中，让未来删除不必在全模型里盲找。论文最后也提出类似方向：与其允许敏感信息在整个 dense model 中扩散，不如从训练阶段就把 memorization 限定在更容易清理的位置。

整体看，LACUNA 给 unlearning 社区提出了一个更高但合理的验收问题：你让模型闭嘴了，还是你真的把知识擦掉了？这不是文字游戏，而是隐私、安全和合规场景里的核心差异。