0
| 本文作者： 陈淑瑜 | 2026-05-29 10:57 | 专题：CVPR 计算机视觉与模式识别会议 |
南京大学硕士生刘尚格为本文第一作者；澳大利亚 University of Wollongong (UOW) Lei Wang 教授、新加坡 Nanyang Technological University (NTU) Dacheng Tao 教授、南京大学高阳教授等，为本文合作者；南京大学副教授李文斌，为本文通讯作者。
在大模型时代，微调是我们让基础模型适配下游任务的常规操作。但如果我们手头有多个微调好的专家模型，想要把它们的能力合并到一个模型中，传统的联合训练不仅需要收集所有历史数据，还会带来极其高昂的算力成本。
在不重新训练的情况下，如何让一个模型同时掌握多种新技能？
近年来，「任务算术」（Task Arithmetic）作为一种高效的模型合并范式异军突起。它在无需昂贵的联合训练的情况下，仅通过对模型权重进行简单的代数加减，就能实现多任务能力的组合与特定知识的消除。
然而，任务算术在经验上的巨大成功，却一直伴随着底层理论解释的缺失。此前该领域的一项重要工作提出了「权重解耦」（Weight Disentanglement）的概念，认为当不同任务的权重更新在功能上互不干扰时，任务算术就能成功。但这更多是对理想结果的一种现象学描述：究竟是预训练模型的什么内在属性，或者任务向量的什么特征，促成了这种解耦？
为了回答这一根本问题，来自南京大学、伍伦贡大学和南洋理工大学的研究团队，试图为任务算术建立一个更为底层的理论框架。他们提出了一种名为「任务特征特化」（Task-Feature Specialization, TFS）的理想属性，并基于此推导出了现实中可操作的几何约束方法 ——OrthoReg。只需在微调时引入一个极简的正交正则化项，就能显著提升多种基线方法的模型合并性能。
目前，该论文已被计算机视觉顶级会议 CVPR 2026 接收，并被评为 Oral。相关代码、模型权重和数据集已全面开源。
论文链接：https://arxiv.org/abs/2604.17078
代码链接：https://github.com/RL-MIND/OrthoReg
权重链接：https://huggingface.co/RL-MIND/OrthoReg_checkpoints
Huggingface Paper: https://huggingface.co/papers/2604.17078
背景介绍：任务算术与权重解耦
为了更好地理解这项工作，我们先来回顾一下什么是「任务算术」。
假设有一个预训练的基础模型，其权重为
，使用特定任务的数据对其进行微调，得到了微调后的模型权重
。此时，将两者的差值定义为任务向量（Task Vector）
。可以认为这个向量封装了模型为了掌握该任务所学习到的知识增量。
令人惊叹的是，我们可以直接对这些任务向量进行代数运算。比如，将不同任务的向量直接相加并赋予一个缩放系数
，即
，就能得到一个具备多任务处理能力的单一模型。
此前，NeurIPS 2023 的一项重要工作（Tangent Task Arithmetic, TTA）提出了「权重解耦」（Weight Disentanglement）的概念来解释这一现象。该理论认为，如果不同任务的权重更新在功能上互不干扰（即解耦），任务算术就不会发生灾难性干扰或性能冲突。
但这引出了一个更深层的问题：权重解耦只是对理想结果的描述，到底是什么内在属性导致了权重解耦？我们又该如何主动构建出能够完美解耦的任务向量？
理论分析：从「特征特化」假设到「权重正交」推论
为了探究权重解耦的本质，本文首先构建了一个理想化的理论模型，并提出了一个核心假设：任务特征特化（Task-Feature Specialization, TFS）。
直观地讲，TFS 假设一个理想的预训练模型在处理不同任务时，能够智能地将不同的内部特征（由权重矩阵的列向量表示）分配给特定的任务。例如，识别汽车的特征和识别手写数字的特征在模型内部是相互独立的。
文章在神经正切核（NTK）线性化假设下证明：
TFS 是实现权重解耦的充分条件（见论文 Theorem 1）。这意味着，如果模型在理想状态下能够做到特征特化，则权重解耦自然成立，从而在底层机制上保证了不同任务向量的合并不会产生破坏性干扰。
TFS 会自然推导出一个可观测的几何推论：权重向量正交性（WVO）（见论文 Corollary 1）。文章指出，正交性（Orthogonality）可以被视作底层特征分离（TFS）在几何上的一种外在表现或观测线索。具体而言，具备 TFS 属性的模型，其权重矩阵在统计上会呈现出块正交甚至列正交的结构。
如下图所示，文章将 TFS 视作连接功能属性（权重解耦）与几何属性（权重正交）的共同根源。这一核心洞见为后续的方法设计指明了方向。
图 - 核⼼论点概念图
不仅是理论推导，在预训练的 CLIP（ViT-B/16、ViT-B/32、ViT-L/14）模型中也真实观察到了这一现象：其核心计算层（如 Transformer Block 中的投影层）的权重向量夹角，极其尖锐地集中在 90 度（如下图所示），这为理论提供了强有力的经验支撑。
图 - CLIP 模型权重正交性经验证据图
现实挑战与方法：OrthoReg 极简正交正则化
在理想情况下，如果预训练模型
完美满足 TFS 属性，那么仅仅依赖静态的
本身就足以自然保证权重解耦。然而，在实际的微调场景中，不同任务的数据不可避免地存在底层特征重叠（Feature Overlap），极其理想的 TFS 假设在现实中几乎是不成立的。
既然单纯依赖预训练模型
无法保证解耦，常规微调产生的任务向量又往往因为特征干扰而高度相关，破局的关键就转移到了如何主动构造「好」的任务向量
上。
在模型合并领域，现有的解决方案大致可分为合并中（During-merging）和合并前（Pre-merging）两类。前者试图在合并阶段设计复杂的算法来消除冲突，而本文的思路则属于 Pre-merging 方法：既然无法直接保证功能的绝对特化（TFS），我们不妨退而求其次，在微调阶段主动去约束它的几何推论 —— 正交性，从而从源头上打造出「天生适合合并」的模型。
基于此，文章提出了一种极其简单、即插即用的正则化方法 OrthoReg。它在常规微调的损失函数中加入了一个针对权重更新矩阵
的正交正交项：
其中
是第
个线性层的权重更新量（即任务向量的组成部分），
是单位矩阵。
图 - OrthoReg ⽅法概览图
文章在理论上进一步证明（Theorem 2）：即使在 TFS 假设不成立（存在特征重叠）的现实情况下，通过约束
的内部正交结构，OrthoReg 能够同时控制任务向量的范数，并在统计意义上促使不同任务向量之间趋于正交。这种对权重的几何重塑，成为了一种直接且有效的机制，能够在模型合并时显著抑制跨任务干扰。
与现有方法的联系：
此前 TTA (Tangent Task Arithmetic) 方法通过在切空间微调，隐式地利用了模型的 NTK 局部性来促进任务向量的正交。然而，TTA 依赖于极其昂贵的雅可比矩阵计算，导致显存和时间开销大幅增加。相比之下，OrthoReg 通过正则化显式约束正交性，不仅在理论机制上与 TTA 殊途同归，而且计算成本极低，几乎不增加额外的训练负担。
实验验证：更正交的向量，更优的合并
文章在 8 个多领域的图像分类数据集上，对多种视觉 Transformer（ViT-B-32、ViT-B-16、ViT-L-14）进行了广泛的评估。
任务加法（Task Addition）
在将 8 个任务的模型合并为一个单一模型的测试中，OrthoReg 展现出了极强的通用性。无论是应用于全参数微调（Non-lin. FT）、切空间微调（TTA），还是参数高效微调（ATT-FT, LoRA），OrthoReg 均能带来一致且显著的性能提升。
图 - Task Addition 实验结果
例如，在 ViT-L-14 模型上，OrthoReg 将标准全参数微调的平均绝对准确率大幅提升了 4.16 个百分点（从 84.07% 提升至 88.23%）；而 ATT-FT 结合 OrthoReg 更是达到了 90.41% 的准确率，创下了该基准下的新高。
特别地，在衡量任务干扰程度的归一化准确率（Norm.Acc.）指标上，ATT-FT 结合 OrthoReg 达到了 100.05%。这意味着合并后的多任务模型，其平均性能已经完全媲美甚至微超 8 个独立微调的专家模型，在功能层面上无限逼近了「零干扰」的理想解耦状态。
任务消除（Task Negation）
任务算术同样可以用于让模型「遗忘」特定任务
。实验表明，OrthoReg 能够帮助模型更干净地剥离目标任务的知识。在减去该任务向量时，模型目标任务的准确率下降得更彻底，同时更好地保持了在控制任务（如 ImageNet）上的零样本泛化能力。
图 - Task Negation 实验结果
可视化：揭示任务向量的几何关系
为了直观验证理论，文章也计算了不同任务向量之间的余弦相似度。如下图所示，基线方法（上排）生成的任务向量之间存在明显的非对角线相关性（亮色色块），说明常规微调容易导致任务间特征耦合。而引入 OrthoReg 后（下排），热力图的非对角线区域明显变暗。这提供了直接的经验证据：OrthoReg 确实通过几何约束，促使模型学习到了更加正交、解耦的任务向量。
图 - 任务向量余弦相似度热⼒图对⽐（ViT-B-16）
总结和展望
总而言之，这篇论文为「任务算术」这一模型合并技术提供了另一个视角的理论分析。
本文从一个根本性问题出发：任务算术为什么能有效？最终给出了一条清晰的因果链：任务特征特化（TFS）是权重解耦的充分条件，而权重向量正交性（WVO）则是 TFS 在几何层面可观测的外在印记。
更重要的是，这一理论洞见直接转化为了实践价值。由于 TFS 本身是一个抽象且难以直接约束的功能属性，研究团队另辟蹊径，转而去约束其几何推论即正交性。由此提出的 OrthoReg 正则化方法极其轻量：一行公式，一个超参，即插即用，无需修改任何模型结构或合并算法，却能跨模型规模、跨微调范式地带来一致的性能增益。
未来，研究团队计划探索更多样化、更细粒度的正交性约束形式，以期在更复杂的多任务场景下实现更精准的权重解耦。同时，这种基于几何视角的解耦思想，也有望在未来推广至更大规模的语言模型和多模态大模型的知识编辑与持续学习任务中，激发更多极具潜力的研究方向。
专题
本专题其他文章
