title: "Fusion Check：无需数据，预测微调模型合并后的行为保真度"

source_url: "https://dev.to/jose_miguelmadueo_c830d/fusion-check-a-zero-data-law-that-predicts-whether-merging-two-fine-tunes-preserves-behavior-13-3cj7"

author: "DEV Community: machinelearning"

excerpt: "公共早报 融合检查是一个零数据法则，可在合并前预测两个微调 LLM 是否兼容，已在 13 对上验证，LOOCV 相关性为 0.81，并以 MIT 许可开源。"

我构建了 Fusion Check——一个法则，能在合并之前告诉你两个微调 LLM 是否兼容。无需数据、无需梯度、无需 GPU，一秒以内出结果。

它解决的问题： 盲式"汤"（权重平均）总是直接合并——但当两个模型在不同任务上训练时，融合会稀释两者的能力。该法则给出了任务核（权重差的余弦 + 有效维度）上的必要且充分条件，让你事先知道融合是否会保留原有行为。

数学公式（一行）：

E[e²] = 2(1-α)²(1-cos²)/d_eff —— 阈值 cos² ≥ 1 − δ²·d_eff/(2(1-α)²)

它能给你：

• 一个决策：MERGE / NO_MERGE / PRIORITIZED / REFUSE / VERIFY
• 最优混合系数 α* = √γ₁/(√γ₁+√γ₂)——闭式解，经过符号和数值验证
• 每个任务的保留预测（已校准：13 对，LOOCV 相关系数 0.81，MAE 0.072）

三种独立方式证明：

1. 解析推导
2. 使用 z3 进行形式化验证（28 条定理）
3. 经验验证（147 种组合，最大偏差 1.13%，零违规）

实际结果： 两个对同一任务较弱但多样化的估计器（0.762/0.756）→ 融合汤 0.822（提升 6-7 个点）。两个正交专家？法则给出 NO_MERGE，避免了稀释。

链接：

• 代码库：https://codeberg.org/josemiguel3125/fusion-check
• 论文（PDF）：https://zenodo.org/records/21935115
• CLI：pip install fusion-check → fusion-check verificar base/ m1/ m2/ --acc1 0.76 --acc2 0.83
• 在线演示：https://huggingface.co/spaces/josemiguel3125/fusion-check
• PyPI 包：https://pypi.org/project/fusion-check/

诚实的局限性：

• 小模型（ TinyStories-3M），13 对测量对，9/13 决策正确
• 超出校准范围的余弦值会退回到纯法则并附加低置信度标记
• 全部本地运行——全部开源（MIT），无专利

作者：Jose Miguel Madueño Ortega · MIT 协议 · 免费且开源。