华中师大等提出CoReFuse-Med：解决多模态医学图像融合退化难题

多模态数据并非越多越好。在医学影像分析中，尽管MRI序列之间已完成空间几何对齐，但T1、T2与FLAIR等模态的物理分辨率与采样质量往往差异显著。当高质量模态与经过重采样、带有严重伪影的低质量模态融合时，常常会出现“融合后效果反而不如单模态”的反常现象。

针对该问题，华中师范大学联合华中科技大学、广州中医药大学及北卡罗来纳大学教堂山分校的研究团队，在ACM MM收录的论文中提出了针对性的解决方案——CoReFuse-Med（Corruption-Aware Rebalanced Fusion）。

对齐之后，融合为何反而变差？

在IH EPVS血管周围间隙分割任务中，研究人员观察到一个反直觉现象：仅使用高分辨率T1单模态时，Dice相似系数（DSC）达到0.703；而在融合了T1、T2和FLAIR三个模态后，DSC反而下滑至0.695。

团队通过三个实验证据揭示了融合失效的根源：

1. 低分辨率重采样引入噪声：利用论文提出的特征对比噪声比（F-CNR）评估，T1的F-CNR值为1.0283，而FLAIR仅为0.2980，两者可靠性相差约3.4倍。几何对齐并不代表信息质量一致。
2. 优化与推理严重脱节：在3D U-Net训练中，T1占据了77.4%的梯度更新贡献，FLAIR仅占13.1%；但在推理时遮挡FLAIR，DSC却骤降70.2%。低质量模态虽然训练贡献微弱，却对推理构成强烈干扰。
3. 跳跃连接扩散伪影：传统U型网络的Skip Connections在传递解剖细节的同时，也将低分辨率模态中的重采样伪影注入了解码器，导致网络产生特征污染与模态偏见。

CoReFuse-Med：先浅层净化，再深层校准

CoReFuse-Med并没有盲目堆叠注意力层，而是构建了一套对称三流网络，将融合解耦为浅层净化与深层重平衡两个阶段：

1. 浅层去污染：LACE + IMSH

• 各向异性上下文编码器（LACE）：利用局部双卷积与条带卷积分别提取细节和轴向长程依赖，再通过自适应通道注意力融合，生成高质量表征。
• 模态交互分离处理（IMSH）：通过无参数平均池化分解为结构基底与残差分量。基底部分采用竞争Softmax选择可信解剖布局，残差部分利用门控机制滤除重采样伪影，阻断噪声向解码器扩散。

2. 深层模态偏置纠正：MBCF

针对深层特征，**模态平衡交叉融合（MBCF）**模块生成不依赖于任何单一模态的公共查询向量（Shared Query），通过空间门控和对称交叉注意力重新分配权重，避免模型过度依赖某一模态或被低质模态误导。

实验表现

在多个权威公开数据集上，CoReFuse-Med展现出优异的鲁棒性：

• EPVS数据集：DSC达到0.7326，HD95为7.35，优于主流架构MedNeXt（0.7085 / 8.17）。
• BraTS脑胶质瘤数据集：DSC达0.8528，HD95显著降至4.43（MedNeXt为7.59）。
• WMH脑白质高信号数据集：DSC达到0.80，模型参数量仅为2.665M。

消融实验证明，该方法的核心在于有效防止低质模态污染高质量T1信息，而非无中生有恢复已丢失的信息。目前该研究主要聚焦于多模态分辨率不均的场景，相关论文与代码均已公开。