作者：胡炯通
编辑：李宝珠
本文已获得薛武峰老师授权发布，转载请联系本公众号，并标明来源
来自深圳大学医学部生物医学工程学院医学超声图像计算实验室 (MUSIC)、深圳大学大数据国家工程实验室和深圳市人民医院超声科的研究团队提出了一种多切面超声心动图统一分割模型 EchoONE，可对多切面超声心动图的心脏结构进行精准分割。
心血管疾病死亡是我国居民总死亡的首要原因。超声心动图因其无创、成本低、实时成像等优点，已成为临床上应用最广泛的心脏检查方法之一。在实际操作中，超声医生需要从不同位置和角度对心脏进行扫查，以获取多个切面的超声图像，后综合各切面图来对心脏结构和功能进行分析，包括识别心肌轮廓、测量各个腔室大小等。
然而，由于不同切面之间存在显著的结构差异，现有分割模型在多切面图上的泛化能力较弱，通常需要针对每个特定切面进行单独定制，导致重复开发的成本较高。此外，当特定切面的模型应用于其他切面时，性能往往会显著下降，从而限制了其在临床中的推广和应用。
对此，来自深圳大学医学部生物医学工程学院医学超声图像计算实验室 (MUSIC)、深圳大学大数据国家工程实验室和深圳市人民医院超声科的研究团队提出了多切面超声心动图统一分割模型 EchoONE。该模型将自然图像分割大模型 SAM 微调技术和心脏超声切面先验知识进行结合，可对多切面超声心动图的心脏结构进行精准分割，有效减少设计模型的冗杂度，更加高效地辅助医生进行心功能评估。
该研究以「EchoONE: Segmenting Multiple echocardiography Planes in One Model」为题，入选 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)。
研究亮点：
* 成功开发了一种统一模型，能够对结构差异显著的多切面超声心动图进行精确分割
* 提出了一种先验可组合的掩码学习模块 (PC-Mask) 生成语义感知密集提示，同时引入局部特征融合与适应模块 (LFFA) 适配 SAM 架构。这使得 EchoONE 在处理数据分布差异显著、边界模糊的不同切面超声心动图时表现出色
* 模型 EchoONE 性能优于其他多个基于微调的大模型，在外部测试集的表现同样达到最优
论文地址：
https://arxiv.org/abs/2412.02993
关注公众号，后台回复「超声心动图」获取完整 PDF
开源项目「awesome-ai4s」汇集了 200 余篇 AI4S 论文解读，并提供海量数据集与工具：
https://github.com/hyperai/awesome-ai4s
数据集：3 大公开数据集 + 22,044 张私有图像-标注对
本研究使用了来自多个中心的多切面超声心动图，包括私有数据集和公开数据集。
公开数据集包括 CAMUS、HMC_QU 和 EchoNet_Dynamic。CAMUS 是本领域被广泛使用的心脏超声数据集，来自法国多家医院，包括 500 个病例的二腔心 (2CH)、四腔心 (4CH) 数据。HMC_QU 数据集由哈马德医疗公司 (HMC)、坦佩雷大学和卡塔尔大学合作创建。EchoNet-Dynamic 数据集由斯坦福大学创建，本研究仅使用其测试集进行外部测试实验，便于比较分析。
* CAMUS 心脏超声图像数据集下载：
https://hyper.ai/cn/datasets/38453
* HMC-QU 心脏医学影像数据集下载：
https://hyper.ai/cn/datasets/38456
私有数据集取自国内多家合作医院的超声数据，总计 22,044 张图像-标注对，包括二腔心 (2CH)、三腔心 (3CH)、四腔心 (4CH) 和胸骨旁左室短轴 (PSAX) 的 3 个不同水平切面。
模型架构：基于 SAM，EchoONE 模型由 3 大组件构成
EchoONE 的整体框架主要由 3 个组件构成：一个基于 SAM 的分割架构；一个用于生成密集提示 (Dense Prompt) 的组件；一个基于 CNN 的局部特征分支，用于对 SAM 进行调整和适应。整个网络架构在原始 SAM 的基础上构建，包含了基于 Transformer 的图像编码器和掩码解码器、稀疏提示编码器以及用于密集提示的掩码编码器 (Mask Encoder)。
EchoONE 的总体框架
此外，研究人员在阶梯侧边调优 (LST) 分支中引入了局部特征融合与自适应模块 (LFFA)，增强了 SAM 对特定任务的适应性。同时，他们还提出了一个基于聚类的先验可组合掩码学习模块 (PC-Mask)，以生成语义感知的密集提示。PC-Mask 和 LFFA 的详细信息如下：
(a) PC-Mask 模块
密集的掩码提示为 SAM 提供了比点、框提示更丰富的信息，PC-Mask 模块可以自动生成高质量的掩模提示。为了处理多个切面上语义结构的多样性，研究人员首先将不同切面上的图像分组为潜在特征空间中的 K 个聚类。每个集群的中心被用作潜在空间中簇的原型 (Prototypes)。类似地，一个中心掩模 (Center Mask)，可以通过平均被分配给簇的那些图像的掩模来得到。
PC-Mask 模块细节
以这些掩模中心作为结构的先验，研究人员的目标是在没有切面类型信息的情况下，为每个新图像生成一个心肌区域的密集提示。对于一个输入图像，用它与这些原型的相似性「或距离」来表示它在潜在空间中的位置；然后利用相似度作为权值，将这些先验中心组合为多通道先验嵌入，最后输入到一个轻量级 U-Net，输出结果作为 SAM 的密集提示 (Dense Prompt)，这个过程使用 Dice Loss 和 BCE Loss 进行约束。
(b) LFFA 模块
为了充分利用 SAM 的能力，避免重新训练、浪费资源，需要一个辅助分支来调整 SAM 以适应新的场景。研究人员为此设计了一个可学习的 CNN 分支，由 3 部分组成：首先是用于局部特征提取的残差块 (Residual Block)；其次是用于调整图像编码器的跨分支注意的 CNN 块；第三是使掩码解码器适应特定任务的局部特征融合 Transformer 块。
在掩码解码器中，除了原本 SAM 的两个 Transformer 块，研究人员还添加了 3 个可学习块，以适应局部特性的融合。将图像编码器中跨分支注意的每层 CNN 块的局部特征连接到掩码解码器对应的 Transformer 块，而每层特征通过 LFFA 模块进行融合，过程如下所示。
LFFA 模块操作
实验结论：在超声心动图的多切面分割任务中， EchoONE 既准确又稳健
研究人员使用内部和外部数据集进行了广泛实验，证明了 EchoONE 的有效性。
对多切面任务的鲁棒性：下表汇总了模型在内部测试集各个切面上的表现。可以看到，EchoONE 对比基于 CNN、Transformer 和 SAM 的模型，在平均 Dice、IoU 和 HD95 指标上均达到了最优。
不同模型在多个切面的分割性能比较
对不同心脏结构的鲁棒性：如下面的雷达图所示，对比以往模型，EchoONE 模型在心脏的每个结构 (左心房、左心室、心肌) 得到了更高的 Dice 值。
各切面各心脏结构分割性能雷达图
对跨中心数据的鲁棒性：下面的图和表格显示了 EchoONE 在内部 5 个中心的测试集上取得最优表现。
EchoONE 和对比模型在内部公开测试集 CAMUS 分割性能
EchoONE 和对比模型在内部私有测试集 4 个中心数据的分割性能
外部验证：如下图所示，即使是训练时候没有见过的两个外部测试集，EchoONE 依然展示了强大的泛化性能。对于存在噪声明显、低质量图像的 HMC_QU，EchoONE 也提供 73.94% 的 Dice 分数，表明其在真实临床实践方面的存在巨大潜力。
EchoONE 和对比模型在外部测试集上的结果
可视化分析：从可视化结果对比也可以看到，EchoONE 不仅提供了合理的分割区域，在轮廓细化方面也效果突出，这个得益于其为不同的切面生成粗分割结果，提示模型聚焦该区域并细化边界，从而改进分割结果。
EchoONE 和对比方法在多切面超声图像上的分割结果可视化展示
消融实验结果：为了进一步研究 PC-Mask 和 LFFA 模块对于模型提升性能的有效性，研究人员在内部 5 个数据集上进行了消融实验。从结果来看，这两个模块分别通过以语义感知方式利用先验知识和融合局部特征优化 SAM 架构，使得 EchoONE 可以对超声心动图的多切面分割问题实现准确和稳健的性能。
消融实验结果
研究可推广至其他医学影像模式中
EchoONE 模型致力于解决多切面分割这一复杂挑战，通过引入一种创新的密集提示学习模块——PC-Mask，以可组合的方式利用先验结构知识，在分割过程中提供有效的切面特定语义指导。此外，研究还提出了一种可学习的 CNN 局部特征分支，用于优化图像编码器并适应掩码解码器，LFFA 模块不仅提升了最终性能，还加快了收敛速度。
这是首次提出的一种使用单一鲁棒模型对所有切面超声心动图进行有效分割的方案，简化了人工智能技术在临床实践中的应用。尽管目前仅在超声图像上进行了验证，但这种方法具有推广至其他医学影像模式中处理多切面分割问题的潜力。未来，研究人员将聚焦于提升更多切面的泛化能力，以及构建针对多切面视频的鲁棒模型。
值得一提的是，本研究课题负责人薛武峰来自深圳大学医学部生物医学工程学院，团队长期围绕心脏医学影像和人工智能开展研究，涵盖心脏结构/功能/血流建模、心脏基础模型、图文大模型等。欢迎访问学生、博后、研究员等加入，有意者可联系薛武峰老师 「xuewf@szu.edu.cn」。
* 薛武峰个人主页：
https://bme.szu.edu.cn/info/1164/1560.htm
戳“阅读原文”，免费获取海量数据集资源！
（文：HyperAI超神经）