近日，浙江师范大学数理医学院温建明教授团队在生物医学信号与人工智能领域权威期刊Biomedical Signal Processing and Control上，在线发表高水平研究论文“Multi-task learning for multi-scale breast cancer ultrasound image segmentation and classification based on visual perception”。研究生苏澳为第一作者，温建明教授、数理医学院副教授王晓林和东阳市人民医院党委书记吕忠为论文共同通讯作者。浙江师范大学为第一完成单位和通讯单位。该工作得到了国家自然科学基金、浙江省自然科学基金、浙江省“揭榜挂帅”项目和金华市科技重点项目支持。

根据世界卫生组织的最新报告，乳腺癌现已超过肺癌，成为世界上最常见的癌症。在各种乳腺癌诊断工具中，超声成像因其通用性、安全性和敏感性而成为一种至关重要的诊断方法。即使对于经验丰富的医学影像专家，评估全乳房超声( BUS )扫描也极为耗时，且常导致显著的观察者间差异。因此，亟需开发有效的计算机辅助诊断（CAD）系统以辅助乳腺癌的诊断与治疗。BUS肿瘤的分割与分类作为相互关联的任务，是CAD系统的核心目标，两者均依赖共享特征（如形态、位置及边缘特征）。然而，肿瘤形态多变、边界模糊，加之BUS图像固有的低信噪比，为构建基于BUS的诊断系统带来巨大挑战。尽管深度学习已广泛应用于CAD系统，但许多现有方法割裂了分割与分类任务间的关联，制约了模型性能。为此，本论文提出了一种基于感知的多尺度超声图像分割与分类多任务学习网络（PMSMT-Net），旨在提升BUS图像中的分割与分类性能。该网络包括用于分割的改进U-Net和用于分类的集成迁移学习网络。为了增强编码器中的特征提取，我们将多尺度扩张卷积与视觉感知模块相结合。此外，引入可变剩余注意和基于感受野的可分离卷积模块来优化跳跃连接和上采样。在分类方面，利用从分割网络中提取的特征作为输入，采用迁移学习结合集成学习策略，可以减少训练时间，提高分类精度。

图1 基于视觉感知的多尺度超声图像分割分类多任务学习网络（PMSMT-Net）

本论文主要工作和贡献如下：（1）提出了基于视觉感知的多尺度超声图像分割和分类多任务学习网络PMSMT-Net，旨在同时对BUS图像中的乳腺肿瘤进行分割和分类。该网络有效地解决了与肿瘤区域复杂性、病灶与周围组织强度相似性以及肿瘤形状和位置变异性相关的挑战。（2）在分割网络中，引入一种新的视觉感知模块（VPM）来模拟人类对感兴趣区域细节的感知，并结合多尺度扩张卷积（MSDC），精准捕捉肿瘤的形态、位置及边缘特征。为进一步提升分割精度，引入了可变残差卷积块注意模块（VR-CBAM） 和基于感受野块的可分离卷积模块（RFB-PSC），以增强上下文特征融合并减少空间信息损失。随后，VPM的输出与分割结果共同作为分类网络的输入。（3）在分类网络中，采用多输入方法，通过集成学习和迁移学习，将边缘感知图像、形态和位置感知图像以及分割结果图像进行整合，以进行最终决策。该分类网络在乳腺癌分类中取得了较好的性能。（4）与其他最先进的方法相比，PMSMT-Net在定量和定性分析方面表现出卓越的性能：在两大公开BUS数据集上的测试表明，相较当前最先进的方法，PMSMT-Net在Dice系数上平均提升3.7个百分点，在分类准确率上平均提升3.6个百分点。除此之外，构建的模型可以集成到临床CAD系统中，以辅助放射科医师从超声图像中准确分割和分类乳腺肿瘤。其强大的性能和多任务学习能力使其非常适合部署在实时超声分析，特别是在资源有限或农村医疗环境中。它还有可能用于医学教育和自动注释平台，为更广泛的人工智能辅助诊断应用奠定基础。

图2 编码器优化模块结构图

图3 2D-FRFT技术流程图

图4 可变残差卷积注意力模块结构图

图5 解码器优化结构图

图6 分类分支流程图

图7不同分割方法的视觉效果