利用大型视觉模型SAM进行医学图像分析具有显著提高诊断效率的潜力。然而现有的基于SAM的医学影像分割方法未能充分解决如何在有标注数据稀缺的少样本微调下将SAM迁移至医学影像任务。在这项工作中,提出了一种名为CD-PolypNet的框架,结合了基于特征蒸馏的语义监督(SSFD)和边缘引导特征分支(EFB)。该项工作对SAM中不同深度的特征使用grad-CAM进行可视化,分析SAM不同深度网络输出的特征。 SSFD通过内部特征蒸馏抑制SAM编码器中早期特征存在的特征冗余问题,通过跨层特征蒸馏将SAM的强监督特征知识转移到早期特征学习中,从而在数据稀缺的情况下实现大型视觉模型的有效领域适应。针对内窥镜病灶目标区域和背景对比度低的问题,EFB通过结合Canny算子和边缘频率门控卷积(EFGConv)的混合策略,在轻量级解码器中增强边界区分能力,从而优先考虑边缘感知特征提取。在五个具有挑战性的医学影像数据集上进行的大量实验表明,所提出的方法在准确性和鲁棒性方面超越了最先进的方法,为大型视觉模型在医学应用中的跨领域适应建立了新的范例。 国际医学影像计算与计算机辅助介入会议(The International Conference on Medical Image Computing and Computer Assisted Intervention, MICCAI)是该领域的旗舰级学术会议,也是中国计算机学会(CCF)推荐的B类国际会议。MICCAI以其高度的学科交叉性而著称,汇聚了全球在计算机科学、临床医学、生物医学工程等领域的顶尖研究人员与从业者。会议旨在展示和交流医学影像计算与计算机辅助介入方向的前沿理论、创新方法与临床应用,其录用论文通常代表了该领域在特定方向上具有重要参考价值的最新进展。 杭州电子科技大学“智能信息处理实验室 ”(HDU IIPLab)主任为颜成钢教授。实验室现有在职教师50余名,含5位国家级人才及多位省级人才。现有硕博生200余名,毕业生多就职于阿里巴巴、腾讯、字节跳动、海康威视、华为、网易等国内知名企业。实验室为学校交叉创新团队,拥有自由开放的学术氛围和国际前沿的研究方向。实验室采用与海内外知名高校、研究所(清华大学、北京大学、中国科学院、美国北卡罗来纳大学教堂山分校、澳大利亚悉尼科技大学等)联合培养制,长期致力于智能信息处理方面的研究,主要研究方向包括:机器学习、模式识别、计算机视觉、计算机图形学、医学影像处理、生物信息学等。
联系人:孙老师
电话:0571-86878691
工作电话:0571-86878691
电子邮箱:syq@hdu.edu.cn
智能信息处理实验室
浙江省杭州市杭州经济开发区白杨街道2号大街1158号 杭州电子科技大学