近日,智能信息处理实验室在医学影像分析领域的研究工作取得新进展。由颜成钢教授、王帅研究员指导,蔡坤谚(澳门理工大学合作博士生)为第一作者的科研论文《Region-Based Text-Consistent Augmentation for Multimodal Medical Segmentation》已被第28届国际医学影像计算与计算机辅助介入会议(MICCAI 2025)录用。
本项研究聚焦多模态医学影像分割,特别是结合医学影像与文本报告进行分析的研究方向。针对当前该领域存在的关键挑战——即传统数据增强方法仅对图像进行变换,容易破坏增强后图像与原始文本描述之间的一致性,从而影响多模态模型的学习效果——论文提出了一种名为“基于区域的文本一致性增强”(Region-Based Text-Consistent Augmentation, RBTCA)的新型数据增强框架。
该框架的核心思想是:首先自动识别并定位文本报告中描述的特定图像区域,然后将相应的文本特征与这些区域进行融合,最后再对这种融合“模态感知”的表征进行数据增强。通过这一机制,RBTCA在源头上保证了数据增强过程中图像与文本信息的一致性。
该方法的有效性在公开数据集QaTa-Covid19和实验室内部的肺部肿瘤CT(LTCT)数据集上得到了充分验证。实验结果表明,RBTCA框架可作即插即用的模块,高效集成于现有的分割模型中,并带来显著性能提升,Dice系数最高可提升7.24%。该工作为解决多模态医学数据增强中的瓶颈问题提供了有效的解决方案,对推动多模态学习在精准医疗领域的应用具有积极意义。
国际医学影像计算与计算机辅助介入会议(The International Conference on Medical Image Computing and Computer Assisted Intervention, MICCAI)是该领域的旗舰级学术会议,也是中国计算机学会(CCF)推荐的B类国际会议。MICCAI以其高度的学科交叉性而著称,汇聚了全球在计算机科学、临床医学、生物医学工程等领域的顶尖研究人员与从业者。会议旨在展示和交流医学影像计算与计算机辅助介入方向的前沿理论、创新方法与临床应用,其录用论文通常代表了该领域在特定方向上具有重要参考价值的最新进展。
杭州电子科技大学“智能信息处理实验室 ”(HDU IIPLab)主任为颜成钢教授。实验室现有在职教师50余名,含5位国家级人才及多位省级人才。现有硕博生200余名,毕业生多就职于阿里巴巴、腾讯、字节跳动、海康威视、华为、网易等国内知名企业。实验室为学校交叉创新团队,拥有自由开放的学术氛围和国际前沿的研究方向。实验室采用与海内外知名高校、研究所(清华大学、北京大学、中国科学院、美国北卡罗来纳大学教堂山分校、澳大利亚悉尼科技大学等)联合培养制,长期致力于智能信息处理方面的研究,主要研究方向包括:机器学习、模式识别、计算机视觉、计算机图形学、医学影像处理、生物信息学等。
联系人:孙老师
电话:0571-86878691
工作电话:0571-86878691
电子邮箱:syq@hdu.edu.cn
智能信息处理实验室
浙江省杭州市杭州经济开发区白杨街道2号大街1158号 杭州电子科技大学