计算机系2019级博士生方建生在眼科视觉检索领域发表MedIA期刊论文

发布时间:2020-12-23

南方科技大学计算机科学与工程系的2019级联培博士生方建生,近日在眼科视觉检索领域取得突出研究成果,该研究以“Deep Triplet Hashing Network for Case-based Medical Image Retrieval”为题,被Medical Image Analysis期刊(JCR一区)正式录用,该期刊影响因子为11.148,系医疗影像处理领域影响因子最高的期刊。

该文章提出一种基于注意力机制的三重态哈希网络(ATH模型),用于眼科影像实例级检索,以解决端到端哈希码生成的三类信息丢失问题,包括类、关键区域、小样本。该模型可以用于基于案例的眼科影像检索,与最新的哈希模型相比,具有较大的性能提升,也带来小样本性能的明显改进,这对于稀缺病例的决策具有重大意义。

方建生于2019年9月入学南科大,并在计算机系眼科影像人工智能领域专家刘江教授IMED课题组接受博士研究生培养与指导,一年来不断推进视觉检索在眼科影像的应用研究,累计取得以下成果:

1)申请并公开7项发明专利,涉及眼科影像压缩、眼科多模态影像检索、眼科实例检索等方法;

2)指导本科生进行眼科多疾病分类系统、眼底影像筛查系统两项创新实验,参与眼科视觉检索辅助标注系统的搭建;

3)负责带领IMED致盲性眼病预测模型和防控平台建设项目团队,并参与校级人工智能教改项目;

4)已发表(正式录用)4篇论文(一作),通讯单位是南方科技大学计算机科学与工程系,通讯作者是刘江教授。其中两篇是关于贝叶斯神经网络应用于临床数据检索的研究,另外两篇分别提出了用于图像级检索的ASH模型和用于实例级检索的ATH模型(网络结构如下图)。

微信图片_20201221171928.png

图ATH模型网络架构

刘江教授创立的IMED(Intelligent Medical Imaging)团队过去13年专注于将眼科人工智能用以辅助眼科影像筛查和诊断,并正逐步走向和临床结合。为加速临床落地,基于循证医学方法,在刘江教授的建议下,方建生博士生近期专注于视觉检索方向,其目的是辅助医生寻找过往类似案例以辅助其做当下决策。

计算机辅助诊断(Computer-Aided Diagnosis, CAD)系统有助于提高医生诊断的敏感性和特异性,可追溯到20世纪50年代。近十年,得益于深度学习技术的进步,CAD系统的输出结果作为医生决策的参考(second opinion),已被广泛应用于到影像各部位各成像的筛查和诊断。信息检索由来已久,但由于文本检索和图像内容本身的语义差距,随着图像处理技术的发展,视觉检索也开始引起学术界和工业界的兴趣,其典型场景就是行人重识别(Person re-identification)。回归CAD系统工具性的本质,视觉检索可以为眼科医生提供相似案例的参考而不直接提供决策性的参考。

南科大计算机系注重研究生理论学习、科研探索、实践研发综合性能力的培养,正是基于这样的平台,计算机系研究生的理论水平和实践能力得到不断提升,并能将研究成果应用于实际场景。

过去的两年内,IMED团队基于南科大计算机科学与工程系的平台,形成了“团结、专注、坚持”的团队文化,以及下列研究生培养特色:

1) 研究生的选题结合理论与实际需求,聚焦“眼科医疗影像+人工智能”,充分利用团队多年来国际国内积累的行业影响力;

2) 鼓励团队成员积极合作,共同提高,每周小组例会,定期分享各自的科研想法和成果;

3) 丰富的IMED团队文化活动,为团队研究生的发展提供宽松,自由,向上的氛围。