深度学习(deep learning)是机器学习的分支,是一种以人工神经网络为架构,对数据进行特征学习的算法。在大数据与智能医学迅速发展的背景下,深度学习算法已迅速成为分析医学图像的重要方法,为医学影像的自动分析智能化处理提供了可能。目前,应用深度学习算法辅助诊断已涉及多个领域,如脑部、眼部、肺部、乳腺等,能减少医生的工作量,为病人提供更优质的诊断和治疗。下面将从几种代表性领域出发,概述深度学习对医学影像诊断领域的贡献。 1)脑部 脑部的解剖图像主要来源于CT、MRI以及PET。脑影像的智能研究主要包括两方面:一是脑部影像(CT、MRI)的诊断以及分类,包括病灶的定位、脑肿瘤分类、半暗带的体积预测等;二是基于头颅CT影像的病灶检测、血管分割等。目前,大量的研究涉及阿尔茨海默氏病、脑肿瘤、脑组织、解剖结构、脑卒中等的分类;脑血管、脑组织以及重要病变的分割以及脑部疾病的识别和诊断,如脑梗、神经胶质瘤、脑转移瘤、脑出血、白质病变。Chilamkurthy等[1]使用改进的ResNet网络,对每一张断层扫面进行分类,包括脑实质出血、硬膜下出血和硬膜外出血等多种出血类别。Chang等[2]使用了基于Mask R-CNN的实例分割框架,首先使用外接矩形框对脑出血区域进行定位,再对该区域的病灶轮廓进行勾勒。Zhang等[3]利用3D CNN进行DWI核磁序列的脑梗分割,并利用稠密连接方式,优化网络训练过程。Liu等[4]在此基础上,增加了2D卷积操作来充分利用断层内部的影像信息。极限学习机局部感受野(ELM-LRF)方法也被提出用于脑肿瘤的分类,该方法首先使用局部和非局部方法去噪声,然后采用ELM-LRF分割良性或恶性肿瘤并分类,在颅骨磁共振图像分类时准确率达到了97.18%[5]。因此,深度学习在脑部影像分析领域已取得了很大进展。 2)眼部 眼部影像的研究主要是视网膜的自动筛查,包括视网膜图像分类、视网膜血管分割和硬性渗出的自动检测。视网膜图像识别方面,2015年Kaggle组织了一个相关比赛,几只获胜队伍使用的都是端到端CNN网络,而且识别准确率接近甚至超越了医生。Quellec等[6]以此数据集为基础对糖网分类的热力图进行了研究,探索了CNN模型在糖网筛查中实现高精度的原理。Takahashi等则直接利用多幅眼底图像的拼接图作为输入数据,实现了糖网病的自动分级[7]。视网膜血管分割方面,Jiang等[8]提出一种基于全卷积神经网络(Fully Convolutional Network, FCN)的端到端模型来实现视网膜血管分割,在DRIVE等4个公开数据集上取得了96%左右的准确度,同时超过了传统算法和人工标注网。Xiao等[9]以分割为基础构建了一个多步骤的糖网筛查深度学习系统,首先定位眼底图像中的血管、视盘、黄斑等, 然后分割病灶,最后对病灶进行分类。在硬性渗出检测方面,利用深度学习检测模型可提高硬性渗的识别准确率。 3)肺部 肺癌是目前发病率和死亡率最高的恶性肿瘤之一,肺癌筛查方法是依靠传统的X线胸片、CT、纤维支气管镜等,而X线胸片及CT是最常见的放射科检查,研究者们结合CNN的图像分析以及RNN的自然语言处理,对肺部影像数据进行了大量的研究,利用深度学习方法进行肺癌的筛查与诊断。早期肺癌在CT上表现是直径不超过30mm的肺内圆形或不规则形结节。目前的肺结节影像智能技术研究主要包括肺结节的检出、肺结节分割和肺结节的良恶性分类等方面。研究者们主要通过设计新的网络结构和损失函数来实现模型在相应功能上的性能提升。在肺结节检出方面,研究者们采用了Faster RCNN模型、DeepLung模型、分组卷积网络模型等对肺结节进行检测,大部分模型为双阶段的检测模型,包括候选结节检测阶段和假阳消除阶段,检出敏感性能超过95%。此外,对比大量研究发现,深度学习在微小结节(小于5mm)的检测方面要优于医师。因此,基于深度学习的结节检测模型通常具有较高的召回率和准确率,基本能够准确定位结节所在位置。在结节分割方面,研究者们通常基于全卷积网络(Fully Convolutional Networks,FCN)来构建模型,U-Net网络就是常用的医学影像分割模型,该架构及其变体在不同的生物医学分割应用中实现了非常好的性能。由于借助具有弹性形变的数据增强功能,它只需要少量的的带标注的图像,且训练时间较少。Zhang等在U-Net基础上提出的DENSE-INception U-net网络结构,并在Kaggle数据集上取得了98.57%的Dice得分[10]。基于深度学习的结节分割模型可以有效地提升医生测量和对比结节大小的准确度。肺结节的良恶性分类一直是研究者的关注要点,并在深度学习模型上进行了一系列尝试和改进。Al-Shabi等提出了一种能够融合全局和局部信息的网络结构来提升分类效果,在LIDC上该模型的AUC达到了95.62%[11]。相对于传统的良恶性判断方式,基于深度学习的良恶性判断模型可以融合更多的特征和具有更好的泛化能力以及更高的准确性。 4.乳腺 乳腺癌是全世界最常见的女性肿瘤并且是女性中致死率最高的癌种之一。在我国,新诊断的乳腺癌病例占全球乳腺癌新发病例的12.2%, 死亡率为9.6%o研究证实通过及早发现高危患者并适当治疗,可以降低乳腺癌死亡率。数字化乳腺X线检查由于其良好的对比度及分辨力,可分辨组织间细微结构密度的差别,且操作简单,价格相对低廉,诊断准确率较高,是国际上公认的乳腺癌早期机会性筛查及早期发现的有效措施。乳腺癌在乳腺钥靶的检查中主要有两种征兆:一是恶性软组织肿块的存在,二是微钙化的存在。因此乳腺图像分析主要面临三个挑战:1)对类肿瘤病变的检测与分类;2)检测和分类微钙化点;3)乳腺癌风险评估。在肿瘤病变的检测和分类方面,相比于传统的特征提取方法,深度学习模型的识别的准确性明显更高。Fotin等对比了 CNN模型和基于人工特征的传统方法在数字乳腺断层合成显像中识别可疑或恶性软组织影的表现,结果深度学习模型的识别敏感度高出近7%[12]。在钙化点的的分类和检测方面,传统方法利用钙化和正常组织在频率和亮度上的差异进行识别,比如使用小波变换或者 Hessian矩阵响应,分类效果较好,但容易出现假阳性,深度学习模型可进一步提高分类表现。Cai等网设计的CNN模型在高敏感度水平显著降低了假阳率[13]。Zhang等利用重构效果的差异,有效地将钙化点和背景区分开,极大提升了微小钙化的检出效果[14]。