首页 > 分享 > 基于切面识别的房间隔缺损智能辅助诊断

基于切面识别的房间隔缺损智能辅助诊断

花匠小妙招
2024-11-12 16:46

房间隔缺损(Atrial septal defect，ASD)是一种常见的先天性的心脏病，表现为在胚胎发育过程中，房间隔发育异常导致左、右心房之间留有孔隙。先天性心脏病的检出率逐年递增，而ASD更是占据了先天性心脏病中最大的比重，达到37.31%[1]。ASD患者随着年龄的增大，会出现气急、心悸和乏力的症状。40岁以上患者病情进一步加重，并常出现心房颤动、心房扑动等心律失常和充血性心衰表现。在患者年龄较小时将其检出，并对孔隙较大无法自愈的患者进行治疗可以有效防止病情的恶化，避免患者遭受心脏病的痛苦。因此，对ASD的高效准确诊断的研究具有十分重要的现实意义。

超声心动图是进行ASD诊断的主要方式，通过观察二维超声图中心脏的形态大小、回声缺失以及异常的血液分流可以很好地诊断出ASD，而且超声心动图中彩色多普勒血流显像显示的左右心房水平分流信号更是可以清楚准确地诊断与医学影像自身的数据特征相结合，提出了一种基于超声心动图切出ASD[1]。彩色多普勒超声心动图检查简便易行，无创伤，患者无痛苦，重复性强，准确，是ASD的首选检查方法[2]。然而由于超声心动图客观上具有成像质量不佳，噪声较多的缺点，导致超声漏诊及误诊ASD。调查表明，多达30%的超声心动图报告并不十分准确[3]。此外，因为医疗资源的分布不均，医生水平的良莠不齐，山村地区的医院情况更不容乐观。事实上，临床医生大多不具备阅片能力，阅片工作均由影像科医生完成，然后再由其提交检查报告给临床医生。而在医疗资源匮乏的乡村这些工作都将由临床医生来完成，这就导致其超声心动图的检查报告可靠性进一步降低。由此可见，设计实现一种基于深度学习的ASD智能辅助诊断系统，具有十分重要的现实意义：对经验丰富的医生来说，可以帮助提高阅片效率，保证ASD诊断的可靠性即准确率；对于经验较为欠缺甚至不具备阅片能力的医生来说更是可以帮助提供基于超声心动图的ASD辅助诊断意见，提高诊断结果的综合性。

近年来深度学习在医学影像处理领域，有很多研究者投入其中并取得了不少研究成果。Tao等[4]提出了一种基于深度卷积神经网络的超声心动图切面识别方法，采用金字塔池化层替代了全连接层，取得了较为不错的识别准确率。Madani等[5]针对超声心动图15种切面进行了分类，主要目标是实现快速的分类。他们还提出了结合超声心动图切面类型及图像的简单分割，利用卷积神经网络进行左心室肥大（Left ventricular hypertrophy, LVH）的诊断[6]。其中超声心动图的切面分类对LVH诊断准确率有一定的提升，但左心室肥大涉及的切面类型与房间隔缺损差异很大。此外，实验结果表明，其进行切面分类后采用U-net对其进行简单分割的做法对诊断准确率的提升并不明显。除了切面识别方面的工作，也有研究者致力于对超声心动图进行交互式翻译[7-9]以及超声心动图图像分割的工作[10-14]以及其他基于深度学习的与超声心动图相关的工作（其他疾病的诊断、超声心动图的数据增强等）[15-21]。综上，目前仍鲜有基于深度学习和超声心动图进行房间隔缺损的研究，于是本文将深度学习的算法面识别的房间隔缺损智能辅助诊断方法。

1. 问题分析

通过超声心动图进行ASD的诊断具有一定的挑战性，其困难主要来自三个方面：正常人与患者的超声心动图差异较小，难以简单地直接将其分开；超声心动图分为多种常用的标准切面，每个切面的图像特征各异，传统的卷积神经网络架构难以充分学习各个切面的不同特征；超声心动图成像质量一般，边界不清且往往伴随着大量的噪声。这3个方面带来的不利影响都导致了将卷积神经网络直接应用到ASD的诊断上效果不佳。

由Wang[1]给出的通过超声心动图诊断ASD的诊断依据可知，正常人的超声心动图与ASD患者的超声心动图的图像特征相异。如图1所示，ASD患者的超声心动图在房间隔缺损处存在明显的阴影，这是用于区分正常人与患者的主要依据之一。这种图像差异与整张图像相比不够突出，而两者在其余部分的图像特征上并没有明显的不同，所以就需要网络对超声心动图的图像特征进行非常具有针对性地提取、组合。另一方面，超声心动图的多种常用切面的特征又各不相同，若不加以区分就进行诊断势必会丢失掉这一部分信息，从而使诊断性能有所下降。于是就提出了基于特征切面识别的ASD智能辅助诊断模型，该模型采用先进行切面识别，再进行房间隔诊断的两段式架构。通过对超声心动图进行切面识别，使得诊断模型能更好更全面地把握图像特征，从而更加准确地区分出正常人与ASD患者。最后，为了应对超声心动图图像质量不佳的问题，对数据进行双边滤波处理，便可以在保留轮廓边界的前提下一定程度上抑制噪声，提高图像的质量。

图 1 超声心动图对比。（a）ASD患者；（b）健康人

Figure 1. Contrast in echocardiography of ASD patient (a) and healthy people (b)

2. 数据预处理与模型算法

2.1 数据预处理

研究所用数据集均由某医院提供的116位被检查者的二维超声心动图及彩色超声多普勒组成，其中有80位确诊为ASD患者，剩下36位诊断为正常，分别占总数的69%和31%。其中每个人的数据均由数量不等的各种切面的dicom格式的超声心动图组成。

在临床诊断中，有几种比较常用且可靠的超声心动图标准切面（图2），分别是：胸骨旁大动脉短轴切面，心尖四腔心切面，胸骨旁四腔心切面，剑突下上下腔长轴切面，剑突下大动脉短轴切面及剑突下双房心切面。其中图2（a）和2（b）相似度较高，一般都统称为四腔心切面。

图 2 超声心动图6类标准切面。（a）胸骨旁大动脉短轴；（b）心尖四腔心；（c）胸骨旁四腔心；（d）剑突下上下腔长轴；（e）剑突下大动脉短轴；（f）剑突下双房心

Figure 2. Six normal views of echocardiography: (a) parasternal short-axis view; (b) apical four-chamber view; (c) parasternal four-chamber view; (d) subcostal inferior vena cava; (e) subcostal short axial of aorta; (f) subcostal left and right atrium

数据预处理的过程主要分为如下几步：首先，用户的超声心动图数据中往往动态数据居多，一个动态数据中包含有许多帧图像，仅依靠其中某一帧图像就确诊过于武断。而邻近帧图像相似度较高，均输入模型进行诊断存在数据冗余问题，因此同时也为了提高数据量，在预处理中采用了一定的间隔对数据进行了采样操作。除去动态数据外，数据集中也含有少数的静态图像，这种静态图像一般为超声医生精心截取的，对于ASD诊断的参考意义较高，皆予以保留。其次，原始的超声心动图中除了超声影像外，其边框处还有许多涉及患者隐私的信息，这些信息对于诊断而言与噪声无异，保留下来也会有泄露患者隐私的风险，于是预处理阶段通过对超声影像部分手动提取边框获取掩码图像，再将其与原始图像做掩码处理，滤除超声影像以外的其他信息。此外，超声影像部分也存在不小的噪声干扰，需要对其进行噪声滤波操作。通过对比不同的滤波算法，模型采用了双边滤波算法，该部分具体细节将在下面展开叙述。最后再将得到的图像进行一些数据增强操作，如图像旋转、翻转和随机剪裁等。

2.2 基于双边滤波器的超声心动图噪声消除算法

然而，由于超声心动图噪声较多，直接用原始图像进行模型训练效果不佳，需要对其进行降噪处理。目前常用的图像降噪滤波算法有均值滤波、高斯滤波以及双边滤波，这些滤波算法都是通过将滤波范围内的像素做加权平均的发生进行图像平滑，从而抑制噪声的。不过均值滤波对周围像素赋予相同的权值，这与图像中像素实际的概率分布不符，在图像的轮廓边缘更是如此；高斯滤波则是通过假设滤波中心像素与周围像素的像素值满足高斯分布，并以此对其周围像素赋予不同的权值，这样虽然对于一般情况像素间相关性的刻画更为准确，却仍不可避免地会破坏掉图像中的边缘信息从而导致边界模糊；与均值滤波和高斯滤波没有考虑到轮廓边缘像素发生突变的特性不同，双边滤波[22-23]通过引入像素域核，可以实现对边界的有效保留，其所用滤波核参数如式（1）所示：

$$ wleft( {i,j,k,l} right) = {{rm{e}}^{left[ { - frac{{{{left( {i - k} right)}^2} + {{left( {j - l} right)}^2}}}{{2sigma _{rm{d}}^2}} - frac{{|Ileft( {i,j} right) - Ileft( {k,l} right){|^2}}}{{2sigma _{rm{r}}^2}}} right]}} $$ (1) $$ Ileft( {i,j} right) = frac{{{sumnolimits_{k,l}}Ileft( {k,l} right)wleft( {i,j,k,l} right)}}{{{sumnolimits_{k,l}}wleft( {i,j,k,l} right)}} $$ (2)

式中，$ (i,j) $为滤波中心的坐标，$ (k,l) $为滤波器覆盖范围内某点坐标，$ I(a,b) $为某点$ (a,b) $的像素值，$ {sigma }_{mathrm{d}} $和$ {sigma }_{mathrm{r}} $分别为空域核方差和像素域核方差，由式（1）可得滤波范围内某点像素值所被赋予的权值既与它相对于滤波中心的位置有关，又与其相对于滤波中心的像素值差有关。滤波中心滤波后的像素值由式（2）计算得到，由于与滤波中心像素值相差较大的像素在双边滤波的滤波参数计算时会获得较小的权值，当滤波中心到达像素突变的边界处时，边界轮廓不会被过分平滑，从而实现保边去噪。不同滤波算法作用于超声心动图的效果对比如图3所示，可见均值滤波处理后的图像平滑程度最高，也最为模糊；高斯滤波虽然优于均值滤波，但是同样存在模糊边界的问题；而双边滤波处理过后的图像在平滑程度与边界清晰度上取得了比较好的折中。

图 3 噪声滤波效果对比。（a）原始图像；（b）均值滤波；（c）高斯滤波；（d）双边滤波

Figure 3. Comparison of different noise filter algorithms: (a) original image; (b) mean filter; (c) Gaussian filter; (d) bilateral filter

2.3 模型算法

所提的基于超声心动图特征切面识别的ASD智能辅助诊断模型总体网络架构示意图如图4所示，主体结构由切面识别与ASD诊断两部分网络构成。两部分网络可以单独进行训练，最后再通过一个全连接网络得到模型输出。经过预处理后的数据同时输入到两个卷积神经网络中，分别进行特征提取，将两部分网络提取的特征进行拼接，从而把识别的切面信息与图像提取的空间特征信息相融合，拼接的特征向量输入到全连接层，最后得到结合切面识别的ASD诊断结果。该模型架构可以很好地将超声心动图的不同切面特征与用于诊断的图像特征进行组合，从而使得诊断结果更加精确。且该模型架构易于实现，用于进行切面特征提取与ASD特征提取的卷积神经网络可以独立选取，例如切面特征提取网络可以参考已有的较好的超声心动图切面识别网络。而ASD特征提取网络与全连接层作为整体，通过将切面类别也作为标签进行输入，便可进行训练。得益于两部分网络独立进行训练，其中一个网络训练效果不佳时并不会影响另一个网络的训练。

图 4 ASD辅助诊断模型总体架构

Figure 4. ASD auxiliary diagnosis model overall architecture

图3给出的模型构建的整体架构，突出了网络总体的设计思路。实际用于ASD诊断的完整模型如图5所示，主要由3部分组成— —数据预处理部分、ASD辅助诊断部分和加权求和部分。数据预处理部分前已说明，模型中模块的组成与功能介绍就主要针对后两部分进行。

图 5 ASD辅助诊断模型完整架构

Figure 5. ASD auxiliary diagnosis model completed architecture

ASD辅助诊断部分主要是由View-net与ASD-net以及ASD diagnosis模块组成，其中ASD diagnosis模块由一个4层的全连接神经网络组成，各层数节点个数设置为（288，128，56，2），其功能为通过ASD-net与View-net获取的超声心动图高维特征向量进行组合得到最终的诊断结果。View-net与ASD-net的模型实现则均采用稠密连接卷积神经网络（Densely connected convolutional network，Densenet）[24]，其中View-net的功能为识别超声心动图的切面类别，可作为一个单独的模型进行训练，具有可替换性，在本模型中View-net直接使用的Densenet121[24]。ASD-net则是基于深度神经网络模型压缩理论[25]，采用如图6所示的轻量化的网络结构，其网络主体由4个Dense block组成，每个Dense block内部有若干层Dense layer，Dense layer除了进行标准化和卷积操作得到特征图，还会将输入与特征图堆叠，最后一起输出，第i层Dense layer的输出如式（3）所示，concat表示堆叠操作，conv表示卷积操作，norm表示标准化操作，当i取0时$ {boldsymbol{X}}_{0} $为该dense block的输入。此外为了保证卷积操作以后的特征图与输入尺寸相同，所有的Dense block内部没有池化层，池化操作都放在了Transition layer中。

图 6 网络结构及参数

Figure 6. Network structure and parameters

$$ {{boldsymbol{X}}_{boldsymbol{i}}} = {rm{concat}}left( {{rm{con}}{v_i}left( {{rm{norm}}({{boldsymbol{X}}_{{boldsymbol{i}} - 1}}} right)),{{boldsymbol{X}}_{{boldsymbol{i}} - 1}}} right) $$ (3)

通过这种堆叠操作，网络中的信息流梯度流得到增强，网络训练速度更快，且特征复用度更高，对图像语义的提取更为充分。但是如果Dense layer的层数过多，会导致网络结构过于复杂，参数过多，从而影响网络的收敛，也会提高对数据量的要求。于是在本模型中采用了更少的层数，大大减少了网络的参数量。

加权求和部分存在的必要性主要是结合医学诊断形成一个综合的诊断，提高诊断结果的可靠性。首先，用户的超声心动图数据往往动态数据居多，一个动态数据中包含有许多帧图像，仅依靠其中某一帧图像就确诊过于武断。其次，一个用户往往不止一个超声心动图，而且这些超声心动图往往都是不同切面的，仅凭一个切面的超声心动图就进行诊断仍然太过片面，应该对不同切面的多个超声心动图均进行诊断，并综合起来求加权平均作为最终诊断结果，不同切面类别的权值由其历史诊断率确定。另一方面，超声心动图也存在误差或者难以识别缺损的情况，有的健康人可能会由于噪声或者其他生理组织的干扰，或者仅仅是截取图像时的偶尔失误，导致在房间隔出现伪影，这样就容易被误诊为ASD患者。通过多超声心动图多切面进行综合诊断就能很好的避免这种偶尔性因素导致的误诊。

3. 模型训练与测试结果

训练集与测试集按70%与30%的比例划分而成，其中训练集由54名ASD患者与27名健康人的原始超声心动图经过数据预处理最终获取的22162条超声心动图数据组成。测试集则由剩余的26名ASD患者与9名健康人组成。ASD-net与View-net各自分别进行模型训练，均使用贴有是否为ASD患者与所属切面类别两个标签的训练数据，采用Adam算法进行参数更新，用交叉熵函数作为损失函数。其中ASD-net的训练需要结合ASD diagnosis部分进行，并同时使用切面类别与是否为ASD患者两个标签。

以用户为单位进行模型测试，根据最终模型给出的诊断结果与用户实际确诊的结果对比计算出模型的诊断准确率。而查全率与查准率则通过对应于医学诊断中的假阴性率与假阳性率得以体现，查全率高对应于假阴性率低，查准率高对应于假阳性率低。模型的ASD诊断测试的结果如表1，与未结合切面识别的模型相比，结合切面识别的ASD辅助诊断模型准确率提高了6.6%，这是因为所提的诊断模型架构通过将切面类别特征的提取与诊断依据特征提取用两部分网络去进行，将分类任务细分，负责切面识别任务的网络只需要将不同切面的数据分隔开，而不需要去判断是否为ASD数据，从而使得网络学习任务减轻；而另一部分负责诊断依据特征提取的网络则在有了切面类别这一信息后，能够更好地对提取到的图像特征进行排列组合，从而可以更好地将ASD患者与健康人的超声心动图数据区分开来。但是仅仅通过一个模型去直接学习这两种类别数据的区别对于卷积神经网络而言难度较大，从而难以获得比较好的诊断性能。此外，结合了双边滤波后，模型的ASD诊断准确率进一步提高了4.5%，同时假阴性率降低到2.8%，这是得益于双边滤波对噪声有效平滑的同时保留了边界。

表 1 ASD诊断测试结果

Table 1. Contrast among different models

ModelWith bilateral
filteringAccuracy /
%False negative
rate / %False positive
rate / % Resnet50‒no view-netYes86.72.855.6Densenet121‒no view-netYes86.713.911.1Densenet‒with view-netNo93.35.611Densenet‒with view-netYes97.82.80

最后，为了验证影响模型诊断的关键区域与医学上进行ASD诊断所关注的房间隔区域相同，且诊断的标准与临床诊断标准一致，对测试数据房间隔处进行了遮挡实验。所得的实验结果如图7，图中P(ASD)表示该超声心动图检出ASD的概率当输入为原始健康人数据时，诊断为ASD的概率均较小，由于从医学上来看ASD患者的超声心动图才会在房间隔处存在阴影，所以当将房间隔处遮挡造成阴影时，诊断为ASD的概率明显增大。该实验既验证了模型诊断所关注的区域确实是在缺损区域，也说明了模型确实诊断的标准与临床上保持一致。

图 7 房间隔遮挡测试。(a，c)遮挡前；(b，d)遮挡后

Figure 7. Atrial septal covering test: (a,c) before covering; (b,d)covered

4. 结论

提出了一种基于超声心动图特征切面识别的ASD辅助诊断模型，并通过实验测试验证了所提模型取得了非常不错的诊断性能。同时应用双边滤波算法对超声心动图进行噪声抑制，同时保留轮廓边界，使得模型诊断性能进一步提升。再通过房间隔处的遮挡测试，验证了所提模型做出ASD诊断的依据与标准与临床诊断保持一致，从而说明了其诊断结果的可靠性。本文给出了一种针对有着不同特征的医学影像数据进行疾病诊断的可行思路，对未来基于深度学习的超声心动图相关的疾病诊断模型设计具有一定的参考价值，而将超声检查报告、病人病历等多模态数据融入到其中也可能是进一步提高诊断性能的可行思路，在此留给未来的研究者进行探索。