COVID

花匠小妙招
2024-11-12 16:57

2019年底和2020年初暴发的新型冠状病毒肺炎(coronavirus disease 2019, COVID-19)是一种新发的急性呼吸道疾病。世界卫生组织宣布此次COVID-19疫情为国际关注的突发公共卫生事件，并于2020-03-11将其确认为大流行病，引起了国际社会的极大关注[1]。

从COVID-19的潜在致病性与其极强的传染性等方面考虑，它将会对全球几十亿人的生命安全和世界经济造成重大且极其深远的影响，从疫情暴发至2020年4月底，感染者的数量呈指数级增长。截至北京时间2020-04-27 24：00，全球200多个国家和地区累计确诊已经超过300万例，累计死亡超过21万例。

在临床实践中，使用成像设备，如胸部X射线和胸部CT(computed tomography)，可以为筛查COVID-19提供巨大的帮助[2-7]。COVID-19会导致严重的呼吸道症状，在临床治疗中发现大部分确诊患者胸部CT图像都存在异常，而且COVID-19病例的CT成像表现各有特点，与其他病毒性肺炎的CT表现都不相同。因此，临床医生呼吁将胸部CT尽快作为COVID-19的早期诊断标准之一。如果在一个病人的CT扫描中观察到某些特征性表现，那么可以将该病例鉴定为疑似COVID-19。即使没有临床症状(如发烧或咳嗽)，疑似患者也要住院或隔离以进行进一步的检查。COVID-19患者确诊的标准是RT-PCR(reverse transcription-polymerase chain reaction)技术检测鼻咽拭子中病毒RNA(ribonucleic acid)呈阳性。目前治疗COVID-19患者的临床经验表明，RT-PCR检测痰或鼻咽拭子中病毒RNA的早期假阴性较高，许多可疑患者必须隔几天进行多次检测才能确定诊断结果，且该技术还受到产量、采样方式等多种限制。因此，采用CT扫描影像作为COVID-19筛查的重要补充指标是十分必要的，影像学在限制病毒传播以及对抗COVID-19中起着至关重要的作用。

随着计算机技术和人工智能的飞速发展，包括器官分割和图像增强与修复在内的各项数字图像处理技术已在医学领域得到广泛应用。其中，卷积神经网络等深度学习技术具有强大的非线性建模能力，在医学图像处理中也有广泛的应用，这些都为对抗COVID-19作出了积极贡献[8]。如文献[9]首先采用VB-Net[10]获得肺和肺叶的图像分割结果，然后提出一种基于感染区域大小的随机森林方法，获得COVID-19诊断结果；文献[11]提出一种基于CT影像的3D深层神经网络(DeCoVNet)用于检测COVID-19；文献[12]在病灶区域分割任务中考虑了各种广泛使用的分割模型，包括全卷积网络(FCN-8s)[13]、U-Net[14]、V-Net[15]和3D U-Net++[16]，在分类任务中，他们评估了一些最新的分类模型，如ResNet-50[17]、Inception-v3[18]、双路网络(DPN-92)[19]和注意力ResNet-50[20]。另外，还有一些使用随机选择的感兴趣区域和利用初始网络提取特征的深度学习算法也被用于筛选COVID-19[21]；文献[22]开发了一个基于深度学习的诊断系统(Deep Pneumonia，使用ResNet-50[17]和特征金字塔网络[23])，以帮助医生检测COVID-19并定位主要病变。

在全球抗击COVID-19疫情方面，国内外研发了许多COVID-19智能诊断系统。其中，达摩院和阿里云开发的COVID-19智能诊断系统，通过学习5 000多个病例CT图像样本数据的病灶纹理，使用自然语言处理进行病历文本分析，最终训练出的网络识别准确率高达96%，识别单个病例所需的平均时间少于20 s; 华为云与华中科技大学和蓝网科技合作，基于华为自行开发的Ascend系列AI芯片，推出了一种COVID-19 AI辅助医学图像量化分析服务。该服务运用计算机视觉和医学影像分析技术实现了单病例量化结果的秒级输出。联影智能研发的uAI COVID-19智能辅助分析系统使用高度敏感的检测算法来分割微小的疑似病灶。对于确诊病例，系统还可以根据严重程度对患者进行划分，制定科学有效的治疗方案，并已在武汉火神山医院等医院投入使用。

本文使用神经网络以及数字图像处理等技术，设计了一个基于切片内和切片间注意力机制的轻量级COVID-19分类模型，在此基础上开发了集早期筛查、病变评估、病灶分割功能和肺部及病灶像素分布直方图等功能于一体的COVID-19智能诊断系统。

1 基于CT影像的COVID-19智能诊断系统实现

为了简化系统的开发、维护和使用，系统采用B/S(Browser/Server)架构，极少部分逻辑在前端实现，主要事务逻辑在后端实现。根据高内聚、低耦合的思想，系统实现由3部分构成：(1)前端模块：实现用户操作、数据上传、结果展示等功能；(2)控制模块：实现主要的业务流程；(3)算法模块：实现基于深度学习的CT影像早期筛查、病变评估和病灶分割功能。

1.1 前端模块

独立的网页版前端模块设计，医生可以直接使用浏览器访问本平台。网页使用了基于MVVM(model-view-viewmodel)思想的Vue.js框架搭建，一方面利用框架条件、循环渲染等功能，可以快捷地将JavaScript内存中的病人数据反映到用户界面上来；另一方面，利用框架的事件监听、输入绑定等功能，能够对用户操作做出响应，执行相应代码逻辑。考虑到医生在使用本平台时可能会进行频繁的网页跳转，制作了单页面应用，使用Vue-router进行虚拟路由控制，页面代码一经加载可以在一个浏览器会话中重复使用，节约了传输流量，提高网页跳转的响应速度；使用懒加载技术来降低首屏加载的时延，网页的不同组件也将按需加载。将流程复杂的病人信息显示、前后端数据传递等业务提取成为单独的模块；将顶栏、工具栏、DICOM(digital imaging and communications in medicine)图片展示、3D展示等区域抽象并封装成组件；通过这种模块化开发模式，降低了代码耦合度，加快了开发进度。对于不同页面都需要访问的数据和状态，如语言、图像展示、查询等设置项以及缓存的图片ID等，统一使用Vuex来进行管理，保证跨页面用户体验的一致性。使用DICOM图像web解析库Cornerstone.js来加载和显示DICOM图像，使用基于Three.js的医学图像工具库AMI.js来对DICOM图像进行3D展示。此外，还使用基于svg的图表工具库d3.js来绘制像素分布直方图。

1.2 控制模块

控制模块主要实现系统的业务逻辑，采用具有开箱即用和约定优于配置策略的Springboot作为基本框架；使用支持定制化SQL(structured query language)、支持存储过程以及高级映射的持久层框架Mybatis和支持关系型数据集的Mysql保存数据。RESTful(representational state transfer)架构实现前端模块到控制模块的接口设计；http方式实现与算法模块的通信；具体业务逻辑包含：用户管理实现如用户的登录管理等功能；Session控制会话管理、大量CT图像的上传；COVID-19诊断流程控制；多用户同时诊断的任务调度；同用户病变评估与病灶分割的并行任务调度；肺部及病灶直方图绘制任务以及历史诊断信息查询和诊断结果修正等流程控制逻辑。

1.3 算法模块

算法部分主要实现基于CT影像的COVID-19疾病诊断和病灶分割功能。其主要流程如图 1所示，根据输入的CT影像数据，先进行肺部分割，然后将分割后的肺部数据通过早期筛查模块，若筛查结果为非COVID-19患者，则返回筛查结果；若筛查结果为COVID-19患者，则继续执行病变评估任务，并返回病变评估结果，在执行病变评估的同时，对肺部分割任务得到的数据继续进行病灶分割任务，最终生成病灶分割结果图像并返回到前端。

图 1 COVID-19诊断和分割流程

Figure 1. COVID-19 Diagnosis and Segmentation Workflow

早期筛查与病变评估具体流程如图 2所示。肺部分割网络是基于Luna16数据集训练的，新的CT影像数据通过训练好的肺部分割网络后，得到肺部区域位置，再与原CT影像点乘，得到原始肺部区域信息。分类网络由早期筛查和病变评估两个网络组成，早期筛查网络实现COVID-19、其他疾病和健康3种类型的分类，病变评估网络在得到COVID-19的分类结果后再开始执行，从而实现普通型或重型COVID-19的分类。

图 2 早期筛查与病变评估流程

Figure 2. Early Screening and Severity Assessment Workflow

早期筛查与病变评估的分类网络如图 3所示，设计了一个轻量级的COVID-19分类模型AGSA(attention guided deep learning framework for early screening and severity assessment)，该模型由两部分组成：特征提取和特征融合。一般情况下，分类结果是按所有切片计算的。3D CNN(convolutional neural networks)是提取时间和空间特征信息的常用方式，然而，3D CNN网络参数多，训练难度大，需要更多的训练样本。为了减少对样本的需求，加快计算速度，采用参数较少的2D CNN实现特征提取。在特征提取阶段，2D网络对整体进行逐层扫描，提取全局信息。为了使网络更加关注病变区域，减少背景和周围组织的影响，本文还将注意力机制应用于所提出的模型中。在特征提取过程中，根据残差注意力网络中已有的注意力机制思想[20]，在特征提取阶段使用3个切片内注意力模块，减少了背景和周围组织中不相关的噪声，保留了肺部损伤特征，使网络更加关注损伤特征。同时，还设计了分类网络中的切片间注意力模块，见图 3。切片间注意力模块能够自适应地聚合从每次扫描中学习到的每个向量的表示，并输出最终特征向量进行分类。

图 3 早期筛查与病变评估的AGSA模型

Figure 3. Attention Guided Deep Learning Framework for Early Screening and Severity Assessment

当筛查结果为COVID-19患者时，在病变评估的同时进行病灶分割任务，本文的病灶分割任务采用文献[24]中的分割模型。

2 智能诊断系统功能

智能诊断系统基本功能包含病人信息录入与CT图像上传功能、智能诊断、病灶分割、肺部及影像学指标分析、诊断结果修正等功能。诊断功能界面如图 4所示，软件用例图如图 5所示。

图 4 COVID-19智能诊断系统界面

Figure 4. COVID-19 Intelligent Diagnosis System Interface

图 5 软件用例图

Figure 5. Use Case

2.1 病人信息录入与CT图像上传功能

在信息录入页面，医生首先录入病人基本信息，如姓名、年龄等，信息上传至服务器后将返回一个病人ID。由于一个病人可能具有不同时刻的诊断数据，因此医生可以在同一页面连续为病人录入多组CT图片，每组数据对应一个唯一信息ID。在CT图片上传完成后，前端会向服务器发送“更新CT状态”指令，由后端对图片进行整理和统计。

2.2 智能诊断功能

本平台能够对病人的每一组CT图片组进行诊断分类。通过前端和后端之间的交互，可以在页面显示病人的所有数据，并在适当操作后把返回的诊断结果更新到页面上。预设的诊断结果有“正常”、“其他肺炎”、“COVID-19普通型”和“COVID-19重型”4类，并使用不同背景颜色明确区分。

2.3 病灶分割功能

本平台能够对病人CT图片组中的每一张图片都进行病灶分割。具体流程为：当轮询返回的病灶分割任务状态为“成功”时，结束轮询。可以根据返回的分割图片存储路径，下载病灶分割图片组。病灶分割图片由灰色的非病灶区域和红色的病灶区域构成，前端设置透明度后覆盖在对应的原始CT图片上。最终展示效果为：CT图片上浅红色阴影覆盖区域即为病灶区域。在病人信息管理页，能够同时查看同一病人在不同时刻的多组CT图像及对应病灶分割区域。通过同步滚动功能，可以观察到病人相同部位处病灶区域随时间变化的过程，对病人病情做出判断。

2.4 影像学指标分析

为了更好地了解肺部及相应病灶的分布特征和影像学指标，平台对影像中肺部像素和病灶像素进行了统计分析，并以直方图的形式进行展示，通过切换按钮分别展示肺部和病灶的相应数据及图像指标(见图 4)。直方图旨在统计区间内的肺部或者病灶的像素数量，横坐标为HU(hounsfield unit)值大小，纵坐标为相应范围内HU值的数量。平台根据直方图的数据值拟合了一条数值曲线，以更好地展示像素分布结果。系统通过计算均值和方差来展现相应部位的影像统计指标，并展示病灶区域占整个肺部的区域占比，以判断肺部的感染情况。

2.5 诊断结果修正

平台整合了对肺部影像进行智能化分析的医学影像分类和分割算法的结果后，在平台的诊断结果栏中显示相应的结果，并以不同的颜色区分病症的轻重缓急。为方便算法模块的持续演进，平台为使用者开放了更正接口，医生可以根据自己的经验为分类错误的样本进行更正，包括“正常”、“重型”、“普通型”和“其他肺炎”等选项，并保存到后台的数据库中，以便算法模型后期使用更正的数据进一步训练并提升模型性能。

3 实验分析

3.1 数据集

本次实验的数据集主要由从武汉大学人民医院采集的399名病患和92名健康者的肺部CT图像构成，根据CT图像的COVID-19筛查任务，将399例病患细分为247例COVID-19患者和152例其他肺部疾病患者。数据集按照近似6:1:2的比例划分为训练集、验证集和测试集，详细情况如表 1所示。

表 1 早期筛查任务中训练集、验证集和测试集的各类样本数据分布

Table 1. Data Distribution of Each Kind of Samples for Training Set, Validation Set and Testing Set on Early Screening Task

数据集健康 COVID-19 其他肺炎症状训练集 61 165 106 验证集 11 31 18 测试集 20 51 28

同时，为了便于模型更进一步对COVID-19患者感染程度进行区分，247例COVID-19患者又被细分为134例普通型和113例重型的情况。数据集按照近似6:1:2的比例划分为训练集、验证集和测试集，并使用5折交叉验证方法，详细情况如表 2所示。

表 2 COVID-19病变评估中训练集、验证集和测试集的各类样本数据分布

Table 2. Data Distribution of Each Kind of Samples for Training Set, Validation Set and Testing Set on COVID-19 Severity Assessment

数据集一般情况严重情况训练集 88 77 验证集 15 16 测试集 31 20

为了验证算法部署后的性能，收集了系统部署后的44例病人，对其进行CT扫描和核酸检测，对核酸检测为阳性的病人由3位资深放射科医师根据CT影像进行病变评估。核酸检测和放射科医师的病变评估结果作为金标准，用于与算法预测的结果进行比较，以评估算法的性能。

3.2 实验参数设置

实验中使用LUNA16数据集训练肺部分割网络，并将肺分割结果作为分类网络的输入。由于肺部分割在像素大小和分辨率上的变化，首先将所有的图像重新采样到一个固定大小256×256×120，为符合中心极限定理，将每幅图像按照0均值和单位方差归一化。因为可用的训练数据量非常有限，所以为了更快地收敛，AGSA使用了在ImageNet上预训练的权重进行初始化。

算法模型AGSA采用开源的深度学习库Keras[25]实现，采用Adam优化方法对每个模型进行端到端的训练。在训练阶段, 学习率最初的设置为1.0×10-5, 每一轮学习率的权重减少1.0×10-6，实验是在具有24 GB的内存NVIDIA RTX Titan GPU上运行的。由于GPU内存的限制，每个批次的大小设置为4。

3.3 实验结果

在智能诊断模型AGSA中，VGG-16被采用作为分类网络中特征提取部分的主干网络，并将其最后一层卷积层通过全局池化，得到512维的特征向量。为了评估本文提出的模型的性能和效率，一个VGG-16(VGG (2D))以及与VGG-16具有相同网络结构的VGG(3D)被作为基准，其输入为患者全肺图像。图 6为AGSA和VGG(3D)及VGG(2D)在筛查和病变评估任务中的特征曲线。从图 6可以看出，AGSA的AUC(area under curve)总是大于VGG(3D)和VGG(2D)的AUC。本文提出的模型和基线在相同实验数据上的实验结果如表 3所示。在性能和效率方面，AGSA明显优于基于VGG(2D)和VGG(3D)的VGG模型。对于COVID-19的早期筛选任务，AGSA的准确率为86.87%，比VGG(2D)精确13%，比VGG(3D)精确12%。对于病变评估任务，AGSA的准确率为98.03%，比VGG(2D)精确12%，比VGG(3D)精确10%。事实上，COVID-19在放射学图像上的表现与其他肺部疾病之间的区别太过细微，以至于放射科医生难以识别。本文模型的良好性能表明，它有能力区分COVID-19和其他肺部疾病的CT图像的特征。此外，模型仅需要几秒钟就能将COVID-19患者与健康人区分开来。这对尽快隔离患者、控制COVID-19的流行具有重要意义。此外，笔者也在前面的两个数据集评估了模型的效果。由于后续验证数据是在完全真实的医疗机构收集的，模型有潜力推广到更现实的情况，并帮助对抗全球范围内的COVID-19疫情。

图 6 AGSA和VGG(3D)及VGG(2D)在筛查和病变评估任务中的特征曲线

Figure 6. Receiver Operating Characteristic Curves of Both AGSA, VGG (3D) and VGG(2D) in Early Screening and Severity Assessment Task

表 3 筛查任务和病变评估任务的实验结果

Table 3. Experimental Results of the Screening Task and the Lesion Assessment Task

方法精确度参数/MB 时间/s 测试数据后续验证数据筛查任务病变评估筛查任务病变评估 VGG(2D) 0.738 0 0.857 8 －－ 49.39 0.20 VGG(3D) 0.747 4 0.882 3 －－ 179.4 0.76 AGSA 0.868 7 0.980 3 0.886 3 0.896 5 16.1 0.40

在效率方面，AGSA的效率明显高于VGG(3D)。根据统计，VGG(3D)模型包含179.4 MB以上的参数。这需要大量的计算资源，通过把3D CNN替代为滑动的2D CNN，模型的参数被显著压缩到16.1 MB，比VGG (3D)的参数少了一个数量级。当VGG (3D)应用于早期筛选任务时，每个人的运行时间为0.76 s，而AGSA只需0.40 s即可完成相同的任务。这个结果同样适用于病变评估的任务中。虽然AGSA比VGG(2D)具有相对较长的运行时间，但AGSA的精度远高于VGG(2D)，这表明AGSA在准确性和效率之间做出了很好的权衡。

4 结语

针对COVID-19传染性强、诊断压力大以及对社会的严重影响，开发出基于人工智能技术的自动诊断系统是建设COVID-19防控体系的必然趋势，也是各国正在深入研究的课题。由于COVID-19数据收集、标注难度大，所得训练样本数据较少且异质，所能提取到的特征的语义信息和泛化能力较弱，导致现有的分类模型无法准确实现疾病分型和病情走势预测。为了有效提高医院筛查能力和辅助医护人员进行病变评估，本文设计了一个基于切片内和切片间注意力机制的轻量级COVID-19分类模型，开发的AI诊断系统可以实现高效准确的疾病分型和病变评估。针对训练样本少、模型参量不能过大以免过拟合，采用逐层扫描加2D CNN的方式代替3D CNN进行特征提取；对于切片内的情况，采用切片内注意力机制来减少背景和噪声的影响，并对病变区域进行聚焦；对于切片间的情况，采用切片间注意力机制来对每个切片的特征进行自适应的聚合，增强特征的鲁棒性和泛化性，从而实现高效可靠的疾病分型和病情走势预测。目前该诊断平台在少量切片情况下的疾病分型预测、模型推理的并行化程度以及泛化性等方面还存在不足，这将在后续发布的版本中实现更广泛情况下的准确预测、更科学合理和用户友好的结果显示、更高效快速的推理和诊断。