ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

论文笔记——CVPR2021 3D Graph Anatomy Geometry-Integrated Network for Pancreatic Mass Segmentation...

2021-04-08 11:30:23  阅读:8  来源: 互联网

标签:... Pancreatic Network 胰腺 分割 网格 PDAC 肿块 顶点


目录

摘要

区分胰腺导管癌(PDAC)和其他九类非胰腺导管癌,用多阶段的CT图像。图像外观和3D的器官肿块的几何关系都是非常重要的。我们提出了一个完整的分割和分类网络(SMCN),通过充分利用几何和位置信息,结合解剖结构和基于分割的语义检测网络来提供患者层面的诊断。SMCN学习胰腺和肿块分割任务,通过在原始分割mask上逐步变换胰腺原型,建立解剖对应感知的器官网格模型。提出了一种新的基于图的残差卷积网络(Graph- ResNet),它的节点融合了网格模型的信息和从分割网络中提取的特征向量,以产生患者级的差异分类结果。对661名患者的CT扫描(每个患者五个阶段)进行的广泛实验表明,与强基线方法nnUNet相比,SMCN可以提高质量分割和检测精度(例如,对于nonPDAC, Dice: 0.611 vs. 0.478;检出率:89% vs. 70%),在区分PDAC和非PDAC方面达到与放射科专家相似的敏感性和特异性(即94%和90%),并获得与[20]相媲美的多模式测试结果,该测试结合了临床、影像学和分子检测对患者的临床管理。

1 简介

胰腺肿块的鉴别诊断是具有挑战性的几个原因。(1)同一类型的肿块在CT上可能呈现不同的纹理、形状、对比度和不同的增强模式。(2)胰腺导管腺癌(PDAC)在胰腺癌专科医院中占多数,存在long-tail问题。(3)肿块有时被炎症组织包围,因而不易识别。胰腺疾病在我们的数据库包含十种质量(图1):PDAC,壶腹癌(AC),胆管癌(DC),胰腺神经内分泌肿瘤(PNET),罕见的肿瘤(罕见),固状肿瘤(SPT),慢性胰腺炎(CP)、导管内乳头状粘液性肿瘤(IPMN),粘液性囊性肿瘤(m cn),和浆液性囊性肿瘤(SCN)。
我们开发了解剖意识三维深度图网络,以自动分割、检测和执行基础疾病的鉴别诊断。我们解决了两个具有强大临床适应症的主要问题:1)PDAC与非PDAC的鉴别和2)患者的临床管理。(手术、监管、出院)。恶性肿瘤患者需要癌症治疗(如手术)。那些有潜在恶性肿块的患者,如果他们是侵入性或高度发育不良,或监测其他情况,就需要手术。非恶性肿瘤患者可安全出院。利用多相CT对十类物体进行细粒度分类是一个非常困难的长尾问题。
现有的胰腺肿块图像自动分析方法[34,36,33,35,27,32]侧重于某些类型的肿瘤或囊肿的分割,无法利用胰腺肿块/疾病诊断的全谱分类。对于胰腺疾病的诊断,纹理和几何线索都是临床有用的。例如,某些类型的肿块出现在胰腺的特定位置:AC和DC只出现在胰腺头部,而MCN很少出现在头部。另一些则遍布整个胰腺,如CP和IPMN。此外,一些疾病的继发症状有助于诊断。CP中可见实质萎缩和假性囊肿,导致胰腺形状显著改变。大多数胰腺癌会导致胰管扩张,特别是IPMN会突然改变胰管的口径。
为了将这些先验知识/对应整合到模型中,(1)我们提出了一种基于分割的检测网络,可以同时分割和识别胰腺疾病区域。我们的分割网络以多期CT扫描作为胰腺(研究器官)和肿块的输入,然后输出分割掩模。我们还开发了一种弱监督的分割方法,用于有所有像素级PDAC标注但只有非PDAC标签的情况。(2)使用mask-to-mesh算法根据胰腺分割输出的mask建立三维对应感知网格。胰腺的几何形状,以及检测到的肿块的位置、形状和分布都可以通过网格模型捕获/编码。提出了一种基于网格的特征池化方法,从分割网络中提取特征,同时保留解剖结构(网格的每个顶点都有其解剖意义)。根据一个固定的顶点索引表,胰腺可以自动划分或解析为四个主要部分:头、腹、背、尾。(3)几何综合的图形分类网络利用基于三维解剖对应感知网格的深度特征池化预测胰腺肿块类型。该网络由基于图的剩余卷积块和基于解剖学的图池层组成。
通过结合分割损失、网格顶点分类损失和全局图分类损失的损失函数的基于梯度的优化,所有网络都可以训练到端到端的。
我们的主要贡献有三方面。(1)就我们所知,这是首次提出一种用于胰腺肿块/疾病诊断全谱分类的多期CT成像分析方法。(2)我们是第一个将三维几何感知网格模型整合到有效的胰腺肿块(肿瘤或囊肿)成像分析中(第3.2节,第3.3节),明确捕捉解剖肿块的几何和纹理线索。(3)我们已经在661名患者身上广泛评估了我们的模型(每个患者5期CT扫描)。与强基线方法nnUNet相比,我们实现了新的最先进的PDAC分割精度(Dice: 0.738)和显著更好的非PDAC分割(Dice: 0.611 vs. 0.478)和检测精度(detection rate: 89% vs. 70%)。

2 相关简介

3 方法

在这里插入图片描述
我们提出的分割网格分类网络(SMCN)的流程图。SMCN有三个组成部分:(a)胰腺肿块分割网络、(b)mask-to-mesh三维解剖建模和(c)全局肿块分类网络。网格模型是分割网络和分类网络之间的桥梁,网格模型将分割网络中的特征汇集成图分类网络中的顶点特征向量。
3.1 解剖肿块分割网络
分割网络的输入X是多阶段(5个阶段)的3D CT扫描,它们连接成一个4D输入,
在这里插入图片描述
输入Y是包括自动分割胰腺(通过公共胰腺数据集[19]上训练的集成nnUNet[13]模型)和放射学家分割的PDAC和非PDAC肿块的标签/注释。它用一个one-hot encoding表示
在这里插入图片描述

标签K的数量可以根据任务而不同,比如说PDAC与非PDAC或者患者管理。我们的主干网络是nnUNet。分割损失结合了交叉熵和Dice损失(相似度):
在这里插入图片描述
非PDAC标签通常比PDAC更难获得,因为它们存在长尾分布。因此,我们可以仅使用PDAC掩码注释(当非PDAC注释不可用时)执行PDAC与非PDAC任务,如下所示。首先,我们单独在PDAC数据上训练分割模型PDAC分割。接下来,我们将最终的PDAC分割模型应用到非PDAC数据。大部分非PDAC肿块为实性肿瘤,可能被误检测为PDAC。所有来自PDAC分割模型的非PDAC数据集的原始检测都作为伪非PDAC标签被收集。最后,我们使用原始的PDAC和伪非PDAC标签训练新的分割网络。

3.2 3D网格解剖表示
不像现有的网格学习方法[22,26]是由随机的椭球网格初始化的,我们通过将其与具有解剖意义的胰腺形状匹配,将先验知识编码到我们的初始解剖网格中。
胰腺解剖。我们首先根据training fold中胰腺平均形状创建一个原型网格。然后,我们放置了156个顶点平均分布在原型表面,以建立一个解剖结构。特别地,我们把它们分为胰腺的四个解剖区域,分别是胰头、胰腹、胰背和胰尾。前48个点属于胰头,在图3中用红点表示。49-90个顶点属于胰腺的腹侧体,用蓝点表示。第91-135个顶点对应于胰腺的背侧体,用黄色的点表示。最后的21个顶点组成了胰腺的尾部,用绿色的点表示。
在这里插入图片描述Mask-to-mesh过程。下一步是将网格变形到每个患者的胰腺mask上作为目标(图3-(e))。如图3(a-d)所示,网格的几何形状可以逐渐变形,以适应分割掩膜的表面,从而保持胰腺的真实解剖结构。这样,我们的网格就可以在变形后保持解剖意义。为了指导这一变形过程,我们定义了一个由三个术语组成的损失函数:点损失、两个边缘正则化项。我们在分割mask中定义p为网格中的顶点,q为曲面的体素。
点丢失直观地度量了每个点到分割表面上最近点的距离,可以驱动胰腺mesh去拟合分割掩膜。
在这里插入图片描述
为了保持网格的几何形状,我们提出了第一个边缘正则化项: N§是p的相邻顶点。
在这里插入图片描述
接下来,为了惩罚飞行的顶点(即变形过程中随机更新的异常顶点,导致结构缺陷),我们提出了第二次边缘正则化损失来简单地最小化边缘长度:
在这里插入图片描述
总loss
在这里插入图片描述
呈现。根据网格顶点的坐标,我们将胰腺划分为Z§区。如图2(b)所示,分段胰腺体积的每个体素通过其最近的顶点在一个区域内定义。渲染方法来定义每个顶点的区域包括以下步骤:1)第i个顶点在(w,h,d)被标记为Aw,h,d=i。所有其他的体素设置成0。2)3D体A扩充一个体素作为A’,A中的每个0体素(对应A’的非0体素)属于胰腺分割outputFx
在这里插入图片描述
3.3 全局肿块分类网络
在这里插入图片描述
顶点特征池化。给定变形网格及其代表顶点区域,我们把它们整合进深度网络中,进行形状约束检测和分割。我们将胰腺的解剖结构,以及肿瘤的纹理和几何信息编码到特征向量中。因此,特征向量可以被视为胰腺和感兴趣的肿瘤的解剖学表征。我们把h_p^0 定义为胰腺网格顶点p的初始特征向量。解剖特征表示包含:顶点坐标(xp,yp.zp)、ep表示到相邻节点的平均边长、dp代表p点到最近的肿瘤表面点的距离,从分割网络的预测概率图中提取局部和全局特征向量。
在这里插入图片描述
r是点到肿块表面的距离。Z§作为接收域,我们将三维分割网络(F(x))的预测概率图池化,得到一个
局部
特征向量,如图4(b)所示。接受域内的概率图可以表示为特征向量F(x)的列表。
除了基于网格特征池化,我们还执行全局平均池获得全局的特征向量,从概率map三维分割网络图4 (b)。然后,我们连接元信息,每个顶点的局部特征向量和全局整个网格的特征向量来创建特征向量h_p^0 。我们显式编码胰腺到肿瘤的几何结构、肿瘤的位置,以及它在基于网格的解剖表示中的纹理。这提高了模型学习解剖意识特征的能力,这将最终提高基于胰腺疾病全谱分类的胰腺肿块/疾病诊断的性能。
Graph-ResNet。在获得每个顶点的特征向量hi后,我们将它们送入基于图的残差卷积网络(Graph-ResNet),该网络在最近的深度网格学习应用程序[22]中被证明是成功的。我们将原来的graph - resnet简化为包含六个图卷积层和每两层之间的捷径连接的较小网络,在三个粒度级别下执行肿瘤分类任务。每个基于图的卷积层定义为:
在这里插入图片描述
h_p^l:顶点p的图残差网络第l层,w0和w1是要学习的参数,w1由所有边共享。基于图的卷积层解释了与给定顶点和相邻节点信息交换的方式。?我们使用了两种分类训练损失:顶点分类损失和全局分类损失。顶点分类损失定义为交叉熵损失,并应用于每个顶点
在这里插入图片描述
G图网络在每个顶点的softmax输出,顶点标签yv是从已标记的mask中推断出来的。背景体素被标记为0,胰腺体素被标记为1,肿块标记大于1。顶点q使用对应区域Z§的最大体素值进行标记
在这里插入图片描述
独热编码。
考虑到一些肿块类型可能有模糊边界,肿块周围Z §也可能包含有关癌症相关的信息,这个标记策略和Graph-ResNetd的传播/ 平滑特性使我们的方法鲁棒分割注释或标签的质量和提高质量的检测率。
**全局肿块分类。**运行Graph ResNet之后,我们根据顶点指数(1- 48,49 - 93,94 - 135,136 -156),从所有四个胰腺区域池化四个特征,如图2所示。将这四个全局特征向量和156个局部特征向量连接成一个向量hvp,并送入最终的大规模分类层。最后一个全局分类层是一个完全连接的层。总体分类损失为交叉熵损失
在这里插入图片描述
H是分类层的softmax输出,yg患者级肿块/疾病标签。总损失:
在这里插入图片描述
Lseg像素级分割损失,Lvertex是顶点分类损失

4 实验

数据和预处理。我们的数据集包含661例经外科病理证实的胰腺肿块患者(366例PDACs, 46例ACs, 12例DCs, 35例PNETs, 13例罕见,32例SPTs, 43例CPs, 61例IPMNs, 7例mcn, 46例scn)。每个患者都进行了5期CT扫描。数据增强是动态执行的。这包括空间变换、高斯模糊和对比度移动[13]。根据前期实验,超参数设置为
在这里插入图片描述
4.1 分割评估
定量评价。利用Dice系数来测量分割精度。表1提供了PDACs和非PDACs(共10种疾病类别)的骰子得分和检测率。;我们的SMCN网络与一个强基线相比较,3D nnUNet[13],从零开始训练我们的数据集。我们发现,与nnUNet相比,将基于三维网格的解剖表示集成到Graph-ResNet中可以显著提高质量分割和检测精度,尤其是nonPDAC (Dice: 0.611 vs. 0.478;检出率:88.7% vs. 69.3%)。
在这里插入图片描述
定性评估。图5为定性比较的分割结果。SMCN可以通过整合几何线索来指导分割网络,尤其对于难度较大、相对较少的非pdac类,可以获得更完整的分割结果。在图5中,nnUNet完全错误地发现了一个AC(恶性),因为肿瘤是在胰头的外面。我们的SMCN模型检测AC发现。对于一个IPMN病例(恶性潜能),我们的模型比3D nnUNet模型[13]提供了更完整的分割,包括临床关键的胰管扩张继发征象。对于良性SCN, SMCN段覆盖整个肿瘤表面。所有这些都表明,我们的解剖几何感知SMCN网络产生了优于最先进的3D nnUNet[13]的分割结果,广泛应用于医学成像应用。
在这里插入图片描述
不同CT分期下的PDAC分割。我们比较我们的方法与其他三种最先进的方法[32],DDT[23],[27]适用于静脉期。为了便于比较,我们仅使用一个或几个CT相位来实现/评估我们的模型(见表2)。由于AL相位具有更高的体素分辨率和成像对比度,其性能优于所有其他单个相位;第二好的是静脉期,广泛应用于临床。作为网络输入的多个CT相的融合/连接比任何单个相的结果更好。综合五个阶段得到的分割骰子得分为0.738,较之前的最高水平0.709[32]有明显提高。注意,在[32]中,PDACs大多体积小,仅位于胰头。相比之下,在我们的数据集中,pdac出现了各种大小,并跨越整个胰腺。所有四个阶段的融合,但AL作为输入产生的结果也比任何单一阶段(骰子得分0.696 vs 0:562 0:675)更好。
在这里插入图片描述
4.2三维解剖网格肿块评估
我们生成的网格模型定性结果如图6所示。我们的方法能有效和精确模型的胰脏器官在不同场景中,例如,PDAC在脖子(图6 (a)),交流在与胰管扩张(图6 (b)),假性囊肿的尾巴(图6 ©), IPMN全胰管上(图6 (d))和大型肿瘤实质萎缩(图6 (e))。如3.2节所述,我们的3D mask-to-mesh算法可以自动将胰腺分为四个部分:头部、腹部、背侧和尾部,分别用红色、蓝色、黄色和绿色进行颜色编码。在我们的数据集中,10类胰腺肿块的解剖位置分布在补充资料中进行了描述。交流和直流只出现在头部;MCN没有出现在头部;CP和IPMN主要出现在头部;PDAC、PNET和RARE分布于整个胰腺表面。囊性肿块(SPT、SCN和MCN)分布于整个胰腺,大部分位于背侧体。这些观测分布验证了不同质量空间位置的先验知识,并激发了我们的几何感知质量诊断框架。
在这里插入图片描述
4.3 肿块分类评估
PDAC与NonPDAC。我们首先评估我们对PDAC和非PDAC的分类方法,这是主要的临床诊断任务。比较结果见表3。敏感性和特异性分别对应于正确预测的PDACs和非PDACs的比例。我们还对几种分类策略进行了消融研究。像素投票(Pixel voting, PV)表示使用验证集的最优体积阈值对分割掩码中的像素进行分类投票;基于顶点的投票(VV)是指通过图- ResNet的分类顶点对结果进行投票;全局分类(GC)是我们的最终模型。我们的所有SMCN变异显著优于2D/3D深度网络,因此揭示了仅使用肿瘤纹理信息来区分PDAC和非PDAC是不够的。我们的全自动模型大大优于使用人工标注的放射组学方法(敏感性0.853,特异性0.868)。SMCN-w-GC配置报告了最佳的定量结果,灵敏度为0.945,特异性为0.906。
在这里插入图片描述
定量病人管理。患者管理决定分为三类:手术、监测和出院。与CompCyst算法比较。SMCN通过多相CT成像实现了类似或略微改善的定量性能。(1) 95%的手术患者被正确引导手术,而包囊手术患者为91%,但1%的手术患者被误诊为出院患者,这在临床上是不可取的。(2) SMCN正确推荐的监测患者从[20]的49%增加到63%。推荐手术的错误率从51%降至26%。(3) SMCN与comp囊肿的临床结果在出院时表现相似。我们将更多的患者划分为外科类(17% vs 13%)。这是由于我们的患者在三个可诉类别中的分布比[20]更不平衡,我们的出院患者亚群可能不足。
在这里插入图片描述
在这里插入图片描述

标签:...,Pancreatic,Network,胰腺,分割,网格,PDAC,肿块,顶点
来源: https://blog.csdn.net/weixin_42839762/article/details/115510068

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有