本发明涉及影像处理技术领域，尤其涉及一种肺炎病灶分割的系统及方法等。
背景技术：
肺炎是一种常见的呼吸系统疾病，在临床肺炎诊断中，ct影像诊断是一种常用的诊断方法，其检查方便、直观，尤其对于新冠肺炎，ct影像常被推荐为首选诊断方法。在临床上，通常由临床医生查看ct影像来进行诊断，耗时较长且具有一定的主观性。由于肺炎病程进展快，诊断周期长、错诊、漏诊都会对患者造成极大的影响，因此需要智能的诊断系统，协助医生检测肺炎病灶，在提升临床诊断效率的同时提高准确性。
在当前已有的一些诊断系统中，一方面，一些诊断系统仍基于传统的机器学习检测方法，结合影像组学等人工设计的特征来进行诊断。由于该方法训练模型所使用的数据量通常较少，且影像组学等人工设计的特征受图像背景变化的影响较大，因此该方法的诊断性能仍需进一步提升；另一方面，目前基于深度学习的诊断系统中，多采用基于2dmask的模型，即分别在每一个ct影像层面上，实现对二维肺炎病灶的检测与分割，由于真实的病灶是三维的，需要将连续层面上的二维病灶轮廓进行拼接，在拼接时，不同层面的病灶轮廓往往不能在三维空间中吻合。此外，由于不同肺炎病灶之间的体积差异大，以往基于的深度学习检测方法中，多为仅采用一种卷积神经网络模型的方法，即仅采用传统的图像语义分割方法，或实例分割方法(专利：肺炎病灶分割方法和装置)，不能保证对不同尺寸的肺炎病灶的检出效果。
技术实现要素：
鉴于此，本申请提供了一种肺炎病灶的分割方法和系统，解决了现有肺炎病灶分割方式中针对不同尺寸肺炎病灶检测的准确率低和效率低的问题。
本方法基于将传统语义分割方法与实例分割方法相结合，并应用特征金字塔技术，直接在三维空间中对肺炎病灶进行检测分割，保证了对不同尺度肺炎病灶检出的高灵敏度与高特异度，并基于先验知识进一步滤除假阳性病灶，实现了对肺炎病灶的精准诊断。
本发明提供一种用于肺炎病灶分割的方法，包括如下步骤：(1)影像数据预处理；(2)肺炎病灶检测分割处理；所述肺炎病灶检测分割处理包括肺炎病灶的首次检出，滤除假阳性肺炎病灶以及肺炎病灶融合。
优选的，所述肺炎病灶首次检出包括传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
优选的，所述图像语义分割用于体积较大的肺炎病灶，包括：在ct图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
优选的，所述实例分割用于体积较小的肺炎病灶，包括：采用two-stage思想，对肺炎病灶进行目标检测，得到肺炎病灶所在位置的三维检测框，接下来，对每一个识别的目标，即三维检测框内的肺炎病灶进行详细分类，并在每个肺炎病灶的检测目标中，在三维空间中进一步分割出肺炎病灶。
优选的，所述滤除假阳性肺炎病灶包括：滤除在肺部区域外所识别的假阳性病灶以及对剩余的肺炎病灶进行分类，区分真正的肺炎病灶和斑片影、纤维条索灶，进一步滤除检出结果中的假阳性病灶。
优选的，所述肺炎病灶融合包括：应用adaboost方法，基于图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，以及肺炎病灶的真实分割结果，训练分类器来得到每个肺炎病灶最终的预测分数，得到最终的肺炎病灶分割结果。
本发明进一步公开了一种肺炎病灶分割系统，包括(1)影像数据预处理模块；(2)肺炎病灶检测分割处理模块；所述肺炎病灶检测分割处理模块包括肺炎病灶的首次检出模块，滤除假阳性肺炎病灶模块以及肺炎病灶融合模块。
优选的，所述肺炎病灶首次检出模块能够实施传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
更优选的所述图像语义分割用于体积较大的肺炎病灶，包括：在ct图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
本发明进一步公开了一种基于肺炎医学图像的病灶检测装置，包括：至少一个存储器，用于存储程序；至少一个处理器，用于加载所述程序以执行上述的方法。
本发明进一步公开了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现上述的方法。
本发明进一步请求保护所述的检测装置以及所述的存储介质在肺炎病灶分割中的应用。
本发明所提出的肺炎检测及病灶分割方法，主要包括ct影像获取、影像数据预处理模块与肺炎检测分割模块(如图1)。
其中，肺炎检测分割模块可分为三部分：肺炎病灶首次检出框架、滤除假阳性肺炎病灶框架以及，肺炎病灶融合框架。详细介绍如下：
(1)肺炎病灶首次检出框架：肺炎病灶首次检出框架包括传统图像语义分割方法与实例分割方法，旨在针对不同尺寸的肺炎病灶，均能保持良好的检出效果(如图2)。
其中，语义分割模型被用于对体积较大的肺炎病灶进行分割。语义分割模型可以在特征提取部分增加上采样结构，并分别在不同尺度下，对所提取的特征进行融合，因此适用于大尺寸图像的分割问题，并且可以实现精准的细节分割。图像语义分割模型的建立步骤介绍如下：在ct图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
对于不同尺度的肺炎病灶，由于在对体积较小的肺炎病灶进行分割时，前景目标尺寸过小，导致图像样本类别十分不均衡，并且在使用iou(intersectionoverunion)指标来衡量物体检测的准确性时，前景目标的损失函数值被背景目标的损失函数值所淹没，导致前景目标无法检出，即出现体积较小的肺炎病灶被漏检的情况。因此，针对体积较大的肺炎病灶，本发明采用图像语义分割方法对肺炎病灶进行检测与分割。当病灶体积较大时，前景目标尺寸较大，前景目标的损失函数值不会被背景目标的损失函数值所淹没，能够保证体积大的病灶被检出。另外，由于体积较大的病灶形状多变，很不规则，采用图像语义分割方法，根据临床数据的标注结果，对每一个体素进行分类，在这一过程中，仅区分体素是否属于肺炎病灶，而不区分体素所属的病灶的性质，分割结果不受病灶不规则形状的影响，在检出体积较大的肺炎病灶时具有高灵敏度。
本发明使用实例分割模型对体积较小的肺炎病灶进行分割。实例分割是一种灵活的图像分割框架，不仅可以用来检测图像上的目标物体，识别物体所在的感兴趣区域并得到物体的检测框，还可以对每一个检测框内的目标物体进行精准地分割。在本发明所提出的肺炎检测及病灶分割的智能方法中，本发明将实例分割方法扩展到三维空间中，区别于以往在二维空间中对图像上的目标物体进行检测与分割，本发明在三维空间中对三维病灶所在的区域进行检测及分割。图像实例分割模型的建立步骤如下：采用two-stage思想，首先对肺炎病灶进行目标检测，得到肺炎病灶所在位置的三维检测框，接下来，对每一个识别的目标，即三维检测框内的肺炎病灶进行详细分类，并在每个肺炎病灶的检测目标中，在三维空间中进一步分割出肺炎病灶。对于形状不规则、体积较大的肺炎病灶，该方法在目标检测与分类过程中，可能会将肺炎病灶误分类为其他目标，因此对大体积肺炎病灶的检测效果一般。在针对小体积肺炎病灶的检测、分割过程中，由于先对小体积病灶进行了检测，大部分的背景被剔除，再针对病灶检测框内的病灶进行分割，因此大大缓解了图像类别不均衡的问题，保证小体积病灶被正确分割。因此，针对体积较小的肺炎病灶，本发明采用实例分割的方法对肺炎病灶进行检测与分割，保证了检出小体积肺炎病灶的高灵敏度。
在分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，本发明将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
(2)滤除假阳性肺炎病灶框架：在得到肺炎病灶首次检出结果后，本发明首先基于肺部的分割结果，滤除在肺部区域外所识别的假阳性病灶。接下来，本发明应用基于深度学习的分类模型，对剩余的肺炎病灶进行分类，区分真正的肺炎病灶和斑片影、纤维条索灶等，进一步滤除检出结果中的假阳性病灶，提高肺炎检测分割结果的特异度(如图3)。
(3)肺炎病灶融合框架：在滤除假阳性肺炎病灶后，本发明对剩余的肺炎病灶进行融合。首先，本发明应用adaboost方法，基于图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，以及肺炎病灶的真实分割结果，训练分类器来得到每个肺炎病灶最终的预测分数。接下来，基于肺炎病灶的最终预测分数，应用nms(non-maximumsuppression)方法，对肺炎病灶分割结果进行融合，滤除冗余的病灶，得到最终的肺炎病灶分割结果(如图4)。
本发明所提出的肺炎检测及病灶分割的智能方法，基于图像语义分割模型和图像实例分割模型，并将二者进行融合，有效地解决了临床肺炎病灶判别中，体积较大病灶与体积较小病灶检出性能不一致的问题，改善了现有方法中体积小的肺炎病灶易漏检，而体积大的肺炎病灶分割效果差的现状，提高了病灶检出结果的灵敏度。在应用图像语义分割模型与图像实例分割模型的过程中，应用了特征金字塔技术，不断提高输出结果的精度。此外，本发明还基于先验知识，滤除不同尺度下病灶检出结果中的假阳性病灶，进一步提高肺炎病灶检出结果的特异度。最后，本发明根据每个病灶的置信度，将不同尺度下检出的肺炎病灶进行了融合，得到最终肺炎病灶检出的高精度结果。具体可体现如下：
(1)检出不同尺度的肺炎病灶：对于体积较大的肺炎病灶，本发明采用图像语义分割模型，通过将所提取的不同尺度的特征进行融合后，提高了对体积较大且形状不规则的肺炎病灶的细节分割的精准度。此外，采用语义分割模型，避免了将体积较大的肺炎病灶误分类为其他目标的问题，保证了体积较大的肺炎病灶检出的灵敏度。对于体积较小的肺炎病灶，本发明采用图像实例分割模型，在对肺炎病灶进行目标检测的基础上，对每一个三维检测框内的肺炎病灶进行分割。在目标检测的过程中，由于部分背景区域已被剔除掉，在每一个检测框内，体积较小的肺炎病灶，即前景目标的损失函数值并不会被背景目标的损失函数值所淹没，保证了体积较小的肺炎病灶检出的灵敏度。
(2)滤除假阳性肺炎病灶：针对首次检出的肺炎病灶，首先基于肺部分割结果，滤除在肺部区域外所识别的假阳性病灶，再应用深度学习分类模型，对剩余病灶进行分类，滤除检出结果中的其他假阳性病灶，如斑片影和纤维条索灶等，提高了肺炎检测分割结果的特异度。
(3)不同尺寸检出肺炎病灶融合：首先，应用adaboost方法，根据图像语义分割与图像实例分割中，获取的较大体积病灶及较小体积病灶的体素预测分数，结合肺炎病灶分割的真实结果，训练分类器来得到每个肺炎病灶最终的预测分数。在这个过程中，保证了较大体积病灶及较小体积病灶最终预测分数之间的可比性。基于最终的预测分数，应用nms方法，对肺炎病灶分割结果进行融合，去除了冗余病灶，得到最终的肺炎病灶分割结果。
(4)三维空间病灶分割：本发明所提出的方法直接在三维空间中对肺炎病灶进行检出，采用3d网络可以结合不同层面图像之间的信息，确保了相邻层面病灶分割结果mask之间变化的连续性，使得不同层面的病灶轮廓在三维空间中可以吻合。
附图说明
图1.肺炎检测及病灶分割方法
图2.肺炎病灶首次检出框架
图3.滤除假阳性肺炎病灶框架示意图
图4.肺炎病灶融合框架示意图
图5.肺炎病灶首次检出示例
图6.不同体积肺炎病灶分割结果示例(左图：预处理后的ct影像；右图：肺炎病灶分割结果)
图7.滤除假阳性肺炎病灶框架
图8.肺炎病灶融合框架示意图
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
定义
除非在下文中另有定义，本文中所用的所有技术术语和科学术语的含义意图与本领域技术人员通常所理解的相同。提及本文中使用的技术意图指在本领域中通常所理解的技术，包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以下术语对于本领域技术人员很好理解，但仍然阐述以下定义以更好地解释本发明。
如本文中所使用，术语“包括”、“包含”、“具有”、“含有”或“涉及”及其在本文中的其它变体形式为包含性的(inclusive)或开放式的，且不排除其它未列举的元素或方法步骤。
在提及单数形式名词时使用的不定冠词或定冠词例如“一个”或“一种”，“所述”，包括该名词的复数形式。
本发明中的术语“大约”、“大体”表示本领域技术人员能够理解的仍可保证论及特征的技术效果的准确度区间。该术语通常表示偏离指示数值的±10％，优选±5％。
此外，说明书和权利要求书中的术语第一、第二、第三、(a)、(b)、(c)以及诸如此类，是用于区分相似的元素，不是描述顺序或时间次序必须的。应理解，如此应用的术语在适当的环境下可互换，并且本发明描述的实施方案能以不同于本发明描述或举例说明的其它顺序实施。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。在对ct影像数据进行hu值转换及肺窗处理等预处理后，本发明通过以下三个阶段来实现对肺炎病灶的检出。
实施例1肺炎病灶首次检出框架
此为第一阶段，经过预处理后的ct影像数据分别经过图像语义分割和图像实例分割处理，得到体积较大的肺炎病灶和体积较小的肺炎病灶的分割结果，图像语义分割与图像实例分割均直接在三维空间中对ct影像数据进行处理(如图5)。体积较大的肺炎病灶和体积较小的肺炎病灶的分割结果示例如图6所示。
在图像语义分割的过程中，由于ct图像的尺寸较大，本发明首先将预处理后的ct图像裁剪成固定大小的模块，并将每一个图像块分别放入语义分割模型中提取特征，在拼接不同尺度下所提取的特征并对每一个体素进行分割后，得到该图像块的肺炎病灶分割结果，即肺炎病灶的3dmask。在训练语义分割模型的过程中，训练集的全部数据均由经验丰富的临床医生进行标注，未标记的像素点被设置为0。由图6第一行可见，语义分割模型可以实现对体积较大的肺炎病灶边界的精准分割。
在图像实例分割的过程中，首先对肺炎病灶进行目标检测，接下来，将感兴趣区域缩放至不同的尺度，分别在每个尺度下提取感兴趣区域的特征，构建特征金字塔，并实现对感兴趣区域的定位与分类。最后，对每个感兴趣区域内的肺炎病灶进行分割，生成肺炎病灶的3dmask。由图6第二行可见，实例分割模型可以实现对体积较小的肺炎病灶边界的精准分割。
获取图像语义分割与实例分割的结果后，本发明将分割得到的肺炎病灶整合，得到肺炎病灶首次检出结果。
实施例2滤除假阳性肺炎病灶框架
此为第二阶段，首先，从ct影像中提取肺部的mask，将肺炎病灶首次检出结果中位于肺部mask之外的假阳性病灶滤除。接下来，将剩余的肺炎病灶作为输入，应用深度学习分类模型，对这些肺炎候选病灶进行多分类，区分真正的肺炎病灶和斑片影、纤维条索灶等，保留真正肺炎病灶的分割结果(如图7)。
实施例3肺炎病灶融合框架
此为第三阶段，滤除假阳性肺炎病灶后，本发明对剩余的肺炎病灶进行融合，根据图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，应用adaboost方法，对所有候选肺炎病灶重新计算预测分数，应用nms方法，首先将候选肺炎病灶根据重新计算的预测分数进行排序，选出预测分数最高的肺炎病灶并保留，计算其与其他病灶之间的重合率，并去除重合率超过一定阈值的候选对肺炎病灶。接下来，从剩余候选病灶中，选出预测分数最高的肺炎病灶并保留，重复上述过程，直到找到所有需要保留下来的肺炎病灶，完成肺炎病灶分割结果的融合，得到最终的肺炎病灶分割结果(如图8)。
本发明通过上述实施例来说明本发明的工艺方法，但本发明并不局限于上述工艺步骤，即不意味着本发明必须依赖上述工艺步骤才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用原料的等效替换及辅助成分的添加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。
1.一种用于肺炎病灶分割的方法，包括如下步骤：(1)影像数据预处理；(2)肺炎病灶检测分割处理；其特征在于，所述肺炎病灶检测分割处理包括肺炎病灶的首次检出，滤除假阳性肺炎病灶以及肺炎病灶融合；所述肺炎病灶首次检出包括传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
2.如权利要求1所述的方法，其特征在于：所述图像语义分割用于体积较大的肺炎病灶，包括：在ct图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
3.如权利要求1所述的方法，其特征在于：所述实例分割用于体积较小的肺炎病灶，包括：采用two-stage思想，对肺炎病灶进行目标检测，得到肺炎病灶所在位置的三维检测框，接下来，对每一个识别的目标，即三维检测框内的肺炎病灶进行详细分类，并在每个肺炎病灶的检测目标中，在三维空间中进一步分割出肺炎病灶。
4.如权利要求1-3任一权利要求所述的方法，其特征在于：所述滤除假阳性肺炎病灶包括：滤除在肺部区域外所识别的假阳性病灶以及对剩余的肺炎病灶进行分类，区分真正的肺炎病灶和斑片影、纤维条索灶，进一步滤除检出结果中的假阳性病灶。
5.如利要求4所述的方法，其特征在于，所述肺炎病灶融合包括：应用adaboost方法，基于图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，以及肺炎病灶的真实分割结果，训练分类器来得到每个肺炎病灶最终的预测分数，并基于预测分数，通过非极大值抑制方法对肺炎病灶分割结果进行融合，得到最终的肺炎病灶分割结果。
6.一种肺炎病灶分割系统，包括(1)影像数据预处理模块；(2)肺炎病灶检测分割处理模块；其特征在于，所述肺炎病灶检测分割处理模块包括肺炎病灶的首次检出模块，滤除假阳性肺炎病灶模块以及肺炎病灶融合模块；所述肺炎病灶首次检出模块能够实施传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
7.如权利要求6所述的肺炎病灶分割系统，其特征在于：所述图像语义分割用于体积较大的肺炎病灶，包括：在ct图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
8.一种基于肺炎医学图像的病灶检测装置，其特征在于，包括：至少一个存储器，用于存储程序；至少一个处理器，用于加载所述程序以执行如权利要求1-5任一项所述的方法。
9.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-5任一项所述的方法。
10.权利要求8所述的检测装置以及权利要求9所述的存储介质在肺炎病灶分割中的应用。
技术总结