一种基于卷积神经网络的医学图像分割的方法与流程

    专利2022-07-08  106


    本发明涉及医疗技术领域,特别涉及一种基于卷积神经网络的医学图像分割方法。



    背景技术:

    在实际的图像处理问题中,图像边缘是图像最基本的特征之一,往往携带着一幅图像的大部分信息。图像的边缘经常被应用到特征描述、图像识别、图像分割、图像增强以及图像压缩等的图像处理和分析技术中,从而可对图像作进一步的分析和理解。它在图像识别,图像分割,图像增强以及图像压缩等的领域中有较为广泛的应用,我们经常需要对一幅图像检测和提取出它的边缘图像。例如对于骨科医学图像的边缘区域的判定不够清晰的,这加大了医生根据医学图像判断病例的难度。

    边缘检测的实质是采用某种算法来提取出图像中对象与背景间的交界线。我们将边缘定义为图像中灰度发生急剧变化的区域边界。图像灰度的变化情况可以用图像灰度分布的梯度来反映,因此我们可以用局部图像微分技术来获得边缘检测算子。经典的边缘检测方法,是对原始图像中像素的某小邻域来构造边缘检测算子。

    神经网络是一种多种学科交叉的研究课题,随着应用技术的不断深入及应用范围的不断扩展,它被用来解决很多传统科学解决不了的难题,为人们学习世界、发现未知范畴、增强现代科学科研水平、从而以科技带动生产力、增大人民经济发展幅度带来了积极的影响,已成为科学领域方向国际公认的尖端前沿课题。对神经网络的探索,是推动神经网络技术应用的重要环节,具有极高的实际工程应用价值。



    技术实现要素:

    本发明的目的是针对现有技术的不足,提供了一种基于卷积神经网络的医学图像分割方法,利用所述方法得到的图像边缘灰度值更精确,层次感更强。

    本发明提供一种基于卷积神经网络的医学图像分割方法,所述方法由计算机设备执行,包括以下步骤:

    1)对所述医学图像进行预处理,得到第一图像数据和第二图像数据;

    2)基于卷积神经网络模型构造图像分割模型,分别得到第一图像模型和马尔可夫图像模型;

    3)对所述第一图像模型进行迭代,根据所述迭代结果训练所述马尔可夫图像模型,最后输出训练后的所述马尔可夫图像模型的图像分割结果。

    进一步地,对所述医学图像进行预处理的方法包括如下步骤:首先,将所述医学图像转化为灰度图像,得到的所述灰度图像称为所述第一图像数据;其次,对所述第一图像数据进行图像去噪处理或图像增强处理,得到所述第二图像数据。

    进一步地,将所述医学图像转化为灰度图像的方法为:对所述医学图像中的任一像素点展开为冠状面二维图像、矢状面二维图像和横断面二维图像,并将展开后的三个所述二维图像作为rgb的三个通道,转化为所述灰度图像。

    进一步地,所述基于卷积神经网络模型构造图像分割模型,分别得到第一图像模型和马尔可夫图像模型的方法包括如下步骤:首先,构造vgg-16深度神经卷积网络模型;其次,将所述vgg-16深度神经卷积网络模型的sofmax层与最小化全连接条件随机场相连,将所述连接后的模型称为所述第一图像模型;然后,将所述vgg-16深度神经卷积网络模型的所述sofmax层与马尔可夫网络相连,将所述连接后的模型称为所述马尔可夫图像模型。

    进一步地,所述vgg-16深度神经卷积网络模型中:卷积层为3*3的卷积核,步长为1,填充padding=same;池化层为2*2的池化核,步长为2;激活单元使用relu函数。

    进一步地,所述最小化全连接条件随机场的目标函数为:

    其中,e表示像素点与其他像素点的边;一元势函数ψu(xi)是vgg-16深度神经卷积网络模型的输出函数;成对势函数ψp(xi,xj)的公式为:

    其中,u(xi,xj)表示标签之间的兼容性度量,kg表示一个高斯核,特征向量fi用(x,y,r,g,b)表示。

    进一步地,所述马尔可夫网络的目标函数为:

    其中,e表示像素点与其他像素点的边;一元势函数ψu(xi)是vgg-16深度神经卷积网络模型的输出函数;成对势函数ψp(xi,xj)的公式为:

    其中,u(xi,xj)表示标签之间的兼容性度量,kg表示一个高斯核,特征向量fi用(x,y,r,g,b)表示。

    进一步地,对所述第一图像模型进行迭代,根据所述迭代结果训练所述马尔可夫图像模型,最后输出图像分割的结果的方法包括如下步骤:首先,基于所述第二图像数据,用所述第一图像模型输出第n图像测试结果:将第n-1的图像测试结果数据输入到第n图像模型中,用以训练所述第n图像模型,并从所述第n图像模型中输出第n图像测试结果;其次,基于所述第n图像测试结果训练马尔可夫模型,并从所述马尔可夫模型中输出最后的图像分割结果。

    同样地,本发明还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述任一项权利要求所述的图像分割方法的步骤。

    同样地,本发明还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述任一项权利要求所述的图像分割方法的步骤。

    本发明与现有技术相比,具有如下优点和有益效果:

    本发明的图像分割方法基于深度神经网络的学习,通过引入全连接条件随机场和马尔可夫网络,所述第一图像模型和所述马尔可夫模型都是深度神经网络模型,极大地增强了神经网络的学习能力,建立起原始图像到灰度图像的准确映射;有较好的提取图像的信息通过本专利提供的图像增强技术方法,可以提升图像的质量,减少因模糊图像而出现医生判断错误的情况,提高医生对病情的判断。

    附图说明

    通过参考附图阅读下文的详细描述,本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:

    图1示出了本发明实施例的一种基于卷积神经网络的图像分割方法的示例性流程。

    图2示出了图1的流程图中的s1的方法流程示意图。

    图3示出了图1的流程图中的s2的方法流程示意图。

    图4示出了图1的流程图中的s3的方法流程示意图。

    具体实施方式

    下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。

    实施例1:本实施例提供了一种基于卷积神经网络的图像分割方法,所述方法在对图像分割之前进行图像预处理,同时,在卷积神经网络中引进全连接随机场,提高了图像的边缘清晰度,让图像边缘分解区域能被更好地分辨,协助医生对病情进行判断。流程图如图1所示,包括以下步骤:

    s1、图像预处理;

    如图2所示,首先,对所述医学图像中的任一像素点展开为冠状面二维图像、矢状面二维图像和横断面二维图像,并将展开后的所述三个二维图像作为rgb的三个通道,将其转化为灰度图像,这些所述灰度图像称为第一图像数据;

    其次,对所述第一图像数据进行汉宁窗加窗处理,并对所述加窗后的图像进行图像数据去噪处理或图像增强处理,获得第二图像数据;

    s2、构造图像分割模型;

    如图3所示,首先,构造vgg-16深度神经卷积网络模型,其中:卷积层全部用3*3的卷积核,步长为1,填充padding=same;池化层的池化核用2*2,步长为2;激活单元使用relu函数;

    其次,将vgg-16深度神经卷积网络模型的sofmax层与最小化全连接条件随机场相连,将所述连接后的模型称为第一图像模型,所述最小化全连接条件随机场的目标函数为:

    其中,e表示像素点与其他像素点的边;一元势函数ψu(xi)是vgg-16深度神经卷积网络模型的输出函数;成对势函数ψp(xi,xj)用下述公式进行计算:

    其中,u(xi,xj)表示标签之间的兼容性度量,kg表示一个高斯核,特征向量fi用(x,y,r,g,b)表示,即将像素点的像素值r,g,b)和坐标位置(x,y)一起作为特征向量进行计算。

    将vgg-16深度神经卷积网络模型的所述sofmax层与马尔可夫网络相连,该连接模型称为马尔可夫图像模型,使马尔可夫图像模型的目标函数最小,其中所述目标函数与所述第一图像模型相同:

    其中,e表示像素点与其他像素点的边;一元势函数ψu(xi)是vgg-16深度神经卷积网络模型的输出函数;成对势函数ψp(xi,xj)用下述公式进行计算:

    其中,u(xi,xj)表示标签之间的兼容性度量,kg表示一个高斯核,特征向量fi用(x,y,r,g,b)表示,即将像素点的像素值(r,g,b)和坐标位置(x,y)一起作为特征向量进行计算。

    s3、迭代模型;

    如图4所示,首先,基于所述第二图像数据,用所述第一图像模型确定第n图像模型。包括:将第n-1的图像测试结果数据输入到所述第n图像模型中,用以训练所述第n图像模型,并从所述第n图像模型中输出第n图像测试结果

    其次,基于所述第n图像测试结果训练马尔可夫模型,并从所述马尔可夫模型中输出最后的图像分割结果,即输出训练后的所述马尔可夫图像模型的图像分割结果。

    本发明实施例还提供了一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述图像分割方法的步骤。

    本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述图像分割方法的步骤。

    该实现可以作为电路分布在多个系统部件之间,例如多个处理器和存储器之间,可选地包括多个分布式处理系统。参数,数据库和其它数据结构可以被分开存储和管理,可以被并入单个存储器或数据库,可以以许多不同的方式逻辑地和物理地组织,并且可以以许多不同的方式实现,包括作为数据结构,例如链接列表,散列表,数组,记录,对象或隐式存储机制。程序可以是单个程序的一部分(例如子程序),独立的程序,分布在几个存储器和处理器上,或者以许多不同的方式实现,例如在库中,例如共享库(例如动态链接库(dll))。例如,当由电路执行时,dll可以存储执行上述或附图中所示的任何处理的指令。

    本发明实施例涉及的方法和装置能够利用标准编程技术来完成,利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是,此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

    此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中,软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现,其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

    出于示例和描述的目的,已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式,根据上述教导还可能存在各种变形和修改,或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用,以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。


    技术特征:

    1.一种基于卷积神经网络的医学图像分割方法,其特征在于,该方法由计算机设备执行,包括以下步骤:

    1)对所述医学图像进行预处理,得到第一图像数据和第二图像数据;

    2)基于卷积神经网络模型构造图像分割模型,分别得到第一图像模型和马尔可夫图像模型;

    3)对所述第一图像模型进行迭代,根据所述迭代结果训练所述马尔可夫图像模型,最后输出训练后的所述马尔可夫图像模型的图像分割结果。

    2.根据权利要求1所述的医学图像分割方法,其特征在于,对所述医学图像进行预处理的方法包括如下步骤:

    首先,将所述医学图像转化为灰度图像,得到的所述灰度图像称为所述第一图像数据;

    其次,对所述第一图像数据进行图像去噪处理或图像增强处理,得到所述第二图像数据。

    3.根据权利要求2所述的医学图像分割方法,其特征在于,将所述医学图像转化为灰度图像的方法为:对所述医学图像中的任一像素点展开为冠状面二维图像、矢状面二维图像和横断面二维图像,并将展开后的三个所述二维图像作为rgb的三个通道,转化为所述灰度图像。

    4.根据权利要求1所述的医学图像分割方法,其特征在于,所述基于卷积神经网络模型构造图像分割模型,分别得到第一图像模型和马尔可夫图像模型的方法包括如下步骤:

    首先,构造vgg-16深度神经卷积网络模型;

    其次,将所述vgg-16深度神经卷积网络模型的sofmax层与最小化全连接条件随机场相连,将所述连接后的模型称为所述第一图像模型;

    然后,将所述vgg-16深度神经卷积网络模型的所述sofmax层与马尔可夫网络相连,将所述连接后的模型称为所述马尔可夫图像模型。

    5.根据权利要求4所述的医学图像分割方法,其特征在于,所述vgg-16深度神经卷积网络模型中:卷积层为3*3的卷积核,步长为1,填充padding=same;池化层为2*2的池化核,步长为2;激活单元使用relu函数。

    6.根据权利要求4所述的医学图像分割方法,其特征在于,所述最小化全连接条件随机场的目标函数为:

    其中,

    e表示像素点与其他像素点的边;

    一元势函数ψu(xi)是vgg-16深度神经卷积网络模型的输出函数;

    成对势函数ψp(xi,xj)的公式为:

    其中,

    u(xi,xj)表示标签之间的兼容性度量,kg表示一个高斯核,特征向量fi用(x,y,r,g,b)表示。

    7.根据权利要求4所述的医学图像分割方法,其特征在于,所述马尔可夫网络的目标函数为:

    其中,

    e表示像素点与其他像素点的边;

    一元势函数ψu(xi)是vgg-16深度神经卷积网络模型的输出函数;

    成对势函数ψp(xi,xj)的公式为:

    其中,

    u(xi,xj)表示标签之间的兼容性度量,kg表示一个高斯核,特征向量fi用(x,y,r,g,b)表示。

    8.根据权利要求1所述的医学图像分割方法,其特征在于,对所述第一图像模型进行迭代,根据所述迭代结果训练所述马尔可夫图像模型,最后输出图像分割的结果的方法包括如下步骤:

    首先,基于所述第二图像数据,用所述第一图像模型输出第n图像测试结果:将第n-1的图像测试结果数据输入到第n图像模型中,用以训练所述第n图像模型,并从所述第n图像模型中输出第n图像测试结果;

    其次,基于所述第n图像测试结果训练马尔可夫模型,并从所述马尔可夫模型中输出最后的图像分割结果。

    9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至8中任一项权利要求所述的图像分割方法的步骤。

    10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至8中任一项权利要求所述的图像分割方法的步骤。

    技术总结
    本发明公开了一种基于卷积神经网络的医学图像分割的方法,该方法包括如下步骤:对所述医学图像进行预处理,得到第一图像数据和第二图像数据;基于卷积神经网络模型构造图像分割模型,分别得到第一图像模型和马尔可夫图像模型;对所述第一图像模型进行迭代,根据所述迭代结果训练所述马尔可夫图像模型,最后输出训练后的所述马尔可夫图像模型的图像分割结果。本发明提供的方法通过引入全连接条件随机场和马尔可夫网络,所述第一图像模型和所述马尔可夫模型都是深度神经网络模型,极大地增强了神经网络的学习能力,建立起原始图像到灰度图像的准确映射,可以提升图像的质量,减少因模糊图像而出现医生判断错误的情况,提高医生对病情的判断。

    技术研发人员:沈建雄;戎天华;谭海宁;冯尔维
    受保护的技术使用者:中国医学科学院北京协和医院
    技术研发日:2020.12.22
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-16331.html

    最新回复(0)