本发明属于图像处理与分析中的图像融合技术领域，更具体地，涉及一种基于darts网络的多模态医学图像融合方法。
背景技术：
随着医学成像技术的发展，越来越多的医学成像技术如超声成像(us)、计算机断层扫描(ct)、磁共振成像(mri)、正电子发射断层扫描(pet)和单光子发射计算机断层扫描(spect)被应用于人体各个器官疾病的诊断与评估中。每种医学成像技术都有其优缺点，如ct成像可涵盖人体各个解剖部位，密度分辨率高，但是其空间分辨率低，关节肌肉显示差，存在伪影。而mr成像具有高度软组织分辨能力，无骨伪影及重叠伪影，缺点是扫描时间长，空间分辨率低于ct。多模态医学图像融合可将不同模态下图像特有的信息整合在一副图像里，便于医生观察诊断。因此，多模态医学图像融合在临床发挥着重要的作用，如在临床中将us与mri融合实现前列腺穿刺活检，将pet与ct融合实现肺癌检测等。
传统的图像融合算法主要分为像素级、特征级和决策级的图像融合方法。其中像素级融合能获得较高的精度，实施简单，但是其抗干扰能力差，对噪声敏感，在医学图像融合中容易产生伪影，影响医生诊断准确率；特征级融合方法中特征提取主要来自人工设计的方法，因医学图像的复杂性，人工设计的特征很难适应不同的医学图像；决策级融合对噪声不敏感，但是其融合精度差，实施困难，并且获得的融合图像信息量少，用于医学图像融合很容易丢失重要信息。
深度学习可从大量样本中集中学习样本的特征信息，近年来被广泛用于图像处理和分析任务，如图像分割、图像配准和图像融合等。就图像融合而言，由于没有金标准，基于深度学习的图像融合方法可分为以下两类：第一类是利用深度学习方法来提取特征，然后基于提取的特征，采用传统的融合策略对图像进行融合；第二类是端对端的融合方法。第一类方法的具体做法是使用预训练的深度学习模型进行特征的提取，采取传统的策略进行特征融合以及后续的融合图像重建。第二类方法可分为有监督方法和无监督方法，其具体做法是提出一种端到端的网络结构，采用mse以及ssim等测度，对图像融合数据集进行训练，将训练好的模型直接用于图像融合。
对于第一类方法而言，其实现简单，直接用预训练的模型以及一些传统的融合、重建策略进行图像融合，省去了训练步骤，但是由于预训练模型是适用于某个特定数据集，因此此种方法泛化能力较差，不适用于多种数据集或者是多任务图像融合。对于第二类方法而言，其可通过使用合适的网络结构以及对数据集的训练，提升网络提取图像特征的能力，配合卷积升采样等一些步骤，较好地实现端到端的图像融合。在该类方法中，网络结构的设计和网络的损失函数至关重要，现有的此类融合方法在网络结构方面通常采用简单的cnn和resnet网络结构，并采用简单的mse和ssim等测度，很难确保融合图像质量。
技术实现要素：
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于darts网络的多模态医学图像融合方法，其目的在于提高多模态医学图像融合后的图像质量。
为实现上述目的，本发明提供了一种基于darts网络的多模态医学图像融合方法，包括：
s1.利用多模态医学图像数据对预先设置的darts模型进行网络结构搜索，得到适用于多模态医学图像数据的darts网络结构；darts网络结构包括一个或多个串接的胞体；每个胞体包括多个节点；各个节点与前两个胞体的输出或当前胞体内其他节点通过不同的卷积操作连接；各个节点的通道合并作为胞体的输出；
s2.构建多模态医学图像融合网络；多模态医学图像融合网络包括多通道darts网络模块、特征融合模块、升采样模块；其中，多通道darts网络模块由多个并列的darts网络结构构成；
darts网络结构，用于对输入图像进行降采样，得到对应的特征图；特征融合模块，用于对双通道darts网络模块输出的特征图进行特征融合；升采样模块，对融合后的特征进行卷积升采样，得到与输入图像尺寸相同的融合结果；
s3.利用多模态医学图像数据采用无监督学习方法对多模态医学图像融合网络进行训练；
s4.将待融合的多模态医学图像输入训练好的多模态医学图像融合模型，得到融合结果。
进一步地，采用结构相似性、多尺度结构相似性、边缘保护度、差值互相关、互信息及基于结构表征的互信息作为多模态医学图像融合网络训练的损失函数。
进一步地，训练多模态医学图像融合网络的损失函数为：
其中，lssim表示结构相似性损失，lscd表示差值互相关损失，lmi表示互信息损失，lms-ssim表示多尺度结构相似性损失，
进一步地，步骤s1中不同的卷积操作包括：卷积核大小为3的深度可分卷积，卷积核大小为5的深度可分卷积，卷积核大小为3的标准卷积，卷积核大小为5的标准卷积，卷积核大小为3的空洞卷积，卷积核大小为5的空洞卷积，跳跃连接。
进一步地，darts网络结构包括一个胞体。
进一步地，所述胞体包括四个节点。
进一步地，胞体中卷积步长置1，采用填充方式使特征图与输入图像大小一致。
进一步地，特征融合模块，对双通道darts网络模块输出的特征图进行特征融合，具体为，采用通道合并方式实现特征图的融合。
进一步地，所述方法还包括对多模态医学图像数据进行数据增强。
进一步地，所述数据增强包括平移、旋转和非刚性形变。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
本发明采用可微架构搜索(differentiablearchitecturesearch,darts)网络对多模态医学图像进行特征提取，该网络在搜索阶段以网络权重的梯度作为损失函数来进行学习，在不同卷积操作、不同节点的连接之间选择出最适应于当前数据集的网络结构，使得网络提取得到的特征细节更加丰富；同时本发明采用能表征图像灰度信息、相关性、细节信息、结构特征及图像对比度的多种指标作为网络损失函数，可在无需金标准情况下，以无监督学习方式实现医学图像的有效融合，在图像细节保护及图像对比度提升等方面较现有方法具有更优的融合效果。
附图说明
图1是本发明提供的基于darts网络的多模态医学图像融合方法结构图；
图2是cifar-10数据集下darts模型的cell结构；
图3(a)为本发明实施例以及对比方法使用的源ct图像；
图3(b)为本发明实施例以及对比方法使用的源mr图像；
图4(a)为对比方法1nsct-sr获得的融合图像；
图4(b)为对比方法2dtcwt-sr获得的融合图像；
图4(c)为对比方法3nsst-papcnn获得的融合图像；
图4(d)为对比方法4densefuse获得的融合图像；
图4(e)为对比方法5vifnet获得的融合图像；
图4(f)为对比方法6nestfuse获得的融合图像；
图5为本发明方法获得的融合图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
参考图1，本发明提供的一种基于darts网络的多模态医学图像融合方法，包括：
s1.利用多模态医学图像数据对预先设置的darts模型进行网络结构搜索，得到适用于多模态医学图像数据的darts网络结构；darts网络结构包括多个串接的胞体cell；每个胞体包括多个节点；各个节点与前两个胞体的输出或当前胞体内其他节点通过不同的卷积操作连接；各个节点的通道合并作为胞体的输出；
本发明实施例中darts网络为经过数据集cifar-10预训练的darts模型，但darts网络的全连接层以及分类器部分被去掉，为保证提取图像特征的同时大幅减少网络参数，cell的数量设置为1，每个cell中节点的数量设置为4，具体结构如图2所示，节点通过深度可分卷积、跳跃连接、空洞卷积实现连接，除了这几种卷积操作，节点连接可选地卷积操作还可为节点连接可选地卷积操作还可为卷积核大小为5的深度可分卷积，卷积核大小为3的标准卷积，卷积核大小为5的标准卷积。目前这些卷积方式能够在端到端的网络结构中对图像特征有好的表征。
下采样输出为四个节点的通道合并；cell中卷积步长置1，采用填充方式使特征图与输入图像大小一致，以避免信息丢失。
s2.构建多模态医学图像融合网络；多模态医学图像融合网络包括多通道darts网络模块、特征融合模块、升采样模块；其中，多通道darts网络模块由多个并列的darts网络结构构成；darts网络结构，用于对输入图像进行降采样，得到对应的特征图；特征融合模块，用于对双通道darts网络模块输出的特征图进行特征融合，可选地，本发明采用通道合并方式实现特征图的融合，通道合并可以使得源图像的特征通过后面的卷积进行有权重的融合，在网络损失函数设计得当的情况下，通道合并的方式实现特征融合效果更好，能更大程度的保留源图像的有用信息。升采样模块，对融合后的特征进行卷积升采样，得到与输入图像尺寸相同的融合结果；升采样操作中，采用3×3的卷积，步长1的有填充方式，将卷积神经网络的通道数从128递减为1。
图1所示的两通道darts网络仅作为便于呈现网络整体结构所采取的的一个可实施的实例，根据融合图像的模态数量，还可设置多个并列的通道。
s3.利用多模态医学图像数据采用无监督学习方法对多模态医学图像融合网络进行训练；
为实现网络训练，本发明采用的损失函数包括结构相似性(ssim)，多尺度结构相似性(ms-ssim)，边缘保护度
本发明将上述评价指标以如下方式组合作为损失函数：
上述损失函数包含三组函数，第一组mi和scd与图像灰度信息和相关性有关，第二组与图像边缘和结构信息有关，第三组则是约束边缘的附加项。其中λ1、λ2分别为各组损失函数的权重。
scd反映融合图像与源图像的相关性之和，其计算公式如下：
lscd＝-(r(f-s2,s1) r(f-s1,s2))
其中r代表相关性计算，具体公式如下：
mi表征融合图像包含两源图像的信息量大小，其具体公式为：
lmi＝-(i(s1,f) i(s2,f))
其中,互信息i公式如下：
其中，p(s)与p(f)为边缘分布，p(s,f)为s与f的联合分布。
ssim损失的公式如下：
其中ssim为结构相似性，利用两幅图像之间的亮度、对比度和结构等信息进行计算，具体公式如下：
其中，μs和μf分别是s和f的平均值。
ms-ssim为多层级的结构相似性，是以2的幂次为因子对图像进行不同尺度的缩小，然后计算出不同尺度下的结构相似性而得到的指标。
其中，
其中，
其中γα，γg，κα，κg，σg和σα是常数，asf与gsf分别是源图像s与融合图像f的方向相关值与长度相关值，其计算公式如下：
其中gs、αs、gf和αf分别是源图像与融合图像的边缘长度与角度。
sr-mi代表基于结构表征结果的互信息，这里结构表征结果利用pcanet网络来获得。
本发明实施例选取atlas(来自哈佛医学院的主办的网站：http://www.med.harvard.edu/aanlib/home.html，其中搜集了正常情况以及不同疾病状态下的人脑ct,mri,pet,spect图片)数据集中的脑部ct与mr图像，对其进行平移、旋转和非刚性变换，将得到的30000对图像作为训练集；同时，选择不属于训练集的脑部ct与mr图像，以构建测试集，对多模态医学图像融合网络训练和测试；
s4.将待融合的多模态医学图像输入训练好的多模态医学图像融合模型，得到融合结果。
为了证明本发明方法的优越性，使用6种对比算法与本发明方法进行对比试验。6种对比算法介绍：
1、nsct-sr：基于稀疏表征的nsct变换图像融合算法。
2、dtcwt-sr：基于稀疏表征的dwtct变换图像融合算法。
3、nsst-papcnn：基于非下采样的shearlet变换域的参数自适应神经网络的医学图像融合方法。
4、densefuse：利用基于densenet的编码解码结构，利用相加，l1正则化等融合策略进行融合的图像融合算法。
5、vifnet：一种无监督的densenet编码，卷积解码的深度学习图像融合方法，采用了mse与加权的ssim作为损失函数。
6、nestfuse：一种基于新型鸟巢网络结构的深度学习图像融合方法。
选取一些可信度较高的客观评价指标(en、fmi_pixel、mi、ms_ssim、
en(entropy)代表信息熵，en的值越大，代表图像包含的信息量更加丰富。公式如下：
h(x)表示图像的信息熵，p(xi)表示灰度为i的像素出现的概率，i(xi)表示概率p(xi)的不确定性函数。
不同方法对atlas同一对图像融合评估结果如表1所示，由表可知，darts图像融合在scd，
表1
为更直观地显示本发明相对于其余方法的优越性，本发明实施例还提供了本发明方法与各种对比方法对应融合图像的视觉效果图，图3(a)为源ct图像，图3(b)为源mr图像，图4(a)为对比方法1获得的融合图像，图4(b)为对比方法2获得的融合图像，图4(c)为对比方法3获得的融合图像，图4(d)为对比方法4获得的融合图像，图4(e)为对比方法5获得的融合图像，图4(f)为对比方法6获得的融合图像，图5为本发明方法获得的融合图像；由图可看出，本发明方法在对比度方面表现优秀，特别是细节，边缘信息丰富，也说明了本发明方法具有获得图像细节多，信息量大的优点。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
1.一种基于darts网络的多模态医学图像融合方法，其特征在于，包括：
s1.利用多模态医学图像数据对预先设置的darts模型进行网络结构搜索，得到适用于多模态医学图像数据的darts网络结构；darts网络结构包括一个或多个串接的胞体；每个胞体包括多个节点；各个节点与前两个胞体的输出或当前胞体内其他节点通过不同的卷积操作连接；各个节点的通道合并作为胞体的输出；
s2.构建多模态医学图像融合网络；多模态医学图像融合网络包括多通道darts网络模块、特征融合模块、升采样模块；其中，多通道darts网络模块由多个并列的darts网络结构构成；
darts网络结构，用于对输入图像进行降采样，得到对应的特征图；特征融合模块，用于对双通道darts网络模块输出的特征图进行特征融合；升采样模块，对融合后的特征进行卷积升采样，得到与输入图像尺寸相同的融合结果；
s3.利用多模态医学图像数据采用无监督学习方法对多模态医学图像融合网络进行训练；
s4.将待融合的多模态医学图像输入训练好的多模态医学图像融合模型，得到融合结果。
2.根据权利要求1所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，采用结构相似性、多尺度结构相似性、边缘保护度、差值互相关、互信息及基于结构表征的互信息作为多模态医学图像融合网络训练的损失函数。
3.根据权利要求2所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，训练多模态医学图像融合网络的损失函数为：
其中，lssim表示结构相似性损失，lscd表示差值互相关损失，lmi表示互信息损失，lms-ssim表示多尺度结构相似性损失，
4.根据权利要求1所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，步骤s1中不同的卷积操作包括：卷积核大小为3的深度可分卷积，卷积核大小为5的深度可分卷积，卷积核大小为3的标准卷积，卷积核大小为5的标准卷积，卷积核大小为3的空洞卷积，卷积核大小为5的空洞卷积，跳跃连接。
5.根据权利要求4所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，darts网络结构包括一个胞体。
6.根据权利要求5所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，所述胞体包括四个节点。
7.根据权利要求6所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，胞体中卷积步长置1，采用填充方式使特征图与输入图像大小一致。
8.根据权利要求1-7任一项所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，特征融合模块，对双通道darts网络模块输出的特征图进行特征融合，具体为，采用通道合并方式实现特征图的融合。
9.根据权利要求1-8任一项所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，所述方法还包括对多模态医学图像数据进行数据增强。
10.根据权利要求9所述的一种基于darts网络的多模态医学图像融合方法，其特征在于，所述数据增强包括平移、旋转和非刚性形变。
技术总结