本发明属于超声序列影像分析技术领域，特别涉及一种基于孪生神经网络的协同分析方法。
背景技术：
超声序列影像在临床医学诊断中发挥着重要的作用，它大大改变了临床诊断模式，促进了临床医学的发展。如图1所示，超声序列影像的采集是通过对同一个目标多个自由方向进行扫描的结果，或者是连续扫描方式下的得到的序列图像。这种序列影像不仅适用于对先天性心脏病、血栓及体内肿瘤等疾病的检查，对内脏结石的诊断也极其简便、准确。同时，它对胰腺、肾、脾脏、膀胱、肾上腺等脏器占位性病变或外伤也有清晰的显示。因此，超声序列影像分析技术对未来临床医学的发展显得尤为重要。
由于超声图像的数据集在采集时有着连续性，又或是对于同一目标不同角度的信息采集，所以图片之间会存在关联性。然而现有的图像分析方法大多基于图像的单张信息，没有考虑到图片之间的关联性。因此我们提出协同分析的方法，将协同分析应用到超声影像中，充分利用超声序列影像之间相关的信息，达到对图片更好分析的效果。
技术实现要素：
本发明提供了一种基于孪生神经网络的协同分析方法，以解决现有技术中的问题。
为了实现上述目的，本发明采用以下技术方案：
一种基于孪生神经网络的协同分析方法，包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块，输入一组图片对(一对超声序列影像)至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块。
进一步的，所述孪生编码解码网络模块包括五层编码器和五层解码器，编码器是基于vgg16的特征提取卷积神经网络，每层包含2到3个卷积层和一个卷积核为2x2的最大池化层，解码器将224x224x3(长为224，宽为224，深度为3)的输入图片转换为7x7x512(长为7，宽为7，深度为512)的语义特征图，语义特征图作为解码器的输入部分；解码器包括五层，每层包括2到3个转置卷积层和1个最近邻插值层，通过使用最近邻插值，增大了特征图尺寸，但同时增加了对图片特征分析的误差，因此在每次最近邻插值后面加上转置卷积层，减小误差；除了第5层，每层内部转置卷积层结束都做一次relu操作，第5层通过sigmoid函数将特征图转换为共分割的预测结果m。
进一步的，所述孪生度量学习网络模块包括两层全连接层，分别为128维和64维，第一层后接非线性激励函数relu；孪生度量学习网络模块首先对孪生编码解码网络模块反卷积层ct9输出的一对特征图进行全局平均池化，得到一对向量fu1和fu2，将fu1和fu2输入到孪生度量学习网络模块中，并输出一对向量fs1，fs2给决策网络模块。
进一步的，所述决策网络模块判断图片对是同一类，则判断结果为1，决策网络模块判断图片对不是同一类，则判断结果为0。
进一步的，所述决策网络模块通过将孪生度量学习网络模块输出的两个向量拼接，得到一个128维的向量作为输入，依次通过两层全连接层，第一层全连接层为32维，并连接非线性激活函数relu，第二层全连接层为1维，通过连接sigmoid函数，将预测结果转化为0-1之间的概率，以此推断这组图片是否为同一类，若概率值趋近于1，代表是同一类，反之，则不是。
进一步的，在执行分割任务时，使用的损失函数为：
lfinal＝w1l1 w2l2 w3l3
其中：lfinal为模型的总损失，w1、w2、w3为权重，l1为二元交叉熵，是训练孪生编码解码网络的损失函数；l2为tripletloss，是训练孪生度量学习网络的损失函数；
其中：a是误差值，
决策网络的损失函数l3是bceloss，
其中：i代表样本个数，yr等于0或1表示输入的样本对是否为同一类；
在执行检测任务时，将l3换为smoothl1loss，
其中：x为预测框与groundtruth之间element-wise的差异。
与现有技术相比，本发明具有以下有益效果：
本发明能够对超声序列影像进行更加有效的分析，未来应用前景广泛。
附图说明
图1是超声影像采集的超声序列影像采集图；
图2是本发明的框架流程图；
图3是本发明中孪生编码解码网络模块的框图；
图4是本发明中孪生度量学习网络模块的框图；
图5是本发明中决策网络模块的框图；
图6是本发明的网络流程；
图7是骨头超声影像；
图8是分割结果；
图9是检测结果。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
实施例1
为了实现超声序列影像的协同分析，本发明提供了一种基于孪生神经网络的协同分析方法，所述协同分析方法中包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块这三个模块，如图2所示，输入一组图片对(一对超声序列影像)至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块。
孪生编码解码网络模块如图3所示，其中：i1为输入的图片，f1为编码器提取的图片特征，m1为预测结果，所述孪生编码解码网络模块包括五层编码器和五层解码器，编码器是基于vgg16的特征提取卷积神经网络，每层包含2到3个卷积层和一个卷积核为2x2的最大池化层，解码器将224x224x3(长为224，宽为224，深度为3)的输入图片转换为7x7x512(长为7，宽为7，深度为512)的语义特征图，语义特征图作为解码器的输入部分；解码器包括五层，每层包括2到3个转置卷积层和1个最近邻插值层，通过使用最近邻插值，增大了特征图尺寸，但同时增加了对图片特征分析的误差，因此在每次最近邻插值后面加上转置卷积层，减小误差；除了第5层，每层内部转置卷积层结束都做一次relu操作，第5层通过sigmoid函数将特征图转换为共分割的预测结果m。
孪生度量学习网络模块如图4所示，所述孪生度量学习网络模块包括两层全连接层，分别为128维和64维，第一层后接非线性激励函数relu；孪生度量学习网络模块首先对孪生编码解码网络模块反卷积层ct9输出的一对特征图进行全局平均池化，得到一对向量fu1和fu2，将fu1和fu2输入到孪生度量学习网络模块中，并输出一对向量fs1，fs2给决策网络模块。
决策网络模块如图5所示，用来判断输入的一组图片是否为同一类别，当决策网络模块判断图片对是同一类，则判断结果为1，当决策网络模块判断图片对不是同一类，则判断结果为0。具体地讲，所述决策网络模块通过将孪生度量学习网络模块输出的两个向量拼接，得到一个128维的向量作为输入，依次通过两层全连接层，第一层全连接层为32维，并连接非线性激活函数relu，第二层全连接层为1维，通过连接sigmoid函数，将预测结果转化为0-1之间的概率，以此推断这组图片是否为同一类，若概率值趋近于1，代表是同一类，反之，则不是。
网络所使用的损失函数根据分析任务不一样，在执行分割任务时，使用的损失函数为：
lfinal＝w1l1 w2l2 w3l3
其中：lfinal为模型的总损失，w1、w2、w3为权重，l1为二元交叉熵，是训练孪生编码解码网络的损失函数；l2为tripletloss，是训练孪生度量学习网络的损失函数；
其中：a是误差值，
决策网络的损失函数l3是bceloss，
其中：i代表样本个数，yr等于0或1表示输入的样本对是否为同一类；
在执行检测任务时，将l3换为smoothl1loss，
其中：x为预测框与groundtruth之间element-wise的差异。
整个网络的协同分析方法的流程如图6所示，该网络的输入为一组图像对(一对超声序列影像i1、i2)，通过共享权重的孪生编码解码网络传递。将解码时得到的特征图输入到孪生度量学习网络，向量化后传给决策网络，由决策网络判断两者是否为同一类样本。针对同一类样本训练完整的网络，并输出预测结果m1、m2。
通过使用该网络，对图7所示的影像进行分割，预期的分割结果如图8所示，当网络用于检测任务时，预测分析结果如图9所示。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
1.一种基于孪生神经网络的协同分析方法，其特征在于：协同分析方法中包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块，输入一组图片对至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块。
2.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述孪生编码解码网络模块包括五层编码器和五层解码器，编码器是基于vgg16的特征提取卷积神经网络，每层包含2到3个卷积层和一个卷积核为2x2的最大池化层，解码器将224x224x3的输入图片转换为7x7x512的语义特征图，语义特征图作为解码器的输入部分；解码器包括五层，每层包括2到3个转置卷积层和1个最近邻插值层，在每次最近邻插值后面加上转置卷积层；除了第5层，每层内部转置卷积层结束都做一次relu操作，第5层通过sigmoid函数将特征图转换为共分割的预测结果m。
3.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述孪生度量学习网络模块包括两层全连接层，分别为128维和64维，第一层后接非线性激励函数relu；孪生度量学习网络模块首先对孪生编码解码网络模块反卷积层ct9输出的一对特征图进行全局平均池化，得到一对向量fu1和fu2，将fu1和fu2输入到孪生度量学习网络模块中，并输出一对向量fs1，fs2给决策网络模块。
4.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述决策网络模块判断图片对是同一类，则判断结果为1，决策网络模块判断图片对不是同一类，则判断结果为0。
5.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述决策网络模块通过将孪生度量学习网络模块输出的两个向量拼接，得到一个128维的向量作为输入，依次通过两层全连接层，第一层全连接层为32维，并连接非线性激活函数relu，第二层全连接层为1维，通过连接sigmoid函数，将预测结果转化为0-1之间的概率，以此推断这组图片是否为同一类，若概率值趋近于1，代表是同一类，反之，则不是。
6.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：在执行分割任务时，使用的损失函数为：
lfinal＝w1l1 w2l2 w3l3
其中：lfinal为模型的总损失，w1、w2、w3为权重，l1为二元交叉熵，是训练孪生编码解码网络的损失函数；l2为tripletloss，是训练孪生度量学习网络的损失函数；
其中：a是误差值，
决策网络的损失函数l3是bceloss，
其中：i代表样本个数，yr等于0或1表示输入的样本对是否为同一类；
在执行检测任务时，将l3换为smoothl1loss，
其中：x为预测框与groundtruth之间element-wise的差异。
技术总结