本发明涉及深度学习技术领域，具体涉及一种网络模型的训练方法及装置、图像处理方法及装置、设备。
背景技术：
当前针对于医学影像的病灶分类大都依赖于精确标注的病灶图像，即，首先自动检测或人工标注出病灶位置，然后基于病灶区域的图像特征进行病灶分类。但是目前医学影像的病灶的自动检测算法的性能仍然达不到辅助诊断的标准，病灶自动检测的结果仍然需要有经验的放射科医生进一步检查调整。因此，这并未明显缓解图像标注的工作量。
技术实现要素：
有鉴于此，本申请的实施例致力于提供一种网络模型的训练方法及装置、图像处理方法及装置、设备，能够减少对医学影像的病灶的精确标注的依赖，且能够精准地对病灶进行自动分类，从而大大降低了医生的图像标注的工作量。
根据本申请实施例的第一方面，提供了一种网络模型的训练方法，包括：根据多个二维医学样本影像对应的三维样本特征和多个二维样本特征，通过特征转化算法，获得三维求和样本特征和多个二维求和样本特征，其中，一个二维样本特征对应一个二维医学样本影像，所述多个医学样本影像具有包含病灶或不包含病灶的整体标签，所述三维求和样本特征结合有所述多个二维样本特征转化而成的三维样本特征，所述多个二维求和样本特征结合有所述三维样本特征转化而成的多个二维样本特征；根据所述多个二维求和样本特征和所述三维求和样本特征，获得训练完成的所述网络模型。
根据本申请实施例的第二方面，提供了一种图像处理方法，包括：根据多个二维医学影像对应的三维特征和多个二维特征，通过特征转化算法，获得三维求和特征和多个二维求和特征，其中，一个二维特征对应一个二维医学影像，所述三维求和特征结合有所述多个二维特征转化而成的三维特征，所述多个二维求和特征结合有所述三维特征转化而成的多个二维特征；根据所述三维求和特征和所述多个二维求和特征，获取病灶分类结果，其中，所述病灶分类结果为所述多个二维医学影像是否具有病灶的结果。
根据本申请实施例的第三方面，提供了一种网络模型的训练装置，包括：第二特征转化模块，配置为根据多个二维医学样本影像对应的三维样本特征和多个二维样本特征，通过特征转化算法，获得三维求和样本特征和多个二维求和样本特征，其中，一个二维样本特征对应一个二维医学样本影像，所述多个医学样本影像具有包含病灶或不包含病灶的整体标签，所述三维求和样本特征结合有所述多个二维样本特征转化而成的三维样本特征，所述多个二维求和样本特征结合有所述三维样本特征转化而成的多个二维样本特征；训练模块，配置为根据所述多个二维求和样本特征和所述三维求和样本特征，获得训练完成的所述网络模型。
根据本申请实施例的第四方面，提供了一种图像处理装置，包括：第一特征转化模块，配置为根据多个二维医学影像对应的三维特征和多个二维特征，通过特征转化算法，获得三维求和特征和多个二维求和特征，其中，一个二维特征对应一个二维医学影像，所述三维求和特征结合有所述多个二维特征转化而成的三维特征，所述多个二维求和特征结合有所述三维特征转化而成的多个二维特征；分类模块，配置为根据所述三维求和特征和所述多个二维求和特征，获取病灶分类结果，其中，所述病灶分类结果为所述多个二维医学影像是否具有病灶的结果。
根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器的可执行指令的存储器；所述处理器用于执行上述任一实施例所述的方法。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的方法。
本申请的实施例所提供的一种网络模型的训练方法，通过特征转化算法，获得结合有多个二维样本特征转化而成的三维样本特征的三维求和样本特征和结合有三维样本特征转化而成的多个二维样本特征的多个二维求和样本特征，再根据多个二维求和样本特征和三维求和样本特征，可以获得训练完成的网络模型，能够减少对医学影像的病灶的精确标注的依赖，且能够精准地对病灶进行自动分类，从而大大降低了医生的图像标注的工作量。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请实施例所提供的一种实施环境的示意图。
图2是本申请一个实施例提供的网络模型的训练方法的流程示意图。
图3是本申请另一个实施例提供的网络模型的训练方法的流程示意图。
图4是本申请又一个实施例提供的网络模型的训练方法的流程示意图。
图5是本申请一个实施例提供的特征转换算法的实现过程的示意图。
图6是本申请再一个实施例提供的网络模型的训练方法的流程示意图。
图7是本申请一个实施例提供的网络模型的训练过程的示意图。
图8是本申请一个实施例提供的图像处理方法的流程示意图。
图9是本申请一个实施例提供的网络模型的训练装置的框图。
图10是本申请一个实施例提供的图像处理装置的框图。
图11是本申请一个实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
申请概述
在多示例学习中，训练集由一组具有分类标签的多示例包(bag)组成，每个多包(bag)含有若干个没有分类标签的示例(instance)。如果多示例包(bag)至少含有一个正示例(instance)，则该包被标记为正类多示例包(正包)。如果多示例包的所有示例都是负示例，则该包被标记为负类多示例包(负包)。多示例学习的目的是，通过对具有分类标签的多示例包的学习，建立多示例分类器，并将该分类器应用于未知多示例包的预测。在多示例学习框架下，进行描述的对象就是示例集合，即，具有标签分类的示例包，通过对这一示例包的描述以及学习，可以形成对没有进行分类标签的示例包的预测能力。
深度学习通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i 1个神经网络层的输入相连，第i 1个神经网络层的输出与第i 2个神经网络层的输入相连，以此类推。训练样本输入级联的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
对于一整套医学影像来说，利用整套医学影像的标签去自动对病灶分类是缓解图像标注的工作量的主要方案之一。当前针对于这种现状的大多数研究方法主要是基于多示例学习和3d深度神经网络的分类算法。对于多示例学习方法来说，如何有效的选择影像示例是一个很大的不确定因素，例如，如果将整套医学影像的每一层医学影像都当成示例，这增加了阳性和阴性示例的模糊性，造成模型的不收敛；如果按一定比例划分整套医学影像，从每一等份随机选择一层医学影像作为一个示例，这样会一定程度上在阳性样本上丢失阳性示例，这样选择的阳性包甚至可能把所有的阳性示例全部丢失掉。而对于3d深度学习方法来说，直接将整套医学影像输入到3d深度学习模型中进行训练，对于小病灶很容易造成丢失。
针对上述问题，本申请实施例提供了一种网络模型的训练方法，该方法通过特征转化算法，获得结合有多个二维样本特征转化而成的三维样本特征的三维求和样本特征和结合有三维样本特征转化而成的多个二维样本特征的多个二维求和样本特征，再根据多个二维求和样本特征和三维求和样本特征，可以获得训练完成的网络模型，能够减少对医学影像的病灶的精确标注的依赖，且能够精准地对病灶进行自动分类，从而大大降低了医生的图像标注的工作量。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1是本申请实施例所提供的一种实施环境的示意图。该实施环境包括ct扫描仪130、服务器120和计算机设备110。计算机设备110可以从用于对人体组织进行x线扫描的ct扫描仪130处获取多套医学影像，同时，计算机设备110还可以与服务器120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(personalcomputer，pc)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备110可以为一个，或者上述计算机设备110为几十个或几百个，或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。
在一些可选的实施例中，计算机设备110从ct扫描仪130获取多套医学样本影像，一套医学样本影像包括多个二维医学样本影像，计算机设备110通过多套医学样本影像对神经网络进行训练，以得到用于对一套医学样本影像的病灶进行分类的网络模型。
服务器120是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
在一些可选的实施例中，计算机设备110将其从ct扫描仪130获取到的多套医学样本影像发送给服务器120，一套医学样本影像包括多个二维医学样本影像，服务器120通过多套医学样本影像对神经网络进行训练，以得到用于对一套医学样本影像的病灶进行分类的网络模型。
示例性方法
图2是本申请一个实施例提供的网络模型的训练方法的流程示意图。图2所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图2所示，该方法包括如下内容。
s210：根据多个二维医学样本影像对应的三维样本特征和多个二维样本特征，通过特征转化算法，获得三维求和样本特征和多个二维求和样本特征。
在一实施例中，通过对多个二维医学样本影像进行特征提取，可以得到三维样本特征和多个二维样本特征，但是本申请实施例并不具体限定特征提取的具体实现方式，本领域技术人员可以根据实际需求，进行选择。
在一实施例中，一个二维样本特征对应一个二维医学样本影像，该三维样本特征对应多个二维医学样本影像。二维样本特征具有二维医学样本影像的2d层面内的层面信息，三维样本特征具有多个二维医学样本影像的层面之间的空间信息。
在一实施例中，多个医学样本影像具有包含病灶或不包含病灶的整体标签，即，多个二维医学样本影像构成一套医学样本影像，整体标签是指一套医学样本影像具有病灶的标签，或者一套医学样本影像不具有病灶的标签。这样在训练网络模型之前，可以减少对多个二维医学样本影像的精确标注的依赖，只需要对一套医学样本影像进行一个整体的标注即可。
在一实施例中，一个二维求和样本特征对应一个二维医学样本影像，该三维求和样本特征对应多个二维医学样本影像。通过特征转化算法，可以将三维样本特征和多个二维样本特征进行相互转化，以获得结合有多个二维样本特征转化而成的三维样本特征的三维求和样本特征，以及结合有三维样本特征转化而成的多个二维样本特征的多个二维求和样本特征。
也就是说，三维求和样本特征同时具有2d层面内的层面信息和层面之间的空间信息，二维求和样本特征也同时具有2d层面内的层面信息和层面之间的空间信息。
在一实施例中，医学样本影像可以为电子计算机断层成像(computedtomography，ct)、核磁共振成像(magneticresonanceimaging，mri)、计算机放射成像(computedradiography，cr)或数字放射成像(digitalradiography，dr)等医学影像，本申请实施例对此不作具体限定。
在一实施例中，医学样本影像可以为肺部图像、脑部图像、心脏图像等图像，本申请实施例对此不作具体限定。本申请实施例也并不限定医学样本影像的具体形式，可以是原始医学影像，也可以是经过预处理后的医学影像，还可以是原始医学影像的一部分。
s220：根据所述多个二维求和样本特征和所述三维求和样本特征，获得训练完成的所述网络模型。
在一实施例中，可以对多个二维求和样本特征和三维求和样本特征进行全局池化，然后再连接全卷积进行反向传播，以更新网络模型的网络参数，从而获得训练完成的网络模型。本申请实施例对此并不作具体限定，本领域技术人员还可以采取其他的方法来获取训练完成的网络模型。
由此可见，通过将2d层面内的层面信息和层面之间的空间信息相结合，能够精准地对病灶进行自动分类，同时，通过利用整套医学样本影像的标签去建模，进而得到端到端的样本输出，即，通过一套医学样本影像的整体标签，不需要对一套医学样本影像中的每个二维医学样本影像做标签，能够减少对医学影像的病灶的精确标注的依赖，从而大大降低了医生的图像标注的工作量。
在本申请的另一个实施例中，如图3所示，上述步骤s210具体包括如下内容。
s310：根据所述多个二维医学样本影像对应的所述三维样本特征和所述多个二维样本特征，通过所述特征转化算法，获得第一三维求和样本特征和多个第一二维求和样本特征。
在一实施例中，对三维样本特征和多个二维样本特征进行第一次特征转化，可以得到第一三维求和样本特征和多个第一二维求和样本特征。
s320：根据第n-1三维求和样本特征和多个第n-1二维求和样本特征，依次通过特征提取操作，以及所述特征转化算法，获得第n三维求和样本特征和多个第n二维求和样本特征，其中，n为大于或等于2的整数。
在一实施例中，在获得了第一三维求和样本特征和多个第一二维求和样本特征，可以对其进行第二次特征转化，以得到第二三维求和样本特征和多个第二二维求和样本特征，以此类推，对第n-1三维样本特征和多个第n-1二维样本特征进行第n次特征转化，可以得到第n三维求和样本特征和多个第n二维求和样本特征。
s330：迭代执行所述步骤s320，直到获得所述三维求和样本特征和所述多个二维求和样本特征。
在一实施例中，迭代执行所述步骤s320至少一次，可以获得三维求和样本特征和多个二维求和样本特征，但是需要说明的是，本申请实施例并不具体限定特征转化算法具体执行几次，本领域技术人员可以根据实际需求，进行不同的选择。
在本申请的另一个实施例中，如图4所示，上述步骤s320具体包括如下内容。
s410：根据所述第n-1三维求和样本特征和所述多个第n-1二维求和样本特征，分别通过三维深度学习网络以及二维深度学习网络，进行特征提取操作。
在一实施例中，将第n-1三维求和样本特征输入到三维深度学习网络中，进行特征提取操作，以得到特征提取后的第n-1三维求和样本特征，该特征提取操作可以包括3d卷积，或者先3d卷积，再3d池化等。
在一实施例中，该三维深度学习网络可以为3d卷积神经网络，其所采用的3d卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3d卷积核。
在一实施例中，将多个第n-1二维求和样本特征输入到二维深度学习网络中，进行特征提取操作，以得到特征提取后的多个第n-1二维求和样本特征，该特征提取操作可以包括2d卷积，或者先2d卷积，再2d池化等。
在一实施例中，该二维深度学习网络可以为多示例深度学习网络，将多个第n-1二维求和样本特征中的每个第n-1二维求和样本特征输入到2d卷积进行特征提取，将每个第n-1二维求和样本特征经过特征提取后的特征作为一个示例，将所有的示例作为一个多示例包进行学习。
但是需要说明的是，本申请实施例并不具体限定特征提取操作的具体实现方式，可以为单一的卷积，也可以为先卷积，再池化。同时，本申请实施例也并不具体限定卷积的具体次数，可以执行一次卷积，也可以执行多次卷积。
s420：将特征提取后的所述第n-1三维求和样本特征转化为多个第n-1二维转化样本特征，并将所述多个第n-1二维转化样本特征与所述多个第n-1二维求和样本特征进行求和操作，以获得所述多个第n二维求和样本特征。
在一实施例中，在通过特征提取操作后，得到特征提取后的第n-1三维求和样本特征，将特征提取后的第n-1三维求和样本特征转化为多个第n-1二维转化样本特征，再将多个第n-1二维转化样本特征与多个第n-1二维求和样本特征进行求和操作，以获得多个第n二维求和样本特征。
s430：将特征提取后的所述多个第n-1二维求和样本特征转化为第n-1三维转化样本特征，并将所述第n-1三维转化样本特征与所述第n-1三维求和样本特征进行求和操作，以获得第n三维求和样本特征。
在一实施例中，在通过特征提取操作后，得到特征提取后的多个第n-1二维求和样本特征，将特征提取后的多个第n-1二维求和样本特征转化为第n-1三维转化样本特征，再将第n-1三维转化样本特征与第n-1三维求和样本特征进行求和操作，以获得第n三维求和样本特征。
但是需要说明的是，本申请实施例并不具体限定转化的具体过程以及求和操作的具体实现方式，本领域技术人员可以根据实际需求，进行不同的选择。
例如，如图5所示，将特征提取后的x个第n-1二维求和样本特征(x×c×w×h，x表示示例的个数，即，第n-1二维求和样本特征的个数，c表示通道，w和h表示每个特征的尺寸)经过d×1×1×1的卷积核，变为d×c×w×h的三维特征，然后变形(reshape)成c×d×w×h的第n-1三维转化样本特征，将其与第n-1三维求和样本特征进行相加，输出结合有2d层面特征的第n三维求和样本特征。
再例如，如图5所示，将特征提取后的第n-1三维求和样本特征(c×d×w×h，c表示通道，d表示深度，w和h表示每个特征的尺寸)变形(reshape)成d×c×w×h的三维特征，然后将d×c×w×h的三维特征经过x×1×1的卷积核，得到x×c×w×h的x个第n-1二维转化样本特征，将其与x个第n-1二维求和样本特征进行相加，输出结合有3d空间特征的x个第n二维求和样本特征。
在本申请的另一个实施例中，根据所述多个二维医学样本影像对应的所述三维样本特征和所述多个二维样本特征，通过所述特征转化算法，获得第一三维求和样本特征和多个第一二维求和样本特征，包括：将三维样本特征转化为多个二维转化样本特征，并将多个二维转化样本特征与多个二维样本特征进行求和操作，以获得多个第一二维求和样本特征；将多个二维样本特征转化为三维转化样本特征，并将三维转化样本特征与三维样本特征进行求和操作，以获得第一三维求和样本特征。
需要说明是的是，本申请实施例的转化的具体过程以及求和操作的具体实现方式如图4所示的实施例所示，在此不再赘述。
在本申请的另一个实施例中，如图6所示，上述步骤s220具体包括如下内容。
s610：将所述多个二维求和样本特征和所述三维求和样本特征进行特征融合，获得融合样本特征。
在一实施例中，特征融合可以包括add操作和concat操作，通过add操作，所得到的融合样本特征的每一特征下的信息量增多了，但是融合样本特征的维度(特征)本身并没有增加；通过concat操作，融合样本特征的通道数为多个二维求和样本特征和三维求和样本特征的通道数的合并，也就是说融合样本特征的特征增加了，而每一特征下的信息是没有增加。但是本申请实施例并不具体限定特征融合的具体实现方式。
s620：基于所述融合样本特征，获得第一训练结果，并根据所述第一训练结果和所述整体标签，获取第一损失函数值，其中，所述第一训练结果为所述多个二维医学样本影像是否具有病灶的结果。
在一实施例中，将融合样本特征进行全局池化，再连接全卷积，得到第一训练结果，该第一训练结果为多个二维医学样本影像是否具有病灶的二分类结果。
在一实施例中，利用第一损失函数，计算该第一训练结果与整体标签(即，目标结果)之间的相似度损失，可以得到第一损失函数值。第一损失函数值越小，代表预测出的第一训练结果越接近目标结果，预测正确的准确率越高。相反，第一损失函数值越大，代表预测正确的准确率越低。
s630：根据所述第一损失函数值，更新具有分支结构的深度学习网络的参数，以获得训练完成的所述网络模型。
在一实施例中，可以将第一损失函数值进行反向传播，以更新具有分支结构的深度学习网络的参数，例如权重，偏值等，本申请对此不做限定。
在本申请的另一实施例中，所述方法还包括：基于所述多个二维求和样本特征，获取第二训练结果，并根据所述第二训练结果和所述整体标签，获取第二损失函数值，其中，所述第二训练结果为所述多个二维医学样本影像是否具有病灶的结果；基于所述三维求和样本特征，获取第三训练结果，并根据所述第三训练结果和所述整体标签，获取第三损失函数值，其中，所述第三训练结果为所述多个二维医学样本影像是否具有病灶的结果。
在一实施例中，将多个二维求和样本特征进行全局池化，再连接全卷积，得到第二训练结果，该第二训练结果为多个二维医学样本影像是否具有病灶的二分类结果。
在一实施例中，利用第二损失函数，计算该第二训练结果与整体标签(即，目标结果)之间的相似度损失，可以得到第二损失函数值。第二损失函数值越小，代表预测出的第二训练结果越接近目标结果，预测正确的准确率越高。相反，第二损失函数值越大，代表预测正确的准确率越低。
在一实施例中，将三维求和样本特征进行全局池化，再连接全卷积，得到第三训练结果，该第三训练结果为多个二维医学样本影像是否具有病灶的二分类结果。
在一实施例中，利用第三损失函数，计算该第三训练结果与整体标签(即，目标结果)之间的相似度损失，可以得到第三损失函数值。第三损失函数值越小，代表预测出的第三训练结果越接近目标结果，预测正确的准确率越高。相反，第三损失函数值越大，代表预测正确的准确率越低。
需要说明的是，第一损失函数、第二损失函数和第三损失函数可以为相同类型或不同类型的损失函数，第一损失函数、第二损失函数和第三损失函数也可以为部分类型相同或者部分类型不同的损失函数，例如，第一损失函数、第二损失函数和第三损失函数可以均为交叉熵损失函数，或者第一损失函数和第二损失函数为交叉熵损失函数，第三损失函数为均方差损失函数等。第一损失函数、第二损失函数和第三损失函数的具体类型可以根据不同应用场景进行选择，本申请实施例对此不作具体限定。
在本申请的另一实施例中，所述根据所述第一损失函数值，更新所述具有分支结构的深度学习网络的参数，以获得训练完成的所述网络模型，包括：根据所述第二损失函数值、所述第三损失函数值，以及所述第一损失函数值，更新所述具有分支结构的深度学习网络的参数，以获得训练完成的所述网络模型。
第二损失函数值和第三损失函数值可以与第一损失函数值一起，对具有分支结构的深度学习网络的参数进行更新，这样第二损失函数值和第三损失函数值能够辅助网络模型的训练，加快网络模型的收敛，增加网络模型的性能。
在本申请的另一实施例中，所述具有分支结构的深度学习网络包括二维深度学习网络以及三维深度学习网络，所述方法还包括：基于所述多个二维医学样本影像，训练所述二维深度学习网络，以获得所述多个二维样本特征；基于所述多个二维医学样本影像，训练所述三维深度学习网络，以获得所述三维样本特征。
可以通过二维深度学习网络，对多个二维医学样本影像进行特征提取，将每个二维医学样本影像提取的特征作为一个示例，然后将所有的示例作为一个包，以获得所述多个二维样本特征；也可以通过三维深度学习网络，对多个二维医学样本影像进行特征提取，以获得所述三维样本特征。
在本申请的另一实施例中，所述根据所述第二损失函数值、所述第三损失函数值，以及所述第一损失函数值，更新所述具有分支结构的深度学习网络的参数，包括：根据所述第二损失函数值，更新所述二维深度学习网络的参数，根据所述第三损失函数值，更新所述三维深度学习网络的参数，以及根据所述第一损失函数值，更新所述二维深度学习网络和所述三维深度学习网络的参数。
在一实施例中，可以将第一损失函数值进行反向传播，以更新二维深度学习网络和三维深度学习网络的参数，例如权重，偏值等，本申请对此不做限定。
在一实施例中，可以将第二损失函数值进行反向传播，以更新二维深度学习网络的参数，例如权重，偏值等，本申请对此不做限定。
在一实施例中，可以将第三损失函数值进行反向传播，以更新三维深度学习网络的参数，例如权重，偏值等，本申请对此不做限定。
在一实施例中，二维深度学习网络对应第二损失函数值为loss2，三维深度学习网络对应第三损失函数值为loss3，将二维深度学习网络提取的多个二维样本特征与三维深度学习网络提取的三维样本特征进行特征融合后的第一损失函数值为loss1，具有分支结构的深度学习网络的总体损失函数值为loss＝loss1 loss2 loss3。将loss1、loss2以及loss3同时训练，同时反向传播，对参数进行更新，此时，loss2和loss3辅助网络模型的训练，加快网络模型的收敛，增加网络模型的性能。
在本申请的另一实施例中，所述方法还包括：对多个二维原始医学影像进行预处理，以获得所述多个二维医学样本影像。
为了能够更好地训练网络模型，可以对多个二维原始医学影像进行预处理，例如，归一化，统一尺寸，数据增强等操作。
如图7所示为本申请实施例提供的网络模型的训练过程的示意图。如图7所示，从训练网络模型的输入到输出，共执行了三次特征转化算法。具体如下。
1)将x个二维医学样本影像通过2d卷积和2d池化后，得到x个二维样本特征，将x个二维医学样本影像通过3d卷积和3d池化后，得到三维样本特征，将x个二维样本特征和三维样本特征经过第一次特征转化算法，分别得到x个第一二维求和样本特征和第一三维求和样本特征。
2)将x个第一二维求和样本特征通过2d卷积后，得到的特征提取后的x个第一二维求和样本特征，将第一三维求和样本特征通过3d卷积后，得到特征提取后的第一三维求和样本特征，将特征提取后的x个第一二维求和样本特征与特征提取后的第一三维求和样本特征经过第二次特征转化算法，分别得到x个第二二维求和样本特征和第二三维求和样本特征。
3)将x个第二二维求和样本特征通过2d卷积和2d池化后，得到的特征提取后的x个第二二维求和样本特征，将第二三维求和样本特征通过3d卷积3d池化后，得到特征提取后的第二三维求和样本特征，将特征提取后的x个第二二维求和样本特征与特征提取后的第二三维求和样本特征经过第三次特征转化算法，分别得到x个二维求和样本特征和三维求和样本特征。
以上三部分，可以理解为是训练网络模型时的特征提取的整体过程，也就是说，在利用多示例深度学习网络所包括的卷积和池化进行特征提取的过程中嵌入了多个特征转化算法，以使三维求和样本特征同时具有2d层面内的层面信息和层面之间的空间信息，二维求和样本特征也同时具有2d层面内的层面信息和层面之间的空间信息。
4)将x个二维求和样本特征和三维求和样本特征分别进行全局池化，再连接全卷积后，分别得到第二损失函数值loss2和第三损失函数值loss3。
5)将x个二维求和样本特征和三维求和样本特征进行特征融合后，得到融合样本特征，对融合样本特征进行全局池化，再连接全卷积后，得到第一损失函数值loss1。
以上两部分，可以理解为是训练网络模型时的反向传播过程，也就是说，在得到了第一损失函数值loss1、第二损失函数值loss2和第三损失函数值loss3后，将其进行反向传播，以更新具有分支结构的神经网络的参数，此时，第二损失函数值loss2和第三损失函数值loss3辅助网络模型的训练，加快网络模型的收敛，从而得到高性能的网络模型。
图8是本申请一个实施例提供的图像处理方法的流程示意图。图8所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图8所示，该方法包括如下内容。
s810：根据多个二维医学影像对应的三维特征和多个二维特征，通过特征转化算法，获得三维求和特征和多个二维求和特征。
本实施例中提到的多个二维医学影像与上述实施例中的多个二维医学样本影像属于同一种类型的图像。二者的区别仅仅在于，多个二维医学样本影像经过了人工的标记，即，确定多个二维医学样本影像的整体标签。
在一实施例中，一个二维特征对应一个二维医学影像，三维求和特征结合有多个二维特征转化而成的三维特征，多个二维求和特征结合有三维特征转化而成的多个二维特征。
s820：根据所述三维求和特征和所述多个二维求和特征，获取病灶分类结果，其中，所述病灶分类结果为所述多个二维医学影像是否具有病灶的结果。
将多个二维医学影像输入经过上述训练方法训练而成的网络模型中后，可以直接得到病灶分类结果。该病灶分类结果为多个二维医学影像是否具有病灶的结果，即，只对多个二维医学影像的整体进行二分类，得到整体是否具有病灶的结果。
由此可见，通过将2d层面内的层面信息和层面之间的空间信息相结合，能够精准地对病灶进行自动分类，从而大大降低了医生的图像标注的工作量。
本申请实施例所涉及的具体细节与上述训练方法中的实施例相似，在此将不再赘述，请参见上述训练方法中的实施例。
在本申请的另一实施例中，上述步骤s810具体包括：a)根据所述多个二维医学影像对应的所述三维特征和所述多个二维特征，通过所述特征转化算法，获得第一三维求和特征和多个第一二维求和特征；b)根据第n-1三维求和特征和多个第n-1二维求和特征，依次通过特征提取操作，以及所述特征转化算法，获得第n三维求和特征和多个第n二维求和特征，其中，n为大于或等于2的整数；c)迭代执行所述步骤b)，直到获得所述三维求和特征和所述多个二维求和特征。
本申请实施例所涉及的具体细节与上述训练方法中的实施例相似，在此将不再赘述，请参见上述训练方法中的实施例。
在本申请的另一实施例中，所述根据第n-1三维求和特征和多个第n-1二维求和特征，依次通过特征提取操作，以及所述特征转化算法，获得第n三维求和特征和多个第n二维求和特征，包括：根据所述第n-1三维求和特征和所述多个第n-1二维求和特征，分别通过三维深度学习网络以及二维深度学习网络，进行所述特征提取操作；将特征提取后的所述第n-1三维求和特征转化为多个第n-1二维转化特征，并将所述多个第n-1二维转化特征与所述多个第n-1二维求和特征进行求和操作，以获得所述多个第n二维求和特征；将特征提取后的所述多个第n-1二维求和特征转化为第n-1三维转化特征，并将所述第n-1三维转化特征与所述第n-1三维求和特征进行求和操作，以获得所述第n三维求和特征。
本申请实施例所涉及的具体细节与上述训练方法中的实施例相似，在此将不再赘述，请参见上述训练方法中的实施例。
在本申请的另一实施例中，所述根据所述三维求和特征与所述多个二维求和特征，获取病灶分类结果，包括：将所述三维求和特征与所述多个二维求和特征进行特征融合，获得融合特征；根据所述融合特征，获取所述病灶分类结果。
本申请实施例所涉及的具体细节与上述训练方法中的实施例相似，在此将不再赘述，请参见上述训练方法中的实施例。
在本申请的另一实施例中，所述方法还包括：根据所述多个二维医学影像，通过二维深度学习网络，获取所述多个二维特征。
本申请实施例所涉及的具体细节与上述训练方法中的实施例相似，在此将不再赘述，请参见上述训练方法中的实施例。
在本申请的另一实施例中，所述方法还包括：根据所述多个二维医学影像，通过三维深度学习网络，获取所述三维特征。
本申请实施例所涉及的具体细节与上述训练方法中的实施例相似，在此将不再赘述，请参见上述训练方法中的实施例。
示例性装置
本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图9所示为本申请一个实施例提供的网络模型的训练装置的框图。如图9所示，该装置900包括：
第二特征转化模块910，配置为根据多个二维医学样本影像对应的三维样本特征和多个二维样本特征，通过特征转化算法，获得三维求和样本特征和多个二维求和样本特征，其中，一个二维样本特征对应一个二维医学样本影像，所述多个医学样本影像具有包含病灶或不包含病灶的整体标签，所述三维求和样本特征结合有所述多个二维样本特征转化而成的三维样本特征，所述多个二维求和样本特征结合有所述三维样本特征转化而成的多个二维样本特征；
训练模块920，配置为根据所述多个二维求和样本特征和所述三维求和样本特征，获得训练完成的所述网络模型。
在一个实施例中，所述装置900还包括：用于执行上述实施例提及的网络模型的方法中的各个步骤的模块。
图10所示为本申请一个实施例提供的图像处理装置的框图。如图10所示，该装置1000包括：
第一特征转化模块1010，配置为根据多个二维医学影像对应的三维特征和多个二维特征，通过特征转化算法，获得三维求和特征和多个二维求和特征，其中，一个二维特征对应一个二维医学影像，所述三维求和特征结合有所述多个二维特征转化而成的三维特征，所述多个二维求和特征结合有所述三维特征转化而成的多个二维特征；
分类模块1020，配置为根据所述三维求和特征和所述多个二维求和特征，获取病灶分类结果，其中，所述病灶分类结果为所述多个二维医学影像是否具有病灶的结果。
在一个实施例中，所述装置1000还包括：用于执行上述实施例提及的图像处理方法中的各个步骤的模块。
示例性电子设备
下面，参考图11来描述根据本申请实施例的电子设备。图11图示了根据本申请实施例的电子设备的框图。
如图11所示，电子设备1100包括一个或多个处理器1110和存储器1120。
处理器1110可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1100中的其他组件以执行期望的功能。
存储器1120可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1110可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理方法、网络模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备1100还可以包括：输入装置1130和输出装置1140，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置1130可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置1130可以是通信网络连接器。
此外，该输入设备1130还可以包括例如键盘、鼠标等等。
该输出装置1140可以向外部输出各种信息，包括病灶分类结果等。该输出设备1140可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备1100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1100还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、网络模型的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法、网络模型的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
1.一种网络模型的训练方法，其特征在于，包括：
根据多个二维医学样本影像对应的三维样本特征和多个二维样本特征，通过特征转化算法，获得三维求和样本特征和多个二维求和样本特征，其中，一个二维样本特征对应一个二维医学样本影像，所述多个二维医学样本影像具有包含病灶或不包含病灶的整体标签，所述三维求和样本特征结合有所述多个二维样本特征转化而成的三维样本特征，所述多个二维求和样本特征结合有所述三维样本特征转化而成的多个二维样本特征；
根据所述多个二维求和样本特征和所述三维求和样本特征，获得训练完成的所述网络模型。
2.根据权利要求1所述的训练方法，其特征在于，所述根据多个二维医学样本影像对应的三维样本特征和多个二维样本特征，通过特征转化算法，获得三维求和样本特征和多个二维求和样本特征，包括：
a)根据所述多个二维医学样本影像对应的所述三维样本特征和所述多个二维样本特征，通过所述特征转化算法，获得第一三维求和样本特征和多个第一二维求和样本特征；
b)根据第n-1三维求和样本特征和多个第n-1二维求和样本特征，依次通过特征提取操作，以及所述特征转化算法，获得第n三维求和样本特征和多个第n二维求和样本特征，其中，n为大于或等于2的整数；
c)迭代执行所述步骤b)，直到获得所述三维求和样本特征和所述多个二维求和样本特征。
3.根据权利要求2所述的训练方法，其特征在于，所述根据第n-1三维求和样本特征和多个第n-1二维求和样本特征，依次通过特征提取操作，以及所述特征转化算法，获得第n三维求和样本特征和多个第n二维求和样本特征，包括：
根据所述第n-1三维求和样本特征和所述多个第n-1二维求和样本特征，分别通过三维深度学习网络以及二维深度学习网络，进行特征提取操作；
将特征提取后的所述第n-1三维求和样本特征转化为多个第n-1二维转化样本特征，并将所述多个第n-1二维转化样本特征与所述多个第n-1二维求和样本特征进行求和操作，以获得所述多个第n二维求和样本特征；
将特征提取后的所述多个第n-1二维求和样本特征转化为第n-1三维转化样本特征，并将所述第n-1三维转化样本特征与所述第n-1三维求和样本特征进行求和操作，以获得所述第n三维求和样本特征。
4.根据权利要求1至3中任一项所述的训练方法，其特征在于，所述根据所述多个二维求和样本特征和所述三维求和样本特征，获得训练完成的所述网络模型，包括：
将所述多个二维求和样本特征和所述三维求和样本特征进行特征融合，获得融合样本特征；
基于所述融合样本特征，获得第一训练结果，并根据所述第一训练结果和所述整体标签，获取第一损失函数值，其中，所述第一训练结果为所述多个二维医学样本影像是否具有病灶的结果；
根据所述第一损失函数值，更新具有分支结构的深度学习网络的参数，以获得训练完成的所述网络模型。
5.根据权利要求4所述的训练方法，其特征在于，还包括：
基于所述多个二维求和样本特征，获取第二训练结果，并根据所述第二训练结果和所述整体标签，获取第二损失函数值，其中，所述第二训练结果为所述多个二维医学样本影像是否具有病灶的结果；
基于所述三维求和样本特征，获取第三训练结果，并根据所述第三训练结果和所述整体标签，获取第三损失函数值，其中，所述第三训练结果为所述多个二维医学样本影像是否具有病灶的结果，
其中，所述根据所述第一损失函数值，更新所述具有分支结构的深度学习网络的参数，以获得训练完成的所述网络模型，包括：
根据所述第二损失函数值、所述第三损失函数值，以及所述第一损失函数值，更新所述具有分支结构的深度学习网络的参数，以获得训练完成的所述网络模型。
6.根据权利要求5所述的训练方法，其特征在于，所述具有分支结构的深度学习网络包括二维深度学习网络以及三维深度学习网络，
所述方法还包括：
基于所述多个二维医学样本影像，训练所述二维深度学习网络，以获得所述多个二维样本特征；
基于所述多个二维医学样本影像，训练所述三维深度学习网络，以获得所述三维样本特征，
其中，所述根据所述第二损失函数值、所述第三损失函数值，以及所述第一损失函数值，更新所述具有分支结构的深度学习网络的参数，包括：
根据所述第二损失函数值，更新所述二维深度学习网络的参数，根据所述第三损失函数值，更新所述三维深度学习网络的参数，以及根据所述第一损失函数值，更新所述二维深度学习网络和所述三维深度学习网络的参数。
7.一种图像处理方法，其特征在于，包括：
根据多个二维医学影像对应的三维特征和多个二维特征，通过特征转化算法，获得三维求和特征和多个二维求和特征，其中，一个二维特征对应一个二维医学影像，所述三维求和特征结合有所述多个二维特征转化而成的三维特征，所述多个二维求和特征结合有所述三维特征转化而成的多个二维特征；
根据所述三维求和特征和所述多个二维求和特征，获取病灶分类结果，其中，所述病灶分类结果为所述多个二维医学影像是否具有病灶的结果。
8.根据权利要求7所述的方法，其特征在于，所述根据多个二维医学影像对应的三维特征和多个二维特征，通过特征转化算法，获得三维求和特征和多个二维求和特征，包括：
a)根据所述多个二维医学影像对应的所述三维特征和所述多个二维特征，通过所述特征转化算法，获得第一三维求和特征和多个第一二维求和特征；
b)根据第n-1三维求和特征和多个第n-1二维求和特征，依次通过特征提取操作，以及所述特征转化算法，获得第n三维求和特征和多个第n二维求和特征，其中，n为大于或等于2的整数；
c)迭代执行所述步骤b)，直到获得所述三维求和特征和所述多个二维求和特征。
9.根据权利要求8所述的方法，其特征在于，所述根据第n-1三维求和特征和多个第n-1二维求和特征，依次通过特征提取操作，以及所述特征转化算法，获得第n三维求和特征和多个第n二维求和特征，包括：
根据所述第n-1三维求和特征和所述多个第n-1二维求和特征，分别通过三维深度学习网络以及二维深度学习网络，进行所述特征提取操作；
将特征提取后的所述第n-1三维求和特征转化为多个第n-1二维转化特征，并将所述多个第n-1二维转化特征与所述多个第n-1二维求和特征进行求和操作，以获得所述多个第n二维求和特征；
将特征提取后的所述多个第n-1二维求和特征转化为第n-1三维转化特征，并将所述第n-1三维转化特征与所述第n-1三维求和特征进行求和操作，以获得所述第n三维求和特征。
10.根据权利要求7所述的方法，其特征在于，所述根据所述三维求和特征与所述多个二维求和特征，获取病灶分类结果，包括：
将所述三维求和特征与所述多个二维求和特征进行特征融合，获得融合特征；
根据所述融合特征，获取所述病灶分类结果。
11.根据权利要求7至10中任一项所述的方法，其特征在于，还包括：
根据所述多个二维医学影像，通过二维深度学习网络，获取所述多个二维特征。
12.根据权利要求7至10中任一项所述的方法，其特征在于，还包括：
根据所述多个二维医学影像，通过三维深度学习网络，获取所述三维特征。
13.一种网络模型的训练装置，其特征在于，包括：
第二特征转化模块，配置为根据多个二维医学样本影像对应的三维样本特征和多个二维样本特征，通过特征转化算法，获得三维求和样本特征和多个二维求和样本特征，其中，一个二维样本特征对应一个二维医学样本影像，所述多个医学样本影像具有包含病灶或不包含病灶的整体标签，所述三维求和样本特征结合有所述多个二维样本特征转化而成的三维样本特征，所述多个二维求和样本特征结合有所述三维样本特征转化而成的多个二维样本特征；
训练模块，配置为根据所述多个二维求和样本特征和所述三维求和样本特征，获得训练完成的所述网络模型。
14.一种图像处理装置，其特征在于，包括：
第一特征转化模块，配置为根据多个二维医学影像对应的三维特征和多个二维特征，通过特征转化算法，获得三维求和特征和多个二维求和特征，其中，一个二维特征对应一个二维医学影像，所述三维求和特征结合有所述多个二维特征转化而成的三维特征，所述多个二维求和特征结合有所述三维特征转化而成的多个二维特征；
分类模块，配置为根据所述三维求和特征和所述多个二维求和特征，获取病灶分类结果，其中，所述病灶分类结果为所述多个二维医学影像是否具有病灶的结果。
15.一种电子设备，包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
所述处理器，用于执行上述权利要求1至12中任一项所述的方法。
技术总结