本发明涉及图像处理技术领域，特别是涉及一种图像数据集生成制作方法、装置、设备及存储介质。
背景技术：
现阶段特定行业领域已有的图像样本较少，通过生成式模型对图像训练样本进行增广是一个前景广阔的研究方向，同时生成式模型在人工智能领域占有重要地位，其可以在旧样本分布的基础上生成新的样本数据。生成式模型的目的是创造新的数据概率分布，可用于一些创造性的工作当中。通过生成式模型可以生成新的图像，成为了解决图像样本较少问题的有效方法。
现有的生成式模型大致分为三大类，即自回归模型、自动编码器模型和生成式对抗网络(generativeadversarialnetworks，简称gan)模型。其中，自回归模型通过一次生成一个像素，最终生成整张图像，耗时较长；变分自编码器(variationalauto-encoder，简称vae)生成的图像经常失真，不清晰，较为模糊；生成式对抗网络一次生成一张图像，但由于是无监督学习，训练自由度高，易于导致局部图像错误，不清晰等情况，大部分生成图像为错误图像，不能与真实的输入图像样本一致，在生成式对抗网络的训练过程中难度也较大。
因此，如何减少生成式模型生成的图像失真、错误等情况，有效解决图像样本较少问题，是本领域技术人员亟待解决的技术问题。
技术实现要素：
有鉴于此，本发明的目的在于提供一种图像数据集生成制作方法、装置、设备及存储介质，可以生成清晰和准确的图像，提升图像训练样本的数量和多样性。其具体方案如下：
一种图像数据集生成制作方法，包括：
制作包含多个真实图像的初始图像集；
构建生成式对抗网络中生成器与判别器的网络结构；
以所述初始图像集为输入，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，得到训练好的vae-gan网络模型；
将图像样本输入至训练好的所述vae-gan网络模型，得到与所述图像样本对应的图像数据集。
优选地，在本发明实施例提供的上述图像数据集生成制作方法中，制作包含多个真实图像的初始图像集，具体包括：
通过网络爬虫技术采集目标的原始图像；
对采集到的所述原始图像进行预处理，将所有所述原始图像调整为分辨率和大小均相同的三通道彩色真实图像；
将调整得到的所述真实图像制作成初始图像集。
优选地，在本发明实施例提供的上述图像数据集生成制作方法中，构建生成式对抗网络中生成器与判别器的网络结构，具体包括：
在所述生成器中采用七层反卷积神经网络；所述反卷积神经网络使用5*5的反卷积核，在每一层所述反卷积层后加入relu激活函数；
在所述判别器中采用七层卷积神经网络；所述卷积神经网络使用5*5的卷积核，在每一层所述卷积层后加入lrelu激活函数，使用卷积前后特征图大小相同的填充方式，同时加入最大池化操作。
优选地，在本发明实施例提供的上述图像数据集生成制作方法中，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，具体包括：
通过所述变分自编码器的编码器对所述真实图像进行编码，得到隐性变量；
将所述隐性变量通过所述变分自编码器的解码器得到所述变分自编码器的生成图像；
将随机噪声通过所述生成器得到所述生成式对抗网络的生成图像；
将所述真实图像、所述变分自编码器的生成图像、所述生成式对抗网络的生成图像同时通过所述判别器进行判别。
优选地，在本发明实施例提供的上述图像数据集生成制作方法中，所述解码器与所述生成器合为一个上采样层。
优选地，在本发明实施例提供的上述图像数据集生成制作方法中，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，具体还包括：
利用多个所述判别器同时进行整体图像和局部图像的判别，以鉴定不同尺寸的图像真伪；
通过多个所述判别器的权重共享得到所述生成图像的不同位置的细节信息。
优选地，在本发明实施例提供的上述图像数据集生成制作方法中，还包括：
通过vgg分类网络模型来评估所述生成器的生成图像与真实图像之间的相似性。
本发明实施例还提供了一种图像数据集生成制作装置，包括：
初始图像集制作模块，用于制作包含多个真实图像的初始图像集；
gan网络构建模块，用于构建生成式对抗网络中生成器与判别器的网络结构；
vae-gan训练模块，用于以所述初始图像集为输入，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，得到训练好的vae-gan网络模型；
图像数据集生成模块，用于将图像样本输入至训练好的所述vae-gan网络模型，得到与所述图像样本对应的图像数据集。
本发明实施例还提供了一种图像数据集生成制作设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述图像数据集生成制作方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述图像数据集生成制作方法。
从上述技术方案可以看出，本发明所提供的一种图像数据集生成制作方法，包括：制作包含多个真实图像的初始图像集；构建生成式对抗网络中生成器与判别器的网络结构；以初始图像集为输入，将变分自编码器加入到生成式对抗网络的整个训练过程中，得到训练好的vae-gan网络模型；将图像样本输入至训练好的vae-gan网络模型，得到与图像样本对应的图像数据集。
本发明通过将变分自编码器与生成式对抗网络相结合，首先设计生成式对抗网络中生成器与判别器的网络结构，稳定训练，然后将变分自编码器加入到生成式对抗网络的整个训练过程中，通过综合生成式对抗网络与变分自编码器的优点利用得到的vae-gan这一网络模型，实现特征提取能力和图像生成能力的结合，解决生成图像错误和不清晰的问题，最终实现清晰和准确图像的生成，提升图像训练样本的数量和多样性。此外，本发明还针对图像数据集生成制作方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的图像数据集生成制作方法的流程图；
图2为本发明实施例提供的将变分自编码器加入到生成式对抗网络的整个训练过程中的流程图；
图3为本发明实施例提供的图像数据集生成制作方法的具体流程图；
图4为本发明实施例提供的图像数据集生成制作装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种图像数据集生成制作方法，如图1所示，包括以下步骤：
s101、制作包含多个真实图像的初始图像集；
s102、构建生成式对抗网络中生成器与判别器的网络结构；
s103、以初始图像集为输入，将变分自编码器加入到生成式对抗网络的整个训练过程中，得到训练好的vae-gan(自动编码-生成式对抗网络)网络模型；
s104、将图像样本输入至训练好的vae-gan网络模型，得到与图像样本对应的图像数据集。
在本发明实施例提供的上述图像数据集生成制作方法中，通过将变分自编码器与生成式对抗网络相结合，首先设计生成式对抗网络中生成器与判别器的网络结构，稳定训练，然后将变分自编码器加入到生成式对抗网络的整个训练过程中，通过综合生成式对抗网络与变分自编码器的优点利用得到的vae-gan这一网络模型，实现特征提取能力和图像生成能力的结合，解决生成图像错误和不清晰的问题，最终实现清晰和准确图像的生成，提升图像训练样本的数量和多样性。
具体地，针对深度神经网络在军事应用时图像训练样本较少这一现状，可以采用本发明实施例提供的上述图像数据集生成制作方法实现军事图像训练样本的生成，实现清晰的军事飞机、坦克、舰艇的图像训练样本增广，完成自制军事图像数据集。
进一步地，在具体实施时，在本发明实施例提供的上述图像数据集生成制作方法中，步骤s101制作包含多个真实图像的初始图像集，具体可以包括：通过网络爬虫技术采集目标的原始图像；对采集到的原始图像进行预处理，将所有原始图像调整为分辨率和大小均相同的三通道彩色真实图像；将调整得到的真实图像制作成初始图像集。
在实际应用中，可以首先从互联网上通过爬虫技术采集相关的原始图像，由于采集到的原始图像数据集的图像分辨率不同，甚至存在一些图像所属图像类别不正确，在对所设计的生成式对抗网络进行预训练和生成特定图像前，需要对采集到的图像进行相关预处理，通过python语言和opencv工具实现统一分辨率，去除背景及干扰物等操作，最后将所有图像统一调整为大小一致的三通道彩色图，处理后的所有训练图像分辨率大小均为224*224，制作成初始图像样本训练数据集。具体地，针对军事目标图像样本进行研究，可以根据军事目标大类，将样本库建立为空中目标(飞机)、水上目标(舰艇)、陆地目标(坦克)三大类，制作成初始图像集。
在具体实施时，在本发明实施例提供的上述图像数据集生成制作方法中，步骤s102构建生成式对抗网络中生成器与判别器的网络结构，具体可以包括：在生成器中采用七层反卷积神经网络；反卷积神经网络使用5*5的反卷积核，在每一层反卷积层后加入relu激活函数；在判别器中采用七层卷积神经网络；卷积神经网络使用5*5的卷积核，在每一层卷积层后加入lrelu激活函数，使用卷积前后特征图大小相同的填充方式，同时加入最大池化操作。
可以理解的是，在图像领域，卷积神经网络的主要作用就是提取图像特征，通过多层卷积层得到更加具有意义的图像数据之间的隐含关系，同时还具有减少网络参数量的作用，能够有效训练同时具有生成器和判别器的生成式对抗网络。
在具体实施时，在本发明实施例提供的上述图像数据集生成制作方法中，如图2和图3所示，步骤s103将变分自编码器加入到生成式对抗网络的整个训练过程中，具体可以包括：首先，通过变分自编码器的编码器对真实图像进行编码，得到隐性变量z；然后，将隐性变量z通过变分自编码器的解码器得到变分自编码器的生成图像g(z)；将随机噪声z通过生成器得到生成式对抗网络的生成图像g(z)；将真实图像x、变分自编码器的生成图像g(z)、生成式对抗网络的生成图像g(z)同时通过判别器进行判别。
需要说明的是，在通过变分自动编码器进行图像生成时，经常会导致生成图像失真，图像不清晰；在通过生成式对抗网络生成图像时，由于训练过于自由，大部分生成图像为错误图像，不能与真实的输入图像样本一致，在生成式对抗网络的训练过程中难度也较大。而本发明通过综合生成式对抗网络和变分自编码器的优点有vae-gan这一网络模型，实现了特征提取能力和图像生成能力的结合。在步骤s102中构建的生成式对抗网络的设计基础上，真实图像首先通过变分自编码器的编码器进行编码，得到隐性变量，将隐性变量通过解码器得到变分自编码器所生成的图像，随机噪声通过生成器得到生成图像，随机噪声的维数保持与隐性变量一致。真实图像、生成式对抗网络的生成图像、变分自编码器的生成图像同时通过判别器进行判别，通过对抗训练使随机噪声转换成真实图像。通过变分自编码器与生成式对抗网络的结合，可以得到其训练过程，可以看出解码器与生成器的作用以及输入输出大小相同，所以可以在网络模型中将二者合为一个上采样层，这样通过将两种模型的融合可以推理出其训练过程如下：
由变分自编码器可以得出编码器与解码器的优化函数，编码器的作用是由真实数据得到隐性表达z，过程可以描述为：
其中，x为真实图像，z＝enc(x)为真实图像经过编码器的输出，q(z|x)为概率分布形式，
变分自编码器的损失函数是期望的对数似然和先验正则化项做减法运算，得到损失函数如下：
lll＝-eq(z|x)(log(p(x|z)),lp＝eq(z|x)(log(q(z|x))＝dkl(q(z|x)||p(z))
其中，lvae为损失函数，
同时，在生成对抗网络中，也是由两个不同网络组成，一个是生成器g，作用是将噪声或者是隐性表达z映射到与真实样本分布一致的空间，其输出为g(z)，一个是判别器网络d，d的作用是将输入的x降采样分类，输出表达为d(x)，y＝d(x)∈[0，1]，y是用来表明x是真实数据样本的概率，1–d(x)则是表示生成数据样本通过判别器判别为假样本的概率，其中z的分布可以设为p(z)。这样其目标函数如下式所示：
lgan＝log(dis(x)) log(1-dis(gen(z)))
其中，lgan为目标函数，dis(x)为真实图像通过判别器的输出，gen(z)为噪声z通过生成器的输出，dis(gen(z))为生成图像通过判别器的输出。
在gan模型中，判别器网络能够学习和提取到输入图像的丰富图像特征。vae-gan将判别器学习到的图像特征输入到变分自编码器的重构误差中。最后得到一个能够生成更好图像质量的gan模型。
可以将两种模型结合后的整体优化函数总结为：
其中，l为总训练损失函数，lgan为生成式对抗网络损失函数，lkl为变分自编码器的解码器损失函数，
在训练的过程中，首先用损失函数公式来同时对vae和gan进行训练。在这个过程中，因为生成式对抗网络与变分自编码器的模型结构不同，对于联合损失来说，不是同时更新所有的网络参数。例如如果在训练过程中将
在具体实施时，在本发明实施例提供的上述图像数据集生成制作方法中，步骤s103将变分自编码器加入到生成式对抗网络的整个训练过程中，具体还可以包括：利用多个判别器同时进行整体图像和局部图像的判别，以鉴定不同尺寸的图像真伪；通过多个判别器的权重共享得到生成图像的不同位置的细节信息。
需要注意的是，生成式对抗网络的判别器使用全卷积网络，同时使多个判别器实现共享权重，即在判别器中，可以使用一个网络表示多个判别器，在生成图像的整体结构轮廓的基础上，同样能生成图像的局部细节，这样致使生成的图像细节更加合理，整个图像也更加逼真。也就是说，多个判别器可分别判断真实图像与生成图像的不同尺寸的真假，以进行多尺度判别，实现局部图像清晰化的目的，通过多个判别器的权重共享得到图像的不同位置的细节信息，将多个判别器的损失函数平均加权实现判别器的训练过程，使得生成图像有更好的生成质量效果，达到生成清晰目标图像样本的目的。
在具体实施时，在本发明实施例提供的上述图像数据集生成制作方法中，如图3所示，还可以包括：通过vgg分类网络模型来评估生成器的生成图像与真实图像之间的相似性。
需要说明的是，在验证分类准确率时，需采用不同图像数据集对分类精度进行进一步验证，在本发明的初始图像集的基础上，可同时添加几大类图像(如汽车，无人机等)，制作成分类数据集。根据分类数据集，通过交叉验证的方法验证生成图像与真实图像之间的相似性，将生成图像与真实图像以不同比例混合通过分类器进行训练，确定在不同情况下生成图像与真实图像的分类准确率，与主观质量评价和客观质量评价相结合，确定生成图像质量。这样生成的图像经过了vgg分类网络模型的质量评价，制作的数据集实用性很高，可以用于后续的深度学习研究。
基于同一发明构思，本发明实施例还提供了一种图像数据集生成制作装置，由于该装置解决问题的原理与前述一种图像数据集生成制作方法相似，因此该装置的实施可以参见图像数据集生成制作方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的图像数据集生成制作装置，如图4所示，具体可以包括：
初始图像集制作模块11，用于制作包含多个真实图像的初始图像集；
gan网络构建模块12，用于构建生成式对抗网络中生成器与判别器的网络结构；
vae-gan训练模块13，用于以初始图像集为输入，将变分自编码器加入到生成式对抗网络的整个训练过程中，得到训练好的vae-gan网络模型；
图像数据集生成模块14，用于将图像样本输入至训练好的vae-gan网络模型，得到与图像样本对应的图像数据集。
在本发明实施例提供的上述图像数据集生成制作装置中，可以通过上述四个模块的相互作用，将变分自编码器与生成式对抗网络相结合，通过综合生成式对抗网络与变分自编码器的优点利用得到的vae-gan这一网络模型，实现特征提取能力和图像生成能力的结合，解决生成图像错误和不清晰的问题，最终实现清晰和准确图像的生成，提升图像训练样本的数量和多样性。
在具体实施时，在本发明实施例提供的上述图像数据集生成制作方法中，还可以包括：
分类评估模块，用于通过vgg分类网络模型来评估生成器的生成图像与真实图像之间的相似性。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种图像数据集生成制作设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的图像数据集生成制作方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的图像数据集生成制作方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种图像数据集生成制作方法，包括：制作包含多个真实图像的初始图像集；构建生成式对抗网络中生成器与判别器的网络结构；以初始图像集为输入，将变分自编码器加入到生成式对抗网络的整个训练过程中，得到训练好的vae-gan网络模型；将图像样本输入至训练好的vae-gan网络模型，得到与图像样本对应的图像数据集。本发明通过将变分自编码器与生成式对抗网络相结合，首先设计生成式对抗网络中生成器与判别器的网络结构，稳定训练，然后将变分自编码器加入到生成式对抗网络的整个训练过程中，通过综合生成式对抗网络与变分自编码器的优点利用得到的vae-gan这一网络模型，实现特征提取能力和图像生成能力的结合，解决生成图像错误和不清晰的问题，最终实现清晰和准确图像的生成，提升图像训练样本的数量和多样性。此外，本发明还针对图像数据集生成制作方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的图像数据集生成制作方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
1.一种图像数据集生成制作方法，其特征在于，包括：
制作包含多个真实图像的初始图像集；
构建生成式对抗网络中生成器与判别器的网络结构；
以所述初始图像集为输入，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，得到训练好的vae-gan网络模型；
将图像样本输入至训练好的所述vae-gan网络模型，得到与所述图像样本对应的图像数据集。
2.根据权利要求1所述的图像数据集生成制作方法，其特征在于，制作包含多个真实图像的初始图像集，具体包括：
通过网络爬虫技术采集目标的原始图像；
对采集到的所述原始图像进行预处理，将所有所述原始图像调整为分辨率和大小均相同的三通道彩色真实图像；
将调整得到的所述真实图像制作成初始图像集。
3.根据权利要求2所述的图像数据集生成制作方法，其特征在于，构建生成式对抗网络中生成器与判别器的网络结构，具体包括：
在所述生成器中采用七层反卷积神经网络；所述反卷积神经网络使用5*5的反卷积核，在每一层所述反卷积层后加入relu激活函数；
在所述判别器中采用七层卷积神经网络；所述卷积神经网络使用5*5的卷积核，在每一层所述卷积层后加入lrelu激活函数，使用卷积前后特征图大小相同的填充方式，同时加入最大池化操作。
4.根据权利要求3所述的图像数据集生成制作方法，其特征在于，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，具体包括：
通过所述变分自编码器的编码器对所述真实图像进行编码，得到隐性变量；
将所述隐性变量通过所述变分自编码器的解码器得到所述变分自编码器的生成图像；
将随机噪声通过所述生成器得到所述生成式对抗网络的生成图像；
将所述真实图像、所述变分自编码器的生成图像、所述生成式对抗网络的生成图像同时通过所述判别器进行判别。
5.根据权利要求4所述的图像数据集生成制作方法，其特征在于，所述解码器与所述生成器合为一个上采样层。
6.根据权利要求5所述的图像数据集生成制作方法，其特征在于，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，具体还包括：
利用多个所述判别器同时进行整体图像和局部图像的判别，以鉴定不同尺寸的图像真伪；
通过多个所述判别器的权重共享得到所述生成图像的不同位置的细节信息。
7.根据权利要求6所述的图像数据集生成制作方法，其特征在于，还包括：
通过vgg分类网络模型来评估所述生成器的生成图像与真实图像之间的相似性。
8.一种图像数据集生成制作装置，其特征在于，包括：
初始图像集制作模块，用于制作包含多个真实图像的初始图像集；
gan网络构建模块，用于构建生成式对抗网络中生成器与判别器的网络结构；
vae-gan训练模块，用于以所述初始图像集为输入，将变分自编码器加入到所述生成式对抗网络的整个训练过程中，得到训练好的vae-gan网络模型；
图像数据集生成模块，用于将图像样本输入至训练好的所述vae-gan网络模型，得到与所述图像样本对应的图像数据集。
9.一种图像数据集生成制作设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的图像数据集生成制作方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像数据集生成制作方法。
技术总结