本发明属于图像传输技术领域，具体涉及一种基于生成对抗网络的图片传输系统。
背景技术：
随着深度学习的大力发展和硬件的更新换代，越来越多的传统图像领域也将目光放在了深度学习相关算法，在包括图像分类、图像分割、目标识别、图像超分辨率等各个子领域都取得了相当不错的进展。本发明在发送端将图片进行可导的压缩，并将压缩后的内容利用传统编码的方案发送，接收端收到信息后，利用优化方法集和gan生成对抗网络将图像恢复。生成对抗网络是深度学习领域的一项卓越研究成果，其包含生成器和判别器两个子网络，通过对抗学习的方法，能将无监督任务转换成监督式学习来充分发挥网络的生成能力。生成对抗网络在风格迁移，超分辨率等方向上都展现了很好的效果。
技术实现要素：
本发明的目的在于提出一种可大幅提升图片传输质量的基于生成对抗网络的图片传输系统。
本发明首先基于反演问题的理论背景，通过在发送端发送图像的观测值而不是图像本身减少传输的信息，在接收端利用gan的结构先验和相关数据集从观测值中优化恢复出原始图像。
反演问题被广泛应用在计算机视觉的各个领域，反演问题的研究目标是通过观测值恢复出原始图像。本发明考虑将反演问题与图像编码结合，在发送端利用观测操作降低原始图像的维度，并保留重要的信息，然后编码传送观测值而不是原始图像来降低传输的信息量；而在接收端，通过解决相应的反演问题恢复出原始图像。
本发明中，考虑使用gan解决反演问题，gan是一种生成模型[1]，gan通过对抗学习使生成器网络能够学习到从低维隐空间到高维样本空间的映射。在接收端有大规模的相关图像数据集，这些相关图像之间存在着大量冗余信息，所以可以认为这些相关图像形成了一个嵌在高维样本空间中的低维流形。将相关图像作为训练集，可以训练gan，使其生成器网络生成的图像都在这个低维流形中，然后可以利用接收到的观测值作为特征通过优化算法寻找流形中原始图像在低维隐空间中的对应的最优潜变量，然后将最优潜变量送入生成器网络便可以生成重建图像。
具体的来说，本发明提供的基于生成对抗网络的图片传输系统，所述生成对抗网络采用gan，该gan具有两个判别器和一个生成器，生成器和判别器都是卷积神经网络，具体的层数视图像大小而定；所述图片传输系统包括发送端和接收端；
所述发送端包括压缩模块和编码模块，压缩模块用于将原始图片进行可导压缩；编码模块用于对压缩后的图片进行编码，得到压缩图像编码后的码流，进行发送；
所述接收端包括译码器、最优潜变量生成模块、生成器网络；接收端利用云上的相关数据集训练gan，然后利用接收到的压缩后的图片在gan上优化，并恢复高清图像；
所述译码器用于对发送端发送的编码压缩图片进行解码，还原压缩图片；
所述最优潜变量生成模块将译码器得到的压缩图片通过优化方法得到最优噪声潜变量。
最优噪声潜变量输入生成器，生成器有两个输出，中间层输出是低分辨率图片，最后输出高分辨率图片。云上的数据集包括两部分，一部分是与发送端发送的图片大小一致的大图，另一部分是与压缩后的图片大小一致的小图。在训练时，生成器生成的高分辨率图片与数据集中的大图一一对应，输入到第一判别器中，让第一判别器辨别该图片是数据集中图片还是生成器生成的图片；同样的生成器生成的低分辨率图片与将数据集中的小图输入到第二判别器中，让第二判别器判别该图是数据集中的图片还是生成的图片。由于低分辨率图片和高分辨率图片共用同一个生成器，所以本发明假设，如果一个噪声潜变量生成的低分辨率图片与小图误差小，那么通过该噪声变量生成的高分辨率图片与大图误差也是有限的。可以证明，如果生成器的网络是满足利普希兹条件的，那么噪声变量生成的高分辨率图片与大图误差e2是该噪声潜变量生成的低分辨率图片与小图误差e1的常数倍，该常数与生成器网络的设置有关。
通过该假设，本发明可以利用压缩后的图片来生成原图，首先通过优化的方法找到最优噪声潜变量，该噪声潜变量生成的低分辨率图片与压缩后的图片x误差最小；然后利用最优潜变量生成高分辨率图片。与传统的超分辨率方法直接从低分辨率生成高分辨率图片不一样，本发明通过低分辨率图片找到最优潜变量，然后生成高分辨率图片。很多时候直接从低分辨率图片恢复高分辨率图片是很困难的，因为缺失的信息可能会破坏原图中的规律，使得从低分辨率直接生成高分辨率图片非常困难，相比之下可能从流形中的潜变量生成高分辨率图片更加容易。
本发明提供的基于生成对抗网络的优化的图片传输系统，其工作流程如下：
（1）服务器端（接收端）训练gan；
（2）发送端通过压缩模块对原始图片进行压缩，通过编码模块对压缩图片编码，然后发送；其中，对原图进行降采样到合适的压缩倍数，图像高和宽的降采样倍数一致；并且，图片大小和压缩倍数和服务器端训练的gan对应；
（3）服务器端接收发送端发送的编码压缩图片，通过译码器解码，还原压缩图片；
（4）由最优潜变量生成模块将译码器得到的压缩图片通过优化方法得到最优噪声潜变量；
（5）利用gan的生成器生成高清图片。
本发明主要创新点在于提出的图像传输系统基于反演问题的理论背景，发送端利用观测操作减少发送的信息量，接收端利用生成网络的优化解决反演问题从接收到的观测值还原出原始图像。本发明的特点在于提出的图像传输系统基于反演问题在发送端只需要发送编码后的观测值，而不需要发送编码后的原始图像，并在接收端利用生成对抗网络解决反演问题并提升重建图像的视觉质量，本发明的传输系统在极高的压缩比下仍能有较好的重建效果。
附图说明
图1为gan网络结构图。
图2为结果示例图。
具体实施方式
（1）服务器端训练gan
首先，在服务器端利用云上的数据集训练生成对抗网络，因为本发明的目标是能通过压缩后的图片还原高清图片，所以为了达到这个目标，需要训练一个如图1所示的生成对抗网络，该生成对抗网络包括一个生成器和两个判别器，生成器输入噪声潜变量在中间层输出压缩后的图片和最后层输出高清图片，第一判别器判别高清图片是否是生成的图片，如果是输出0，不是输出1，第二判别器判别压缩后的图片是否是生成的图片。生成器和判别器都是卷积神经网络，具体的层数视图像大小而定。
（2）发送端编码压缩图片发送；
发送端将原图进行降采样到合适的压缩倍数，但是需要注意，为了网络的设计，图像高和宽的降采样倍数需要一致，如原图大小为720*360，可以将原图降采样至90*45，在高和宽两个维度上都将8倍，总体压缩了64倍，也可以将原图降采样至180*90，在高和宽两个维度上都将4倍，总体压缩了16倍。将原图压缩后选择合适的传统编码方式和码率编码发送。
同时，这里的图片大小和压缩倍数也需要和服务器端训练的gan对应，如果原图大小为720*360，压缩后的图片大小为90*45，压缩倍数为64倍，那么gan中的生成器的中间输出层特征图大小为90*45，中间层到最后层之间需要有3个上采样模块，每个模块上采样倍数为2*2，最后层输出特征图大小与原图一致为720*360。
（3）服务器端接收并解码压缩图片；
服务器端接收到码流后选择对应的解码方式解码，还原压缩图片。
（4）利用压缩后的图片，通过优化得到最优潜变量；
假设，一个噪声潜变量通过生成器生成的低分辨率图片与压缩后的图片x相近，那么该噪声潜变量生成的高分辨率图片也就与压缩前的原图相近。为了从压缩后的图片生成原图，先需要通过优化的方法找到最优噪声潜变量，该噪声潜变量生成的低分辨率图片与压缩后的图片x误差最小。与传统的超分辨率方法直接从低分辨率生成高分辨率图片不一样，本研究通过低分辨率图片找到最优潜变量，然后利用潜变量生成高分辨率图片。很多时候直接从低分辨率图片恢复高分辨率图片是很困难的，因为缺失的信息可能会破坏原图中的规律，使得从低分辨率直接生成高分辨率图片非常困难，相比之下可能从流形中的潜变量生成高分辨率图片更加容易。
通过优化的方法找到最优噪声潜变量，具体做法如下：
记z为噪声潜变量，x为还原后的压缩图片，g1(z)为由潜变量z通过生成器中间层生成的压缩后的图片，本发明利用梯度下降法优化，固定生成器的参数，将梯度反传到z，在流形空间中找到压缩图片x对应的最优潜变量z*：
（5）利用gan生成高清图片。
通过优化在噪声空间找到z*之后，利用训练好的gan网络，在生成器输入优化得到的z*，在最后层生成高分辨率图片。
通过实验可以证明，本发明确实可以提升低码率下的图片传输质量，实验结果如图2所示。实验数据集为网络上搜集到的名胜古迹图片，尺寸大小为256*256，压缩后大小为32*32，压缩倍数为64倍。图2中第一列是压缩后小图线性插值生成的图像，第二列是通过本方案生成的图像，第三列是采用相近压缩率的jpeg2000方法重建的图像，最后一列是原始图像。
本发明所主张的权利范围并不局限于此。本发明还有其他多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员可根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明所附的权利要求的保护范围。
参考文献
[1]goodfellowi,pouget-abadiej,mirzam,etal.generativeadversarialnets[c]//advancesinneuralinformationprocessingsystems.2014:2672-2680.。
1.一种基于生成对抗网络的图片传输系统，其特征在于，所述生成对抗网络采用gan，该gan具有两个判别器和一个生成器；生成器和判别器都是卷积神经网络；所述图片传输系统包括发送端和接收端；
所述发送端包括压缩模块和编码模块，压缩模块用于将原始图片进行可导压缩；编码模块用于对压缩后的图片进行编码，得到压缩图像编码后的码流，进行发送；
所述接收端包括译码器、最优潜变量生成模块、生成器网络；接收端利用云上的相关数据集训练gan，然后利用接收到的压缩后的图片在gan上优化，并恢复高清图像；其中：
所述译码器用于对发送端发送的编码压缩图片进行解码，还原压缩图片；
所述最优潜变量生成模块将译码器得到的压缩图片通过优化方法得到最优噪声潜变量；
最优噪声潜变量输入生成器，生成器有两个输出，中间层输出是低分辨率图片，最后输出高分辨率图片；云上的数据集包括两部分，一部分是与发送端发送的图片大小一致的大图，另一部分是与压缩后的图片大小一致的小图；在训练时，生成器生成的高分辨率图片与数据集中的大图一一对应，输入到第一判别器中，让第一判别器辨别该图片是数据集中图片还是生成器生成的图片；同样的生成器生成的低分辨率图片与将数据集中的小图输入到第二判别器中，让第二判别器判别该图是数据集中的图片还是生成的图片；这里低分辨率图片和高分辨率图片共用同一个生成器，该生成器的网络满足利普希兹条件。
2.根据权利要求1所述的基于生成对抗网络的图片传输系统，其特征在于，其工作流程如下：
（1）服务器端即接收端训练gan；
（2）发送端通过压缩模块对原始图片进行压缩，通过编码模块对压缩图片编码，然后发送；其中，对原图进行降采样到合适的压缩倍数，图像高和宽的降采样倍数一致；并且，图片大小和压缩倍数和服务器端训练的gan对应；
（3）服务器端接收发送端发送的编码压缩图片，通过译码器解码，还原压缩图片；
（4）由最优潜变量生成模块将译码器得到的压缩图片通过优化方法得到最优噪声潜变量；
（5）利用gan的生成器生成高清图片。
3.根据权利要求2所述的基于生成对抗网络的图片传输系统，其特征在于，通过优化的方法得到最优噪声潜变量，具体做法如下：
记z为噪声潜变量，x为还原后的压缩图片，g1(z)为由潜变量z通过生成器中间层生成的压缩后的图片，利用梯度下降法优化，固定生成器的参数，将梯度反传到z，在流形空间中找到压缩图片x对应的最优潜变量z*：
