本发明涉及深度学习和信息隐藏领域，具体涉及一种抗帧丢失的gif动态图像版权认证方法。
背景技术：
gif动态图像凭借其高度贴合表达，动态趣味性在社交平台上广受关注，掀起了全民动态创作热，随着gif动态图像的流行，在各大社交媒体平台上广泛应用，也逐步在广告等商业领域开启商业化应用，gif动态图像的商业化也为其版权保护提出更高的要求。数字水印技术是信息安全领域的重要研究热点，其中鲁棒性水印更是版权保护的有效手段，然而，现有gif图像的水印研究主要集中在脆弱水印，如文献“munir.r.afragilewatermarkingschemeforauthenticationofgifimages.internationaljournalonelectricalengineeringandinformatics.2017.”利用基于混沌系统的随机位元在嵌入前进行处理，嵌入时使用ezstego隐藏调色板图像中的消息，但在应用于动态gif图像时，仅是重复对每一帧图像进行操作。对于鲁棒性水印方面，目前更是缺乏针对gif动态图像的研究。
生成式对抗网络(generatoradversarialnetworks,gan)最早应用于人脸生成领域，通过对抗网络与生成器的相互博弈，促进生成器的训练。随着网络硬件的发展下，生成的图像几乎与真实图像无异，生成式对抗网络也在图像合成，场景迁移，风格迁移等领域取得成功应用。近年来生成式对抗网络逐渐在信息隐藏领域崭露头角，出现了基于生成式对抗网络技术的水印方法，为信息隐藏提供新思路，文献“zhuj,kaplanr,johnsonj,andfei-feil.hidden:hidingdatawithdeepnetworks.proceedingsoftheeuropeanconferenceoncomputervision(eccv).2018.”利用生成式对抗网络实现对静态图像的水印嵌入和水印提取。生成式对抗网络的对抗网络与生成器的博弈训练，促使生成器训练生成高质量的图像，在一定程度上，与水印研究追求的目标相吻合。
gif动态图像不同于普通静态图像，动态图像由于具有时间维度信息，除需要抵抗常见图像处理类型外，还面临着帧维度的噪声攻击。gif动态图像常见的剪辑和拼接处理操作都为其鲁棒性增加难度。在遭到这些图像处理或非法图像帧的删除时，都可能会导致gif水印信息的丢失。因此除生成高质量含水印图像的同时，还应具备抵抗帧层级噪声攻击的鲁棒性。
基于上述，本专利旨在提出生成高质量gif动态图像水印的方法，且该方法即使在丢失大量帧图像的情况下，仍能完整地提取水印，实现全方位版权认证。
技术实现要素：
本发明提出了一种抗帧丢失的gif动态图像版权认证方法，在生成gif动态图像的高质量水印的同时，可抵抗丢失大量帧图像。主要包括：提出一种基于gan的端到端的版权认证方法，并通过分阶段训练的方式进一步优化生成的含水印图像，在此基础上，全真构造帧删除噪声类型，以抵抗高强度帧层级信息丢失的噪声攻击。
具体内容如下：
(1)提出一种基于gan端到端的gif动态图像版权认证方法：利用水印技术，基于卷积神经网络搭建生成式对抗网络，实现对水印图像的嵌入，生成含水印图像，并完成水印提取。
模型由预处理器，生成器，对抗网络，噪声层，解码器构成，预处理器实现对水印图像w的预处理，生成经过预处理的水印图像w'，其中w，h分别为水印图像w的宽和高；生成器接收经预处理的水印图像w'和gif动态图像c生成含水印图像s，w，h，n分别表示动态图像c的宽，高及帧数；对抗网络输入原始动态图像c和生成的含水印图像s，输出信息反馈促进生成器训练，加快收敛，直至最后生成接近原始动态图像的含水印图像；噪声层置于解码器前用于模拟常见噪声类型，输入含水印图像s，经过噪声处理的含水印图像记为s'；解码器输入经过噪声处理的含水印图像s'，仍能较完整的提取水印图像w”。针对动态图像特征，模型基于三维卷积神经网络进行设计，三维卷积核立方体形式更益于提取动态图像的时空特征。
训练过程中，首先固定生成器网络参数，将生成器生成的含水印动态图像与原始动态图像样本输入对抗网络，进行监督训练，以改善对抗网络参数，使其可以更好地着区分生成器生成的含水印数据与真实数据。然后固定对抗网络参数，训练生成器模块，包括预处理器，生成器，解码器，使生成器生成的含水印图像更加贴近真实数据图像，最终对抗网络无法做出正确判断。随着训练次数的增加，对抗网络与生成器达到平衡，生成器生成的含水印图像逐步逼近真实图像，此时正确率降到0.5，同时对抗网络无法辨别判定不出真假，以提高含水印图像的视觉质量。值得注意的是，由于对抗网络训练时容易出现模式坍塌，在对抗网络的最末层增加谱归一化(spectrumnormalization)来稳定训练。
在训练中，对预处理器，生成器，噪声层，及解码器同时进行训练，对抗网络与生成器模块交替训练。对抗网络本质上类似分类器，输出层为全连接层输出，目的在于判断输出图像是含水印图像还是原始动态图像。其中，使用损失函数ladv对水印模型中对抗网络进行训练，定义adv为对抗网络:
ladv(w',c,s)＝log(1-adv((c,w'))) log(adv(c))＝log(1-adv((s))) log(adv(c))
对整个网络模型使用损失函数l进行训练:
l(w,w',c,s)＝α||w-w”|| β||c-s|| δladv1,
其中α，β，δ分别权重分配,ladv1＝log(1-adv(s))。
噪声层，设计常见图像处理类型对噪声攻击进行仿真，模拟常用平面图形处理类型。对于动态图像可能遭受的帧层级噪声攻击，设计帧删除和帧替换。由于神经网络中需连续可导，因此将噪声类型转为网络中张量形式进行仿真模拟。
定义：c＝{c1,c1,...,cm}表示原始动态图像在时间维度的集合,s＝{s1,s1,...,sm}表示含水印动态图像在时间维度的集合，其中m表示动态图像帧数量，噪声类型表示为s'＝f(s)，f∈f,f＝{f1,f2,f3,...,fz}，其中z表示噪声类型数量。czero＝0w*h表示零向量填充，尺寸与动态图像帧相等。
帧删除，随机选取含水印图像的部分帧，利用与平面同等尺寸的零向量进行替换，模拟删除含水印图像中帧图像。表示为：
s'＝{s1,czero,s3,czero,...,sm}
帧置换，随机选取原始水印图像c的任意帧，对含水印图像的部分帧进行替换，旨在模拟含水印图像中部分帧被替换，导致水印信息丢失的噪声干扰。表示为：
s'＝{s1,cm1,s3,cm2,...,sm}，cmn∈c
(2)提出一种可抵抗高强度帧信息丢失噪声的gif动态图像水印方案：通过分阶段训练，还原帧层级信息丢失噪声攻击仿真，提出一种生成高质量的gif动态图像含水印图像方案。
在基于gan端到端的gif动态图像版权认证方法端到端的训练中，优化器同时对整个框架进行训练，存在训练周期长，训练中几个模块相互影响收敛慢等情况。基于此，提出分阶段的基于gan的gif动态图像水印方法。在端到端的水印方法中，生成器和解码器的参数以端到端的方式同时训练，解码器提取水印与输入水印之间的偏差会通过模块进行回传。在神经网络训练中，由于需要保证水印提取效果，损失函数在总是朝着降低水印图像质量的方向收敛，以保证解码器的提取精度，这在一定程度会影响生成的含水印图像的视觉效果。另外，在噪声攻击下，端到端的水印方法在训练过程中会收敛缓慢，甚至造成生成含水印图像的质量下降。通过将生成器与解码器分阶段训练，隔离解码器训练时会造成的影响，专注于网络的现阶段目标，在提升图像性能的同时，可减少训练网络的消耗。
在分阶段训练，阶段一，在无噪声情况下优化含水印图像生成，仅对预处理器，生成器，对抗网络进行训练。阶段二，保持阶段一预处理器，生成器，对抗网络参数不变，载入噪声层对解码器训练。在阶段二中，由于已经完成对生成器训练，意味着噪声攻击不会通过网络回传到生成器，进而保证高质量的含水印图像生成。隔离了网络的同时，扩展噪声类型的设计空间，可全真还原实际生活中噪声类型，免去因网络训练对噪声类型的连续可微需求。
在日常生活中，动态图像常通过剪辑拼接以组成更佳的视觉效果。同时，含水印动态图像在传输过程中，可能遭受到恶意删除图像帧的攻击。上述场景下，都会导致水印信息的丢失，从而对含水印图提取加大难度。在基于分阶段水印方法中，提出对高强度的帧层级信息丢失噪声的攻击仿真，得益于利用网络隔离了生成器，所以可构造对含水印图像的帧删除，通过随机删除含水印帧，模拟帧删除噪声攻击，实现帧图像的直接删除。训练时，通过迁移学习提高水印提取能力，从无帧丢失情况开始训练，再到低强度帧删除训练，最后高强度帧删除进行迁移学习。
与现有技术相比，上述技术方案至少具有以下显著效果：
1.本发明提供一种基于gan端到端的gif动态图像版权认证方法，基于卷积神经网络的模型进行功能模块设计，在三维卷积上实现的端到端的水印网络结构，利用对抗网络优化含水印动态图像，实现对gif动态图像产品的版权认证。
2.提出一种可抵抗高强度帧信息丢失噪声的gif动态图像水印方案，通过分阶段训练，提升含水印图像质量，隔离噪声层，全真模拟大量帧图像丢失，实现高强度帧删除噪声攻击的仿真，以获得实际场景下常用剪辑处理或恶意删除帧噪声的鲁棒性。
附图说明
图1为本发明“一种可抵抗高强度帧信息丢失噪声的gif动态图像水印方案”的训练示意图；
图2为本发明“一种基于gan端到端的gif动态图像版权认证方法”的网络子模块结构图；
具体实施方式
本发明是基于生成式对抗网络的动态gif图像水印方法。为了便于说明，本实施例以时间帧数为8的gif图像片段为例描述本发明的具体实施，但是本领域技术人员应当知晓人员应当知晓，本申请的技术方案不对gif图像格式进行限制。这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的范围。
本实施例中可以按照下述步骤进行实施，不局限于任一编程语言，在本实例中以python编程语言为例，在pytorch深度学习平台上进行模型的搭建，具体步骤如下：
步骤一：实现端到端的水印网络模型
参见图1为本发明可抵抗高强度帧信息丢失噪声的gif动态图像水印方案的训练方式，参见图2为本发明基于gan端到端的gif动态图像版权认证方法网络结构，即预处理器，生成器，对抗网络，噪声层，解码器。其中，输入数据项包括待嵌数字水印图像和原始载体图像即动态gif图像。可输出数据项为已经完成嵌入的含水印图像，以及提取出的水印标识图像。
步骤二：数据集准备。
从图像数据库a中任意挑选n张gif动态图像作为载体图像，裁剪为格式256*256*8的gif图像。考虑版权保护场景下，选择商标图像数据集为代嵌水印图像数据库b，随机挑选n张，并处理为裁剪为格式256*256大小的图像。以任意比例，随机生成训练集和测试集。
步骤三：水印模型训练。
在步骤一中水印模型进行训练，具体的实验参数如下：使用adam优化器，初始学习率为0.0001，动量参数为(β1＝0.9,β2＝0.999)，由于内存限制batch_size设置为1。训练发明1端到端基于gan的gif动态图像版权认证方法，本发明中选择常见的高斯模糊，中值滤波，椒盐噪声，帧删除，帧置换共5种噪声干扰，其中帧删除帧置换，随机挑选8帧中的任意2帧进行删除或置换操作。基于发明2网络结构，进行分阶段式可抵抗高强度帧信息丢失噪声的gif动态图像水印方案训练，通过分阶段训练，阶段1在无噪声干扰情景下，完成对生成器，预处理器，解码器训练。在阶段一的基础上，增加噪声层实现直接帧删除噪声模拟，训练解码器，即加载上阶段训练好的网络参数，adam优化器只对解码器进行训练。其中先训练无设置帧删除类型，加载模型参数，训练直接删除2帧图像，最后迁移到直接删除4帧图像进行训练，完成在直接删除(4/8)帧图像的噪声模拟。
步骤四：测试过程。
在步骤三训练好的可抵抗多种噪声干扰水印模型上，进行测试。测试过程具体为，通过替换噪声层的图像处理类型，在噪声层只为单一图像处理类型f1,f2,f3,...,fz上分别进行测试。
综上所述，针对gif动态图像，本发明提出一种基于gan的版权认证方法，分阶段训练同时仿真帧删除噪声，生成gif动态图像的鲁棒性水印，满足现对gif动态图像的功能需求，在动态图像常见的剪辑拼接操作和恶意删除图像帧攻击场景下具有实际应用价值。
本领域技术人员可以理解，本发明的保护范围不局限于所述的具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征进行等同的更改或替换，需要注意的是，更改或替换之后的技术方案都将落入本发明的保护范围之内。
1.一种抗帧丢失的gif动态图像版权认证方法，其特征在于所述方法包括：
本发明提出了一种可抵抗帧丢失的gif动态图像的水印方法，以实现gif动态图像在丢失大量帧图像信息时，仍能完成版权的所有者认证，主要包括：
提出一种基于gan端到端的gif动态图像版权认证方法，在此基础上，通过分阶段训练优化生成含水印图像，全真构造帧删除噪声类型，以抵抗动态gif图像高强度帧层级信息丢失噪声攻击。
2.根据权利要求1所述的基于gan可抵抗帧丢失的gif动态图像的水印方法，其特征在于，提出一种端到端基于生成式对抗网络的gif动态图像版权认证方法，具体包括：
通过预处理器，生成器，对抗网络，解码器，对抗网络和噪声层模块完成对gif动态图像的水印嵌入和提取。其中对抗网络与生成器进行对抗训练，促进生成器训练，优化生成的含水印图像，同时在对抗网络的设计中，在最后一层网络加入谱归一化，在训练过程中稳定对抗网络。
3.根据权利要求2所述的可抵抗高强度帧信息丢失噪声的gif动态图像水印方案，其特征在于，对所述水印方法提出一种分阶段训练方式，以及全真帧删除噪声仿真方案，具体包括：
通过分阶段方式，首先阶段一主要对生成器训练，固定参数后，再通过阶段二完成对解码器的训练，在此基础上，由于可免与对噪声类型的模拟时的连续可微要求，在阶段二实现对含水印图像的大量帧图像直接删除。分阶段将编码器与解码器分阶段训练，隔离解码器训练时会造成的影响，专注于网络的现阶段目标，真实模拟高强度的帧删除。
技术总结