本发明属于生物特征识别及信息安全技术领域，特别涉及到手指静脉图像预处理领域，提供一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法。
背景技术：
实际手指静脉认证中容易出现由于指静脉采集设备镜面上存在脏污以及用户手指皮肤上沾染脏污时造成手指静脉图像受损的情况，导致采集到的图像出现了部分信息缺失，从而影响手指静脉特征的完整性导致匹配精度降低的情况。因此，对指静脉图像受损区域进行修复是指静脉图像处理中关键的步骤之一。
现有的图像修复工作主要分为基于传统低层次特征的修补算法[1]和基于深度学习的高层次特征的修补算法[2]。传统的修补算法可以细分为基于非纹理修复[3]和基于纹理修复的算法[4]。在非纹理修复中，比较典型的代表算法是bertalmio等人提出的基于偏微分方程的bscb模型[7]和chan等人提出的cdd模型[8]，其中bscb模型利用受损区域邻域已知的低层次灰度信息来进行内容的填充，但该方法只利用灰度信息来进行修复，效果不佳；cdd模型在tv模型的基础上引入了曲率驱动，在连通上实现了更好的效果，但是其算法收敛性较差，曲率的计算也大大增加了算法的复杂度。基于纹理合成的图像修复算法利用图像块之间的纹理相似性对破损区域进行填充，其中最经典的是criminisi等人提出的图像修复算法[8]，从图像完好区域中寻找与待修复区域最匹配的像素块，然后将其填充到受损区域，但是该方法在实际修复过程中容易出现马赛克效应和纹理混乱现象。yanghang等人[9]提出一种基于gabor纹理特征的手指静脉图像修复算法，利用gabor纹理约束，选择纹理相似度高的信息对受损区域进行修复，但是修复后的指静脉图像容易出现边缘信息连接不连贯的情况，并且在受损区域较大的情况下，修复之后图像结构出现了模糊的情况。上述基于灰度、纹理约束的传统低层次特征约束的修补算法，针对指静脉这种边缘信息较弱的图像，在修复过程中利用的信息不够全面，提取到的低层次特征信息不够丰富，所以最终修复效果不佳。
相较于传统修复算法，卷积神经网络能够提取指静脉图像的高层次特征信息，通过不断训练，利用高层次特征信息的完备性，使得修复后的受损区域越来越接近原始图像[10]。gaor等人[10]提出一种基于cnn的生成性修复网络结构，可以实现对图像的修复，但是在编码过程中需要将整个序列的信息压缩进一个固定长度的向量中去，而语义向量无法完全表示整个序列的信息，并且先输入的内容携带的信息容易被后输入的信息覆盖掉，导致的解码的准确率也大大下降，修复效果下降。chaoyang等人[11]在网络结构中引入了注意力机制，打破了传统cnn生成性修复网络结构在训练过程中都依赖于内部一个固定长度向量的限制，并且可以通过学习给不同的图像块设定不同的权重，这样修复的效果可以更加合理。虽然生成网络在修复过程中可以实现图像重建区域的误差最小化，但是无法保证填充区域在视觉上是合理的。deepakpathak等人[12]在cnn网络的基础上引入了gan网络作为判别器，利用判别器来判别生成的图像是否在视觉上是合理的，筛选掉不合理的图像，在一定程度上提升了图像的修复效果，但是传统gan网络容易出现训练不稳定和模式崩溃的问题[12]，影响最终的修复效果。以上算法均没有采用纹理信息约束网络的迭代过程，对于指静脉这类边缘信息较弱的图像，受损区域修复后容易导致一定程度上的模糊，而且图像重建后修复区域边界融合性能下降，不利于指静脉的特征提取识别。
技术实现要素：
本发明的目的是针对指静脉图像在实际应用场景中易受损，而目前大多数修复算法都是针对边缘纹理信息较强的图像，对指静脉这类边缘信息比较薄弱的图像修复效果不佳的问题。提出了一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法。
本发明所采用的技术方案，包括以下步骤：
s1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像。
初步修复卷积网络前半部分为卷积层，后半部分为反卷积层。由于指静脉图像信息相对比较薄弱，为了更好的对受损区域进行修复，需要获取到更丰富的图像信息，因此本发明在设计卷积层时加入了扩张卷积，并使用不同的扩张速率得到指静脉不同尺度特征信息，对图像进行修复后得到模糊的指静脉图像修复结果。基于扩张卷积的初步修复网络结构如图2。
s2、基于泊松融合的图像重建。
在进行初步修复后，已经获取到通过生成网络g(z*)的初步修复后的模糊指静脉图像，z*表示生成器能够生成原受损指静脉图像最佳伪造图像的矢量值，则(1-m)⊙g(z*)表示待修补区域经过修复处理后的信息，将其替换对应原受损指静脉图像的受损区域，完成图像重建。但是在实际修复过程中发现指静脉修复区域与周围实际像素出现连接不够自然的情况，针对这种图像修补后出现边界区域与周围实际像素值融合不佳的情况，本文提出一种基于泊松融合算法的重建函数，能在重建过程中更好地对指静脉受损区域与周围实际像素边界进行融合，达到无缝融合的效果，具体公式如下(1)：
其中，xreconstruction表示重建后图像，m为二进制掩码矩阵，y表示原受损指静脉图像。i,j代表像素点位置坐标，g(z*)表示通过生成网络初步修复后的模糊指静脉图像，z*表示生成器能够生成原受损指静脉图像最佳伪造图像的矢量值，xi、xj、g(z*)i、g(z*)j表示对应坐标像素点。
本发明定义了一组二值掩码矩阵，简单展示图像重建的过程，用m表示二进制掩码矩阵，值包括0和1，0表示丢失的信息，1表示可利用的信息；m与y的元素之间的乘积被称为hadamard乘积，表示为m⊙y，代表原受损指静脉图像中未受损的区域，如图4所示。
s3、进行基于注意力机制的精确修复卷积网络的精确修复，在修复过程中利用上下文的情况，得到更细节化的修复结果。
经过步骤s2后得到的初步修复的模糊指静脉图像，初步修复使得很多细节处都没有得到很好的修复，出现细节丢失，对后续的匹配识别造成了很大影响。因此在步骤s2初步修复结果的基础上设计了一个基于注意力机制的精确修复卷积网络，该网络中加入有注意力机制，能够更好地利用上下文的信息，使得修复后的指静脉图像受损区域更加自然。其中基于注意力机制的精确修复卷积网络包括两个平行的模块：第一个模块与初步修复卷积网络的前半部分的卷积层相似，利用卷积来想象受损区域的信息；第二个模块中加入有注意力机制，能够使得与修复区域相似的块获得更大的权重，不相似的块的权重弱化，这样合理的权重分配可以有效提升修复效果。最后，将两个模块的信息进行连接作为最终的结果，具体的网络结构如图3。
s4、基于泊松融合的图像重建。
s5、计算生成损失。利用均方误差计算nbp纹理损失，利用两个wgan-gp计算对抗损失，利用l1范式计算重建损失。
5-1、计算nbp纹理损失
首先，采用3×3的窗口提取指静脉图像的nbp纹理特征，具体编码步骤为以目标点为中心像素点，将其周围8个像素以顺时针的方式进行排列，即p0p1p2p3p4p5p6p7，按照排列好的顺序，从p0开始依次选取像素点，将选取的像素点与其右边相邻的像素点按下式(2)进行灰度值比较：
其中si为特征判断值，s0计算如下：
从而得到一串二进制的编码串。再将得到的二进制编码串按下式(4)转换成十进制值，作为中心像素点的nbp编码值。
得到精确修复后重建的指静脉图像ⅲ的nbp特征和原受损指静脉图像的nbp特征后，计算两者的损失，具体公式如下：
lnbp＝||g(z)nbp-ynbp||1(5)
5-2、计算对抗损失
对抗损失通过局部wgan-gp网络和全局wgan-gp网络获得具体公式为：
式中λglobal＝1，pglocal表示重建区域的数据分布，pgglobal表示重建图像的数据分布。e(*)表示分布函数的数学期望值，且z＝g(imgdamaged)。
5-3、计算重建损失
无论进行初步修复还是精确修复，都需要对图像进行重建，其中初步修复网络仅利用重建损失进行网络参数更新。传统的重建函数只是进行简单的区域替换，容易导致受损区域与周围实际像素连接不佳，因此本文提出基于泊松融合的重建函数，能在重建过程中更好地对指静脉受损区域与周围实际像素边界进行融合，达到无缝融合的效果，公式如(1)。
为了评估指静脉图像ⅲ与原始未受损图像之间差异，提出了重建损失，该损失可以评估重建后的指静脉图像ⅲ与相应的未受损手指静脉图像之间的灰度距离，公式如下：
lrec＝||xreconstruction-iundamaged||1(7)
其中xreconstruction代表重建图像，iundamaged代表未受损手指静脉图像
s6、根据s5得到的损失进行结合，得到最终的损失函数为：
式中，θg为生成器的训练参数，lnbp表示nbp纹理损失，ladv表示对抗损失，具体组成为两个不同的wgan-gp网络分别计算得到的局部损失和全局损失之和，lrec是重建损失，λ1、λ2、λ3分别为纹理损失、对抗损失和重建损失的权重，其中λ1 λ2 λ3＝1。三个损失分别从不同的层面对修复后的图像质量进行评估，均匀的权重分布可以使得网络参数的更新更加合理。
s7、判别器网络对修复结果进行判决。
为了保证整个图像与局部修复区域的一致性，提高修复后手指静脉图像的逼真度和纹理清晰度，提出了一种由全局wgan-gp和局部wgan-gp组成的判别器，判别器损失由全局损失和局部损失组成，公式如下：
ltotaladv＝lglobaladv llocaladv(9)
其中全局损失函数表示如下：
其中prglobal表示未受损图像的数据分布，pgglobal表示重建图像的数据分布，λ默认值为10。
局部损失函数表示如下：
其中prlocal表示未受损图像区域的数据分布(该区域与受损图像的受损区域相对应)，pglocal表示重建区域的数据分布，λ默认值为10；
两式中e(*)表示分布函数的数学期望值，且z＝g(imgdamaged)，x＝imgundamaged，
判别器网络是一个二分类网络，对修复结果进行判决，判别为0说明指静脉图像受损区域修复效果不佳，判别为1说明指静脉图像受损区域修复效果佳，判决器网络评价的准确性对最终模型的修复性能好坏十分重要，局部wgan-gp网络的输入为受损区域经过精确修复后的指静脉局部图像以及干净图像与之对应的局部区域，全局wgan-gp网络的输入为经过精确修复处理后的全局图像和对应的干净全局图像，具体的网络结构如图5。
得到精确修复后的指静脉图像的局部wgan-gp判别器损失和全局wgan-gp判别器损失之和作为最终的判别器损失。将局部wgan-gp生成器损失和全局wgan-gp生成器损失之和对损失函数进行约束可以有效增强指静脉图像局部和全局的一致性，使得最终的修复效果更贴近原始未受损图像。
本发明有益效果如下：
本发明提出一种基于生成对抗网络的指静脉图像修复方法，首先提出一种基于泊松融合的图像重建函数，使得修复后的受损区域更加自然地与周围实际像素进行连接，有效解决了重建之后出现边界融合性能下降的问题，并利用l1范式计算得到重建损失。然后，利用nbp纹理对损失函数进行约束，使得在网络迭代过程中能对指静脉的纹理结构进行针对性的修复。最后，通过两个wgan-gp网络增强全局和局部的一致性。通过利用近邻二值模式(neighborbinarypattern，nbp)纹理损失约束和泊松融合重建的网络结构进行图像修补，在修复过程中能很好地保留图像纹理特征，同时，与受损区域周围实际像素连接的也更加自然，有利于静脉匹配识别。在模拟脏污和实际脏污的情况下，本文方法相比基于非纹理约束的生成对抗网络修复，图像质量和识别率均有提升，说明本发明是一种对指静脉图像修复效果很好的方法。
附图说明
图1为网络模型的总体结构图。
图2为基于扩张卷积的初步修复网络结构。
图3为精确修复的网络结构。
图4为图像修复的二进制掩码表示。
图5为计算全局和局部损失的wgan-gp的网络结构。
图6为模拟脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。（图6模拟脏污下的修复效果）
图7为实际脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。
图8为不同算法处理模拟受损图像库和实际受损图像库psnr结果对比。
图9为不同算法处理模拟受损图像库和脏污图像库拒识率frr结果对比。
图10为不同算法处理模拟受损图像库和脏污图像库roc曲线对比。
具体实施方式
下面结合附图对本发明的具体实施例作进一步的说明。
本发明提出一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，利用两个wgan-gp模型分别计算全局损失和局部损失，wgan-gp通过增加梯度惩罚项，使得梯度更新平滑，有效解决了训练梯度消失和梯度爆炸的问题。在网络迭代过程中，所提算法利用泊松融合函数对图像进行重建，使得修复后的受损图像能与受损区域实际像素连接更加自然，并计算得到重建损失，结合nbp纹理损失、感知损失对生成对抗网络参数更新进行约束，对受损区域的指静脉纹理结构进行针对性修复。
本实施例的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，包括以下步骤：
s1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像；
s2、基于泊松融合的图像重建，基于泊松融合算法的重建函数，在重建过程中对指静脉受损区域与周围实际像素边界进行融合，获得指静脉图像ⅰ；
s3、基于注意力机制的精确修复卷积网络对步骤s2获取的指静脉图像ⅰ进行精确修复，在修复过程中利用上下文的情况，得到精确修复后的指静脉图像ⅱ；
s4、对步骤s3获取的指静脉图像ⅱ再次进行基于泊松融合的图像重建，获得重建后指静脉图像ⅲ；
s5、计算指静脉图像ⅲ的生成损失；
利用均方误差计算nbp纹理损失，利用两个wgan-gp计算对抗损失，利用l1范式计算重建损失；
s6、对步骤s5得到的损失进行结合，得到最终的损失函数；
s7、判别器网络对重建后指静脉图像ⅲ进行判决；得到重建后指静脉图像ⅲ的局部wgan-gp判别器损失和全局wgan-gp判别器损失之和作为最终的判别器损失。
进一步的，s1、利用卷积网络进行初步修复。具体的网络结构如图2所示。初步修复网络前半部分为卷积层，后半部分为反卷积层。为了获取更丰富的图像信息，采用扩张卷积，分别设置了2，4，8，16四种不同的扩张速率得到指静脉不同尺度特征信息。
进一步的，s3、根据s2得到的初步修复结果进行精确修复，精确修复过程基于注意力机制卷积网络，且在修复过程中利用上下文的情况，得到更细节化的修复结果。精确修复结构中分为了两个平行的模块，第一个模块与初步修复阶段类似，利用卷积来修复受损区域的信息，第二个模块中加入了注意力机制，可以使得与修复区域相似的块可以获得更大的权重，不相似的块的权重弱化，最后，将两个模块的信息进行连接作为最终的结果，具体的网络结构如图3。
s4、基于泊松融合的图像重建。
s5、根据式(1)、式(2)、式(3)、式(4)、式(5)、式(6)、式(7)分别计算纹理损失、对抗损失和重建损失。
s6、根据式(8)计算生成器损失。其中s5得到的纹理损失、对抗损失和重建损失权重分别为：λ1＝0.4，λ2＝0.3，λ3＝0.3。
s7、通过二分类判别器网络对修复结果进行判决。判别为0说明指静脉图像受损区域修复效果不佳，判别为1说明指静脉图像受损区域修复效果佳。网络结构如图5(a)(b)所示。
以下是基于图像数据库对本发明所提算法的实验数据分析，本发明算法与现有几种传统图像修复算法和深度学习图像修复算法进行测试比较，分别在手指静脉模拟破损图像与真实破损图像上进行测试比对。
本文采用的训练集是由实验室自主研发的850nm波长红外摄像头的小型指静脉模块进行采集，共有1500根干净手指静脉图像库，每类10幅图，总共15000幅图像。在实际应用时，采集到的图像会出现多种多样的情况，因此本文在设计图像库时，除了正常图像，也包含了漏光、模糊、旋转、平移等特殊情况的手指，训练样本的多样化可以使得模型具有更好的泛化能力。测试集分为实际脏污图像库和模拟脏污图像库，其中实际脏污图像库有200类，包含了各种大块脏污块情况，每类20幅。模拟脏污图像库有200类，每类20幅，包含了各个不同位置受损的指静脉图像。由于测试集与训练集分别属于不同类的手指图像，因此两个数据集不会产生交集，修复效果真实可靠。在训练过程中，模型输入为完整的496*200大小的指静脉图像，进行随机填充白色像素，构造不同的缺失区域，其中脏污块的区域、大小和形状都是随机的。然后将缺失块图像和缺失块对应的二进制掩码图进行配对作为输入训练，这样可以满足后续对不同大小、形状、位置的脏污块进行修复。
在实际应用场景中，手指静脉图像由于环境因素影响或者用户手指蜕皮等因素影响容易出现图像质量受损的情况，并且指静脉图像受损的区域和大小是不固定的，会出现各种各样的情况，因此在设计训练集时应该充分考虑到各个大小和区域的受损图像。
为了更好的对比不同修复算法的性能，本发明从主观评价与客观评价两个方面进行分析。
图6为模拟脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。其中传统非纹理修复算法修复结果有明显的纹理结构扭曲现象，传统纹理修复算法修复结果出现纹理信息丢失的现象，基于注意力机制生成对抗网络算法的修复结果有边界融合不佳的现象。经过本文算法修复后的受损区域，与上下文的连接更加自然，修复后图像的静脉纹理边缘与视觉连通性都较好，这对于后续的特征提取起到了十分关键的作用
图7为实际脏污情况下，不进行修复处理、传统非纹理修复算法、传统纹理修复算法、基于注意力机制的生成对抗网络、本文算法的修复结果。其中传统非纹理修复算法修复结果有明显的纹理结构扭曲现象，传统纹理修复算法修复结果出现纹理信息丢失的现象，基于注意力机制生成对抗网络算法的修复结果有边界融合不佳的现象。经过本文算法修复后的受损区域，与上下文的连接更加自然，修复后图像的静脉纹理边缘与视觉连通性都较好，这对于后续的特征提取起到了十分关键的作用。
图8为不同算法处理模拟受损图像库和实际受损图像库psnr结果对比。可以看出通过本文算法修复之后的图像的psnr值相比传统修复算法和基于注意力机制的生成对抗网络处理后[13]性能均有所提升。在模拟脏污情况下，相比不修复处理、传统非纹理修复算法、基于注意力机制的生成对抗网络修复算法分别提升了15.773db、3.96db、2.962db和0.933db。在实际脏污情况下，相比不修复处理、传统非纹理修复算法、基于注意力机制的生成对抗网络修复算法分别提升了16.26db、3.559db、3.54db和0.605db。实验结果表明，经过本文算法修复之后的指静脉图像质量更好。
图9为不同算法处理模拟受损图像库和脏污图像库拒识率frr结果对比。本发明将模拟脏污图像库、实际脏污图像库内的受损图像经过不同修复算法处理后，再将库内所有图像经过增强、归一化处理之后并提取得到nbp特征，最后计算两张图像之间的欧式距离来对实际脏污图像库、模拟脏污图像库的识别性能进行分析。
图10为不同算法处理模拟受损图像库和脏污图像库roc曲线对比。可以看出不作处理的识别性能最差，经过两类传统修复算法和基于非纹理约束的生成对抗网络修复处理后虽然各自都达到不同程度上的修复效果，但是本文提出的算法表现出了更好的修复效果。上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出得各种变化，也应视为本发明的保护范围。
1.基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于包括以下步骤：
s1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像；
s2、基于泊松融合的图像重建，基于泊松融合算法的重建函数，在重建过程中对指静脉受损区域与周围实际像素边界进行融合，获得指静脉图像ⅰ；
s3、基于注意力机制的精确修复卷积网络对步骤s2获取的指静脉图像ⅰ进行精确修复，在修复过程中利用上下文的情况，得到精确修复后的指静脉图像ⅱ；
s4、对步骤s3获取的指静脉图像ⅱ再次进行基于泊松融合的图像重建，获得重建后指静脉图像ⅲ；
s5、计算指静脉图像ⅲ的生成损失；
利用均方误差计算nbp纹理损失，利用两个wgan-gp计算对抗损失，利用l1范式计算重建损失；
s6、对步骤s5得到的损失进行结合，得到最终的损失函数；
s7、判别器网络对重建后指静脉图像ⅲ进行判决；得到重建后指静脉图像ⅲ的局部wgan-gp判别器损失和全局wgan-gp判别器损失之和作为最终的判别器损失。
2.根据权利要求1所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤s1所述的初步修复卷积网络前半部分为卷积层，后半部分为反卷积层；且在设计卷积层时加入了扩张卷积，并使用不同的扩张速率得到指静脉不同尺度特征信息，对图像进行修复后得到模糊指静脉图像。
3.根据权利要求1或2所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤s2具体实现如下：
通过生成网络g(z*)获取到初步修复后的模糊指静脉图像，z*表示生成器能够生成原受损指静脉图像最佳伪造图像的矢量值，则(1-m)⊙g(z*)表示待修补区域经过修复处理后的信息，将其替换对应原受损指静脉图像的受损区域，完成图像重建；通过基于泊松融合算法的重建函数，能在重建过程中更好地对指静脉受损区域与周围实际像素边界进行融合，具体公式如下(1)：
其中，xreconstruction表示重建后的指静脉图像ⅰ，m为二进制掩码矩阵，y表示原受损指静脉图像；i,j代表像素点位置坐标，g(z*)表示通过初步修复卷积网络初步修复后的模糊指静脉图像，z*表示生成器能够生成原受损指静脉图像最佳伪造图像的矢量值，xi、xj、g(z*)i、g(z*)j表示对应坐标像素点；m表示二进制掩码矩阵。
4.根据权利要求3所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于通过定义二值掩码矩阵m展示图像重建的过程，m的值包括0和1，0表示丢失的信息，1表示可利用的信息；m与y的元素之间的乘积被称为hadamard乘积，表示为m⊙y，代表原受损指静脉图像中未受损的区域。
5.根据权利要求4所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤s3具体实现如下：
将步骤s2得到的指静脉图像ⅰ通过一个基于注意力机制的精确修复卷积网络，该网络中加入有注意力机制，使得精确修复后的指静脉图像ⅱ的受损区域更加自然；其中基于注意力机制的精确修复卷积网络包括两个平行的模块：第一个模块与初步修复卷积网络的前半部分的卷积层相似，利用卷积来想象受损区域的信息；第二个模块中加入有注意力机制，能够使得与修复区域相似的块获得更大的权重，不相似的块的权重弱化；最后，将两个模块的信息进行连接作为最终的结果。
6.根据权利要求5所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤s5具体实现如下：
5-1、计算nbp纹理损失：
首先，采用3×3的窗口提取指静脉图像的nbp纹理特征，具体编码步骤为以目标点为中心像素点，将其周围8个像素以顺时针的方式进行排列，即p0p1p2p3p4p5p6p7，按照排列好的顺序，从p0开始依次选取像素点，将选取的像素点与其右边相邻的像素点按下式(2)进行灰度值比较：
其中si为特征判断值，s0计算如下：
从而得到一串二进制的编码串；再将得到的二进制编码串按下式(4)转换成十进制值，作为中心像素点的nbp编码值；
得到精确修复后的重建的指静脉图像ⅲ的nbp特征和原受损指静脉图像的nbp特征，计算两者的损失，具体公式如下：
lnbp＝||g(z)nbp-ynbp||1(5)
5-2、计算对抗损失
对抗损失通过局部wgan-gp网络和全局wgan-gp网络获得具体公式为：
式中λglobal＝1，pglocal表示重建区域的数据分布，pgglobal表示重建图像的数据分布；e(*)表示分布函数的数学期望值，且z＝g(imgdamaged)；
5-3、计算重建损失
重建损失用于评估重建后的指静脉图像ⅲ与相应的未受损手指静脉图像之间的灰度距离，公式如下：
lrec＝||xreconstruction-iundamaged||1(7)
其中xreconstruction代表重建后的指静脉图像ⅲ，iundamaged代表未受损手指静脉图像。
7.根据权利要求6所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤s6所述的损失函数具体如下：
式中，θg为生成器的训练参数，lnbp表示nbp纹理损失，ladv表示对抗损失，具体组成为两个不同的wgan-gp网络分别计算得到的局部损失和全局损失之和，lrec是重建损失，λ1、λ2、λ3分别为纹理损失、对抗损失和重建损失的权重，其中λ1 λ2 λ3＝1。
8.根据权利要求7所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤s7具体实现如下：
s7、判别器网络对修复结果进行判决；
判别器损失由全局损失和局部损失组成，公式如下：
ltotaladv＝lglobaladv llocaladv(9)
其中全局损失函数表示如下：
其中prglobal表示未受损图像的数据分布，pgglobal表示重建后的指静脉图像ⅲ的数据分布，λ默认值为10；
局部损失函数表示如下：
其中prlocal表示未受损图像区域的数据分布(该区域与受损图像的受损区域相对应)，pglocal表示重建区域的数据分布，λ默认值为10；
两式中e(*)表示分布函数的数学期望值，且z＝g(imgdamaged)，x＝imgundamaged，
