本发明属于神经网络安全,具体涉及一种基于扩散模型的对比学习图神经网络后门防御方法和系统。
背景技术:
1、随着人工智能技术的快速发展,图神经网络在多个领域得到了广泛应用,包括社交网络分析、推荐系统、生物信息学等。然而,图神经网络的安全性和鲁棒性问题也引起了人们的关注。由于图数据的特殊性,传统的神经网络技术在图数据上的应用往往面临着诸多挑战,包括数据稀疏性、不规则性和规模庞大等问题,容易受到后门攻击的威胁,攻击者通过添加后门来操纵模型,从而达到目的。
2、以电子商务平台的推荐系统为例,推荐系统能够为消费者提供更准确、个性化的商品推荐服务。然而,推荐系统也面临着各种攻击和欺诈行为,其中一个常见的攻击方式就是图神经网络后门攻击。攻击者会利用推荐系统中的漏洞或特定规则,构造出一些虚假的行为数据,如浏览、点击或购买等,以此来干扰推荐系统的正常运行。
3、更具体来说,攻击者可以浏览与目标商品无关的商品,如自行车和电脑,然后虚假购买与目标商品无关的商品,如手机,这一过程会使推荐系统留下后门,这样一来,推荐系统就会将错误的信息加入到参数更新过程中,攻击者仅需调用预先设置的触发器激活推荐系统中的后门,就能影响真实消费者的购买决策。因此面对图神经网络后门攻击,提高图神经网络的鲁棒性显得至关重要。
4、目前后门攻击防御方法按照防御阶段的差异可以分为两类,一类是在训练阶段中过滤训练数据中的后门样本,另一类是在推断阶段中检测样本中的触发器和检测可疑模型。然而,这两种方法是针对图像数据的后门攻击而设计的防御手段。图像是规则的、结构化的连续数据,而图是非规则的、非结构化的离散数据。这导致现有的后门攻击防御方法难以处理图神经网络的后门攻击。
5、此外,现有的图神经网络防御的相关研究聚焦于对抗攻击的防御。对抗攻击关注目标模型的推断阶段,而后门攻击针对目标模型的训练阶段。现有的图神经网络防御研究忽略了在训练阶段样本类标签被修改以及触发器被嵌入的问题,从而难以抵御图神经网络上的后门攻击。
6、对比学习作为一种无监督的学习方法,其直接通过将正样本与负样本进行对比,使得数据特征相似的数据进行聚类,从而实现分类的效果。通过对比学习,可以极大程度的保留相近数据之间的关联,并且可以减少错误类标的影响。此外,对比学习的性能与负样本的整体质量有着密不可分的关系,因此选用合适的方法对负样本进行生成至关重要。
7、扩散模型作为近年来新兴的图生成模型,其生成的图相比的其他方法更加稳定、准确,其中基于分数的生成模型与传统的基于概率密度函数的生成模型相比更加灵活,因为它们不需要对概率密度函数进行建模,这使得它们可以应用于更广泛的数据类型和复杂的数据分布;可以更好地处理高维数据,因为它们不需要计算高维概率密度函数,从而有效地避免了维度灾难问题;可以更好地利用梯度信息进行模型的训练和学习,这使得它们在训练过程中能够更快地收敛。
技术实现思路
1、本发明的目的是提供一种基于扩散模型的对比学习图神经网络后门防御方法和系统,基于分数扩散模型生成训练数据的不同增强图,采用对比学习对训练数据中的触发器进行检测,通过检测图数据中的触发器,实现图神经网络在训练阶段的后门防御。
2、为实现上述发明目的,本发明提供的技术方案如下:
3、第一方面,本发明实施例提供的一种基于扩散模型的对比学习图神经网络后门防御方法,包括以下步骤:
4、步骤1:将训练数据集中的图数据输入预训练的多通道图神经网络,对图数据的节点特征和连边特征进行更新,得到所述图数据对应的第一邻接矩阵,前向扩散过程,对所述第一邻接矩阵进行加噪,将加噪后的第一邻接矩阵输入分数扩散模型,采用分数匹配使分数扩散模型最大化模拟噪声分布的梯度,反向扩散过程,采用采样得到第二邻接矩阵,使第一邻接矩阵和第二邻接矩阵之间的损失最小,得到训练好的分数扩散模型;
5、步骤2:将训练数据集中的输入图通过添加掩码和通过训练好的分数扩散模型,得到两个增强图,根据增强图构建训练数据集中每个图数据的正样本和负样本;
6、步骤3:构建基于图神经网络的图编码器,将两个增强图输入所述图编码器,得到各自的嵌入特征,利用对比学习,以最大化正样本之间嵌入特征的相似度、最小化负样本之间嵌入特征的相似度为目标,得到训练好的图编码器;
7、步骤4:将训练数据集中的任意图数据通过训练好的分数扩散模型和训练好的图编码器,得到第一嵌入特征,将所述任意图数据通过常规训练的图编码器,得到第二嵌入特征,计算第一嵌入特征和第二嵌入特征间的差异,与预设阈值比较,
8、当差异大于预设阈值时,判断所述任意图数据包含触发器,对所述任意图数据进行图重构,实现后门防御。
9、本发明将训练数据集中的图数据通过多通道图神经网络,对图数据中的节点特征和连边特征进行多通道更新,在连边特征的更新过程中,本发明采用的更新方法根据上一更新步的连边特征和当前更新步的连边所在端点的节点特征,对连边特征进行更新。
10、此外,在分数扩散模型的前向扩散过程,通过对上述的连边特征对应的邻接矩阵进行加噪处理,采用分数匹配方法,让分数扩散模型最大化模拟噪声的噪声分布的梯度,然后进行反向扩散,得到训练好的分数扩散模型。
11、将图数据输入训练好的分数扩散模型,得到第一增强图,再对同样的图数据进行删除连边和节点的操作,得到第二增强图,根据两个增强图构建数据集的正负样本,通过图编码器提取正负样本各自的嵌入特征,采用对比学习,以最大化正样本之间嵌入特征的相似度、最小化负样本之间嵌入特征的相似度为目标,得到训练好的图编码器。
12、最后采用验证集数据输入训练好的分数扩散模型和训练好的图编码器,得到良好嵌入特征,将同样的验证集数据通过常规训练的图解码器,得到可能含有触发器的可疑嵌入特征,通过计算两者差异判断是否含有触发器,最后对可疑图数据进行图重构。
13、进一步的,步骤1中,所述的对图数据的节点特征和连边特征进行更新,得到所述图数据对应的第一邻接矩阵,用公式表示为:
14、zk+1=mcgnnk(ak,zk)
15、
16、其中,表示第k+1步第c个通道上更新后的邻接矩阵中的第i行第j列的值,zk+1表示经过多通道图神经网络的多通道融合之后得到的图数据的节点特征,ak表示多通道图神经网络的第k步更新得到的邻接矩阵,zk表示多通道图神经网络的第k步更新得到的节点特征,mcgnnk(·)表示基于gnn的多通道图神经网络编码操作。
17、进一步的,步骤1中,所述的采用分数匹配使分数扩散模型最大化模拟噪声分布的梯度,具体为:
18、向第一邻接矩阵中添加噪声σ,所述噪声的噪声分布满足:
19、
20、采用分数匹配,使分数扩散模型模拟噪声分布的梯度,损失函数用公式表示为:
21、
22、其中,表示一系列的加噪等级,求期望的过程中需要用到输入的图数据以及加噪声后的数据分布,在训练过程中这两个分布是很容易得到的,因此,通过目标函数得到了一系列针对不同加噪等级的分数扩散模型
23、进一步的,步骤1中,所述的采用采样得到第二邻接矩阵,包括:
24、采用退火朗格万动力学进行下采样,用公式表示为:
25、
26、其中αi=∈·σi2/σl2,∈为最小步长,设置每个加噪等级的迭代次数为t,则可得到每个加噪等级对应的
27、进一步的,步骤2中,所述的对训练数据集中的输入图添加掩码,得到第一增强图,具体为:对训练数据集中的输入图对应的邻接矩阵采取删除连边或者丢弃节点的方式进行图增强。
28、进一步的,步骤3中,所述的构建基于图神经网络的图编码器,将两个增强图输入所述图编码器,得到各自的嵌入特征,具体为:
29、基于多层gnn结构构建图编码器;
30、将两个增强图分别输入所述图编码器,得到各自的嵌入特征,用公式表示为:
31、
32、其中,a表示图的邻接矩阵,x是特征矩阵,表示归一化后的邻接矩阵,in是单位矩阵,是图中节点的度值矩阵,为对角阵,其第i个对角元素a∈rn×n,x∈rn×m,w(0)∈rm×h和w(1)∈rh×f是两层图卷积层的权重矩阵,z∈rn×f为图卷积层输出的各个节点的隐层特征,n代表图中包含的节点数,h代表隐藏层的维度,f表示输出的节点嵌入向量的维度,m表示节点特征的维度,σ为relu激活函数。
33、进一步的,步骤3中,所述的利用对比学习,以最大化正样本之间嵌入特征的相似度、最小化负样本之间嵌入特征的相似度为目标,得到训练好的图编码器,用公式表示为:
34、
35、其中zi,zj表示一对正样本的嵌入特征;为指示函数,当j≠n时,指示函数为1,反之为0;sim(zi,zj)为特征zi和zj的余弦相似度。
36、进一步的,步骤4中,所述的计算两者间的差异,具体为:
37、通过计算第一嵌入特征和第二嵌入特征之间的曼哈顿距离,表征两者间的差异。
38、进一步的,步骤4中,所述的对所述任意图数据进行图重构,具体为:
39、使用边介数中心性指标计算所述任意图数据中所有连边的重要性程度,筛选出不重要的连边并删除;
40、为了避免错误删除连边,采用共同邻居数指标来增加连边,实现了对所述任意图数据的图重构。
41、第二方面,为实现上述发明目的,本发明实施例还提供了一种基于扩散模型的对比学习图神经网络后门防御系统,包括分数扩散模型训练单元、增强图生成单元、图编码器训练单元、后门防御单元;
42、所述分数扩散模型训练单元用于将训练数据集中的图数据输入预训练的多通道图神经网络,对图数据的节点特征和连边特征进行更新,得到所述图数据对应的第一邻接矩阵,前向扩散过程,对所述第一邻接矩阵进行加噪,将加噪后的第一邻接矩阵输入分数扩散模型,采用分数匹配使分数扩散模型最大化模拟噪声分布的梯度,反向扩散过程,采用采样得到第二邻接矩阵,使第一邻接矩阵和第二邻接矩阵之间的损失最小,得到训练好的分数扩散模型;
43、所述增强图生成单元用于将训练数据集中的输入图通过添加掩码和通过训练好的分数扩散模型,得到两个增强图,根据增强图构建训练数据集中每个图数据的正样本和负样本;
44、所述图编码器训练单元用于构建基于图神经网络的图编码器,将两个增强图输入所述图编码器,得到各自的嵌入特征,利用对比学习,以最大化正样本之间嵌入特征的相似度、最小化负样本之间嵌入特征的相似度为目标,得到训练好的图编码器;
45、所述后门防御单元用于将训练数据集中的任意图数据通过训练好的分数扩散模型和训练好的图编码器,得到第一嵌入特征,将所述任意图数据通过常规训练的图编码器,得到第二嵌入特征,计算第一嵌入特征和第二嵌入特征间的差异,与预设阈值比较,
46、当差异大于预设阈值时,判断所述任意图数据包含触发器,对所述任意图数据进行图重构,实现后门防御。
47、本发明的有益效果如下:
48、1.本发明通过将图数据通过多通道图神经网络,更新图数据中的节点特征和连边特征,得到图数据整体的邻接矩阵,再将邻接矩阵通过分数扩散模型,能够有效捕捉图数据的复杂关系和结构特征,提高对潜在后门样本的识别能力;
49、2.本发明通过对比学习,实现对潜在后门样本的过滤和排除,提高了网络对后门攻击的鲁棒性;
50、3.本发明可以结合其他防御方法,进一步提高图神经网络的安全性和可靠性;
51、4.本发明在保护网络安全的同时,不会给网络的性能和效率带来过多的额外成本。
1.一种基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤1中,所述的对图数据的节点特征和连边特征进行更新,得到所述图数据对应的第一邻接矩阵,用公式表示为:
3.根据权利要求1所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤1中,所述的采用分数匹配使分数扩散模型最大化模拟噪声分布的梯度,具体为:
4.根据权利要求1所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤1中,所述的采用采样得到第二邻接矩阵,包括:
5.根据权利要求1所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤2中,所述的将训练数据集中的输入图通过添加掩码,具体为:对训练数据集中的输入图对应的邻接矩阵采取删除连边或者丢弃节点的方式进行图增强。
6.根据权利要求5所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤3中,所述的构建基于图神经网络的图编码器,将两个增强图输入所述图编码器,得到各自的嵌入特征,具体为:
7.根据权利要求6所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤3中,所述的利用对比学习,以最大化正样本之间嵌入特征的相似度、最小化负样本之间嵌入特征的相似度为目标,得到训练好的图编码器,用公式表示为:
8.根据权利要求1所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤4中,所述的计算第一嵌入特征和第二嵌入特征间的差异,具体为:
9.根据权利要求1所述的基于扩散模型的对比学习图神经网络后门防御方法,其特征在于,步骤4中,所述的对所述任意图数据进行图重构,具体为:
10.一种基于扩散模型的对比学习图神经网络后门防御系统,其特征在于,包括分数扩散模型训练单元、增强图生成单元、图编码器训练单元、后门防御单元;