本发明属于计算机视觉与智能交通基数领域。
背景技术:
1、交通标志识别对于提高智能交通系统的安全性和效率至关重要。然而,交通标志识别在实际应用中面临诸多挑战,在不同的光照和环境条件下可交通标志能呈现不同的外观,这使得识别模型在复杂场景下的鲁棒性成为一个挑战。交通标志的种类繁多,涵盖了各种形状、颜色和图案,标注准确的数据集相对有限,少量标注数据下对交通标志的有效识别和泛化是识别模型面临的又一挑战。在自动驾驶和智能交通系统中,需要设计轻量化的模型,以确保在资源受限的条件下能够高效运行,满足实时性的要求。
2、传统的交通标志识别方法包括边缘检测、颜色分割、形状分析等,在特定交通场景中表现良好,但对照明变化和图像噪声敏感,在复杂的现实世界道路情况下表现不佳。核方法在学习复杂非线性特征表示方面具有优势,在小样本情况下表现出良好的泛化性能,具有强大的函数逼近能力,可以有效地处理交通标志识别中的非线性小样本分类问题。然而,核方法在求解逆矩阵的过程中面临庞大的计算复杂度。当前在交通标志识别领域,深度学习方法在处理复杂场景和大规模数据方面取得了显著的成果。然而,传统的深度学习方法在处理交通标志时存在计算复杂度高、对大规模标注数据的依赖性强以及模型可解释性差等问题。这些问题不仅限制了方法在实际应用中的效果,还使得模型难以适应多样性的交通场景。当前,transformer模型作为一种先进的序列建模技术,在自然语言处理等领域取得了显著成功。transformer模型的全局信息捕捉能力和对序列关系的敏感性使其在处理交通标志识别中的复杂场景具有潜在优势。然而,transformer模型也面临计算复杂度高、对大规模标注数据的依赖性以及模型可解释性不足的问题。
技术实现思路
1、本发明的目的是利用随机傅里叶特征将核方法与transformer结构的优势有效整合构建了更准确、鲁棒、轻量且可解释交通标志识别模型的用于交通标志识别的深度核transformer网络实现方法。
2、本发明的步骤是:
3、s1、结构设计
4、s11、实值函数k(x,x′)是一个正定核,那么存在一个非负有界测度
5、
6、其中且i是虚数单位;p(ω)是关于ω的概率分布:
7、
8、其中u=x-x′;
9、高维径向基函数:
10、
11、其中表示核函数的长度尺度参数;
12、rbf核函数为
13、
14、其中且
15、rbf核函数的显式映射函数在随机特征中获得
16、
17、使得
18、
19、其中zσ:且d》m.,是原始核函数的一个无偏估计;
20、深度高斯过程模型每一层gp的输出用作下一层gp的输入,深度模型的底层函数f=(f(x1),...,f(xn))t在时满足联合高斯,其中x=[x0,x1,…,xn]且k是协方差矩阵。协方差矩阵k的元素k={k(xi,xj∣θ)}i,j由核函数k(·)和超参数θ指定。对于一个l层网络,在随机特征扩展后,核矩阵被一个低秩近似矩阵k≈zzt,等效,实现贝叶斯线性模型f=zw,其中f(x,w)=wtz(x)且
21、s12、dk-gpt总体网络结构
22、s121、局部向量嵌入模块的网络结构
23、conv.rff层的公式如下
24、
25、其中通过蒙特卡洛采样生成,fo是输入图像xo;
26、将conv.rff和gconv操作构建为贝叶斯线性模型来提取图像的特征
27、
28、在k≥3时,添加了通道连接,并更新fk为
29、fk=cat[fk-1,downsample(fk-1)] (9)
30、s122、自注意力机制模块改进
31、将局部向量嵌入模块的结果通过层归一化层进行标准化,作为自注意力机制的输入
32、
33、
34、其中xclass∈rmc×1×c和fk∈rmc×n×c,n=p2,p是嵌入向量大小;
35、使用卷积随机傅里叶特征模块来投影q、k和v,并将矩阵与在上一个模块中学习的类别嵌入向量进行拼接
36、
37、q=cat[xclass;q] (11)
38、其中qclass∈rmc×n×c,n=p2;
39、模型的自注意力为
40、
41、其中q、k、v分别是通过卷积随机傅里叶特征获得的查询、键和值矩阵,dk是注意力头的维度;
42、线性变换获得最终输出
43、mhsa(q,k,v)=cat(head1,...,headh)wo
44、headi=a(qwiq,kwik,vwiv) (13)
45、wiq,wik,wiv是第i个注意力头的线性变换矩阵,wo是最终输出的线性变换矩阵;
46、最终输出特征xk
47、yk=xk-1+mhsa(xk-1)
48、xk=yk+mlp(ln(yk)) (14)
49、其中mlp是前馈网络;
50、s123、分类头模块
51、采用卷积随机傅里叶特征层来整合最终的特征信息
52、
53、使用线性乘积替代全连接层进行识别,有效减少参数数量
54、
55、
56、其中先验分布是重参数化后的权重;
57、s2、贝叶斯优化的模型参数求解
58、将参数求解问题转化为迭代优化问题
59、
60、其中q(f)是近似的后验分布,p(y|f)是观测数据的似然函数,kl[q(f)||p(f)]是变分分布和真实后验分布之间的kl散度;
61、q(η)中每个点的随机变量都是独立参数化
62、
63、其中μ是均值,σ是协方差矩阵;
64、重参数化后的ηr表示为
65、
66、ε是从标准正态分布中采样的噪声;
67、模型的elbo表示为
68、
69、期望函数表示为
70、
71、给定一个新的输入x*,通过dk-gpt映射获得相应的特征f*,并通过后验分布预测输出y*
72、p(y*|x*,x,y)=∫p(y*|f*)p(f*|x*,x,y)df* (22)。
73、本发明使用随机傅里叶特征将核方法与transformer结构有效集成,构建了一个深度分层模型,可以有效整合局部和全局信息,提高模型的泛化能力。注意力机制的q、k、v由随机傅里叶特征核近似投影获得,减少了q、k和v的计算复杂性,提高了计算效率。使用卷积随机傅里叶特征和线性映射组合构建贝叶斯线性模型作为分类头,综合考虑了提取的所有特征信息。
1.一种用于交通标志识别的深度核transformer网络实现方法,其特征在于:其步骤是:
