本发明涉及海上风机的领域，具体涉及一种基于物联网的海上风机工作模式识别系统及其方法。
背景技术：
1、目前，风能作为一种最有前景和开发技术最成熟的可再生能源，已成为发展速度最快的一种新型能源。随着陆上风电资源趋于饱和，在国家和地方政策指引下，我国海上风电进入了蓬勃发展期。日益成熟的现代风力发电技术推动风力发电机组不断向大型化发展。
2、为了提高风能利用效率并降低单位发电量的成本，单机容量逐渐增大，但随之而来的风机安全问题也日益突出，近年来风机结构体系损坏引起的风电安全事故越来越多。更由于海上风电的地理、气候特殊性，不能实时了解风机的真实状况，不能及时发现安全隐患，发生事故往往后知后觉，从而贻误时机，小问题变成大问题，因此对海上风机的工作模式的监控具有重要意义。
3、因此，急需一种优化的海上风机工作模式识别系统和方法来对于海上风机的工作模式进行准确地识别，进而能够及时地发现海上风机的安全隐患，以避免发生安全事故，保证海上风机的正常安全运行。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提供了一种基于物联网的海上风机工作模式识别系统及其方法，主要目的在于提高海上风机工作模式识别的准确性。
2、根据本发明的第一方面实施例，提供了一种基于物联网的海上风机工作模式识别方法，海上风机包括单桩基础和塔筒，所述单桩基础上部署有第一振动传感器，所述塔筒上部署有第二振动传感器，该识别方法包括：
3、获取海上风机在预定时间段内多个预定时间点的发电功率值，以及由所述第一振动传感器采集的第一振动信号和由所述第二振动传感器采集的第二振动信号；
4、对所述第一振动信号和所述第二振动信号分别进行格拉姆角和场转换以得到第一格拉姆角和场图像和第二格拉姆角和场图像，进而获得多通道格拉姆角和场图像；
5、将所述多通道格拉姆角和场图像输入第一卷积神经网络得到振动关联特征向量，对所述振动关联特征向量中各个位置的特征值进行修正以得到校正后振动关联特征向量；
6、将所述预定时间段内多个预定时间点的发电功率值输入时序编码器得到发电功率特征向量；
7、基于所述校正后振动关联特征向量和所述发电功率特征向量获得分类特征矩阵，将所述分类特征矩阵输入分类器得到分类结果，基于所述分类结果确定海上风机的工作模式是否正常。
8、在本发明的一个实施例中，所述将所述多通道格拉姆角和场图像输入第一卷积神经网络得到振动关联特征向量，包括：将所述多通道格拉姆角和场图像通过使用通道注意力机制的第一卷积神经网络以得到振动关联特征图；对所述振动关联特征图的各个特征矩阵进行全局均值池化以得到所述振动关联特征向量。
9、在本发明的一个实施例中，所述将所述多通道格拉姆角和场图像通过使用通道注意力机制的第一卷积神经网络以得到振动关联特征图，包括：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述第一卷积神经网络的最后一层输出的所述生成特征图为所述振动关联特征图。
10、在本发明的一个实施例中，所述对所述振动关联特征向量中各个位置的特征值进行修正以得到校正后振动关联特征向量，包括：基于所述振动关联特征向量的自协方差矩阵和所述振动关联特征向量的二范数，通过公式(ⅰ)对所述振动关联特征向量中各个位置的特征值进行修正以得到所述校正后振动关联特征向量；其中，所述公式(ⅰ)为：
11、
12、其中v表示所述振动关联特征向量，σ是所述振动关联特征向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述振动关联特征向量的每两个位置的特征值之间的方差，μ和σ分别是所述振动关联特征向量的全局均值和方差，||v||2表示所述振动关联特征向量的二范数，和⊕分别表示特征向量的按位置减法和加法，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
13、在本发明的一个实施例中，所述时序编码器包含一维卷积层和全连接层，所述将所述预定时间段内多个预定时间点的发电功率值输入时序编码器得到发电功率特征向量，包括：将所述预定时间段内多个预定时间点的发电功率值按照时间维度排列为输入向量；使用时序编码器的全连接层通过公式(ⅱ)对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，公式(ⅱ)为：
14、
15、其中x是所述输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；使用所述时序编码器的一维卷积层通过公式(ⅲ)对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，公式(ⅲ)为：
16、
17、其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，x表示所述输入向量。
18、在本发明的一个实施例中，所述基于所述校正后振动关联特征向量和所述发电功率特征向量获得分类特征矩阵，包括：通过公式(ⅳ)计算所述校正后振动关联特征向量相对于所述发电功率特征向量的转移矩阵，所述转移矩阵作为所述分类特征矩阵；其中，公式(ⅳ)为：
19、v1＝m*2 (ⅳ)
20、其中v1表示所述校正后振动关联特征向量，v2表示所述发电功率特征向量，m表示所述分类特征矩阵。
21、在本发明的一个实施例中，所述将所述分类特征矩阵输入分类器得到分类结果，基于所述分类结果确定海上风机的工作模式是否正常，包括：所述分类器通过公式(ⅴ)对所述分类特征矩阵进行处理以生成分类结果，其中，公式(ⅴ)为：
22、softmax{(wn,bn):…:(w1,b1)|project(f)} (ⅴ)
23、其中project(f)表示将所述分类特征矩阵投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
24、根据本发明的第二方面实施例，还提供了一种基于物联网的海上风机工作模式识别系统，包括获取模块、图像生成模块、振动关联特征处理模块、时序编码单元和识别模块；
25、所述获取模块包括发电功率值获取单元和振动信号获取单元，所述发电功率值获取单元用于获取海上风机在预定时间段内多个预定时间点的发电功率值；所述振动信号获取单元包括部署于所述海上风机的单桩基础的第一振动传感器和部署于所述海上风机的塔筒的第二振动传感器，所述第一振动传感器用于采集的第一振动信号，所述第二振动传感器用于采集第二振动信号；
26、所述图像生成模块，用于对所述第一振动信号和所述第二振动信号分别进行格拉姆角和场转换以得到第一格拉姆角和场图像和第二格拉姆角和场图像，进而获得多通道格拉姆角和场图像；
27、所述振动关联特征处理模块包括特征提取单元和修正单元，所述特征提取单元包括第一卷积神经网络，所述特征提取单元用于将所述多通道格拉姆角和场图像输入第一卷积神经网络得到振动关联特征向量；所述修正单元用于对所述振动关联特征向量中各个位置的特征值进行修正以得到校正后振动关联特征向量；
28、所述时序编码单元包括时序编码器，所述时序编码单元用于将所述预定时间段内多个预定时间点的发电功率值输入时序编码器得到发电功率特征向量；
29、所述识别模块包括转移矩阵计算单元和分类单元，所述转移矩阵计算单元用于基于所述校正后振动关联特征向量和所述发电功率特征向量获得分类特征矩阵；所述分类单元包括分类器，所述分类单元用于将所述分类特征矩阵输入分类器得到分类结果，基于所述分类结果确定海上风机的工作模式是否正常。
30、在本发明的一个实施例中，所述特征提取单元，包括：卷积处理子单元，用于将所述多通道格拉姆角和场图像通过使用通道注意力机制的第一卷积神经网络以得到振动关联特征图；降维子单元，用于对所述振动关联特征图的各个特征矩阵进行全局均值池化以得到所述振动关联特征向量。
31、在本发明的一个实施例中，所述卷积处理子单元，进一步用于：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述第一卷积神经网络的最后一层输出的所述生成特征图为所述振动关联特征图。
32、在本发明的一个实施例中，所述修正单元，进一步用于：基于所述振动关联特征向量的自协方差矩阵和所述振动关联特征向量的二范数，通过公式(ⅰ)对所述振动关联特征向量中各个位置的特征值进行修正以得到所述校正后振动关联特征向量；其中，所述公式(ⅰ)为：
33、
34、其中v表示所述振动关联特征向量，σ是所述振动关联特征向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述振动关联特征向量的每两个位置的特征值之间的方差，μ和σ分别是所述振动关联特征向量的全局均值和方差，||v||2表示所述振动关联特征向量的二范数，和⊕分别表示特征向量的按位置减法和加法，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
35、在本发明的一个实施例中，所述时序编码单元，进一步用于：将所述预定时间段内多个预定时间点的发电功率值按照时间维度排列为输入向量；使用时序编码器的全连接层通过公式(ⅱ)对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，公式(ⅱ)为：
36、
37、其中x是所述输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；使用所述时序编码器的一维卷积层通过公式(ⅲ)对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的高维隐含关联特征，其中，公式(ⅲ)为：
38、
39、其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，x表示所述输入向量。
40、在本发明的一个实施例中，所述转移矩阵计算单元，进一步用于：通过公式(ⅳ)计算所述校正后振动关联特征向量相对于所述发电功率特征向量的转移矩阵，所述转移矩阵作为所述分类特征矩阵；其中，公式(ⅳ)为：
41、v1＝m*v2 (ⅳ)
42、其中v1表示所述校正后振动关联特征向量，v2表示所述发电功率特征向量，m表示所述分类特征矩阵。
43、在本发明的一个实施例中，所述分类单元，进一步用于：所述分类器通过公式(ⅴ)对所述分类特征矩阵进行处理以生成分类结果，其中，公式(ⅴ)为：
44、softmax{(wn,bn):…:(w1,b1)|project(f)} (ⅴ)
45、其中project(f)表示将所述分类特征矩阵投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。
46、根据本公开的第三方面实施例，还提供了一种基于物联网的海上风机工作模式识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的第一方面实施例提出的基于物联网的海上风机工作模式识别方法。
47、根据本公开的第四方面实施例，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开的第一方面实施例提出的基于物联网的海上风机工作模式识别方法。
48、在本发明一个或多个实施例中，海上风机包括单桩基础和塔筒，单桩基础上部署有第一振动传感器，塔筒上部署有第二振动传感器，该识别方法包括：获取海上风机在预定时间段内多个预定时间点的发电功率值，以及由第一振动传感器采集的第一振动信号和由第二振动传感器采集的第二振动信号；基于第一振动信号和第二振动信号获得多通道格拉姆角和场图像；将多通道格拉姆角和场图像输入第一卷积神经网络得到振动关联特征向量，对振动关联特征向量中各个位置的特征值进行修正以得到校正后振动关联特征向量；将预定时间段内多个预定时间点的发电功率值输入时序编码器得到发电功率特征向量；基于校正后振动关联特征向量和发电功率特征向量获得分类特征矩阵，将分类特征矩阵输入分类器得到分类结果，基于分类结果确定海上风机的工作模式是否正常。在这种情况下，通过采用卷积神经网络模型，基于海上风机的单桩基础和塔筒的振动信号，以及海上风机的发电功率，通过校正后振动关联特征向量和发电功率特征向量获得分类特征矩阵，利用分类特征矩阵来综合进行海上风机的工作模式识别，能够对于海上风机的工作模式进行准确地识别，并提高了工作模式识别的准确性。
49、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种基于物联网的海上风机工作模式识别方法，其特征在于，海上风机包括单桩基础和塔筒，所述单桩基础上部署有第一振动传感器，所述塔筒上部署有第二振动传感器，该识别方法包括：
2.根据权利要求1所述的基于物联网的海上风机工作模式识别方法，其特征在于，所述将所述多通道格拉姆角和场图像输入第一卷积神经网络得到振动关联特征向量，包括：
3.根据权利要求2所述的基于物联网的海上风机工作模式识别方法，其特征在于，所述将所述多通道格拉姆角和场图像通过使用通道注意力机制的第一卷积神经网络以得到振动关联特征图，包括：
4.根据权利要求3所述的基于物联网的海上风机工作模式识别方法，其特征在于，所述对所述振动关联特征向量中各个位置的特征值进行修正以得到校正后振动关联特征向量，包括：
5.根据权利要求4所述的基于物联网的海上风机工作模式识别方法，其特征在于，所述时序编码器包含一维卷积层和全连接层，所述将所述预定时间段内多个预定时间点的发电功率值输入时序编码器得到发电功率特征向量，包括：
6.根据权利要求5所述的基于物联网的海上风机工作模式识别方法，其特征在于，所述基于所述校正后振动关联特征向量和所述发电功率特征向量获得分类特征矩阵，包括：
7.根据权利要求6所述的基于物联网的海上风机工作模式识别方法，其特征在于，所述将所述分类特征矩阵输入分类器得到分类结果，基于所述分类结果确定海上风机的工作模式是否正常，包括：
8.一种基于物联网的海上风机工作模式识别系统，其特征在于，包括获取模块、图像生成模块、振动关联特征处理模块、时序编码单元和识别模块；
9.根据权利要求8所述的基于物联网的海上风机工作模式识别系统，其特征在于，所述特征提取单元，包括：
10.根据权利要求9所述的基于物联网的海上风机工作模式识别系统，其特征在于，所述卷积处理子单元，进一步用于：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行：
