本发明涉及一种基于回归神经网络的装配扭矩监测系统及监测方法，属于智能制造和装配过程监测技术领域。
背景技术：
机械装配是机械制造业中重要的组成部分，是按照技术要求，实现机械零件、部件的组合，完成机器的组装的过程。装配过程监测已成为保证产品质量的重要手段。目前主要有三类装配过程监测方法，分别为装配操作人员监测，装配体监测和装配力/力矩监测。其中，操作人员监测，是最直接的监测方式，它应用人体姿态估计、动作识别、人脸识别等视觉方法，判断操作人员装配动作、装配操作顺序等。装配体监测通过图像识别、目标检测等方法识别装配体上的各零部件及其姿态，以判断装配体错装，漏装等。装配力/力矩监测依靠各类型传感器，监测装配过程中的操作者的施加力/力矩的情况。
当前，装配力/力矩监测分为两类。第一类传感器安装在工装夹具或装配流水线上，这类传感器工作环境受限，只能应用于被安装位置。并且这类传感器不易更换，随着工作时间的增长，性能下降，监测精度降低。第二类传感器安装在装配工具上，这类传感器通用性差，面对不同装配过程需要采用不同的装配工具，还存在便携性差、安装空间受装配空间限制等问题。
技术实现要素：
为了解决上述现有技术中存在的问题，本发明提出了一种基于回归神经网络的装配扭矩监测系统及监测方法，通过操作人员装配过程中产生的semg信号和惯性信号回归装配扭矩，监测装配情况。
本发明的技术方案如下：
技术方案一：
一种基于回归神经网络的装配扭矩监测系统，包括可穿戴测量设备、扭矩回归模块和计算机；
所述可穿戴测量设备包括无线通信单元以及与无线通信单元电连接的肌肉测量单元和惯性测量单元；所述肌肉测量单元和惯性测量单元分别采集操作人员在装配过程中产生的semg信号和惯性信号，所述无线通信单元与所述计算机无线通信连接，用于将采集到的semg信号和惯性信号发送至计算机；
还包括扭矩样本采集装置，其设置于装配体样本上并与所述计算机电连接，所述扭矩样本采集装置采集操作人员对装配体样本进行装配过程中产生的扭矩信息并发送至所述计算机上；
所述计算机包括回归神经网络模型，所述计算机将semg信号和惯性信号作为输入，扭矩信息作为输出，对所述回归神经网络模型进行训练，得到训练好的扭矩监测模型；
所述扭矩回归模块包括处理器和反馈装置，所述处理器与所述可穿戴测量设备和反馈装置电连接且嵌入有所述训练好的扭矩监测模型，用于接收semg信号和惯性信号并通过扭矩监测模型计算装配扭矩，通过所述反馈装置反馈给操作人员。
进一步的，所述计算机内还包括预处理模块，所述预处理模块包括陷波器、零相移高通滤波器和零相移低通滤波器，所述semg信号、惯性信号和扭矩信息通过所述陷波器消除信号工频干扰，所述semg信号和惯性信号通过所述零相移高通滤波器和零相移低通滤波器进行信号降噪。
进一步的，所述回归神经网络模型为异构时空卷积神经网络，其包括输入端、特征融合模块、复数个异构时空卷积模块、特征展平模块、全连接层和输出端；
所述输入端用于接收semg信号和惯性信号；所述特征融合模块用于将semg信号和惯性信号按通道叠加的方式融合，并组合成新的特征矩阵；所述异构时空卷积模块用于对所述特征矩阵进行处理，生成二维特征，其具体包括因果卷积层、异构卷积层和残差连接层；所述特征展平模块用于接收经异构时空卷积模块提取的二维特征，并转换为semg信号和惯性信号的一维特征；所述全连接层用于处理特征展平模块得到的一维特征；所述输出端用于输出回归神经网络估计的装配扭矩。
可替代的，所述回归神经网络模型为双流卷积神经网络，其包括复数个双流卷积模块、特征展平模块、特征组合模块、全连接层和输出端；
所述双流卷积模块用于分别对输入的所述semg信号和惯性信号进行处理，生成二维特征，其具体包括一维卷积层、批量归一化层、relu激活函数和平均池化层；所述特征展平模块用于接收经双流卷积模块提取的二维特征，并转换为semg信号和惯性信号的一维特征；所述特征组合模块用于将semg信号和惯性信号的一维特征按线性组合的方式组合成新的一维特征；所述全连接层用于处理特征组合模块得到的新的一维特征；所述输出端输出回归神经网络估计的装配扭矩。
进一步的，所述无线通信单元为蓝牙模块。
技术方案二：
一种基于回归神经网络的装配扭矩监测方法，基于技术方案一所述的基于回归神经网络的装配扭矩监测系统实现，包括以下步骤：
样本采集，操作人员佩戴可穿戴式测量设备进行装配操作；所述可穿戴式测量设备采集操作人员的semg信号和惯性信号，所述扭矩样本采集装置采集装配体所受的扭矩信息，并通过所述无线通信单元传输至计算机；所述semg信号、惯性信号和扭矩信息通过数据预处理模块消除信号工频干扰以及信号噪声，并建立样本数据集，其中预处理后的semg信号和惯性信号作为输入，预处理后的扭矩信息作为输出；
训练回归神经网络，将预处理后的semg信号和惯性信号作为输入分批次输出至回归神经网络模型，回归装配扭矩；计算所述装配扭矩以及预处理后的扭矩信息之间的误差，根据误差利用反向传播算法更新回归神经网络模型的可训练参数；迭代进行上述步骤，直到满足设定的训练次数，保存回归神经网络模型的参数输出为扭矩监测模型；
装配扭矩监测，将所述扭矩监测模型嵌入至所述扭矩回归模块；在实际装配场景中，操作人员佩戴可穿戴测量设备进行装配工作，所述可穿戴测量设备采集semg信号和惯性信号并传输至扭矩回归模块，所述扭矩回归模块中的处理器利用所述扭矩监测模型实时回归装配扭矩，并通过反馈装置将装配扭矩反馈给操作人员。
本发明具有如下有益效果：
1、本发明一种基于回归神经网络的装配扭矩监测系统，产品使用可穿戴设备监测操作者在装配过程中产生的表面肌电信号和惯性信号，从而判断施加的装配扭矩，大大提高扭矩监测的便携性，降低传感器安装控件和装配空间的限制。
2、本发明一种基于回归神经网络的装配扭矩监测系统，回归神经网络设计成异构时空卷积神经网络模型，使用异构卷积代替传统的膨胀卷积，减少计算量和参数的同时，提升预测准确性。
3、本发明一种基于回归神经网络的装配扭矩监测系统，回归神经网络设计成双流卷积神经网络模型，预测效果优于现有神经网络模型。
附图说明
图1为本发明实施例一的系统示意图；
图2为本发明实施例中异构时空卷积神经网络模型的结构图；
图3为本发明实施例中双流卷积神经网络模型的结构图；
图4为本发明实施例二的流程图。
附图说明：
1、可穿戴测量设备；11、肌肉测量单元；12、惯性测量单元；13、无线通信单元；2、扭矩回归模块；3、扭矩样本采集装置；4、计算机。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一：
参见图1，一种基于回归神经网络的装配扭矩监测系统，包括可穿戴测量设备1、扭矩回归模块2和计算机4；
所述可穿戴测量设备1穿戴在操作者手臂上，包括无线通信单元13以及与无线通信单元电连接的肌肉测量单元11和惯性测量单元12；所述肌肉测量单元11和惯性测量单元12分别采集操作人员在装配过程中产生的semg信号(表面肌电信号)和惯性信号，所述无线通信单元13与所述计算机无线通信连接，用于将采集到的semg信号和惯性信号发送至计算机4；
还包括扭矩样本采集装置3，其设置于装配体样本上并与所述计算机4电连接，所述扭矩样本采集装置3采集操作人员对装配体样本进行装配过程中产生的扭矩信息并发送至所述计算机4上；
所述计算机4包括回归神经网络模型，所述计算机4将semg信号和惯性信号作为输入，扭矩信息作为输出，对所述回归神经网络模型进行训练，得到训练好的扭矩监测模型；
所述扭矩回归模块2包括处理器和反馈装置，所述处理器与所述可穿戴测量设备1和反馈装置电连接且嵌入有所述训练好的扭矩监测模型，用于接收semg信号和惯性信号并通过扭矩监测模型计算装配扭矩，通过所述反馈装置反馈给操作人员，反馈装置可以是显示器。
进一步的，所述计算机4内还包括预处理模块，所述预处理模块包括陷波器、零相移高通滤波器和零相移低通滤波器，所述semg信号、惯性信号和扭矩信息通过所述陷波器消除信号工频干扰，所述semg信号和惯性信号通过所述零相移高通滤波器和零相移低通滤波器进行信号降噪。
进一步的，具体参见图2，所述回归神经网络模型为异构时空卷积神经网络(het-tcn)，其包括输入端、特征融合模块、复数个异构时空卷积模块、特征展平模块、全连接层和输出端；
所述输入端用于接收semg信号和惯性信号；所述特征融合模块用于将semg信号和惯性信号按通道叠加的方式融合，并组合成新的特征矩阵；所述异构时空卷积模块(het-tcn模块)用于对所述特征矩阵进行处理，生成二维特征，其具体包括卷积核尺寸为3，填充层为1的因果卷积层(conv3)和卷积核尺寸为1的因果卷积层(conv1)。het-tcn模块根据以下公式设定卷积间隔d：
d＝2n-1
其中n表示图中第n个het-tcn模块。在het-tcn模块中，首先特征矩阵按通道数分割成一维特征向量。然后应用conv3和conv1按设定对不同通道的一维特征向量计算特征。第一个conv3对特征矩阵中第一个通道进行特征计算，两个conv3之间间隔为d，中间通道采用conv1，然后第一个conv3下移，计算第二通道的特征矩阵。重复设定次数实现异构卷积对特征矩阵全部特征的提取。最后将所得的一维向量重新按通道拼接，得到新的特征值；残差连接层用于连接网络中的其他异构时空卷积模块；所述特征展平模块用于接收经异构时空卷积模块提取的二维特征，并转换为semg信号和惯性信号的一维特征；所述全连接层用于处理特征展平模块得到的一维特征；所述输出端用于输出回归神经网络估计的装配扭矩。
所述异构时空卷积神经网络的具体训练步骤如下：
输入端接收semg信号和惯性信号，其中semg信号的尺寸为(w，hs)，惯性信号的尺寸为(w，hi)，w表示输入宽度，hs和hi分别表示semg信号的通道数和惯性信号的通道数。然后特征融合模块将两类信号组合成新的特征矩阵，尺寸为(w，hs hi)。再应用数量为n的het-tcn模块进行特征计算，并且采用残差连接的方式连接het-tcn模块。所得特征，通过特征展平模块处理成一维特征，然后通过全连接层计算，最后通过输出端得到预测的装配扭矩结果；计算预测的装配扭矩与真实装配扭矩的误差，并采用反向传播的方式不断优化预测结果与真实装配扭矩的误差，实现装配扭矩回归。
可替代的，具体参见图3，所述回归神经网络模型为双流卷积神经网络，其包括复数个双流卷积模块、特征展平模块、特征组合模块、全连接层和输出端；
所述双流卷积模块用于分别对输入的所述semg信号和惯性信号进行处理，生成二维特征，其具体包括一维卷积层、批量归一化层、relu激活函数和平均池化层；其中，一维卷积层由卷积核尺寸为3，填充层尺寸为1的一维卷积组成，用于处理多通道的时序特征，批量归一化层用于提高网络的泛化能力，防止过拟合，加速模型收敛。relu激活函数用于增加神经网络模型的非线性；平均池化层用于保持不变性的同时减少特征参数；所述特征展平模块用于接收经双流卷积模块提取的二维特征，并转换为semg信号和惯性信号的一维特征；所述特征组合模块用于将semg信号和惯性信号的一维特征按线性组合的方式组合成新的一维特征；所述全连接层用于处理特征组合模块得到的新的一维特征；所述输出端输出回归神经网络估计的装配扭矩。
双流卷积神经网络的具体训练步骤如下：首先，通过数量为n的双流卷积模块分别直接对semg信号和惯性信号进行特征处理，其中semg信号的尺寸为(w，hs)，惯性信号的尺寸为(w，hi)，w表示输入宽度，hs和hi分别表示semg信号的通道数和惯性信号的通道数。然后通过特征展平模块分别将semg信号特征和惯性信号特征转化为一维特征。通过特征组合模块，将semg信号和惯性信号的一维特征组合成新的一维特征，并通过全连接层计算，最后通过输出端得到预测的装配扭矩结果，计算预测的装配扭矩与真实装配扭矩的误差，并采用反向传播的方式不断优化预测结果与真实装配扭矩的误差，实现装配扭矩回归。
进一步的，所述无线通信单元13为蓝牙模块。
实施例二：
参见图4，一种基于回归神经网络的装配扭矩监测方法，基于实施例一所述的基于回归神经网络的装配扭矩监测系统实现，包括以下步骤：
样本采集阶段：
步骤s1、操作人员佩戴可穿戴式测量设备1进行装配操作；
步骤s2、所述可穿戴式测量设备1采集操作人员的semg信号和惯性信号，所述扭矩样本采集装置3采集装配体所受的扭矩信息，并通过所述无线通信单元13传输至计算机4；
步骤s3、所述semg信号、惯性信号和扭矩信息通过数据预处理模块消除信号工频干扰以及信号噪声，并建立样本数据集，其中预处理后的semg信号和惯性信号作为输入，预处理后的扭矩信息作为输出；
训练回归神经网络阶段：
步骤s4、将预处理后的semg信号和惯性信号作为输入分批次输出至回归神经网络模型，回归装配扭矩；
步骤s5、计算所述装配扭矩以及预处理后的扭矩信息之间的误差，根据误差利用反向传播算法更新回归神经网络模型的权重w和偏置b；
步骤s6、用样本数据集中的semg信号和惯性信号不断重复执行步骤s4至s5，直到满足设定的训练次数保存回归神经网络模型的参数输出为扭矩监测模型；
装配扭矩监测阶段：
步骤s7、将所述扭矩监测模型嵌入至所述扭矩回归模块2；
步骤s8、在实际装配场景中，操作人员佩戴可穿戴测量设备1进行装配工作，所述可穿戴测量设备1采集semg信号和惯性信号并传输至扭矩回归模块2，所述扭矩回归模块2中的处理器利用所述扭矩监测模型实时回归装配扭矩，并通过反馈装置将装配扭矩反馈给操作人员。
为了验证本发明图2和图3中提出的装配扭矩回归神经网络的有效性，应用现有的卷积神经网络，长短时记忆神经网络，时空卷积神经网络模型进行对比。数据集使用上述步骤s1至s3建立的样本数据集。评价标准采用均方根误差rmse和确定系数r2，所得结果如下表所示：
通过上表对比发现本实施例设计的两类网络模型均比其他传统网络模型预测效果更好。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
1.一种基于回归神经网络的装配扭矩监测系统，其特征在于：包括可穿戴测量设备(1)、扭矩回归模块(2)和计算机(4)；
所述可穿戴测量设备(1)包括无线通信单元(13)以及与无线通信单元电连接的肌肉测量单元(11)和惯性测量单元(12)；所述肌肉测量单元(11)和惯性测量单元(12)分别采集操作人员在装配过程中产生的semg信号和惯性信号，所述无线通信单元(13)与所述计算机无线通信连接，用于将采集到的semg信号和惯性信号发送至计算机(4)；
还包括扭矩样本采集装置(3)，其设置于装配体样本上并与所述计算机(4)电连接，所述扭矩样本采集装置(3)采集操作人员对装配体样本进行装配过程中产生的扭矩信息并发送至所述计算机(4)上；
所述计算机(4)包括回归神经网络模型，所述计算机(4)将semg信号和惯性信号作为输入，扭矩信息作为输出，对所述回归神经网络模型进行训练，得到训练好的扭矩监测模型；
所述扭矩回归模块(2)包括处理器和反馈装置，所述处理器与所述可穿戴测量设备(1)和反馈装置电连接且嵌入有所述训练好的扭矩监测模型，用于接收semg信号和惯性信号并通过扭矩监测模型计算装配扭矩，通过所述反馈装置反馈给操作人员。
2.根据权利要求1所述的一种基于回归神经网络的装配扭矩监测系统，其特征在于：所述计算机(4)内还包括预处理模块，所述预处理模块包括陷波器、零相移高通滤波器和零相移低通滤波器，所述semg信号、惯性信号和扭矩信息通过所述陷波器消除信号工频干扰，所述semg信号和惯性信号通过所述零相移高通滤波器和零相移低通滤波器进行信号降噪。
3.根据权利要求1所述的一种基于回归神经网络的装配扭矩监测系统，其特征在于：所述回归神经网络模型为异构时空卷积神经网络，其包括输入端、特征融合模块、复数个异构时空卷积模块、特征展平模块、全连接层和输出端；
所述输入端用于接收semg信号和惯性信号；所述特征融合模块用于将semg信号和惯性信号按通道叠加的方式融合，并组合成新的特征矩阵；所述异构时空卷积模块用于对所述特征矩阵进行处理，生成二维特征，其具体包括因果卷积层、异构卷积层和残差连接层；所述特征展平模块用于接收经异构时空卷积模块提取的二维特征，并转换为semg信号和惯性信号的一维特征；所述全连接层用于处理特征展平模块得到的一维特征；所述输出端用于输出回归神经网络估计的装配扭矩。
4.根据权利要求1所述的一种基于回归神经网络的装配扭矩监测系统，其特征在于：所述回归神经网络模型为双流卷积神经网络，其包括复数个双流卷积模块、特征展平模块、特征组合模块、全连接层和输出端；
所述双流卷积模块用于分别对输入的所述semg信号和惯性信号进行处理，生成二维特征，其具体包括一维卷积层、批量归一化层、relu激活函数和平均池化层；所述特征展平模块用于接收经双流卷积模块提取的二维特征，并转换为semg信号和惯性信号的一维特征；所述特征组合模块用于将semg信号和惯性信号的一维特征按线性组合的方式组合成新的一维特征；所述全连接层用于处理特征组合模块得到的新的一维特征；所述输出端输出回归神经网络估计的装配扭矩。
5.根据权利要求1所述的基于回归神经网络的装配扭矩监测系统，其特征在于：所述无线通信单元(13)为蓝牙模块。
6.一种基于回归神经网络的装配扭矩监测方法，基于权利要求1-5任一权利要求所述的基于回归神经网络的装配扭矩监测系统实现，其特征在于，包括以下步骤：
样本采集，操作人员佩戴可穿戴式测量设备(1)进行装配操作；所述可穿戴式测量设备(1)采集操作人员的semg信号和惯性信号，所述扭矩样本采集装置(3)采集装配体所受的扭矩信息，并通过所述无线通信单元(13)传输至计算机(4)；所述semg信号、惯性信号和扭矩信息通过数据预处理模块消除信号工频干扰以及信号噪声，并建立样本数据集，其中预处理后的semg信号和惯性信号作为输入，预处理后的扭矩信息作为输出；
训练回归神经网络，将预处理后的semg信号和惯性信号作为输入分批次输出至回归神经网络模型，回归装配扭矩；计算所述装配扭矩以及预处理后的扭矩信息之间的误差，根据误差利用反向传播算法更新回归神经网络模型的可训练参数；迭代进行上述步骤，直到满足设定的训练次数，保存回归神经网络模型的参数输出为扭矩监测模型；
装配扭矩监测，将所述扭矩监测模型嵌入至所述扭矩回归模块(2)；在实际装配场景中，操作人员佩戴可穿戴测量设备(1)进行装配工作，所述可穿戴测量设备(1)采集semg信号和惯性信号并传输至扭矩回归模块(2)，所述扭矩回归模块(2)中的处理器利用所述扭矩监测模型实时回归装配扭矩，并通过反馈装置将装配扭矩反馈给操作人员。
技术总结