：本发明涉及机器视觉与园区智能监控领域，采用一种机器视觉的ai算法，具体为一种起重机作业智能监测方法及系统。
背景技术
0、
背景技术：
1、港区起重机操作需要遵从“二二一二”安全操作法，即“二次确认”、“二次起升”、“一次移位”、“二次就位”。“二次确认”指的是起重机起吊确认闭锁，就位时确认开锁，“二次起升”指的是缓慢起升、离地稍停、确认无误、再次起升，“一次移位”指的是升到安全高度、确认无障碍、由慢渐快、平稳移动，“二次就位”指的是就位前先减速、稍打停、再就位。目前对起重机操作规范监控主要是监控中台回传现场工人作业的实时监控画面，并通过中控室的安全人员工人的起重作业规范进行人工判断，由于操作规范的整体流程复杂，安全员对起重作业中操作人员的“二二一二”行为的判断容易出现疏漏，且由于场地监控摄像头较多，安全员的人工判断存在存在工作量大、效率低的情况。
技术实现思路
0、
技术实现要素：
1、本发明是为了解决上述现有技术存在的问题而提供一种起重机作业智能监测方法及系统。
2、一种起重机作业智能监测方法，其特征在于：包括如下步骤
3、获取起重机的作业视频，所述作业视频包括多帧图像；
4、对起重机的作业视频进行采样，得到t×3×224×224维度的矩阵，其中t为视频的时长；
5、将所述t×3×224×224维度的矩阵带入2d与3d卷积神经网络特征融合的视频动作检测网络中，获得t时域的多维动作分类结果；
6、将获得的起重机在t时域的13维动作分类结果与起重机操作规范进行比对，13维动作均与起重机操作规范相符的，不上报警告；13维动作均与起重机操作规范存在不符行为的，上报对应流程操作不规范的告警。
7、进一步地，所述2d与3d卷积神经网络特征融合的视频动作检测网络包括7×7大核卷积的特征提取层、分层级的动作识别残差块和动作分类器，所述t×3×224×224维度的矩阵经过7×77×7大核卷积的特征提取层的特征提取并由分层级的动作识别残差块增强后得到t时间段内所提取到的动作特征图像，并将其送入t×13维度的动作分类器中，经过t时域的平均后得到所述13维分类结果。
8、进一步地，所述动作识别残差块包括时空激活层和动作激活层。
9、进一步地，所述时空激活层由混合的2d通道池化层与3d卷积层构成，并借助sigmoid层激活；
10、其中2d通道池化层用于捕获输入特征图像在通道c维度的空间信息，3d卷积层用于捕获特征图像在t、h、w时空维度的信息。
11、进一步地，所述动作激活层处理流程如下：
12、输入的特征图像经过一个2d卷积层将通道数降低至1/16，用以降低网络的计算量；
13、将输入特征在时间t维度拆解，并将相邻的间隔帧中，后一帧经过卷积层增强再与前一帧特征作差，得到动作对应的高热区域，并将高热特征图像拼接恢复t维度特征；
14、利用2d空间池化层捕获特征图像在空间维度的信息；
15、通过一个2d卷积层恢复通道维度，并借助sigmoid激活层激活，得到动作激活层的输出。
16、进一步地，所述动作识别残差块的输出由时空激活层与动作激活层的结果通过求和的方式将两者的特征层融合得出。
17、一种起重机作业智能监测系统，其特征在于：包括
18、视频监控模块，所述视频监控模块实时获取起重机的作业视频；
19、视频处理模块，所述视频处理模块获取视频监控模块所获得的作业视频，通过模块中的2d与3d卷积神经网络特征融合的视频动作检测网络处理后输出动作分类结果；
20、操作流程判别器，所述操作流程判别器将视频处理模块所得出的动作分类结果与起重机操作规范流程进行比对，当动作分类结果与所述操作规范流程不完全符合时，输出告警信号；
21、告警模块，所述告警模块接收到操作流程判别器的告警信号后，向起重机操作人及监控人员进行告警。
22、本发明具有如下有益效果：
23、本发明提供的起重机作业智能监测方法采用了2d与3d卷积融合的视频动作识别网络，相比于常规的视频动作识别网络，充分发挥了时间段t内，起重作业状态判断的精度，提升了算法的可靠性。
24、本发明所提供的起重机作业智能监测系统可适用于港口区域多摄像头监控的场景，并对其进行全方位的自动作业监控，识别速度快，有效保证了起重机作业规范，确保了工人的生产安全。
1.一种起重机作业智能监测方法，其特征在于：包括如下步骤
2.根据权利要求1所述的一种起重机作业智能监测方法，其特征在于：所述2d与3d卷积神经网络特征融合的视频动作检测网络包括7×7大核卷积的特征提取层、分层级的动作识别残差块和动作分类器，所述t×3×224×224维度的矩阵经过7×77×7大核卷积的特征提取层的特征提取并由分层级的动作识别残差块增强后得到t时间段内所提取到的动作特征图像，并将其送入t×13维度的动作分类器中，经过t时域的平均后得到所述13维分类结果。
3.根据权利要求2所述的一种起重机作业智能监测方法，其特征在于：所述动作识别残差块包括由时空激活层和动作激活层构成的动作模块。
4.根据权利要求3所述的一种起重机作业智能监测方法，其特征在于：所述时空激活层由混合的2d通道池化层与3d卷积层构成，并借助sigmoid层激活；
5.根据权利要求3所述的一种起重机作业智能监测方法，其特征在于：所述动作激活层处理流程如下：
6.根据权利要求3所述的一种起重机作业智能监测方法，其特征在于：所述动作识别残差块的输出由时空激活层与动作激活层的结果通过求和的方式将两者的特征层融合得出。
7.一种起重机作业智能监测系统，其特征在于：包括
