本申请涉及人工智能技术领域，且更为具体地，涉及一种用于高层建筑施工的悬吊式作业平台的晃动检测方法、系统和电子设备。
背景技术：
高层建筑的楼层多，高度大，要求施工具有高度的连续上。相较于设置于地面上的作业平台，用于高层建筑施工的悬吊式作业平台的稳定性尤其重要，因为其稳定性直接关系着施工作业人员的安全。
为了提高安全性，一方面是要提高悬吊式作业平台的固定的可靠性，一方面以期望能够对悬吊式作业平台的稳定性进行监控，从而及时发现悬吊式作业平台的稳定性变差的情况，以提醒施工作业人员注意，避免发生安全事故。
因此，期待一种能够对高层建筑施工的悬吊式作业平台的稳定性进行监控的技术方案。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为高层建筑施工的悬吊式作业平台的稳定性监控提供了新的解决思路和方案。
技术实现要素：
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于高层建筑施工的悬吊式作业平台的晃动检测方法、系统和电子设备，其基于悬吊式作业平台的重心轨迹随时间变化和施工作业人员的重心轨迹随时间变化以及两者随时间变换的相互关联来对悬吊式作业平台的晃动进行检测。
根据本申请的一个方面，提供了一种用于高层建筑施工的悬吊式作业平台的晃动检测方法，其包括：
通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员；
确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹；
对所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量；
基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量；以及
将所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量，包括：将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量级联后输入深度神经网络以获得重心轨迹关联特征向量；以及，将所述重心轨迹关联特征向量通过一个或多个全连接层以获得所述分类特征向量。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量，包括：将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过变换矩阵转化为相同长度的向量；将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接后通过二维卷积以获得卷积特征图；以及，将所述卷积特征图按向量计算各位置的平均值以获得所述分类特征向量。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，包括：通过安装在所述悬吊式作业平台上的第一摄像头获取以所述悬吊式平台为主体的第一监控视频；以及，通过安装在所述悬吊式作业平台上的第二摄像头同步地获取以在所述悬吊式平台上的施工作业人员为主体的第二监控视频，所述第一摄像头与所述第二摄像头具有预设位置关系。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹，包括：将所述第一监控视频中各个图像帧的坐标系由相机坐标系转化为世界坐标系；以及，以所述所述第一监控视频中各个图像帧在所述世界坐标系上的重心变化作为所述第一重心轨迹。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹，包括：基于视频对象检测方法确定所述第一监控视频中的悬吊式作业平台对象；以及，确定所述第一监控视频中所述悬吊式作业平台的重心位置变化以获得所述第一重心轨迹。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹，进一步包括：基于视频对象检测方法确定所述第二监控视频中的施工作业人员对象；以及，确定所述第二监控视频中所述施工作业人员对象的重心位置变化以获得所述第二重心轨迹。
根据本申请的另一方面，提供了一种用于高层建筑施工的悬吊式作业平台的晃动检测系统，包括：
监控视频获取单元，用于通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员；
重心轨迹确定单元，用于确定所述监控视频获取单元获得的所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹；
重心轨迹特征向量生成单元，用于对所述重心轨迹确定单元获得的所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量；
分类特征向量生成单元，用于基于所述重心轨迹特征向量生成单元获得的所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量；以及
分类单元，用于将所述分类特征向量生成单元获得的所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测系统中，所述分类特征向量生成单元，包括：重心轨迹关联特征向量生成子单元，用于将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量级联后输入深度神经网络以获得重心轨迹关联特征向量；以及，全连接子单元，用于将所述重心轨迹关联特征向量通过一个或多个全连接层以获得所述分类特征向量。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测系统中，所述分类特征向量生成单元，包括：长度协整子单元，用于将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过变换矩阵转化为相同长度的向量；二维卷积处理子单元，用于将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接后通过二维卷积以获得卷积特征图；以及，按位置平均子单元，用于将所述卷积特征图按向量计算各位置的平均值以获得所述分类特征向量。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测系统中，所述监控视频获取单元，进一步通过安装在所述悬吊式作业平台上的第一摄像头获取以所述悬吊式平台为主体的第一监控视频；以及，通过安装在所述悬吊式作业平台上的第二摄像头同步地获取以在所述悬吊式平台上的施工作业人员为主体的第二监控视频，所述第一摄像头与所述第二摄像头具有预设位置关系。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测系统中，所述重心轨迹确定单元，进一步用于：将所述第一监控视频中各个图像帧的坐标系由相机坐标系转化为世界坐标系；以及，以所述所述第一监控视频中各个图像帧在所述世界坐标系上的重心变化作为所述第一重心轨迹。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测系统中，所述重心轨迹确定单元，进一步用于：基于视频对象检测方法确定所述第一监控视频中的悬吊式作业平台对象；以及，确定所述第一监控视频中所述悬吊式作业平台的重心位置变化以获得所述第一重心轨迹。
在上述用于高层建筑施工的悬吊式作业平台的晃动检测系统中，所述重心轨迹确定单元，进一步用于：基于视频对象检测方法确定所述第二监控视频中的施工作业人员对象；以及，确定所述第二监控视频中所述施工作业人员对象的重心位置变化以获得所述第二重心轨迹。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法。
根据本申请提供的用于高层建筑施工的悬吊式作业平台的晃动检测方法、系统和电子设备，其通过深度神经网络基于悬吊式作业平台的重心轨迹随时间变化和施工作业人员的重心轨迹随时间变化以及两者随时间变换的相互关联来对悬吊式作业平台的晃动进行检测。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法的场景示意图。
图2图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法的流程图。
图3图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法的架构示意图。
图4图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹的流程图。
图5图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹的另一流程图。
图6图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹的又一流程图。
图7图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量的流程图。
图8图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量的另一流程图。
图9图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测系统的框图。
图10图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测系统中分类特征向量生成单元的框图。
图11图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测系统中分类特征向量生成单元的另一框图。
图12图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，相较于设置于地面上的作业平台，用于高层建筑施工的悬吊式作业平台的稳定性尤其重要，因为其稳定性直接关系着施工作业人员的安全。因此，期待一种能够对高层建筑施工的悬吊式作业平台的稳定性进行监控的技术方案。
近年来，深度学习以及神经网络的发展为高层建筑施工的悬吊式作业平台的稳定性监控提供了新的解决思路和方案。
本申请的申请人注意到，在对悬吊式作业平台的稳定性进行监控时，可以采用目前基于计算机视觉的姿态检测和姿态识别方案，从而将悬吊式作业平台作为目标对象进行姿态识别，例如，确定目标对象的重心轨迹，以确定其是否处于稳定性较佳的姿态。但是在实践过程中，发现仅对悬吊式作业平台进行姿态识别仍然存在问题。
实际上，在悬吊式作业平台上有施工人员正在作业，而正在作业的施工人员会对悬吊式作业平台的姿态造成影响。也就是，当施工人员在悬吊式作业平台时，悬吊式作业平台不可避免地会产生晃动，而这种晃动并不能够作为影响悬吊式作业平台稳定性的重要判定因素。
因此，在本申请的方案中，将悬吊式作业平台和施工作业人员分开考虑，分别确定悬吊式作业平台的重心轨迹和施工作业人员的重心轨迹以作为特征向量，再通过一维卷积分别提取出悬吊式作业平台和施工作业人员的重心轨迹随时间的时序关系，然后，通过由多个全连接层组成的神经网络提取出表示悬吊式作业平台和施工作业人员的重心轨迹的时序关系的特征向量之间的关联特征，以基于悬吊式作业平台与施工作业人员的重心轨迹随时序相关联的特征向量来做出分类，从而获得能够不仅考虑悬吊式作业平台的重心轨迹随时间变化，而且考虑施工作业人员的重心轨迹随时间变化以及两者随时间变换的相互关联的分类结果，以提高最终的悬吊式作业平台的稳定性监控的准确性。
基于此，本申请提出了一种用于高层建筑施工的悬吊式作业平台的晃动检测方法，其包括：通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员；确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹；对所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量；基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量；以及，将所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
图1图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法的场景示意图。
如图1所示，在该应用场景中，通过摄像头(例如，如图1中所示意的c)悬吊式作业平台的监控视频，例如，安装在悬吊式作业平台上的摄像头采集悬吊式作业平台的监控视频；接着，将所述监控视频输入部署有用于高层建筑施工的悬吊式作业平台的晃动检测算法的服务器中(例如，如图1中所示意的s)，其中，所述服务器能够基于用于高层建筑施工的悬吊式作业平台的晃动检测算法对所述监控视频进行处理，以生成所述悬吊式作业平台的稳定性是否满足预设要求的检测结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法的流程图。如图2所示，根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法，包括：s110,通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员；s120，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹；s130，对所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量；s140，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量；以及，s150，将所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
图3图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法的架构示意图。如图3所示，在该网络架构中，首先对悬吊式作业平台的监控视频中所述悬吊式作业平台的第一重心轨迹(例如，如图3中所示意的v1)和所述施工作业人员的第二重心轨迹(例如，如图3中所示意的v2)分别进行一维卷积以获得第一重心轨迹特征向量(例如，如图3中所示意的vt1)和第二重心轨迹特征向量(例如，如图3中所示意的vt2)；接着，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络(例如，如图3中所示意的dn)以获得分类特征向量(例如，如图3中所示意的vc)；然后，将所述分类特征向量输入分类函数(例如，如图3中所示意的圈s)以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
在步骤s110中，通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员。也就是，在本申请实施例中，通过安装在所述悬吊式作业平台的摄像头采集所述悬吊式作业平台的监控视频，这样，一方面，可以解决用于获取悬吊式作业平台的视频的相机的安装问题，而且可以随着悬吊式作业平台的上下移动实时检测悬吊式作业平台的晃动。
在本申请一个具体的示例中，可通过安装在所述悬吊式作业平台的摄像头采集包含以所述悬吊式作业平台为背景的施工作业人员的一个监控视频，这样，可以确保所述监控视频中包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员。
当然，在本申请其他示例中，可以通过安装在所述悬吊式作业平台上的多个摄像头分别采集以所述悬吊式作业平台为主体的第一监控视频和以所述施工作业人员为主体的第二监控视频，例如，以安装在所述悬吊式作业平台上的第一摄像头获取以所述悬吊式平台为主体的第一监控视频；以及，以安装在所述悬吊式作业平台上的第二摄像头同步地获取以在所述悬吊式平台上的施工作业人员为主体的第二监控视频，所述第一摄像头与所述第二摄像头具有预设位置关系。也就是，在本申请其他示例中，所述监控视频包括以所述悬吊式作业平台为主体的第一监控视频和以所述施工作业人员为主体的第二监控视频，以这两个监控视频作为数据处理的源数据。应可以理解，所述第一监控视频以所述悬吊式作业平台为主体，所述第二监控视频以所述施工作业人员为主体可以提高所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹的检测精度。
在步骤s120中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹。如前所述，实际上，在悬吊式作业平台上有施工人员正在作业，而正在作业的施工人员会对悬吊式作业平台的姿态造成影响。也就是，当施工人员在悬吊式作业平台时，悬吊式作业平台不可避免地会产生晃动，而这种晃动并不能够作为影响悬吊式作业平台稳定性的重要判定因素。因此，在本申请中，将悬吊式作业平台和施工作业人员分开考虑，分别确定悬吊式作业平台的重心轨迹和施工作业人员的重心轨迹以作为特征向量，再通过两者重心轨迹变换的关联来对所述悬吊式作业平台的晃动特性进行监控，即，基于悬吊式作业平台的重心轨迹随时间变化和施工作业人员的重心轨迹随时间变化以及两者随时间变换的相互关联来对悬吊式作业平台的稳定性进行监控。
具体地，在本申请一个具体的示例中，当所述监控视频包括以所述悬吊式平台为主体的第一监控视频和以在所述悬吊式平台上的施工作业人员为主体的第二监控视频时，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹的过程，包括：首先，将所述第一监控视频中各个图像帧的坐标系由相机坐标系转化为世界坐标系；然后，以所述所述第一监控视频中各个图像帧在所述世界坐标系上的重心变化作为所述第一重心轨迹。
图4图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹的流程图。如图4所示，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹，包括：s210，将所述第一监控视频中各个图像帧的坐标系由相机坐标系转化为世界坐标系；以及，s220，以所述所述第一监控视频中各个图像帧在所述世界坐标系上的重心变化作为所述第一重心轨迹。
在该具体示例中，为了减少数据处理量，可按照预设时间间隔从所述监控视频中截取多个图像帧，并且，所述预设时间间隔值不宜过大，否则相邻两帧不能很好地反映所述悬吊式作业平台的重心变化的时序关系；当然，所述预设时间间隔也不宜过小，因为会浪费计算资源。
在本申请其他示例中，还可以通过其他方式来确定所述监控视频中所述悬吊式作业平台的第一重心轨迹，例如，基于视频对象检测方法来所述监控视频中所述悬吊式作业平台的第一重心轨迹。该过程具体包括，首先，基于视频对象检测方法确定所述第一监控视频中的悬吊式作业平台对象，例如，通过使用光流的视频对象检测方法来确定所述第一监控视频中的悬吊式作业平台对象；接着，确定所述第一监控视频中所述悬吊式作业平台的重心位置变化以获得所述第一重心轨迹，例如，通过特征点识别算法来识别所述悬吊式作业平台对象的重心来生成所述第一重心轨迹。
图5图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹的另一流程图。如图5所示，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹，包括：s310，基于视频对象检测方法确定所述第一监控视频中的悬吊式作业平台对象；以及，s320，确定所述第一监控视频中所述悬吊式作业平台的重心位置变化以获得所述第一重心轨迹。
进一步地，在上述两个具体示例中，还包括所述监控视频中所述施工作业人员的第二重心轨迹。相应地，同样可以利用基于视频对象检测方法来确定所述监控视频中所述施工作业人员的第二重心轨迹。具体地，确定所述监控视频中所述施工作业人员的第二重心轨迹的过程，包括：首先，基于视频对象检测方法确定所述第二监控视频中的施工作业人员对象，例如，基于使用光流法的视频对象检测方法来确定所述施工作业人员视频中的施工作业人员对象；接着，确定所述第二监控视频中所述施工作业人员对象的重心位置变化以获得所述第二重心轨迹，例如，通过特征点识别算法来识别所述施工作业人员对象的重心来生成所述第二重心轨迹。
图6图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹的又一流程图。如图6所示，确定所述施工作业人员的第二重心轨迹，包括：s410，基于视频对象检测方法确定所述第二监控视频中的施工作业人员对象；以及，s420，确定所述第二监控视频中所述施工作业人员对象的重心位置变化以获得所述第二重心轨迹。
在步骤s130中，对所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量。也就是，通过一维卷积分别提取出悬吊式作业平台和施工作业人员的重心轨迹随时间的时序关系。
在步骤s140中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量。也就是，通过深度神经网络提取出表示悬吊式作业平台和施工作业人员的重心轨迹的时序关系的特征向量之间的关联特征。
在本申请一个具体的示例中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量的过程，包括：首先，将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量级联后输入深度神经网络以获得重心轨迹关联特征向量，通过级联可以在一定程度上让深度神经网络以相同的节点对所述第一重心轨迹特征向量和所述第二重心轨迹特征，从而保证了所述第一重心轨迹特征向量和所述第二重心轨迹特征中悬吊式作业平台的重心轨迹随时间变化和施工作业人员的重心轨迹随时间变化，还保证了两者随时间变换的相互关联。
接着，将所述重心轨迹关联特征向量通过一个或多个全连接层以获得所述分类特征向量。应可以理解，用深度神经网络进行整体挖掘，好处是可以充分提取信息，缺点是由于各向量之间的关联过多，通过深度神经网络可以过度拟合，导致计算速度慢，且容易受噪声干扰。
图7图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量的流程图。如图7所示，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量，包括：s510，将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量级联后输入深度神经网络以获得重心轨迹关联特征向量；以及，s520，将所述重心轨迹关联特征向量通过一个或多个全连接层以获得所述分类特征向量。
在本申请另一具体的示例中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量的过程，包括：首先，将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过变换矩阵转化为相同长度的向量；接着，将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接后通过二维卷积以获得卷积特征图；然后，将所述卷积特征图按向量计算各位置的平均值以获得所述分类特征向量。
也就是，在该另一具体示例中，使用分级卷积机制来提取所述第一重心轨迹特征向量和所述第二重心轨迹特征中悬吊式作业平台的重心轨迹随时间变化和施工作业人员的重心轨迹随时间变化，以及，两者随时间变换的相互关联，其中，一维卷积用于提取所述第一重心轨迹特征向量和所述第二重心轨迹特征中悬吊式作业平台的重心轨迹随时间变化和施工作业人员的重心轨迹随时间变化，二维卷积用于提取两者随时间变换的相关关联。
更具体地，在该另一具体示例中，将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接后通过二维卷积以获得卷积特征图的过程，包括：首先，将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接以获得拼接特征向量；接着，将所述拼接特征向量经过第一卷积层以获得第一卷积特征图；然后，将所述第一卷积特征图通过第一池化层以获得第一池化特征图；接着，基于所述第一池化特征图由第二卷积层获得第二卷积特征图，即，所述卷积特征图。也就是，在该另一具体示例中，通过两个卷积层来提取所述第一重心轨迹特征向量和第二重心轨迹特征向量之间的关联特征，可以保证充分提取特征。
图8图示了根据本申请实施例的所述用于高层建筑施工的悬吊式作业平台的晃动检测方法中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量的另一流程图。如图8所示，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量，包括：s610，将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过变换矩阵转化为相同长度的向量；s620，将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接后通过二维卷积以获得卷积特征图；以及，s630，将所述卷积特征图按向量计算各位置的平均值以获得所述分类特征向量。
在步骤s150中，将所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。在一个本申请实施例中，所述分类函数为softmax分类函数，其输出值表示所述悬吊式作业平台的晃动特性是否满足预设要求的概率值。
综上，基于本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法被阐明，其基于悬吊式作业平台的重心轨迹随时间变化和施工作业人员的重心轨迹随时间变化以及两者随时间变换的相互关联来对悬吊式作业平台进行监控。
示例性系统
图9图示了根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测系统的框图。
如图9所示，根据本申请实施例的用于高层建筑施工的悬吊式作业平台的晃动检测系统900，包括：监控视频获取单元910，用于通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员；重心轨迹确定单元920，用于确定所述监控视频获取单元910获得的所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹；重心轨迹特征向量生成单元930，用于对所述重心轨迹确定单元920获得的所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量；分类特征向量生成单元940，用于基于所述重心轨迹特征向量生成单元930获得的所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量；以及，分类单元950，用于将所述分类特征向量生成单元940获得的所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
在一个示例中，在上述检测系统900中，如图10所示，所述分类特征向量生成单元940，包括：重心轨迹关联特征向量生成子单元941，用于将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量级联后输入深度神经网络以获得重心轨迹关联特征向量；以及，全连接子单元942，用于将所述重心轨迹关联特征向量通过一个或多个全连接层以获得所述分类特征向量。
在一个示例中，在上述检测系统900中，如图11所示，所述分类特征向量生成单元940，包括：长度协整子单元943，用于将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过变换矩阵转化为相同长度的向量；二维卷积处理子单元944，用于将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接后通过二维卷积以获得卷积特征图；以及，按位置平均子单元945，用于将所述卷积特征图按向量计算各位置的平均值以获得所述分类特征向量。
在一个示例中，在上述检测系统900中，所述监控视频获取单元910，进一步通过安装在所述悬吊式作业平台上的第一摄像头获取以所述悬吊式平台为主体的第一监控视频；以及，通过安装在所述悬吊式作业平台上的第二摄像头同步地获取以在所述悬吊式平台上的施工作业人员为主体的第二监控视频，所述第一摄像头与所述第二摄像头具有预设位置关系。
在一个示例中，在上述检测系统900中，所述重心轨迹确定单元920，进一步用于：将所述第一监控视频中各个图像帧的坐标系由相机坐标系转化为世界坐标系；以及，以所述所述第一监控视频中各个图像帧在所述世界坐标系上的重心变化作为所述第一重心轨迹。
在一个示例中，在上述检测系统900中，所述重心轨迹确定单元920，进一步用于：基于视频对象检测方法确定所述第一监控视频中的悬吊式作业平台对象；以及，确定所述第一监控视频中所述悬吊式作业平台的重心位置变化以获得所述第一重心轨迹。
在一个示例中，在上述检测系统900中，所述重心轨迹确定单元920，进一步用于：基于视频对象检测方法确定所述第二监控视频中的施工作业人员对象；以及，确定所述第二监控视频中所述施工作业人员对象的重心位置变化以获得所述第二重心轨迹。
这里，本领域技术人员可以理解，上述检测系统900中的各个单元和模块的具体功能和操作已经在上面参考图1到图8的用于高层建筑施工的悬吊式作业平台的晃动检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的检测系统900可以实现在各种终端设备中，例如悬吊式作业平台的监控服务器等。在一个示例中，根据本申请实施例的检测系统900可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该检测系统900可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该检测系统900同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该检测系统900与该终端设备也可以是分立的设备，并且该检测系统900可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图12来描述根据本申请实施例的电子设备。
图12图示了根据本申请实施例的电子设备的框图。
如图12所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如监控视频、分类结果等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图12中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于高层建筑施工的悬吊式作业平台的晃动检测方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
1.一种用于高层建筑施工的悬吊式作业平台的晃动检测方法，其特征在于，包括：
通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员；
确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹；
对所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量；
基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量；以及
将所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
2.根据权利要求1所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法，其中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量，包括：
将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量级联后输入深度神经网络以获得重心轨迹关联特征向量；以及
将所述重心轨迹关联特征向量通过一个或多个全连接层以获得所述分类特征向量。
3.根据权利要求1所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法，其中，基于所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量，包括：
将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过变换矩阵转化为相同长度的向量；
将所述相同长度的第一重心轨迹特征向量和第二重心轨迹特征向量按向量拼接后通过二维卷积以获得卷积特征图；以及
将所述卷积特征图按向量计算各位置的平均值以获得所述分类特征向量。
4.根据权利要求1所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法，其中，通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，包括：
通过安装在所述悬吊式作业平台上的第一摄像头获取以所述悬吊式平台为主体的第一监控视频；以及
通过安装在所述悬吊式作业平台上的第二摄像头同步地获取以在所述悬吊式平台上的施工作业人员为主体的第二监控视频，所述第一摄像头与所述第二摄像头具有预设位置关系。
5.根据权利要求4所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法，其中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹，包括：
将所述第一监控视频中各个图像帧的坐标系由相机坐标系转化为世界坐标系；以及
以所述所述第一监控视频中各个图像帧在所述世界坐标系上的重心变化作为所述第一重心轨迹。
6.根据权利要求4所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法，其中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹，包括：
基于视频对象检测方法确定所述第一监控视频中的悬吊式作业平台对象；以及
确定所述第一监控视频中所述悬吊式作业平台的重心位置变化以获得所述第一重心轨迹。
7.根据权利要求5或6所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法，其中，确定所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹，进一步包括：
基于视频对象检测方法确定所述第二监控视频中的施工作业人员对象；以及
确定所述第二监控视频中所述施工作业人员对象的重心位置变化以获得所述第二重心轨迹。
8.一种用于高层建筑施工的悬吊式作业平台的晃动检测系统，其特征在于，包括：
监控视频获取单元，用于通过安装在悬吊式作业平台上的摄像头获取悬吊式作业平台的监控视频，所述监控视频包含所述悬吊式作业平台和在所述悬吊式作业平台上的施工人员；
重心轨迹确定单元，用于确定所述监控视频获取单元获得的所述监控视频中所述悬吊式作业平台的第一重心轨迹和所述施工作业人员的第二重心轨迹；
重心轨迹特征向量生成单元，用于对所述重心轨迹确定单元获得的所述第一重心轨迹和所述第二重心轨迹进行一维卷积以获得第一重心轨迹特征向量和第二重心轨迹特征向量；
分类特征向量生成单元，用于基于所述重心轨迹特征向量生成单元获得的所述第一重心轨迹特征向量和所述第二重心轨迹特征向量通过深度神经网络以获得分类特征向量；以及
分类单元，用于将所述分类特征向量生成单元获得的所述分类特征向量输入分类函数以获得分类结果，其中，所述分类结果表示所述悬吊式作业平台的稳定性是否满足预设要求。
9.根据权利要求8所述的用于高层建筑施工的悬吊式作业平台的晃动检测系统，其中，所述分类特征向量生成单元，包括：
重心轨迹关联特征向量生成子单元，用于将所述第一重心轨迹特征向量和所述第二重心轨迹特征向量级联后输入深度神经网络以获得重心轨迹关联特征向量；以及
全连接子单元，用于将所述重心轨迹关联特征向量通过一个或多个全连接层以获得所述分类特征向量。
10.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的用于高层建筑施工的悬吊式作业平台的晃动检测方法。
技术总结