本发明涉及起重机装卸领域，尤其涉及一种堆场行人自动检测方法及装置。
背景技术：
近年来，港口堆场智能化作业水平日益增强，越来越多的高科技技术被应用到码头，自动化以及智能化逐渐成为未来港口发展的趋势，堆场智能安全监控保证港口自动化作业的重要基础。目前，港口堆场安全监控主要是通过摄像机图像进行堆场环境的监控，然而摄像机图像只是作为驾驶员对堆场环境进行判断的辅助工具，仍然需要驾驶员来人工判断堆场区域是否有行人存在，对于堆场行人的安全监控离不开人眼参与监测判断。港口堆场数量众多，需要配备大量的摄像机进行24小时监控，由此产生极大的图像数据需要驾驶员进行人工判断，给港口自动化作业带来巨大的人力成本。除此之外还会经常出现堆场环境安全状况漏检或者误检的现象，降低了堆场实际作业的安全性和高效性，给堆场作业带来了不安全的隐患。
因此有必要提供一种堆场行人自动检测方法，可以保证堆场行人的安全。
技术实现要素：
本发明所要解决的技术问题是提供一种堆场行人自动检测方法及装置，通过在堆场集装箱装卸场景和堆场大车行进场景下分别判断堆场行人的坐标是否落入所述堆场行人危险区域内，从而保证堆场行人的安全。
本发明为解决上述技术问题而采用的技术方案是提供一种堆场行人自动检测方法，包括以下步骤：
根据场景以及大车和小车在堆场中的位置设定堆场行人危险区域；
通过相机和激光雷达获取所述堆场行人危险区域的图像及点云信息；
在堆场集装箱装卸场景下，集装箱起升方向为所述堆场行人危险区域，通过安装在所述小车上的激光雷达和编码器实时获取所述相机距离地面的高度，根据所述高度以及所述相机中的图像获取相机尺度信息，基于深度学习图像行人检测方法从而获取所述行人的坐标；
在堆场大车行进场景下，大车行进方向为所述堆场行人危险区域，通过所述相机选定感兴趣区域后，结合所述激光雷达获取的点云信息获取所述行人的坐标；
根据所述行人的坐标和所述堆场行人危险区域判断所述行人是否进入危险区域，若所述行人的坐标落入所述堆场行人危险区域内或根据行人运动轨迹预测到行人即将进入危险区域，则所述起重机减速或停止。
优选地，还包括以下步骤：
所述相机和所述激光雷达安装在吊具以及大车上，安装在吊具上的所述相机跟随吊具上下运动以提供更多图像；
在堆场作业之前，基于所述相机和所述激光雷达的外参统一坐标系并将危险区域在统一坐标系下描述。
优选地，所述基于深度学习图像行人检测方法包括以下步骤：
堆场行人数据集制作，针对港口场景采集堆场行人图像并进行标注，生成堆场行人数据集；
分类网络训练，在公共行人检测数据集上进行训练生成训练预模型后，继续在所述堆场行人数据集上进行训练以加快网络提取特征的速度；
维度聚类框的选取，使用聚类算法进行维度聚类框的选取以提高深度学习的检测能力；
多尺度训练，设置不同尺度的图片,训练时每隔设定次数随机选取一种尺度进行训练。
优选地，在所述堆场集装箱装卸场景下，以小车方向为x轴，大车方向为y轴，建立平面直角坐标系，所述相机自动检测所述堆场行人危险区域的图像中的堆场行人的像素位置坐标p(x,y)，通过以下公式计算得到所述堆场行人在相机坐标系中的相对坐标并转化为系统坐标下的绝对坐标：
x＝h*x/f
y＝h*y/f
其中，x和y分别是堆场行人在相机中心坐标系x方向和y方向的实际距离，f是相机标定算法求解的相机内参焦距，h是所述相机距离地面的实时高度。
优选地，在所述大车行进场景下，以小车方向为x轴，垂直地面方向为y轴，大车方向为z轴，建立空间直角坐标系，结合所述相机与所述激光雷达的标定参数确定所述感兴趣区域在激光雷达坐标系中的坐标位置，从而确定所述行人的坐标。
优选地，所述根据行人运动轨迹预测到行人即将进入危险区域包括当检测到行人出现在视野中时，记录滑动窗口内所有帧中行人位置，根据位置变化预测下一时刻行人的坐标。
优选地，当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第一阈值内时，所述起重机减速；
当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第二阈值内时，所述起重机停止。
优选地，当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第三阈值内时，进行语音播报警告和/或灯光闪烁警告。
优选地，若所述堆场行人危险区域内无行人，则恢复当前堆场作业并解除语音播报警告和/或灯光闪烁警告。
本发明为解决上述技术问题还采用的技术方案是还提供一种堆场行人自动检测装置，使用以上所述的堆场行人自动检测方法。
本发明对比现有技术有如下的有益效果：本发明提供的堆场行人自动检测方法及装置，通过安装在起重机和吊具上的相机和激光雷达获取所述堆场行人危险区域的图像及点云信息，在堆场集装箱装卸场景和堆场大车行车场景下分别判断堆场行人的坐标是否落入所述堆场行人危险区域内或根据行人运动轨迹预测到行人即将进入危险区域，从而保证堆场行人的安全；
进一步地，在堆场集装箱装卸场景下，集装箱起升方向为所述堆场行人危险区域，通过安装在所述小车上的激光雷达和编码器实时获取所述相机距离地面的高度，根据所述高度以及所述相机中的图像获取相机尺度信息，基于深度学习图像行人检测方法从而准确地获取堆场行人的坐标；
进一步地，在堆场大车行进场景下，大车行进方向为所述堆场行人危险区域，通过所述相机选定感兴趣区域后，结合所述激光雷达获取的点云信息从而准确地获取堆场行人的坐标；
进一步地，根据行人运动轨迹预测到行人即将进入危险区域包括当检测到行人出现在视野中时，记录滑动窗口内所有帧中行人位置，根据位置变化预测下一时刻行人的坐标，从而准确预测行人的坐标变化，进行精准判断，从而操作起重机减速或停止，保证行人的安全。
附图说明
图1为本发明实施例中堆场行人自动检测方法的流程图；
图2为本发明实施例中堆场行人自动检测方法的堆场行人检测示意图；
图3为本发明实施例中堆场行人自动检测方法在堆场集装箱装卸场景下的堆场行人检测示意图；
图4为本发明实施例中堆场行人自动检测方法在堆场大车行进场景下的堆场行人检测示意图；
图5为本发明实施例中堆场行人自动检测方法在堆场大车行进场景下的堆场行人检测的正视示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
在以下描述中，为了提供本发明的透彻理解，阐述了很多具体的细节。然而，本发明可以在没有这些具体的细节的情况下实践，这对本领域普通该技术人员来说将是显而易见的。因此，具体的细节阐述仅仅是示例性的，具体的细节可以由奔放的精神和范围而变化并且仍被认为是在本发明的精神和范围内。
现在参看图1，图1为本发明实施例中堆场行人自动检测方法的流程图。一种堆场行人自动检测方法，包括以下步骤：
s101：根据场景以及大车和小车在堆场中的位置设定堆场行人危险区域；
s102：通过相机和激光雷达获取所述堆场行人危险区域的图像及点云信息；
s103：在堆场集装箱装卸场景下，集装箱起升方向为所述堆场行人危险区域，通过安装在所述小车上的激光雷达和编码器实时获取所述相机距离地面的高度，根据所述高度以及所述相机中的图像获取相机尺度信息，基于深度学习图像行人检测方法从而获取所述行人的坐标；
s104：在堆场大车行进场景下，大车行进方向为所述堆场行人危险区域，通过所述相机选定感兴趣区域后，结合所述激光雷达获取的点云信息获取所述行人的坐标；
s105：根据所述行人的坐标和所述堆场行人危险区域判断所述行人是否进入危险区域，若所述行人的坐标落入所述堆场行人危险区域内或根据行人运动轨迹预测到行人即将进入危险区域，则所述起重机减速或停止。
现在参看图2，图2是本发明实施例中堆场行人自动检测方法的堆场行人检测示意图。在具体实施中，堆场行人危险区域是根据堆场作业经验限定的行人活动危险区域，危险区域之外的区域为安全区域，从而实时判断堆场限定危险区域是否存在行人。在大车和吊具启动作业时，启动相机和激光雷达实时采集数据后，采用深度学习图像行人检测方法和激光测距算法判断堆场限定危险区域是否存在行人，最后根据行人检测结果判断是否继续作业，从而保障堆场作业的安全性和高效性。
其中，所述相机和所述激光雷达安装在吊具以及大车上，安装在吊具上的所述相机跟随吊具上下运动以提供更多图像，在堆场作业之前，基于所述相机和所述激光雷达的外参统一坐标系并将危险区域在统一坐标系下描述。
在具体实施中，堆场区域行人目标采用基于深度学习的目标检测算法进行检测，结合实时激光雷达数据判断行人是否处于危险区域。基于深度学习图像行人检测方法包括以下步骤：堆场行人数据集制作，针对港口场景采集堆场行人图像并进行标注，生成堆场行人数据集；分类网络训练，在公共行人检测数据集上进行训练生成训练预模型后，继续在所述堆场行人数据集上进行训练以加快网络提取特征的速度；维度聚类框的选取，使用聚类算法进行维度聚类框的选取以提高深度学习的检测能力；多尺度训练，设置不同尺度的图片,训练时每隔设定次数随机选取一种尺度进行训练。与传统图像检测算法相比较，该算法在目标检测方面具有准确率高、鲁棒性强、实时性好的优势。
上述检测过程具体分为两种情况：堆场集装箱装卸场景下的行人检测和堆场大车行车场景下的行人检测。
现在参看图3，图3是本发明实施例中堆场行人自动检测方法在堆场集装箱装卸场景下的堆场行人检测示意图。在堆场集装箱装卸场景下，以小车方向为x轴，大车方向为y轴，建立平面直角坐标系，所述相机自动检测所述堆场行人危险区域的图像中的堆场行人的像素位置坐标p(x,y)，通过以下公式计算得到所述堆场行人在相机坐标系中的相对坐标并转化为系统坐标下的绝对坐标：
x＝h*x/f
y＝h*y/f
其中，x和y分别是堆场行人在相机中心坐标系x方向和y方向的实际距离，f是相机标定算法求解的相机内参焦距，h是在吊具下降过程中检测到的所述相机距离地面的实时高度，所述实时高度根据小车上激光雷达、编码器获取，并判断该行人是否处于危险区域。例如在图3中，3个行人的像素位置坐标分别为(x1，y1，)、(x2，y2)以及(x3，y3)，可以通过上述公式计算得到该3个行人在相机坐标系中的相对坐标并转化为系统坐标下的绝对坐标(x1，y1，)、(x2，y2)以及(x3，y3)。
现在参看图4和图5，图4是本发明实施例中堆场行人自动检测方法在堆场大车行进场景下的堆场行人检测示意图，图5是本发明实施例中堆场行人自动检测方法在堆场大车行进场景下的堆场行人检测的正视示意图。在堆场大车行进场景下，以小车方向为x轴，垂直地面方向为y轴，大车方向为z轴，建立空间直角坐标系。具体而言，图4中的x1y1z1为相机坐标系，通过图像识别方法可以得到图像中的行人位置，x2y2z2为激光雷达坐标系，根据相机与激光雷达的标定结果可以找到图像目标位置的点云，从点云中可以得到目标行人与起重机在大车、小车方向上的距离。也就是说，结合所述相机与所述激光雷达的标定参数确定所述感兴趣区域在激光雷达坐标系中的坐标位置并确定所述堆场行人和所述大车的相对位置，并判断该行人是否处于危险区域。
在具体实施中，堆场行人检测过程中，还可以根据行人运动轨迹预测到行人即将进入危险区域包括当检测到行人出现在视野中时，记录滑动窗口内所有帧中行人位置，根据位置变化预测下一时刻行人的坐标。
当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第一阈值内时，所述起重机减速。所述第一阈值为20m，也就是说当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在20m内时，所述起重机减速。
当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第二阈值内时，所述起重机停止。所述第二阈值为10m，也就是说当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在10m内时，所述起重机停止。
当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第三阈值内时，进行语音播报警告和/或灯光闪烁警告。所述第三阈值为15m，也就是说当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在15m内时，进行语音播报警告和/或灯光闪烁警告。若所述堆场行人危险区域内无行人，则恢复当前堆场作业并解除语音播报警告和/或灯光闪烁警告。
对于上述第一阈值、第二阈值、第三阈值可以根据场景需要进行设置，以上数值仅用于示例，在具体实施时不受该数值的限制。
本发明实施例还提供了一种堆场行人自动检测装置，使用以上所述的堆场行人自动检测方法。
综上，本实施例提供的堆场行人自动检测方法及装置，通过安装在起重机和吊具上的相机和激光雷达获取所述堆场行人危险区域的图像及点云信息，在堆场集装箱装卸场景和堆场大车行车场景下分别判断堆场行人的坐标是否落入所述堆场行人危险区域内或根据行人运动轨迹预测到行人即将进入危险区域，从而保证堆场行人的安全；
进一步地，在堆场集装箱装卸场景下，集装箱起升方向为所述堆场行人危险区域，通过安装在所述小车上的激光雷达和编码器实时获取所述相机距离地面的高度，根据所述高度以及所述相机中的图像获取相机尺度信息，基于深度学习图像行人检测方法从而准确地获取堆场行人的坐标；
进一步地，在堆场大车行进场景下，大车行进方向为所述堆场行人危险区域，通过所述相机选定感兴趣区域后，结合所述激光雷达获取的点云信息从而准确地获取堆场行人的坐标；
进一步地，根据行人运动轨迹预测到行人即将进入危险区域包括当检测到行人出现在视野中时，记录滑动窗口内所有帧中行人位置，根据位置变化预测下一时刻行人的坐标，从而准确预测行人的坐标变化，进行精准判断，从而操作起重机减速或停止，保证行人的安全。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。
1.一种堆场行人自动检测方法,其特征在于，包括以下步骤：
根据场景以及大车和小车在堆场中的位置设定堆场行人危险区域；
通过相机和激光雷达获取所述堆场行人危险区域的图像及点云信息；
在堆场集装箱装卸场景下，集装箱起升方向为所述堆场行人危险区域，通过安装在所述小车上的激光雷达和编码器实时获取所述相机距离地面的高度，根据所述高度以及所述相机中的图像获取相机尺度信息，基于深度学习图像行人检测方法从而获取所述行人的坐标；
在堆场大车行进场景下，大车行进方向为所述堆场行人危险区域，通过所述相机选定感兴趣区域后，结合所述激光雷达获取的点云信息获取所述行人的坐标；
根据所述行人的坐标和所述堆场行人危险区域判断所述行人是否进入危险区域，若所述行人的坐标落入所述堆场行人危险区域内或根据行人运动轨迹预测到行人即将进入危险区域，则所述起重机减速或停止。
2.根据权利要求1所述的堆场行人自动检测方法，其特征在于，还包括以下步骤：
所述相机和所述激光雷达安装在吊具以及大车上，安装在吊具上的所述相机跟随吊具上下运动以提供更多图像；
在堆场作业之前，基于所述相机和所述激光雷达的外参统一坐标系并将危险区域在统一坐标系下描述。
3.根据权利要求1所述的堆场行人自动检测方法，其特征在于，所述基于深度学习图像行人检测方法包括以下步骤：
堆场行人数据集制作，针对港口场景采集堆场行人图像并进行标注，生成堆场行人数据集；
分类网络训练，在公共行人检测数据集上进行训练生成训练预模型后，继续在所述堆场行人数据集上进行训练以加快网络提取特征的速度；
维度聚类框的选取，使用聚类算法进行维度聚类框的选取以提高深度学习的检测能力；
多尺度训练，设置不同尺度的图片,训练时每隔设定次数随机选取一种尺度进行训练。
4.根据权利要求1所述的堆场行人自动检测方法，其特征在于，
在所述堆场集装箱装卸场景下，以小车方向为x轴，大车方向为y轴，建立平面直角坐标系，所述相机自动检测所述堆场行人危险区域的图像中的堆场行人的像素位置坐标p(x,y)，通过以下公式计算得到所述堆场行人在相机坐标系中的相对坐标并转化为系统坐标下的绝对坐标：
x＝h*x/f
y＝h*y/f
其中，x和y分别是堆场行人在相机中心坐标系x方向和y方向的实际距离，f是相机标定算法求解的相机内参焦距，h是所述相机距离地面的实时高度。
5.根据权利要求2所述的堆场行人自动检测方法，其特征在于，
在所述大车行进场景下，以小车方向为x轴，垂直地面方向为y轴，大车方向为z轴，建立空间直角坐标系，结合所述相机与所述激光雷达的标定参数确定所述感兴趣区域在激光雷达坐标系中的坐标位置，从而确定所述行人的坐标。
6.根据权利要求1所述的堆场行人自动检测方法，其特征在于，
所述根据行人运动轨迹预测到行人即将进入危险区域包括当检测到行人出现在视野中时，记录滑动窗口内所有帧中行人位置，根据位置变化预测下一时刻行人的坐标。
7.根据权利要求6所述的堆场行人自动检测方法，其特征在于，
当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第一阈值内时，所述起重机减速；
当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第二阈值内时，所述起重机停止。
8.根据权利要求6所述的堆场行人自动检测方法，其特征在于，当滑动窗口内存在特定帧数的行人且所述起重机距离所述预测的下一时刻行人的坐标在第三阈值内时，进行语音播报警告和/或灯光闪烁警告。
9.根据权利要求8所述的堆场行人自动检测方法，其特征在于，若所述堆场行人危险区域内无行人，则恢复当前堆场作业并解除语音播报警告和/或灯光闪烁警告。
10.一种堆场行人自动检测装置，使用如权利要求1-9任一项所述的堆场行人自动检测方法。
技术总结