本发明属于机器视觉领域及交警动作、车辆等综合识别技术领域，具体涉及一种基于视觉的城市道路交通交警指挥方法。
背景技术：
城市交通贯穿于城市公共空间的各个区域，是居民日常出行最主要、最便捷的方式，经过长期发展，城市交通已经形成较为完善的格局，提高了居民的出行效率，给居民生活带来很大便利。但随着经济的发展和城市化进程的加快，城市人口及人均汽车保有量快速增长，交通拥堵问题日趋严重，交通不畅、运输效率低下、环境污染等问题日益严峻，严重影响和谐可持续发展。为缓解交通拥堵问题，可以采取拓宽道路、修建高架桥等扩张道路基础设施的方法，但由于公共空间有限、造价昂贵、污染环境等原因，该方法的作用有限。
现实生活中，由于信号灯一般采用分时段的调节，不易根据车流量实时的自动调节，所以较为拥堵的路口常常需要交警指挥路口辅助信号灯的方式对车辆通行进行人为干预的通行，但如何更加智能化的提高交警指挥效率一直是当前的重点和难点。
技术实现要素：
针对上述存在的问题，本发明旨在提供一种基于视觉的城市道路交通交警指挥方法，通过车流量的检测和交警手势的识别，有效的实时解决交警在回路的人机混合控制，有效的提高在路面拥堵过程中的交警指挥效率。
为实现本发明目的，本发明的技术解决方案为：
一种基于视觉的城市道路交通交警指挥方法，其特征在于，包括以下步骤：
步骤1：通过路口架设的摄像机实时采集当前路口的图像，并上传至服务器；
步骤2：在服务器上对采集到的图像进行交警手势识别，得到当前路口交警的手势识别结果；
步骤3：在服务器上对上述采集到的图像进行车辆检测，得到当前路口的车辆状态数据并统计结果；
步骤4：根据得到的交警手势识别结果和车辆状态数据预测下一时段的车辆状态数据，并根据预测出的车辆状态数据决策出交警下一时刻的指挥手势结果；
步骤5：服务器通过网络向交警的接收设备上推送指挥手势结果，交警按照提醒的指挥手势结果做出指挥。
进一步地，步骤2的具体操作步骤包括：
s21：将采集到的图像进行去噪、图像增强预处理操作；
s22：基于ssd网络的深度学习网络进行目标检测，从预处理后的图像中提取交警区域，提取出图像中的交警信息；
s23：采用基于mobilenet网络的交警单帧骨架提取，对提取的骨架标记相应的位置，该位置用于后续的交警序列识别；
s24：将标记位置提取出的骨架信息，按时间序列形成关节点序列；
s25：采用基于长短期记忆网络的交警手势信号识别模型，对得到的关节点序列进行建模分析，最终得到手势识别结果。
进一步地，步骤3中的具体操作步骤为：
s31：将采集到的图像进行去噪、图像增强预处理操作；
s32：将预处理后的图像，按照道路线将道路进行分块，分为：面对摄像头的为进来方向道路，背离摄像头的为出去方向道路；
s33：基于ssd网络的深度学习网络，分别对进来方向道路和出去方向道路进行车辆检测，提取出在一个周期内各区域中的车辆数目；
s34：通过车辆状态的变化估计车辆通行的平均排队长度lm，平均速度vm和平均等待时间wm。
进一步地，步骤4的具体操作步骤为：
s41：采用车辆道路通行效率公式，计算得出车辆道路通行的最优解，且所述车辆道路通行效率公式为：
km＝αlm β/vm δwm(1)，
其中，lm为平均排队长度，vm为平均速度，wm为平均等待时间，α、β、δ分别为平均排队长度、平均速度、平均等待时间的系数，并且α β δ＝1,α≥0,β≥0,δ≥0；
s42：假如当前的手势g0，其对应的通行效率为km0，下一时刻可能的手势为gi，其对应的通行效率为kmi；
s43：列举所有下一时刻的手势，对应的所有的通行效率，当kmi最小时，下一时刻的手势为gin，即为最佳的手势，把该结果发送给交警。
进一步地，布设在多个路口的多个摄像机能够通过服务器进行统一管理，对各个路口采集到的车辆和交警手势图像统一进行处理，用于提高城市道路车辆的通行率。
本方法与现有技术相比，具有以下有益效果：
第一，本发明提出的指挥方法，解决了传统交通指挥中交警根据肉眼所看到的场景下或者信号灯去指挥疏导交通，受人为因素影响大的问题，利用摄像机识别路口的交通状况，通过对车流量的检测和交警手势的识别，根据交警指挥识别结果预测下一时刻的交通状况，有效地提高在路面拥堵时交警指挥效率。
第二，本发明提出的指挥方法，采用模块化和网络化管理的方式，可以对单一的路口进行交通指挥控制和多路口进行交通指挥控制，有利于提高未来城市交通指挥管理的效率。
附图说明
图1是本发明的框架图；
图2是本发明的方法的流程示意图；
图3是ssd交警区域识别网络结构示意图；
图4是mobilenet网络的交警单帧骨架提取示意图。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
参考附图1-2可以得知，一种基于视觉的城市道路交通交警指挥方法，包括以下步骤：
步骤1：通过路口架设的摄像头实时采集当前路口的图像，并上传至服务器；
步骤2：在服务上对采集到的图像进行交警手势识别，得到当前路口交警的手势识别结果；
步骤3：在服务器上对采集到的图像进行车辆检测，得到车辆状态数据并统计结果；
步骤4：根据得到的交警手势识别结果和车辆状态数据预测下一时段的车辆状态数据，并根据预测出的车辆状态数据决策出交警下一时刻的指挥手势结果；
步骤5：服务器通过网络向交警的接收设备上推送指挥手势结果，交警按照提醒的指挥手势结果做出指挥。
参考附图3-4可以看出，附图3为ssd交警区域识别网络结构，ssd算法则是一种典型的基于回归方法的目标检测算法，相较于基于区域提取的r-cnn系列算法，ssd算法通过完整的单次训练就能实现特征共享，准确率和速度都得到极大提升。ssd结合了yolo中的回归思想和fasterr-cnn中的anchor机制，使用全图各个位置的多尺度区域特征进行回归，既保持了yolo速度快的特性，也保证了窗口预测的跟fasterr-cnn一样比较精准；
附图4为mobilenet网络的交警单帧骨架提取图，其采用mobilenet轻量化的网络结构，提高交警骨架提取的速度，交警的骨架提取后采用基于长短期记忆网络(longshort-termmemory,lstm)的交警手势信号识别模型，对特征图序列数据进行建模分析，获得识别结果；
进一步地，步骤2的具体操作步骤包括：
s21：将采集到的图像进行去噪、图像增强预处理操作，用以减少环境的干扰；
s22：基于ssd网络的深度学习网络进行目标检测，从预处理后的图像中提取交警区域，提取出图像中的交警信息，用于区分交警、还是行人；
s23：采用基于mobilenet网络的交警单帧骨架提取，对提取的骨架标记相应的位置，该位置用于后续的交警序列识别；
s24：将标记位置的提取出的骨架信息，按时间序列形成关节点序列；
s25：采用基于长短期记忆网络的交警手势信号识别模型，对得到的关节点序列进行建模分析，最终得到手势识别结果。
进一步地，步骤3中的具体操作步骤为：
s31：将采集到的图像进行去噪、图像增强预处理操作，用以减少环境的干扰；
s32：将预处理后的图像，按照道路线将道路进行分块，分为：面对摄像头的为进来方向道路，背离摄像头的为出去方向道路；
s33：基于ssd网络的深度学习网络，分别对进来方向道路和出去方向道路进行车辆检测，提取出在一个周期内各区域中的车辆数目；
s34：通过所述车辆状态数据来估计车辆通行的平均排队长度lm，平均速度vm和平均等待时间wm。
进一步地，步骤4的具体操作步骤为：
s41：采用车辆道路通行效率公式，计算得出车辆道路通行的最优解，且所述车辆道路通行效率公式为：
km＝αlm β/vm δwm(1)，
其中，lm为平均排队长度，vm为平均速度，wm为平均等待时间，α、β、δ分别为平均排队长度、平均速度、平均等待时间的系数，并且α β δ＝1,α≥0,β≥0,δ≥0；
s42：假如当前的手势g0，其对应的通行效率为km0，下一时刻可能的手势为gi，其对应的通行效率为kmi；
s43：列举所有下一时刻的手势，对应的所有的通行效率，当kmi最小时，下一时刻的手势为gin，即为最佳的手势，把该结果发送给交警。
优选地，布设在多个路口的多个摄像机能够通过服务器进行统一管理，对各个路口采集到的车辆和交警手势图像统一进行处理，用于提高城市道路车辆的通行率。
1、实验过程
开启摄像机后，首先，路口的摄像机采集图像，把采集的图像发送给云服务器，对该图像进行交警检测；
其次，如果不存在交警则一直检测，如果存在交警则对该图像中的交警进行手势识别，并对车辆进行检测，得到车辆状态数据，再通过得到的车辆状态数据预估车辆通行的平均排队长度lm，平均速度vm和平均等待时间wm；
再次，根据车辆道路通行效率公式计算车辆通行效率最优解，并把手势识别的结果和车辆通行效率融合预测下一步手势；
最后，将预测出的手势结果发送到交警的接收设备，用来提醒交警的下一步手势。
2、结果分析
通过对车流量的检测和交警手势的识别，根据交警指挥识别结果预测下一时刻的交通状况，明显提高了路面拥堵时交警指挥效率。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管参照前述实施例对本发明专利进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种基于视觉的城市道路交通交警指挥方法，其特征在于，包括以下步骤：
步骤1：通过路口架设的摄像机实时采集当前路口的图像，并上传至服务器；
步骤2：在服务器上对采集到的图像进行交警手势识别，得到当前路口交警的手势识别结果；
步骤3：在服务器上对上述采集到的图像进行车辆检测，得到当前路口的车辆状态数据并统计结果；
步骤4：根据得到的交警手势识别结果和车辆状态数据预测下一时段的车辆状态数据，并根据预测出的车辆状态数据决策出交警下一时刻的指挥手势结果；
步骤5：服务器通过网络向交警的接收设备上推送指挥手势结果，交警按照提醒的指挥手势结果做出指挥。
2.根据权利要求1所述的一种基于视觉的城市道路交通交警指挥方法，其特征在于，步骤2的具体操作步骤包括：
s21：将采集到的图像进行去噪、图像增强预处理操作；
s22：基于ssd网络的深度学习网络进行目标检测，从预处理后的图像中提取交警区域，提取出图像中的交警信息；
s23：采用基于mobilenet网络的交警单帧骨架提取，对提取的骨架标记相应的位置，该位置用于后续的交警序列识别；
s24：将标记位置提取出的骨架信息，按时间序列形成关节点序列；
s25：采用基于长短期记忆网络的交警手势信号识别模型，对得到的关节点序列进行建模分析，最终得到手势识别结果。
3.根据权利要求1所述的一种基于视觉的城市道路交通交警指挥方法，其特征在于，步骤3中的具体操作步骤为：
s31：将采集到的图像进行去噪、图像增强预处理操作；
s32：将预处理后的图像，按照道路线将道路进行分块，分为：面对摄像头的为进来方向道路，背离摄像头的为出去方向道路；
s33：基于ssd网络的深度学习网络，分别对进来方向道路和出去方向道路进行车辆检测，提取出在一个周期内各区域中的车辆数目；
s34：通过所述车辆状态数据来估计车辆通行的平均排队长度lm，平均速度vm和平均等待时间wm。
4.根据权利要求1所述的一种基于视觉的城市道路交通交警指挥方法，其特征在于，步骤4的具体操作步骤为：
s41：采用车辆道路通行效率公式，计算得出车辆道路通行的最优解，且所述车辆道路通行效率公式为：
km＝αlm β/vm δwm(1)，
其中，lm为平均排队长度，vm为平均速度，wm为平均等待时间，α、β、δ分别为平均排队长度、平均速度、平均等待时间的系数，并且α β δ＝1,α≥0,β≥0,δ≥0；
s42：假如当前的手势g0，其对应的通行效率为km0，下一时刻可能的手势为gi，其对应的通行效率为kmi；
s43：列举所有下一时刻的手势，对应的所有的通行效率，当kmi最小时，下一时刻的手势为gin，即为最佳的手势，把该结果发送给交警。
5.根据权利要求1所述的一种基于视觉的城市道路交通交警指挥方法，其特征在于，布设在多个路口的多个摄像机能够通过服务器进行统一管理，对各个路口采集到的车辆和交警手势图像统一进行处理，用于提高城市道路车辆的通行率。
技术总结