本发明涉及模式识别技术领域，尤其涉及一种基于实时视频的车窗抛物检测方法。
背景技术：
当前，随着经济的快速发展，汽车的使用越来越普遍，随之而来的各类驾驶、乘车陋习也不断出现，如从车窗向外抛撒纸巾、矿泉水瓶等垃圾，这类车窗抛物行为不仅破坏城市市容市貌、污染城市环境、影响交通安全，且从车窗随手抛下的垃圾大多遗留在机动车道，严重威胁着环卫工人的生命安全。
如何治理车窗抛物这种不文明行为，成为城市管理者必须面对的难题，目前主要靠人工视频监督的方式发现车窗抛物行为，这种方式费时费力，覆盖面积有限且存在检测时间间隙，无法实现高效大范围全天候实时监控。
技术实现要素：
本发明所解决的技术问题在于提供一种基于实时视频的车窗抛物检测方法，以解决上述背景技术中的问题。
本发明所解决的技术问题采用以下技术方案来实现：
一种基于实时视频的车窗抛物检测方法，具体步骤如下：
1）获取视频流并解码
通过前端摄像机采集实时视频流或从第三方平台获取视频流，利用ffmpeg和cuda对视频流进行硬解码；
2）运动目标检测
利用视频图像序列中前后帧的关联性，采用vibe算法对步骤1）中解码后的每帧图像进行处理，排除背景干扰，快速检测出所有图像的运动目标区域，具体流程如下：
首先利用视频序列的第一帧初始化背景，为每个像素点建立vibe背景模型，而后利用当前帧减去背景帧，再阈值化，以检测视频图像序列是否包含运动目标，再利用判定为背景的像素点对vibe背景模型进行更新，如此逐帧分析视频图像直至结束；
3）运动目标提取
对于步骤2）中提取的运动目标区域，使用结合“迭代估计”与“不完全标号”的grabcut算法进行运动目标区域分割，快速有效地分割出完整的运动目标，具体流程如下：
采用平滑技术过滤步骤2）中检测出的所有运动目标区域，并对当前运动目标存在小空洞等残缺情况，利用数学形态学的膨胀处理，扩展前景区域，对当前运动目标存在大面积残缺的情况，找出所有运动目标前景区域的边缘轮廓线，根据区块的边缘轮廓线等得出其最小外接矩形，合并任意两个矩形中心两线与垂直方向夹角小于一定阈值，且垂直距离也小于一定阈值的矩形，而后在rgb颜色空间，分别对每个矩形框内的图像，给出grabcut的初始化信息，执行分割，获取到完整的运动目标；
4）运动目标跟踪
使用meanshift与kalman运动区域预测模型相结合的算法对步骤3）中分割出的运动目标进行跟踪，具体流程如下：
首先从上一帧视频图像检测得到的运动目标区域中提取出目标状态特征值，建立对应目标链表，而后利用kalman运动区域预测模型对目标链表中需要跟踪的运动目标进行状态信息预测，以缩小meanshift跟踪时搜索匹配候选目标次数，从而加速跟踪速度；最后在预测范围内对跟踪的运动目标区域进行meanshift跟踪，以建立运动目标的关联信息，且采用最佳匹配的运动目标区域信息更新目标链表中相应的运动目标区域信息，同时对kalman运动区域预测模型更新，在此过程中，需记录运动目标的中心位置、宽度、高度、面积和位移信息；
5）车窗抛物检测
根据被抛物品固有的位置、大小和运动特性，判断运动目标是否为车窗抛物；
车窗抛物一般体积较小，其出现的初始位置在车辆附近，且与车辆之间具有较小的初始距离，随着视频帧数的变化将有较明显的相对车辆的距离变化和面积比变化，且抛物有明显纵向的位置移动和不明显的横向位置移动；根据步骤4）中跟踪的运动目标信息，总结出当前帧所有运动目标的特性，将满足抛物与车辆初始关系小的目标为疑似抛物，最后通过视频序列中各帧数据的关联性以判断疑似抛物目标是否为真正的抛物；
6）车牌识别
若步骤5）中判定运动目标为车窗抛物，则对抛出该物品车辆的车牌进行识别，记录识别结果和发生车窗抛物行为的时间、地点、被抛物品首次出现时的画面图片等相关信息。
有益效果：本发明在不需要人为参与的情况下，可对监控视频中的车窗抛物行为进行检测，既能保证实时性，又能保证检测的准确率，还可对发生车窗抛物行为车辆的车牌进行识别，以记录识别结果和发生车窗抛物行为的时间、地点、被抛物品首次出现时的画面图片等相关信息，为城市管理提供方便；该方法可实现高效大范围全天候实时监控，省时省力，同时还解决管理难问题。
附图说明
图1为本发明的较佳实施例的流程示意图。
图2为本发明的较佳实施例中的运动目标检测流程示意图。
图3为本发明的较佳实施例中的运动目标提取流程示意图。
图4为本发明的较佳实施例中的运动目标跟踪流程示意图。
图5为本发明的较佳实施例中的车窗抛物检测流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
一种基于实时视频的车窗抛物检测方法，具体步骤如下：
1）获取视频流并解码
通过前端摄像机采集实时视频流或从第三方平台获取视频流，利用ffmpeg和cuda对视频流进行硬解码；
2）运动目标检测
利用视频图像序列中前后帧的关联性，采用vibe算法对步骤1）中解码后的每帧图像进行处理，排除背景干扰，快速检测出所有图像的运动目标区域，具体流程如图2所示：
首先利用视频序列的第一帧初始化背景，为每个像素点建立vibe背景模型，而后利用当前帧减去背景帧，再阈值化，以检测视频图像序列是否包含运动目标，再利用判定为背景的像素点对vibe背景模型进行更新，如此逐帧分析视频图像直至结束；
3）运动目标提取
对于步骤2）中提取的运动目标区域，使用结合“迭代估计”与“不完全标号”的grabcut算法进行运动目标区域分割，快速有效地分割出完整的运动目标，具体流程如图3所示：
采用平滑技术过滤步骤2）中检测出的所有运动目标区域，并对当前运动目标存在小空洞等残缺情况，利用数学形态学的膨胀处理，扩展前景区域，对当前运动目标存在大面积残缺的情况，找出所有运动目标前景区域的边缘轮廓线，根据区块的边缘轮廓线等得出其最小外接矩形，合并任意两个矩形中心两线与垂直方向夹角小于一定阈值，且垂直距离也小于一定阈值的矩形，而后在rgb颜色空间，分别对每个矩形框内的图像，给出grabcut的初始化信息，执行分割，获取到完整的运动目标；
4）运动目标跟踪
使用meanshift与kalman运动区域预测模型相结合的算法对步骤3）中分割出的运动目标进行跟踪，具体流程如图4所示：
首先从上一帧视频图像检测得到的运动目标区域中提取出目标状态特征值，建立对应目标链表，而后利用kalman运动区域预测模型对目标链表中需要跟踪的运动目标进行状态信息预测，以缩小meanshift跟踪时搜索匹配候选目标次数，从而加速跟踪速度；最后在预测范围内对跟踪的运动目标区域进行meanshift跟踪，以建立运动目标的关联信息，且采用最佳匹配的运动目标区域信息更新目标链表中相应的运动目标区域信息，同时对kalman运动区域预测模型更新，在此过程中，需记录运动目标的中心位置、宽度、高度、面积和位移信息；
5）车窗抛物检测
根据被抛物品固有的位置、大小和运动特性，判断运动目标是否为车窗抛物；
车窗抛物一般体积较小，其出现的初始位置在车辆附近，且与车辆之间具有较小的初始距离，随着视频帧数的变化将有较明显的相对车辆的距离变化和面积比变化，且抛物有明显纵向的位置移动和不明显的横向位置移动；根据步骤4）中跟踪的运动目标信息，总结出当前帧所有运动目标的特性，将满足抛物与车辆初始关系小的目标为疑似抛物，最后通过视频序列中各帧数据的关联性以判断疑似抛物目标是否为真正的抛物；
6）车牌识别
若步骤5）中判定运动目标为车窗抛物，则对抛出该物品车辆的车牌进行识别，记录识别结果和发生车窗抛物行为的时间、地点、被抛物品首次出现时的画面图片等相关信息。
1.一种基于实时视频的车窗抛物检测方法，其特征在于，首先获取视频流并解码，再利用视频图像序列中前后帧的关联性对解码后的每帧图像进行处理，以检测出所有图像的运动目标区域，并提取运动目标区域，而后对提取的运动目标区域进行跟踪，最后根据被抛物品固有的位置、大小和运动特性，判断运动目标是否为车窗抛物，若判定运动目标为车窗抛物，则对抛出该物品车辆的车牌进行识别。
2.根据权利要求1所述的一种基于实时视频的车窗抛物检测方法，其特征在于，具体步骤如下：
1）获取视频流并解码
获取视频流，并对视频流进行硬解码；
2）检测运动目标
利用视频图像序列中前后帧的关联性，对步骤1）中解码后的每帧图像进行处理，以快速检测出所有图像的运动目标区域；
3）提取运动目标
对于步骤2）中提取的运动目标区域，使用grabcut算法进行运动目标区域分割，快速有效地分割出完整的运动目标；
4）跟踪运动目标
对步骤3）中分割出的运动目标进行跟踪；
5）检测车窗抛物
根据被抛物品固有的位置、大小和运动特性，判断运动目标是否为车窗抛物；
6）识别车牌
若步骤5）中判定运动目标为车窗抛物，则对抛出该物品车辆的车牌进行识别。
3.根据权利要求2所述的一种基于实时视频的车窗抛物检测方法，其特征在于，步骤1）中，通过前端摄像机采集实时视频流或从第三方平台获取视频流，利用ffmpeg和cuda对视频流进行硬解码。
4.根据权利要求2所述的一种基于实时视频的车窗抛物检测方法，其特征在于，步骤2）中，采用vibe算法对步骤1）中解码后的每帧图像进行处理。
5.根据权利要求4所述的一种基于实时视频的车窗抛物检测方法，其特征在于，运动目标检测具体流程如下：
首先利用视频序列的第一帧初始化背景，为每个像素点建立vibe背景模型，而后利用当前帧减去背景帧，再阈值化，以检测视频图像序列是否包含运动目标，再利用判定为背景的像素点对vibe背景模型进行更新，如此逐帧分析视频图像直至结束。
6.根据权利要求2所述的一种基于实时视频的车窗抛物检测方法，其特征在于，步骤3）中，提取运动目标具体流程如下：
采用平滑技术对步骤2）中检测出的所有运动目标区域进行过滤，并对当前运动目标存在小空洞残缺情况，利用数学形态学的膨胀处理，扩展前景区域；对当前运动目标存在大面积残缺情况，找出所有运动目标前景区域的边缘轮廓线，根据区块的边缘轮廓线等得出其最小外接矩形，合并任意两个矩形中心两线与垂直方向夹角小于一定阈值，且垂直距离也小于一定阈值的矩形，而后在rgb颜色空间，分别对每个矩形框内的图像，给出grabcut的初始化信息，执行分割，以获取完整的运动目标。
7.根据权利要求2所述的一种基于实时视频的车窗抛物检测方法，其特征在于，步骤4）中，跟踪运动目标具体流程如下：
首先从上一帧视频图像检测得到的运动目标区域中提取出目标状态特征值，建立对应目标链表，而后利用kalman运动区域预测模型对目标链表中需要跟踪的运动目标进行状态信息预测，以缩小meanshift跟踪时搜索匹配候选目标次数，从而加速跟踪速度；最后在预测范围内对跟踪的运动目标区域进行meanshift跟踪，以建立运动目标的关联信息，且采用最佳匹配的运动目标区域信息更新目标链表中相应的运动目标区域信息，同时对kalman运动区域预测模型更新，并在对kalman运动区域预测模型更新过程中，记录运动目标的中心位置、宽度、高度、面积和位移信息。
8.根据权利要求2所述的一种基于实时视频的车窗抛物检测方法，其特征在于，步骤5）中，检测车窗抛物具体流程如下：
根据步骤4）中跟踪的运动目标信息，总结出当前帧所有运动目标的特性，将满足抛物与车辆初始关系小的目标为疑似抛物，最后通过视频序列中各帧数据的关联性以判断疑似抛物目标是否为真正的抛物。
技术总结