本发明涉及视频处理技术领域，尤其涉及一种基于监控视频的垃圾投递违规行为检测方法及系统。
背景技术：
随着国内科学技术不断发展，城市化进程加快以及人民生活水平迅速提高，日常生活中产生的生活垃圾的数量也迅速增加，很多居民还没有养成按照社区要求定时投递垃圾的习惯，很多时候都会在非投放时间段将垃圾放在垃圾投放亭边，而放在街边的垃圾袋往往很多时候袋口并不会系紧，垃圾随意翻到在街边不仅会影响社区整体的美观，垃圾散发出的异味也会对居民生活造成影响。社区内并无专门人员管治垃圾投递违规行为，而且人工管制耗时耗力。
针对上述问题，公开号为cn108820647a的专利公开了一种基于图像识别的垃圾投放方法及系统，所述方法用于智能垃圾箱，所述智能垃圾箱设置有图像采集及识别装置，所述方法包括：对进入感应区域内的人员进行图像采集，获取初始图像；识别初始图像中的特征要素，判断是否存在待投放垃圾；存在待投放垃圾时，对特征要素进行分类对比，获取到对应的垃圾分类信息；根据垃圾分类信息为待投放垃圾配置对应投放口；打开对应投放口。上述方案通过图像采集装置对进入感应区域内人员进行图像采集获得初始图像，通过识别装置获取是否有待投放垃圾，在有待投放垃圾时，通过识别模块对待投放垃圾进行分类对比识别，获取到垃圾的分类信息，根据垃圾分类信息为垃圾配置对应投放口并打开投放口。上述专利虽然可以通过图像采集装置获取到投放垃圾的人员，但是其对于携带垃圾袋路过的行人无法进行有效识别。
故，针对上述存在的技术问题，对其进行改进。
技术实现要素：
本发明的目的是针对现有技术的不足，提供了一种基于监控视频的垃圾投递违规行为检测方法及系统，基于卷积神经网络和图像处理技术来识别监控视频中的行人行为，并找出违规投递垃圾的行人。
为了实现以上目的，本发明采用以下技术方案：
一种基于监控视频的垃圾投递违规行为检测方法，包括步骤：
s1.接收摄像头采集的垃圾投递亭内及垃圾投递亭附近的监控视频流数据；
s2.基于检测框模型对接收到的视频流数据每隔预设时间进行检测，并根据检测结果判断垃圾投递亭内及垃圾投递亭附近是否存在垃圾袋；
s3.若检测到视频流数据中的第t帧视频图像中存在垃圾袋，则从第t帧开始向前检测，并判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋，若是，则执行步骤s4；
s4.将第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于第一预设阈值，若是，则执行步骤s5；若否，则继续执行步骤s3；
s5.从第t-j帧视频图像开始向后检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的最后一帧图像时停止检测，并判断从第t-j帧开始检测至停止检测的视频图像中携带当前垃圾袋的行人是否携带垃圾袋离开，若是，则认为携带当前垃圾袋的行人路过，并继续执行步骤s3；若否，则得到携带当前垃圾袋的行人为违规投递。
进一步的，所述步骤s3中第t帧视频图像中存在垃圾袋具体为第t帧视频图像中只有垃圾袋，或第t帧视频图像中包括垃圾袋和行人，且垃圾袋和行人之间的距离大于第二预设阈值。
进一步的，所述步骤s2中基于检测框模型对接收到的视频流数据每隔预设时间进行检测中还包括对检测框模型进行训练，具体为：
a1.从视频数据流中截取视频帧图像，对截取出的视频帧图像进行标注，其中标注的内容为目标物体的检测框和目标物体的类别；
a2.将截取出的图像输入至深度学习网络中，利用深度学习网络中的浅层结构提取特征fs以及深层结构提取特征fd，并将浅层结构提取的特征fs输入到目标检测算法的snet通道，得到视频帧图像中的垃圾袋的类别信息和/或行人的类别信息；将深层结构提取的特征fd输入到目标检测算法的gnet通道，得到视频帧图像中的垃圾袋和/或行人；
a3.初始化深度学习网络的参数，将深度学习网络的最大迭代次数设置为k；判断训练过程中损失函数loss值是否持续下降，若是，则继续训练，直到迭代k次后，得到最终的检测框模型；若损失函数loss值在中途趋于稳定，则停止迭代，得到最终的检测框模型。
进一步的，所述步骤s2中基于检测框模型对接收到的视频流数据每隔预设时间进行检测，具体为：
b1.将接收到的视频流数据输入至检测框模型进行处理，检测框模型输出垃圾袋检测框以及行人检测框；
b2.判断输出的垃圾袋检测框以及行人检测框之间的距离是否小于第三预设阈值，若是，则执行步骤s3。
进一步的，所述步骤s3中判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋是判断向前检测时第t-j帧视频图像中是否同时存在行人和行人携带垃圾袋，且行人和行人携带垃圾袋的交并比大于第四预设阈值。
进一步的，所述步骤s4中判断匹配后的相似度值是否大于第一预设阈值，若是，则认为第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋为同一个垃圾袋。
进一步的，所述步骤s5中还包括从第t-j帧视频图像开始向前检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的第一帧图像时停止检测。
相应的，还提供一种基于监控视频的垃圾投递违规行为检测系统，包括：
接收模块，用于接收摄像头采集的垃圾投递亭内及垃圾投递亭附近的监控视频流数据；
检测模块，用于基于检测框模型对接收到的视频流数据每隔预设时间进行检测，并根据检测结果判断垃圾投递亭内及垃圾投递亭附近是否存在垃圾袋；
第一判断模块，用于若检测到视频流数据中的第t帧视频图像中存在垃圾袋，则从第t帧开始向前检测，并判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋；
第二判断模块，用于将第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于第一预设阈值；
第三判断模块，用于从第t-j帧视频图像开始向后检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的最后一帧图像时停止检测，并判断从第t-j帧开始检测至停止检测的视频图像中携带当前垃圾袋的行人是否携带垃圾袋离开。
进一步的，所述第一判断模块中第t帧视频图像中存在垃圾袋具体为第t帧视频图像中只有垃圾袋，或第t帧视频图像中包括垃圾袋和行人，且垃圾袋和行人之间的距离大于第二预设阈值。
进一步的，所述检测模块中基于检测框模型对接收到的视频流数据每隔预设时间进行检测中还包括对检测框模型进行训练，具体为：
截取模块，用于从视频数据流中截取视频帧图像，对截取出的视频帧图像进行标注，其中标注的内容为目标物体的检测框和目标物体的类别；
提取模块，用于将截取出的图像输入至深度学习网络中，利用深度学习网络中的浅层结构提取特征fs以及深层结构提取特征fd，并将浅层结构提取的特征fs输入到目标检测算法的snet通道，得到视频帧图像中的垃圾袋的类别信息和/或行人的类别信息；将深层结构提取的特征fd输入到目标检测算法的gnet通道，得到视频帧图像中的垃圾袋和/或行人；
训练模块，用于初始化深度学习网络的参数，将深度学习网络的最大迭代次数设置为k；判断训练过程中损失函数loss值是否持续下降。
与现有技术相比，本发明具有以下有益效果：
1、本发明对放置的垃圾进行监控管理，从而得到与该垃圾对应的行人，并对该行人进行警告；
2、本发明还可以判断第一次检测到的与该垃圾相对应的行人是否为路过，即携带垃圾但是只是路过的行人，进一步提高了检测的精准度，排除了携带垃圾路过的行人；
3、本发明将系统将最终确认的违规投放垃圾行人的全过程视频进行保存，并对该行人发出警告。
附图说明
图1是实施例一提供的一种基于监控视频的垃圾投递违规行为检测方法流程图；
图2是实施例一提供的垃圾投递违规行为检测流程图及检测框模型结构示意图；
图3是实施例二提供的一种基于监控视频的垃圾投递违规行为检测系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷，提供了一种基于监控视频的垃圾投递违规行为检测方法及系统。
实施例一
本实施例提供一种基于监控视频的垃圾投递违规行为检测方法，如图1-2所示，包括步骤：
s11.接收摄像头采集的垃圾投递亭内及垃圾投递亭附近的监控视频流数据；
s12.基于检测框模型对接收到的视频流数据每隔预设时间进行检测，并根据检测结果判断垃圾投递亭内及垃圾投递亭附近是否存在垃圾袋；
s13.若检测到视频流数据中的第t帧视频图像中存在垃圾袋，则从第t帧开始向前检测，并判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋，若是，则执行步骤s14；
s14.将第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于第一预设阈值，若是，则执行步骤s15；若否，则继续执行步骤s13；
s15.从第t-j帧视频图像开始向后检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的最后一帧图像时停止检测，并判断从第t-j帧开始检测至停止检测的视频图像中携带当前垃圾袋的行人是否携带垃圾袋离开，若是，则认为携带当前垃圾袋的行人路过，并继续执行步骤s13；若否，则得到携带当前垃圾袋的行人为违规投递。
需要说明的是，本发明是应用于在非投放时间段内或将居民垃圾投放于马路边的垃圾桶内的垃圾袋以及行人进行违规行为检测。
在步骤s11中，接收摄像头采集的垃圾投递亭内及垃圾投递亭附近的监控视频流数据l。
将摄像头安装于垃圾投递亭处，摄像头采集垃圾投递亭内及其附近的监控视频流数据，并将采集到的视频流数据上传检测系统中。其中摄像头可以24小时开启，也可以在规定垃圾投放时间段外开启；若摄像头24小时开启，则上传的数据只包括在规定垃圾投放时间段外的视频流数据。
例如规定的投放垃圾的时间段为上午7点-上午9点，下午5点-下午8点；则非投放时间段为上午9点到下午5点，晚上8点到第二天上午7点，那么摄像头可以采集到的24小时内的数据，但是只会将上午9点到下午5点，晚上8点到第二天上午7点采集到的视频流数据上传至检测系统中。
在步骤s12中，基于检测框模型对接收到的视频流数据每隔预设时间进行检测，并根据检测结果判断垃圾投递亭内及垃圾投递亭附近是否存在垃圾袋。
基于检测框模型对视频流数据l每隔一段时间检测一次(例如每隔十分钟检测一帧)，判断识别垃圾投递亭内及其附近是否存在居民放置的垃圾袋(若垃圾袋周围没有行人，则视频图像包括以下两种类型：视频图像中没有行人，只有垃圾袋、或者视频中包括垃圾袋和行人，但是行人与垃圾袋之间的距离大于阈值t1)。
在本实施例中，基于检测框模型对接收到的视频流数据每隔预设时间进行检测中还包括对深度学习网络模型进行训练，具体为：
垃圾袋与行人的检测框数据准备：首先从视频数据流l中截取视频帧图像，对提取出的图像进行标注，标注的内容为目标物体的检测框和目标物体的类别，即(ck,xk,yk,wk,hk)，其中cj代表了检测框中物体的类别，ck＝1则认为检测框中是行人，ck＝0则认为检测框中是垃圾袋，xk,yk代表了检测框左上角顶点的坐标信息，wk,hk代表了检测框的宽度和高度信息，将标注数据样本按照8:1:1划分为训练集、验证集、测试集；
网络结构设计：网络输入为提取出的视频帧图像，利用resnet的浅层结构提取特征fs以及深层结构提取特征fd，浅层特征fs输入到snet，snet的作用是提取垃圾袋的类别信息和行人的类别信息，深层特征fd输入到gnet，gnet的作用是区分图像中的垃圾袋与行人，视频流数据的第一帧用于初始化snet通道和gnet通道，两个模块的更新方法不同，对于新的一帧图像，感兴趣区域集中在上一帧的目标位置，其中包含了目标物体的信息与背景的信息，通过全卷积网络传递，snet和gnet模块各自产生一个前景的热图，新一帧图像的预测目标位置将基于这个热图，选择机制用来决定热图最终到底采用snet还是gnet模块来产生，从而决定最后的目标位置；其中，fd表示细节更少但语义信息更多的特征图；fs表示细节更多但语义信息较少的特征图。
网络采用swish激活函数，
检测框模型训练：初始化网络参数，将网络的最大迭代次数设置为k，将准备好的数据集输入网络进行训练。若loss值持续下降，继续训练，直到迭代k次后，得到最终的检测框模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的检测框模型。
步骤s12中基于检测框模型对接收到的视频流数据每隔预设时间进行检测，具体为：
将接收到的视频流数据输入至检测框模型进行处理，检测框模型输出垃圾袋检测框以及行人检测框；
其中垃圾袋检测框信息为(0,x1,y1,w1,h1)，行人检测框信息为(1,x2,y2,w2,h2)，行人检测框与垃圾袋检测框之间的距离公式为:
判断输出的垃圾袋检测框以及行人检测框之间的距离d是否小于第三预设阈值，若是，则执行步骤s13。
在步骤s13中，若检测到视频流数据中的第t帧视频图像中存在垃圾袋，则从第t帧开始向前检测，并判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋，若是，则执行步骤s14。
当步骤s12中在第t帧检测出垃圾投递亭内或垃圾投递亭附近存在垃圾或垃圾和行人的视频图像后，顺着当前第t帧开始向前检测，判断向前检测的视频图像中是否同时存在行人和行人携带垃圾袋，且行人和行人携带垃圾袋的交并比大于阈值t2；若是，则执行步骤s14；若否，则继续执行步骤s12。
其中从第t帧开始向前检测，其中检测是否存在行人和行人携带垃圾袋的方式也是通过步骤s12中得到的检测框模型对当前的视频图像进行处理，其处理方式与步骤s12类似，在此不多做赘述。
本实施例中，用h表示此携带着垃圾袋行人，用r表示行人h携带的垃圾袋。
在步骤s14中，将第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于第一预设阈值，若是，则执行步骤s15；若否，则继续执行步骤s13。
当经过步骤s13的检测后，若在第t-j帧视频图像中检测到了携带垃圾袋的行人h以及垃圾袋r，则进一步该行人h携带的垃圾袋r与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于预设阈值t3，如果相似度大于预设阈值t3，则认为第t-j帧视频图像中的垃圾袋r和第t帧视频图像中的垃圾袋为同一个垃圾袋，否则，重复步骤s13。
将第t-j帧中检测到的垃圾袋包围框和第t帧中检测到的垃圾袋包围框裁剪出，其中,t-j帧取出的图像为p1，t帧取出的图像为p2。先将p1和p2缩小至8x8尺寸；将缩小后的图像转为64级灰度；将每个像素的灰度，与这8x8个像素平均值进行比较，大于或等于平均值记为1，小于平均值记为0，两张图分别将得到的64个数组合在一起形成两个64位整数，这两个64位整数就是p1和p2的特征；将p1和p2的特征逐位比较，相同的位数越多说明p1和p2相似度越高。
需要说明的是，若判断得到匹配后的相似度值小于预设阈值t3，继续执行步骤s13，其中执行步骤s13是顺着第t-j帧继续向前检测，不需要从第t帧重新开始检测。
在步骤s15中，从第t-j帧视频图像开始向后检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的最后一帧图像时停止检测，并判断从第t-j帧开始检测至停止检测的视频图像中携带当前垃圾袋的行人是否携带垃圾袋离开，若是，则认为携带当前垃圾袋的行人路过，并继续执行步骤s13；若否，则得到携带当前垃圾袋的行人为违规投递
为了判断行人是违规投递垃圾还是携带垃圾袋路过，从第t-j帧开始向后检测跟踪携带着垃圾袋行人h与垃圾袋r，直到行人离开监控视频的最后一帧图像；并判断从第t-j帧开始检测至停止检测的视频图像中携带垃圾袋的行人h是否携带垃圾袋r离开，如果向后检测跟踪过程中行人h携带者垃圾袋r离开，则认为行人h携带垃圾袋r路过，此时认为该行人为路人，继续执行步骤s13；如果向后检测跟踪过程中行人h未携带垃圾袋r离开，说明当检测到最后一帧时图像中只有行人h，没有垃圾袋r，为了更加精准的确定该行人的违规投放行为，需要从第t-j帧开始向前检测跟踪携带着垃圾袋行人h与垃圾袋r，直到行人进入监控视频的第一帧图像，判断第一帧图像中该行人h是否携带垃圾袋r进入监控范围，若否，则继续步骤s13；若是，则认为行人h违规投递垃圾，系统发出警告，保存行人h违规投递垃圾全过程的视频。
与现有技术相比，本实施例具有以下有益效果：
1、本实施例对放置的垃圾进行监控管理，从而得到与该垃圾对应的行人，并对该行人进行警告；
2、本实施例还可以判断第一次检测到的与该垃圾相对应的行人是否为路过，即携带垃圾但是只是路过的行人，进一步提高了检测的精准度，排除了携带垃圾路过的行人；
3、本实施例将系统将最终确认的违规投放垃圾行人的全过程视频进行保存，并对该行人发出警告。
实施例二
本实施例提供一种基于监控视频的垃圾投递违规行为检测系统，如图3所示，包括：
接收模块11，用于接收摄像头采集的垃圾投递亭内及垃圾投递亭附近的监控视频流数据；
检测模块12，用于基于检测框模型对接收到的视频流数据每隔预设时间进行检测，并根据检测结果判断垃圾投递亭内及垃圾投递亭附近是否存在垃圾袋；
第一判断模块13，用于若检测到视频流数据中的第t帧视频图像中存在垃圾袋，则从第t帧开始向前检测，并判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋；
第二判断模块14，用于将第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于第一预设阈值；
第三判断模块15，用于从第t-j帧视频图像开始向后检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的最后一帧图像时停止检测，并判断从第t-j帧开始检测至停止检测的视频图像中携带当前垃圾袋的行人是否携带垃圾袋离开。
进一步的，所述第一判断模块中第t帧视频图像中存在垃圾袋具体为第t帧视频图像中只有垃圾袋，或第t帧视频图像中包括垃圾袋和行人，且垃圾袋和行人之间的距离大于第二预设阈值。
进一步的，所述检测模块中基于检测框模型对接收到的视频流数据每隔预设时间进行检测中还包括对检测框模型进行训练，具体为：
截取模块，用于从视频数据流中截取视频帧图像，对截取出的视频帧图像进行标注，其中标注的内容为目标物体的检测框和目标物体的类别；
提取模块，用于将截取出的图像输入至深度学习网络中，利用深度学习网络中的浅层结构提取特征fs以及深层结构提取特征fd，并将浅层结构提取的特征fs输入到目标检测算法的snet通道，得到视频帧图像中的垃圾袋的类别信息和/或行人的类别信息；将深层结构提取的特征fd输入到目标检测算法的gnet通道，得到视频帧图像中的垃圾袋和/或行人；
训练模块，用于初始化深度学习网络的参数，将深度学习网络的最大迭代次数设置为k；判断训练过程中损失函数loss值是否持续下降。
需要说明的是，本实施例提供的一种基于监控视频的垃圾投递违规行为检测系统与实施例一类似，在此不多做赘述。
与现有技术相比，本实施例具有以下有益效果：
1、本实施例对放置的垃圾进行监控管理，从而得到与该垃圾对应的行人，并对该行人进行警告；
2、本实施例还可以判断第一次检测到的与该垃圾相对应的行人是否为路过，即携带垃圾但是只是路过的行人，进一步提高了检测的精准度，排除了携带垃圾路过的行人；
3、本实施例将系统将最终确认的违规投放垃圾行人的全过程视频进行保存，并对该行人发出警告。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
1.一种基于监控视频的垃圾投递违规行为检测方法，其特征在于，包括步骤：
s1.接收摄像头采集的垃圾投递亭内及垃圾投递亭附近的监控视频流数据；
s2.基于检测框模型对接收到的视频流数据每隔预设时间进行检测，并根据检测结果判断垃圾投递亭内及垃圾投递亭附近是否存在垃圾袋；
s3.若检测到视频流数据中的第t帧视频图像中存在垃圾袋，则从第t帧开始向前检测，并判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋，若是，则执行步骤s4；
s4.将第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于第一预设阈值，若是，则执行步骤s5；若否，则继续执行步骤s3；
s5.从第t-j帧视频图像开始向后检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的最后一帧图像时停止检测，并判断从第t-j帧开始检测至停止检测的视频图像中携带当前垃圾袋的行人是否携带垃圾袋离开，若是，则认为携带当前垃圾袋的行人路过，并继续执行步骤s3；若否，则得到携带当前垃圾袋的行人为违规投递。
2.根据权利要求1所述的一种基于监控视频的垃圾投递违规行为检测方法，其特征在于，所述步骤s3中第t帧视频图像中存在垃圾袋具体为第t帧视频图像中只有垃圾袋，或第t帧视频图像中包括垃圾袋和行人，且垃圾袋和行人之间的距离大于第二预设阈值。
3.根据权利要求2所述的一种基于监控视频的垃圾投递违规行为检测方法，其特征在于，所述步骤s2中基于检测框模型对接收到的视频流数据每隔预设时间进行检测中还包括对检测框模型进行训练，具体为：
a1.从视频数据流中截取视频帧图像，对截取出的视频帧图像进行标注，其中标注的内容为目标物体的检测框和目标物体的类别；
a2.将截取出的图像输入至深度学习网络中，利用深度学习网络中的浅层结构提取特征fs以及深层结构提取特征fd，并将浅层结构提取的特征fs输入到目标检测算法的snet通道，得到视频帧图像中的垃圾袋的类别信息和/或行人的类别信息；将深层结构提取的特征fd输入到目标检测算法的gnet通道，得到视频帧图像中的垃圾袋和/或行人；
a3.初始化深度学习网络的参数，将深度学习网络的最大迭代次数设置为k；判断训练过程中损失函数loss值是否持续下降，若是，则继续训练，直到迭代k次后，得到最终的检测框模型；若损失函数loss值在中途趋于稳定，则停止迭代，得到最终的检测框模型。
4.根据权利要求3所述的一种基于监控视频的垃圾投递违规行为检测方法，其特征在于，所述步骤s2中基于检测框模型对接收到的视频流数据每隔预设时间进行检测，具体为：
b1.将接收到的视频流数据输入至检测框模型进行处理，检测框模型输出垃圾袋检测框以及行人检测框；
b2.判断输出的垃圾袋检测框以及行人检测框之间的距离是否小于第三预设阈值，若是，则执行步骤s3。
5.根据权利要求1所述的一种基于监控视频的垃圾投递违规行为检测方法，其特征在于，所述步骤s3中判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋是判断向前检测时第t-j帧视频图像中是否同时存在行人和行人携带垃圾袋，且行人和行人携带垃圾袋的交并比大于第四预设阈值。
6.根据权利要求1所述的一种基于监控视频的垃圾投递违规行为检测方法，其特征在于，所述步骤s4中判断匹配后的相似度值是否大于第一预设阈值，若是，则认为第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋为同一个垃圾袋。
7.根据权利要求5所述的一种基于监控视频的垃圾投递违规行为检测方法，其特征在于，所述步骤s5中还包括从第t-j帧视频图像开始向前检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的第一帧图像时停止检测。
8.一种基于监控视频的垃圾投递违规行为检测系统，其特征在于，包括：
接收模块，用于接收摄像头采集的垃圾投递亭内及垃圾投递亭附近的监控视频流数据；
检测模块，用于基于检测框模型对接收到的视频流数据每隔预设时间进行检测，并根据检测结果判断垃圾投递亭内及垃圾投递亭附近是否存在垃圾袋；
第一判断模块，用于若检测到视频流数据中的第t帧视频图像中存在垃圾袋，则从第t帧开始向前检测，并判断向前检测时第t-j帧视频图像中是否同时存在行人且行人携带垃圾袋；
第二判断模块，用于将第t-j帧视频图像中行人携带垃圾袋与第t帧视频图像中存在垃圾袋进行相似度匹配，并判断匹配后的相似度值是否大于第一预设阈值；
第三判断模块，用于从第t-j帧视频图像开始向后检测当前垃圾袋与携带当前垃圾袋的行人，直到行人监控视频的最后一帧图像时停止检测，并判断从第t-j帧开始检测至停止检测的视频图像中携带当前垃圾袋的行人是否携带垃圾袋离开。
9.根据权利要求8所述的一种基于监控视频的垃圾投递违规行为检测系统，其特征在于，所述第一判断模块中第t帧视频图像中存在垃圾袋具体为第t帧视频图像中只有垃圾袋，或第t帧视频图像中包括垃圾袋和行人，且垃圾袋和行人之间的距离大于第二预设阈值。
10.根据权利要求9所述的一种基于监控视频的垃圾投递违规行为检测系统，其特征在于，所述检测模块中基于检测框模型对接收到的视频流数据每隔预设时间进行检测中还包括对检测框模型进行训练，具体为：
截取模块，用于从视频数据流中截取视频帧图像，对截取出的视频帧图像进行标注，其中标注的内容为目标物体的检测框和目标物体的类别；
提取模块，用于将截取出的图像输入至深度学习网络中，利用深度学习网络中的浅层结构提取特征fs以及深层结构提取特征fd，并将浅层结构提取的特征fs输入到目标检测算法的snet通道，得到视频帧图像中的垃圾袋的类别信息和/或行人的类别信息；将深层结构提取的特征fd输入到目标检测算法的gnet通道，得到视频帧图像中的垃圾袋和/或行人；
训练模块，用于初始化深度学习网络的参数，将深度学习网络的最大迭代次数设置为k；判断训练过程中损失函数loss值是否持续下降。
技术总结