本发明涉及人工智能图像识别领域，属于智能化城市技术领域，具体涉及流动商贩行为识别管理系统。
背景技术：
目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。
在我国有很多地方存在流动商贩现象，流动商贩主要表现具有如下危害：1、噪音扰民，影响居民的正常生活。每个人的休息时间不一致，而设摊人员设摊时间往往比较早，影响居民的正常休息。2、扰乱正常的经济秩序，流动摊贩不交税，无营业执照，所售商品往往是“三无”商品，且任意定价，严重扰乱了合法经营单位和个人的利益，为假冒伪劣者提供了市场，影响了经济社会健康发展。3、摊贩和城管打起游击，出没无定，反复无常，屡禁不止。4、各种摊贩占用车道，占据马路，极其引发交通事故。每当摊贩收摊走人，往往留下满地垃圾。
现有技术采用人工对流动商贩进行管理，效率低成本高，不能满足社会日益增长的对流动商贩的管理需求。
技术实现要素：
本发明要解决的技术问题是，现有技术采用人工对流动商贩进行管理，效率低成本高。
本发明提供一种流动商贩行为识别管理系统，包括数据接入模块、流动商贩检测模块、案件库模块、人脸库模块、行人重识别模块、综合管理模块；
所述数据接入模块用于数据的接入，所述数据包括，视频监控数据或/和rfid定时定点联动抓拍图片或/和手机拍照图片；
案件库模块用于记录确定为流动商贩案件的信息，所述信息包括人员姓名或/和年龄或/和性别或/和住址或/和案发地点或/和案发时间或/和售卖物品；
人脸库模块用于识别商贩；
行人重识别模块用于流动商贩跨摄像头查找追踪，了解最新动态；
综合管理模块用于对流动商贩案件审核、确认，工作人员指挥管理，发布新任务；
所述核心模块用于检测识别流动商贩行为。
进一步的，所述核心模块执行以下步骤，
s1:采集、收集、整理流动商贩行为图像；
s2:对图片中具有流动商贩行为使用labelimg数据标注，并转换生成coco格式数据集；
s3:采用零-均值规范化数据预处理；
s4:基于pp-yolo训练流动商贩行为数据集得到训练模型，通过map指标在测试集上选取训练模型，对模型剪裁优化模型后转化成inference模型，得到流动商贩行为识别模型；
s5:通过流动商贩行为识别模型对城市场景识别，判断其是否存在流动商贩行为。
本发明的有益效果是
本发明采用目标检测方式检测识别流动商贩行为，使得流动商贩行为得到监控监管。流动商贩行为识别管理方法，使用摄像头实时监控，流动商贩行为进行全天24小时智能监控，发现异常行为，自动预警，智能取证，并将案件信息推送至网格责任人员的手机app或者其他执法终端，执法人员核实案件后可现场执法，变“被动执法”为“主动执法”，最终达到“三减一升”的效果，即：减人力、减时间、减案件、提升市容环境水平。
附图说明
图1为本发明核心模块用于检测识别流动商贩行为步骤图。
图2为本发明的一种流动商贩行为识别基于pp-yolo网络结构。
图3resnet网络结构示意图。
图4残差结构示意图。
图5本发明系统运作流程图。
图6本发明系统模块框架图。
具体实施方式
为了更清楚地说明本发明实施例现有技术中的技术方案，下面将对附图说明本发明的具体实施过程。
本发明提供一种流动商贩行为识别管理系统，该系统包含：数据接入模块、流动商贩检测模块、案件库模块、人脸库模块、行人重识别模块、综合管理模块。
数据接入模块:用于数据的接入，不管是视频监控 rfid定时定点联动抓拍，还是手机拍照单张图片；案件库模块:记录确定为流动商贩案件的信息，含人员姓名、年龄、性别、住址、案发地点、案发时间、售卖物品等信息；人脸库模块:针对流动商贩建立的人员人脸库，用于自动识别商贩；行人重识别模块:用于流动商贩跨摄像头查找追踪，了解最新动态。综合管理模块:用于对流动商贩案件审核、确认，工作人员指挥管理，发布新任务等。
核心模块即流动商贩检测模块行为识别方法，该方法包括以下步骤：s1:采集、收集、整理流动商贩行为若干图像。s2:对若干图片中具有流动商贩行为使用labelimg数据标注，并转换生成coco格式数据集。s3:采用零-均值规范化数据预处理。s4:基于pp-yolo训练流动商贩行为数据集得到训练模型，在测试集上选取验证map最好的训练模型，对模型剪裁优化模型后转化成inference模型，得到流动商贩行为识别模型。s5:通过流动商贩行为识别模型对城市场景识别，判断其是否存在流动商贩行为。
本发明系统运作流程如下：
如图5所示，正常监控情况下，前端设备或者视频监控摄像头间隔30s抓拍一张图片，之后将图片送到服务器检测该图片是否有流动商贩行为；流动商贩检测模块服务器未检测到流动商贩行为标示0，检测到流动商贩行为标识1。检测到流商行为数据返回[流商行为类别序号,x1,y1,x2,y2,流商行为置信度],流商行为类别序号包含[0,1,2]对应[0表示地摊摊位、1表示流动摊位、2表示固定摊位],[x1,y1,x2,y2]表示2个点坐标,可以根据这2个坐标点构成的矩形框可得知流动商贩行为在图中的位置。对未检测到的流动商贩图片丢弃,检测到的流动商贩图片进一步确认人员信息。对于置信度大于0.7以上进入流动商贩人员信息识别,对于置信度大于0.5小于0.7人工审核确认,置信度小于0.5的丢弃；人员信息识别通过建立人脸库中查找得到,对于人脸库中不存在的流动商贩人员则手动添加改流动商贩人员信息,对于人员信息识别失败的可手动人工识别；将得到的人员信息、案件信息等记录到案件库,可供下次参考或者分析。记录到案件库后可由综合管理模块指派执法人员执行到现场执法。流动商贩位置时不时变换,增大执法的难度,通过行人重识别模块在各个视频监控摄像头图片中搜寻,确定流动商贩所处位置,对于人员重识别失败的可手动寻找最后一次发现流动商贩最近的摄像头查看。
下面对核心模块模块进行说明：
核心模块执行以下步骤：
s1:采集、收集、整理流动商贩行为若干图像。
s2:对若干图片中具有流动商贩行为使用labelimg数据标注，并转换生成coco格式数据集。
s3:采用零-均值规范化数据预处理。
s4:基于pp-yolo训练流动商贩行为数据集得到训练模型，在测试集上选取验证map最好(map大于预设值)的训练模型，对模型剪裁优化模型后转化成推断(inference)模型，得到流动商贩行为识别模型。
s5:通过流动商贩行为识别模型对城市场景识别，判断其是否存在流动商贩行为。
本发明一实例中，步骤s1中对数据收集，可以包括摄像头视频监控场景、一张图片中收集，对于视频首先要抽帧得到图像。对于图像质量不好、过于模糊、分辨率太低、场景不符合的给予剔除，整理出符合要求的流动商贩图像。
本发明一实例中，步骤s2进一步包括：地摊摊位、流动摊位、固定摊位标注，复杂密集场景标注。
本发明一实例中，步骤s2对数据标注，使用labelimg标注工具。labelimg是一个图形图像注释工具，采用python编写而成，并使用qt作为其图形界面。注释以pascalvoc格式保存为xml文件，格式使用了imagenet。为更好区分具有方向引导性路标，整个数据中只有3类：地摊商贩、流动商贩、固定摊贩。对于多而密集型的广告看着一个整体作为流动商贩类。对标注好的数据按照10:1的比例划分训练集与测试集，之后使用voc2coco.py脚本程序转coco格式数据集。
本发明一实例中，步骤s3对数据预处理采用零-均值规范化。具体公式如下
公式中x表示输入图片数据，m表示均值，s表示标准差，b表示蓝色通道，r表示红色通道，g表示绿色通道。
本发明一实例中，步骤s4基于pp-yolo训练流动商贩行为数据集得到训练模型。首先配置pp-yolo预训练模型，然后使用kmeans算法计算流动商贩行为训练数据集anchors。再然后配置mixup、随机裁剪、颜色扭曲等数据增强。模型训练好后根据map指标选取在测试集中表现最好的模型。接着使用paddleslim对模型剪裁。最后模型裁剪后导出inference模型。
kmeans算法是现有技术中一种迭代求解的聚类分析算法，其步骤是，预将数据分为k组，则随机选取k个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
本发明一实例中，步骤s4采用平均精度map(meanaverageprecision)作为模型检测精度的评价指标，ap(averageprecision)作为每一类别的检测精度的评价指标。map的计算分为6步：
1)iou计算，iou等于预测区域面积sa与真实标注区域面积sb交集比并集，这里的并集指sa与sb面积之和减去sa与sb区域重叠面积。
2)tp、fp、tn的计算，其中tp(被判定为正样本，实际也是正样本)、fp(被判定为正样本，实际是负样本)、fn(被判定为负样本，实际也是负样本)根据iou判定为正样本还是负样本，这个置信度一般为0.7。
3)精确率(precision)计算,
4)召回率(recall)计算,
5)ap计算，ap指类别下pr曲线的面积。coco格式数据中计算ap采用的是101个插值点(插值ap法)，101个点是在recall坐标轴每个0.01取一个点。pi表示第i个点下精确率的值，ri表示第i个点下召回率的值,ri-1表示第i-1个点下召回率的值。
6)map计算，map是ap平均后的值。c表示类别数量，ap(i)表示第i类害虫的ap。
paddleslim是paddlepaddle框架的一个子模块，主要用于压缩图像领域模型。在paddleslim中，不仅实现了目前主流的网络剪枝、量化、蒸馏三种压缩策略，还实现了超参数搜索和小模型网络结构搜索功能。
本发明一实例中，步骤s5进一步包括，通过流动商贩行为识别模型对城市场景图片识别，判断其是否存在流动商贩行为。在导出inference模型后会得到“__model__”与“__params__”这2个文件，“__model__”文件中记录了模型的结构，“__params__”文件中记录了模型的权重。使用load_inference_model方法加载inference模型部署推理程序。通过一张本地图片或者监控图片就可以判断其是否存在流动商贩行为
行人重识别模块执行以下步骤：
行人检测:采用ssd检测网络，ssd全称singleshotmultiboxdetector，是weiliu在eccv2016上提出的一种目标检测算法，截至目前是主要的检测框架之一。
将resnet-50残差网络作为reid特征提取网络，其中单个残差块的公式表示如下：
xl 1＝f(yl)
残差结构示例如图4所示：
reid(personre-identification)叫“跨镜踪技术”，它是现在计算机视觉研究的热门方向追，主要解决跨摄像头跨场景下行人的识别与检索。该技术可以作为人脸识别技术的重要补充，可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性。
在本发明一实施例中，核心模块执行第一算法和第二算法
第一算法和第二算法包括：先对数据采用第一算法训练，对训练好的第一算法网络，划分6个水平部件(part)提取的特征，使用第二算法替换。
第一算法执行以下步骤：
1、对输入128*384尺寸大小行人图片提取深度特征(resnet50)，把最后一个块(平均池化前的block)的下采样层丢弃掉，得到空间大小24*8*2048的张量t。
2、t中每个通道轴为列向量,一共得到24*8个列向量f。
3、按照水平方向均匀切分成6个部件(parts)，即6个空间大小4*8*2048张量，然后各自进行平均池化，得到6个列向量g。
4、使用1*1卷积对g降维通道数到256维，为新的局部特征h，然后每个h经过一个全连接层 softmax分类器进行训练(分类器实质上是6个n分类的softmax,n为训练集的id数目)
5、训练时等于有6个交叉熵损失函数(cross-entropyloss)；测试时则将6个列向量合并在一起，再计算分类。
第二算法执行以下步骤：
1、通过分类器来判定张量t中每个列向量特征f更应属哪一个部件(part)。
2、基于分类结果来对每个f重定位，f根据p(pi|f)重采样到最相似的部件part上。
分类器计算公式：
pi表示第i个部件(part)，wjt表示第j个部件(part)的权重，p表示部件(part)的数量。
本实例适用于智能化城市技术领域，对于流动商贩现象进行高效率监控监管监督问题，提高对流动商贩行为识别效率，提升城市管理水平。
本发明采用目标检测方式检测识别流动商贩行为，使得流动商贩行为得到监控监管。流动商贩行为识别管理方法，使用摄像头实时监控，流动商贩行为进行全天24小时智能监控，发现异常行为，自动预警，智能取证，并将案件信息推送至网格责任人员的手机app或者其他执法终端，执法人员核实案件后可现场执法，变“被动执法”为“主动执法”，最终达到“三减一升”的效果，即：减人力、减时间、减案件、提升市容环境水平。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种流动商贩行为识别管理系统，其特征在于，包括数据接入模块、流动商贩检测模块、案件库模块、人脸库模块、行人重识别模块、综合管理模块；
所述数据接入模块用于数据的接入，所述数据包括，视频监控数据或/和rfid定时定点联动抓拍图片或/和手机拍照图片；
案件库模块用于记录确定为流动商贩案件的信息，所述信息包括人员姓名或/和年龄或/和性别或/和住址或/和案发地点或/和案发时间或/和售卖物品；
人脸库模块用于识别商贩；
行人重识别模块用于流动商贩跨摄像头查找追踪，了解最新动态；
综合管理模块用于对流动商贩案件审核、确认，工作人员指挥管理，发布新任务；
所述核心模块用于检测识别流动商贩行为。
2.如权利要求1所述的一种流动商贩行为识别管理系统，其特征在于，所述核心模块执行以下步骤，
s1:采集、收集、整理流动商贩行为图像；
s2:对图片中具有流动商贩行为使用labelimg数据标注，并转换生成coco格式数据集；
s3:采用零-均值规范化数据预处理；
s4:基于pp-yolo训练流动商贩行为数据集得到训练模型，通过map指标在测试集上选取训练模型，对模型剪裁优化模型后转化成inference模型，得到流动商贩行为识别模型；
s5:通过流动商贩行为识别模型对城市场景识别，判断其是否存在流动商贩行为。
技术总结