本发明属于车牌检测识别，尤其涉及一种基于深度学习的双层车牌检测及识别方法及系统。
背景技术：
1、随着交通运输业务的高速发展，车牌检测和识别算法技术在智能交通系统建设中起着十分重要的作用。传统的车辆检测和识别，往往采用切分字符，识别和拼接字符的方式，针对轿车、suv、警车、新能源汽车等单层车牌车辆进行车牌识别，检测和识别效果较好；但双层车牌检测和识别效果和效率不佳。然而，大型货车、挂车、公交车、摩托车等双层车牌车辆急速增加，如何有效地对双层车牌进行检测和识别，已成为智能交通一个重要的组成部分。过多双层车牌的误检严重影响交警检查交通违规效率，导致大量的人力资源浪费。
2、现有的双层车牌检测和识别技术：(a)采取检测车牌,然后分割字符，识别，组成车牌；(b)采取上下两层分别检测，然后拼接成7字符的单行车牌，然后识别双层车牌的。然而这些方案，在处理实际公路交通监控场景中，车牌处于远景拍摄图片帧中：目标较小，检测容易受到自然环境和人员车辆目标混杂的影响，存在大量车牌变形、遮挡、模糊的情况，检测和识别效果往往不佳。交警在查看交通车辆违规过程中，发现存在大量车牌错误检测和识别的情况，尤其是双层车牌检测和识别效果更不佳，严重影响到交警检查车辆违规的效率。
3、通过上述分析，现有技术存在的问题及缺陷为：
4、现有的双层车牌检测和识别技术在处理实际公路交通监控场景中，车牌处于远景拍摄图片帧中：目标较小，检测容易受到自然环境和人员车辆目标混杂的影响，存在大量车牌变形、遮挡、模糊的情况，检测和识别效果往往不佳。交警在查看交通车辆违规过程中，发现存在大量车牌错误检测和识别的情况，尤其是双层车牌检测和识别效果更不佳，严重影响到交警检查车辆违规的效率。
技术实现思路
1、针对现有技术存在的问题，本发明提供了一种基于深度学习的双层车牌检测及识别方法。
2、本发明是这样实现的，一种基于深度学习的双层车牌检测及识别方法，包括：
3、步骤一，通过公路监控的抓拍图片，进行图像预处理操作，降低外界环境对照片整体的影响；
4、步骤二，使用改进的yolov7算法作为车牌检测模型；将抓拍图片映射为1280*1280格式的图片，通过该车牌检测模型有效地实现车牌的定位和分类：单层车牌和双层车牌；
5、步骤三，当截取的车牌如果像素值小于一定阈值，对截取的单双层车牌做图像增强操作；因为当截取的图像比例小于一定的数值时，对车牌的识别会有一定的影响，对图像做一定的修复和增强操作；
6、步骤四，存在车牌表面氧化变粗糙，模糊以及亮度不均衡，对双层车牌图像做图像增强等处理；
7、步骤五，由于拍摄角度的问题，存在车牌倾斜的情况，影响车牌的切分，故需要矫正车牌；这里利用车牌4个边角的坐标，判定车牌在图像中的倾斜度，使用旋转和透视变换，矫正和截取车牌；
8、步骤六，对双层车牌进行自适应的切分为上下2层的单层车牌，然后将上下两层拼接为一个单层车牌；
9、步骤七，将拼接的双层车牌送到车牌识别模型中进行识别，输出车牌信息；
10、步骤八，结束。
11、进一步，所述图像预处理操作方法如下：
12、对图片进行预处理，使用高斯滤波器处理图片，以及增加图片的对比度，饱和度。
13、进一步，所述像素值为：像素值45*30。
14、进一步，所述车牌识别模型为：改进的crnn。
15、本发明的另一目的在于提供一种基于深度学习的双层车牌检测及识别系统，包括：
16、输入模块，用于接收由公路监控抓拍得到的车辆图像；
17、图像预处理模块，用于对输入图像进行预处理操作，以降低外界环境对照片的影响；
18、车牌检测模块，使用改进的yolov7算法，对预处理后的图像进行车牌定位和分类，能够区分单层车牌和双层车牌；
19、图像增强模块，用于对检测到的车牌图像进行质量增强处理，特别是当车牌图像像素值低于设定阈值时；
20、车牌矫正模块，用于矫正因拍摄角度引起的车牌倾斜问题；
21、车牌拼接模块，专用于处理双层车牌，将其自适应地切分为上下两层并拼接为单层车牌；
22、识别模块，用于对处理后的车牌图像进行识别，并输出车牌信息。
23、进一步，所述图像预处理模块包括对图像进行降噪、对比度调整和亮度均衡化处理，以适应不同的环境光照条件和图像质量。
24、进一步，所述车牌矫正模块包括利用车牌四个角点坐标进行旋转和透视变换的算法，以准确矫正车牌倾斜并截取完整的车牌图像用于后续处理。
25、本发明的另一目的在于提供种计算机设备所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于深度学习的双层车牌检测及识别方法的步骤。
26、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于深度学习的双层车牌检测及识别方法的步骤。
27、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于深度学习的双层车牌检测及识别方法。
28、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
29、第一、针对上述现有技术存在的技术问题以及解决该问题的难度，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
30、本发明提供的一种基于深度学习的双层车牌检测及识别方法，首先对检测的图像帧进行图像预处理操作，然后使用改进的yolov7算法做车牌检测，对检测到的车牌划分为2种类型：单层和双层。对双层车牌进行图像修复和矫正，然后自适应切分车牌，进行拼接，将拼接的车牌图片送入车牌识别网络进行识别。最终实现改进双层车牌检测和识别，提高交警检查车辆违规效率。
31、第二，本发明的积极技术效果和显著技术进步还包括：
32、1)提高双层车牌检测和识别的准确率。
33、2)对目标密集且混杂的公路监控场景，有效降低双层车牌错检和误识别的比率。
34、3)对光线明暗，气候变化等公路监控环境，具有较高的鲁棒性和泛化性。
35、4)对车牌扭曲，遮挡，模糊等，具有较强的检测和识别效率。
36、5)降低双层车牌处理时间，提高双层车牌检测和识别的效率。
37、本发明提供的一种基于深度学习的双层车牌检测及识别方法，对检测的图像帧进行图像预处理，然后使用改进的yolov7算法做车牌检测，对检测到的车牌划分为2种类型：单层和双层。对双层车牌进行图像修复和矫正，然后自适应切分车牌，进行拼接，将拼接车牌图片送入车牌识别网络进行识别。最终实现改进双层车牌检测和识别，提高交警检查车辆违规效率。
38、第三，本发明的技术方案转化后的预期收益和商业价值为：本发明预期可以有效地填补双层车牌检测和识别准确性差的问题。有效地提升交警检查车辆违规时获取双层车牌信息准确性和效率，降低人力成本。
39、本发明的技术方案填补了国内外业内技术空白：单层车牌识别准确性好而双层车牌识别效率低，准确率差的问题。
40、本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明专利有效地解决了交警处理车辆违规行为时，获取的双层车牌信息不准确、不完整或缺失的情况。
41、本发明的技术方案克服了技术偏见：传统的双层车牌检测和识别是将车牌每一行的文字切割下来，再对每一行文本进行列分割，切割出每个字符，将该字符送入训练好的ocr识别模型进行字符识别，然后拼接；这种方式的双层车牌检测和识别，准确性差、效率低。本技术方案通过使用添加注意力机制的yolov7检测网络检测车牌，自适应的切分车牌，并拼接；然后在crnn识别网络上添加注意力机制增加识别视野，有效地解决了该技术偏见。
42、第四，基于深度学习的双层车牌检测及识别方法带来了以下显著的技术进步：
43、1)准确性的提升：通过深度学习算法的应用，该方法能够更准确地检测和识别车牌，尤其是对双层车牌的识别，这在之前的传统车牌识别系统中是一个难题。通过改进的图像预处理技术、车牌检测算法以及图像增强方法，可以显著地降低误识别率，提高系统的整体准确性。
44、2)鲁棒性的增强：该方法对于不同的环境条件(如光照变化、阴影、天气条件等)和车牌状况(如模糊、氧化、倾斜等)具有较强的鲁棒性。通过针对性的预处理和图像增强技术，可以有效地改善图像质量，使得车牌检测和识别算法在各种复杂环境下都能保持稳定的性能。
45、3)实时性的提高：改进的车牌检测算法(如使用轻量级神经网络)和优化后的图像处理流程可以显著地提高系统的处理速度，使得基于深度学习的双层车牌检测及识别方法能够满足实时应用的需求。这对于交通监控、停车场管理等需要快速响应的场景尤为重要。
46、4)智能化水平的提升：通过将深度学习算法与传统的车牌识别技术相结合，可以实现车牌信息的自动提取和识别，减少人工干预的需求，提高系统的智能化水平。这不仅降低了人力成本，还提高了信息处理的效率和准确性。
47、5)可扩展性的增强：基于深度学习的双层车牌检测及识别方法具有较强的可扩展性。通过不断地更新和改进模型，可以适应更多的车牌类型和识别需求。此外，该方法还可以与其他交通管理系统或安全监控系统相结合，实现更广泛的应用和集成。
1.一种基于深度学习的双层车牌检测及识别方法，其特征在于，首先对公路监控抓拍的图片进行预处理，降低环境干扰；然后使用改进的yolov7算法检测车牌，区分单层与双层；对低质量或小型车牌进行图像增强，确保识别准确性；针对双层车牌，进行图像增强和倾斜矫正；之后，双层车牌被切分并拼接为单层车牌；最后，通过车牌识别模型识别并输出车牌信息。这一方案有效提升了双层车牌的检测与识别精度。
2.如权利要求1所述基于深度学习的双层车牌检测及识别方法，其特征在于，包括以下步骤：
3.如权利要求2所述基于深度学习的双层车牌检测及识别方法，其特征在于，所述图像预处理操作方法如下：
4.如权利要求2所述基于深度学习的双层车牌检测及识别方法，其特征在于，所述像素值为：像素值45*30。
5.如权利要求2所述基于深度学习的双层车牌检测及识别方法，其特征在于，所述车牌识别模型为：改进的crnn。
6.一种如权利要求1所述方法的基于深度学习的双层车牌检测及识别系统，其特征在于，包括：
7.如权利要求5所述基于深度学习的双层车牌检测及识别系统，其特征在于，所述图像预处理模块包括对图像进行降噪、对比度调整和亮度均衡化处理，以适应不同的环境光照条件和图像质量。
8.如权利要求5所述基于深度学习的双层车牌检测及识别系统，其特征在于，所述车牌矫正模块包括利用车牌四个角点坐标进行旋转和透视变换的算法，以准确矫正车牌倾斜并截取完整的车牌图像用于后续处理。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-4任意一项所述基于深度学习的双层车牌检测及识别方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-4任意一项所述基于深度学习的双层车牌检测及识别方法。
