一种车辆身份识别方法、装置、系统、以及电子装置与流程

    专利2022-07-08  125


    本申请涉及摄像监控领域,特别是涉及一种车辆身份识别方法、装置、系统、电子装置和存储介质。



    背景技术:

    随着城市面积持续扩张,人口不断增长,为了满足出行的需求,汽车保有量也在不断增长,越来越多居住、办公和消费娱乐场所都建设了停车场所满足大众的停车需求,规范的停车管理避免了区域内的交通堵塞。

    随着智能交通的推广建设,车牌识别技术以及自助停车缴费技术被广泛应用在各大城市的智能停车场系统中。系统利用车牌识别技术自动控制道闸台杆放行车辆,有效的省略了拿卡付费动作,缩短进出停车场所需时间,缓解出入口拥堵问题,然而车牌识别技术,在车辆的出入口处识别车辆的身份仅仅是依靠获得车辆的车牌号码对车辆的身份进行识别。当下在很多车辆出现没有悬挂车牌、车牌悬挂不规范以及车牌污损严重等情况,在这些情况下很难识别到清楚的车牌,因此就会导致车辆的身份信息难以确认,车辆的识别率低,造成附近道路交通的拥堵,严重影响到了城市道路交通的高效运行的后果。

    目前针对相关技术中,在出入口处车辆身份信息识别率低的问题,尚未提出有效的解决方案。



    技术实现要素:

    本申请实施例提供了一种车辆身份识别方法、装置、系统、电子装置和存储介质,以至少解决相关技术中在出入口处车辆身份信息识别率低的问题。

    第一方面,本申请实施例提供了一种车辆身份识别方法,包括:在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中;在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id;在根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id失败时,获取所述车辆的第二时间车纹信息;根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id。

    在其中一些实施例中,所述在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中,包括:获取所述车辆入口的视频信息,根据所述车辆入口的视频信息对所述车辆进行检测跟踪与匹配,得到所述车辆的跟踪轨迹;根据所述车辆的跟踪轨迹,对所述车辆的出入状态进行判断;在判断所述车辆的出入状态为驶入所述车辆入口时,从所述跟踪轨迹中筛选出包含所述车辆属性信息的视频帧;所述车辆属性信息包括车牌信息和车纹信息;基于所述视频帧,识别所述车辆的第一时间车牌和所述第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,记录到所述车辆数据库中。

    在其中一些实施例中,所述在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id,包括:获取所述车辆出口的视频信息,根据所述车辆出口的视频信息对所述车辆进行检测跟踪与匹配,得到所述车辆的跟踪轨迹;根据所述车辆的跟踪轨迹,对所述车辆的出入状态进行判断;在判断所述车辆的出入状态为驶出所述车辆出口时,从所述跟踪轨迹中筛选出所述车辆属性信息的视频帧;所述车辆属性信息包括车牌信息和车纹信息;基于所述视频帧,识别所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id。

    在其中一些实施例中,所述从所述跟踪轨迹中筛选出包含所述车辆属性信息的视频帧,包括:从所述跟踪轨迹中选择包含所述车辆属性信息的车辆位置框较大、车辆姿态一致性较高、以及图像清晰度较高的视频帧。

    在其中一些实施例中,所述第一时间车纹信息和所述第二时间车纹信息包括车型车款、车身颜色、车牌类型、天窗、年检表、挂件、摆件、以及喷涂信息。

    在其中一些实施例中,所述根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id,包括:根据所述第二时间车纹信息和所述第一时间车纹信息的n维浮点向量之间的余弦相似度,确定所述第二时间车纹信息与所述第一时间车纹信息的相似度;当所述第二时间车纹信息与所述第一时间车纹信息的相似度满足设定阈值时,所述第二时间车纹信息所对应的车辆的身份id与所述车辆数据库中存储的所述第一时间车纹信息所对应的车辆的身份id相同。

    第二方面,本申请实施例提供了一种车辆身份识别装置,包括:获取模块、第一识别模块以及第二识别模块:所述获取模块,用于在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中;所述第一识别模块,用于在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id;所述第二识别模块,用于在根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id失败时,获取所述车辆的第二时间车纹信息;根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id。

    第三方面,本申请实施例提供了一种车辆身份识别系统,包括:摄像设备、传输设备以及服务器设备;其中,所述摄像设备通过传输设备连接服务器设备;所述摄像设备,用于在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息;所述传输设备,用于将所述车辆的第一时间车牌信息和第一时间车纹信息传输至所述服务器设备;所述服务器设备,用于根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中;所述摄像设备,还用于在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息;所述传输设备,还用于将所述车辆的第二时间车牌信息传输至所述服务器设备;所述服务器设备,还用于根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id;所述摄像设备,还用于在根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id失败时,获取所述车辆的第二时间车纹信息;所述传输设备,还用于将所述车辆的第二时间车纹信息传输至所述服务器设备;所述服务器设备,还用于根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id。

    第四方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种车辆身份识别方法。

    第五方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种车辆身份识别方法。

    相比于相关技术,本申请实施例提供的一种车辆身份识别方法、装置、系统、电子装置和存储介质,通过在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息,并根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份id,将该车辆的身份id记录到车辆数据库中;在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id;在根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id失败时,获取该车辆的第二时间车纹信息;根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份id,从而解决了在出入口处车辆身份信息识别率低的问题,避免在出入口由于车辆身份识别不了而导致的交通堵塞。

    本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。

    附图说明

    此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

    图1是根据本申请实施例的一种车辆身份识别系统的应用场景示意图;

    图2是根据本申请实施例的一种车辆身份识别方法的流程图;

    图3是根据本申请实施例的一种车辆身份识别方法中将车牌信息记录到车辆数据库的流程图;

    图4是根据本申请实施例的一种车辆身份识别方法中根据车牌信息匹配车辆身份id的流程图;

    图5是根据本申请实施例的一种车辆身份识别装置的结构框图;

    图6是根据本申请实施例的一种计算机可读存储介质的结构框图。

    具体实施方式

    为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。

    在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。

    除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。

    在本实施例中,提供了一种车辆身份识别系统的应用场景,图1是根据本申请实施例的一种车辆身份识别系统的应用场景示意图,如图1所示,该系统包括:摄像设备10、传输设备(未示出)以及服务器设备12;其中,

    该摄像设备10,用于在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息;

    其中,第一时间车牌信息和第一时间车纹信息为车辆驶入车辆入口时,摄像设备10获取到的带有驶入时间标记的车牌信息和车纹信息。

    更进一步说明,上述车辆入口不限于停车场入口、加油站入口、商场停车场入口、园区车辆入口、小区车辆入口等任何需要对车辆出入进行管理的关口。

    该传输设备,用于将该车辆的第一时间车牌信息和第一时间车纹信息传输至该服务器设备12;

    其中,该传输设备不限于有线设备和无线设备。

    该服务器设备12,用于根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份id,将该车辆的身份id记录到车辆数据库中;

    其中,该服务器设备12通过记录上述信息,相当于获取到进入车辆入口的车辆的特征信息,用于将该车辆的特征信息生成验证车辆身份的身份id,然后将该车辆的身份id记录到车辆数据库中,在车辆离开时,对车辆的身份id进行识别。

    更进一步说明,车辆数据库还可以记载不限于车辆进入的时间、车辆的地点以及视频段信息。

    该摄像设备10,还用于在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息。

    其中,第二时间车牌信息为车辆驶出车辆出口时,摄像设备10获取到的带有驶出时间标记的车牌信息。

    对应地,上述车辆出口不限于停车场出口、加油站出口、商场停车场出口、园区车辆出口、小区车辆出口等任何需要对车辆出入进行管理的关口。

    此处需要说明的是,摄像设备10不限于一台设备。对于车辆入口与车辆出口在同一区域设置的场所,例如只有一个车辆出入口的小区,采用一个摄像设备10即可获取第一时间车牌信息、第一时间车纹信息、以及第二时间车牌信息。对于车辆入口与车辆出口不在同一区域设置的场所,例如拥有多个车辆出入口的大型停车场,摄像设备10可能需要设置多个,多个摄像设备10联网监控。

    该传输设备,还用于将该车辆的第二时间车牌信息传输至该服务器设备;

    该服务器设备12,还用于根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id;

    其中,车辆在驶出车辆出口时获取到此时该车辆的车牌信息,由于经过驶入车辆入口时已经获取过一次车牌信息,所以将车辆驶出车辆出口时获取的车牌信息标记为第二时间车牌信息,并且根据第二时间车牌信息进行车牌检测,从该车辆数据库匹配该车辆的车辆身份id。

    该摄像设备10,还用于在根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id失败时,获取该车辆的第二时间车纹信息。

    同理,第二时间车纹信息为车辆驶出车辆出口时,摄像设备10获取到的带有驶出时间标记的车纹信息。

    由于拍摄得到的车牌图像不清晰、车牌污损、或者车牌被遮挡等原因,造成单纯依赖车牌信息检测的检测率低,有一定程度的未识别概率,所以会导致匹配失败的情况发生。在这种情况下,摄像设备10会重新获取到车辆的车纹信息,来进行车纹信息匹配,以提升车辆识别率。

    该传输设备,还用于将该车辆的第二时间车纹信息传输至该服务器设备。

    该服务器设备12,还用于根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份id。

    其中,通过第二时间的车纹信息与车辆数据库中存储的第一时间车纹信息进行匹配,因为车纹信息比车牌信息更容易识别,所以根据第二时间的车纹信息,可以重新确定车辆身份id。

    进一步地,在时间允许的情况下,还可以设置预设识别时间,若在预设识别时间内,在车辆数据库中匹配到与第二时间车纹信息相似度更高的第一时间车纹信息的结果时,则重新确定该车辆的身份id,依据匹配度最高的结果确定车辆的身份id。

    更进一步说明,若根据该第二时间车纹信息与该第一时间车纹信息的相似度不能确定该车辆的身份id,则可以将该视频帧按照该相似度从大到小的顺序推送至显示器终端,由人工确定该车辆的身份id。

    本申请通过获取车辆出入口处的视频,对视频图像中的车辆框进行检测,得到车辆的第一时间车牌信息和第一时间车纹信息,并根据第一时间车牌信息和第一时间车纹信息生成车辆的身份id,根据车辆的身份id就能确定唯一一台车辆;在生成车辆的身份id后,将车辆的其他信息和车辆的身份id都放入车辆数据库中进行存储。在车辆出口有车辆驶出时,首先获取当前车辆的第二时间车牌信息,将第二时间车牌信息与车辆数据库中存储的第一时间车牌信息进行对比,进行车辆的车牌信息识别。由于现实中存在很多车辆不悬挂车牌、悬挂不规范、车牌污损严重等情况,所以在当前车辆的车牌与车辆数据库中的车牌信息匹配失败时,进一步进行车纹匹配。

    车纹匹配会结合车辆的整体特征,更加准确,可以准确识别出车辆的身份id。因此使用上述方法进行车辆的身份id的识别不需要出入车辆减速和停驶,正常速度通过即可识别出车辆的身份id。可以避免不悬挂车牌、悬挂不规范、车牌污损严重等情况导致车牌识别的准确率不高,匹配不到车辆的身份id的情况,提高了车辆在出入口处的通行效率,避免排队造成的道路通行拥堵。本申请实施例解决了在出入口处车辆身份信息识别率低的问题,避免在出入口由于车辆身份识别不了而导致的交通堵塞。

    本实施例提供了一种车辆进出识别的方法,图2是根据本申请实施例的一种车辆身份识别方法的流程图,如图2所示,该流程包括如下步骤:

    步骤s201,在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息,并根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份id,将该车辆的身份id记录到车辆数据库中;

    其中,第一时间车牌信息和第一时间车纹信息为车辆驶入车辆入口时获取到的带有驶入时间标记的车牌信息和车纹信息;通过记录上述信息能够相当于获取到进入车辆入口的车辆的特征信息,用于将车辆的特征信息生成验证车辆身份的车辆id,然后将该车辆身份id记录到车辆数据库中,在车辆离开时,对车辆身份id进行识别。

    进一步地,上述车辆入口不限于停车场入口、加油站入口、商场停车场入口、园区车辆入口、小区车辆入口等任何需要对车辆出入进行管理的关口。

    更进一步说明,车辆数据库还可以记载不限于车辆进入的时间、车辆的地点以及视频段信息。

    步骤s202,在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id;

    其中,第二时间车牌信息为车辆驶出车辆出口时,获取到的带有驶出时间标记的车牌信息;车辆驶出车辆出口时获取到此时该车辆的车牌信息,由于经过驶入车辆入口时已经获取过一次车牌信息,所以将车辆驶出车辆出口时获取的车牌信息标记为第二时间车牌信息,并且根据第二时间车牌信息进行车牌检测,从该车辆数据库匹配该车辆的车辆身份id。

    对应地,上述车辆出口不限于停车场出口、加油站出口、商场停车场出口、园区车辆出口、小区车辆出口等任何需要对车辆出入进行管理的关口。

    步骤s203,在根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id失败时,获取该车辆的第二时间车纹信息;

    同理,第二时间车纹信息为车辆驶出车辆出口时,获取到的带有驶出时间标记的车纹信息。

    由于拍摄得到的车牌图像不清晰、车牌污损、或者车牌被遮挡等原因,造成单纯依赖车牌信息检测的检测率低,有一定程度的未识别概率,所以会导致匹配失败的情况发生。这种情况下会重新获取到车辆的车纹信息,来进行车纹信息匹配,以提升车辆识别率。

    步骤s204,根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份id。

    其中,通过第二时间的车纹信息与车辆数据库中存储的第一时间车纹信息进行匹配,因为车纹信息比车牌信息更容易识别,所以根据第二时间的车纹信息,可以重新确定车辆身份id。

    进一步地,在时间允许的情况下,还可以设置预设识别时间,若在预设识别时间内,在车辆数据库中匹配到与第二时间车纹信息相似度更高的第一时间车纹信息的结果时,则重新确定该车辆的身份id,依据匹配度最高的结构确定车辆的身份id。

    更进一步说明,若根据该第二时间车纹信息与该第一时间车纹信息的相似度不能确定该车辆的身份id,按照该相似度将该视频帧按从大到小的顺序,推送至显示器终端,由人工确定该车辆的身份id。

    通过上述步骤s201至s203,本申请通过获取车辆出入口处的视频,对视频图像中的车辆框进行检测,得到车辆的第一时间车牌信息和第一时间车纹信息,并根据第一时间车牌信息和第一时间车纹信息生成车辆的身份id,根据车辆的身份id就能确定唯一一台车辆;在生成车辆的身份id后,将车辆的其他信息和车辆的身份id都放入车辆数据库中进行存储。在车辆出口有车辆驶出时,首先获取当前车辆的第二时间车牌信息,将第二时间车牌信息与车辆数据库中存储的第一时间车牌信息进行对比,进行车辆的车牌信息识别。由于现实中存在很多车辆不悬挂车牌、悬挂不规范、车牌污损严重等情况,所以在当前车辆的车牌与车辆数据库中的车牌信息匹配失败时,进一步进行车纹匹配。

    车纹匹配会结合车辆的整体特征,更加准确,可以准确识别出车辆的身份id。因此使用上述方法进行车辆的身份id的识别不需要出入车辆减速和停驶,正常速度通过即可识别出车辆的身份id。可以避免不悬挂车牌、悬挂不规范、车牌污损严重等情况导致车牌识别的准确率不高,匹配不到车辆的身份id的情况,提高了车辆在出入口处的通行效率,避免排队造成的道路通行拥堵。本申请实施例解决了在出入口处车辆身份信息识别率低的问题,避免在出入口由于车辆身份识别不了而导致的交通堵塞。

    在其中一些实施例中,上述步骤s201,在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息,并根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份id,将该车辆的身份id记录到车辆数据库中,如图3所示,具体包括以下步骤:

    步骤s301,获取该车辆入口的视频信息,根据该车辆入口的视频信息对该车辆进行检测跟踪与匹配,得到该车辆的跟踪轨迹。

    其中,根据该车辆入口的视频信息对该车辆进行检测跟踪与匹配的具体步骤为:通过正对出入口拍摄的视频作为输入的视频信息,然后利用深度学习检测算法中的单帧多框盒算法(singleshotmultiboxdetector,简称ssd)对该视频信息中的每帧图像进行检测,得到每帧图像中车辆目标的位置框,表示为[(xlt,ylt),(xrb,yrb)],结合每帧中车辆目标的位置框和相关滤波跟踪算法完成该视频信息帧间的目标框的匹配与跟踪,从而得到该车辆目标在视频中的跟踪轨迹。

    其中,xlt为位置框左上角点水平方向的坐标,xrb为位置框右下角点水平方向的坐标,ylt为位置框左上角点竖直方向的坐标,yrb为位置框右下角点竖直方向的坐标。

    其中,该车辆目标在视频中的跟踪轨迹即该车辆在视频信息每帧中位置框的中心点坐标所组成的点列,该点列可以表示为:{(x_0,y_0,t_0),(x_1,y_1,t_1),(x_2,y_2,t_2),……(x_(n-2),y_(n-2),t_(n-2)),(x_(n-1),y_(n-1),t_(n-1)),(x_n,y_n,t_n)}。

    步骤s302,根据该车辆的跟踪轨迹,对该车辆的出入状态进行判断。

    根据车辆的行驶轨迹对该车辆的出入状态判断的具体步骤为:

    首先,将车辆的跟踪轨迹投影到单帧视频画面中,接着将两帧轨迹点之间通过线性插值完成轨迹点的联通,即实现跟踪轨迹;

    然后,判断跟踪轨迹的主方向,计算该跟踪轨迹的主方向与出入口穿越线进入方向之间的夹角θ,若夹角θ<90°,车辆沿驶入方向行驶,若夹角θ>90°,车辆沿驶出方向行驶,然后根据车辆行驶轨迹是否与穿越线相交来判定车辆是否通过出入口。

    其中,该跟踪轨迹可以标记为tr{(x0,y0),(x1,y1),(x2,y2),...,(xn-2,yn-2),(xn-1,yn-1),(xn,yn)};

    该跟踪轨迹的主方向可以标记为:trd(xtrde-xtrds,ytrde-ytrds);

    该出入口穿越线可以标记为:l[(x0,y0),(x1,y1)];

    该进入方向可以标记为:dirin(xdirine-xdirins,ydirine-ydirins)

    该跟踪轨迹的主方向与出入口穿越线进入方向之间的夹角θ的计算公式为:

    其中:xtrd表示轨迹主方向的水平方向的分量

    ytrd表示轨迹主方向的竖直方向的分量

    xdirin表示出入口进入方向水平方向的分量

    ydirin表示出入口进入方向竖直方向的分量

    该车辆跟踪轨迹的主方向是轨迹起始点(x0,y0)与轨迹上其他点构成的矢量均值,该矢量均值公式的计算公式为:

    其中:n表示轨迹点有n个;

    (xi,yi)表示第i个轨迹点的坐标;

    表示起点(x0,y0)与终点(xi,yi)构成的矢量。

    步骤s303,在判断该车辆的出入状态为驶入该车辆入口时,从该跟踪轨迹中筛选出包含该车辆属性信息的视频帧;该车辆属性信息包括车牌信息和车纹信息。

    其中,从该跟踪轨迹中筛选出包含该车辆属性信息的视频帧的目的是为了更加清楚的表达车辆属性信息的图像,可以通过选取车辆位置框较大、车辆姿态一致性较高、以及图像清晰度较高的视频帧,也可以设置更多标准,多维度的筛选视频帧。

    在一个实施例中,上述步骤s202,在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id,如图4所示,具体包括:

    步骤s401,获取该车辆出口的视频信息,根据该车辆出口的视频信息对该车辆进行检测跟踪与匹配,得到该车辆的跟踪轨迹。

    其中,对该车辆目标的检测跟踪的具体步骤为:通过正对出入口拍摄的视频作为输入的视频信息,然后利用深度学习检测算法中的单帧多框盒算法(singleshotmultiboxdetector,简称ssd)对该视频信息中的每帧图像中车辆目标的检测,得到每帧图像中车辆目标的位置框[(xlt,ylt),(xrb,yrb)],结合每帧中车辆目标的位置框和相关滤波跟踪算法完成该视频信息帧间的目标框的匹配与跟踪,从而得到该车辆目标在视频中的跟踪轨迹。

    其中,该车辆目标在视频中的跟踪轨迹即该车辆在视频信息每帧中位置框的中心点坐标所组成的点列,该点列可以表示为:{(x0,y0,t0),(x1,y1,t1),(x2,y2,t2),...,(xn-2,yn-2,tn-2),(xn-1,yn-1,tn-1),(xn,yn,tn)}。

    步骤s402,根据该车辆的跟踪轨迹,对该车辆的出入状态进行判断;

    根据车辆的行驶轨迹对该车辆的出入状态判断的具体步骤为:

    首先,将车辆的跟踪轨迹投影到单帧视频画面中,接着将两帧轨迹点之间通过线性插值完成轨迹点的联通,即实现跟踪轨迹;

    然后,判断跟踪轨迹的主方向,计算该跟踪轨迹的主方向与出入口穿越线进入方向之间的夹角θ,若夹角θ<90°,车辆沿驶入方向行驶,若夹角θ>90°,车辆沿驶出方向行驶,然后根据车辆行驶轨迹是否与穿越线相交来判定车辆是否通过出入口。

    其中,该跟踪轨迹可以标记为tr{(x0,y0),(x1,y1),(x2,y2),...,(xn-2,yn-2),(xn-1,yn-1),(xn,yn)};

    该跟踪轨迹的主方向可以标记为:trd(xtrde-xtrds,ytrde-ytrds);

    该出入口穿越线可以标记为:l[(x0,y0),(x1,y1)];

    该进入方向可以标记为:dirin(xdirine-xdirins,ydirine-ydirins)

    该跟踪轨迹的主方向与出入口穿越线进入方向之间的夹角θ的计算公式为:

    该车辆跟踪轨迹的主方向是轨迹起始点(x0,y0)与轨迹上其他点构成的矢量均值,该矢量公式的计算公式为:

    步骤s403,在判断该车辆的出入状态为驶出该车辆出口时,从该跟踪轨迹中筛选出该车辆属性信息的视频帧;该车辆属性信息包括车牌信息和车纹信息;

    步骤s404,基于该视频帧,识别该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id。

    其中,车牌识别的基本流程为车牌检测、车牌字符分割和字符识别。本申请在车牌检测中使用车辆检测结果的位置框,结合车牌位置的回归方法。通过上述方法提高了车牌的检测的准确率,同时增强了检测效率。

    需要说明的是,因为车牌都严格按照标准制造,在字符分割过程中使用了基于深度学习的整牌全局约束回归每个字符的位置,字符位置的准确率也得到大幅提升。

    在一个实施例中,从该跟踪轨迹中筛选出包含该车辆属性信息的视频帧,包括:

    从该跟踪轨迹中选择包含该车辆属性信息的车辆位置框较大、车辆姿态一致性较高、以及图像清晰度较高的视频帧。

    其中,通过上述从该跟踪轨迹中筛选出包含该车辆属性信息的视频帧主要目的是为了更加清楚的表达车辆属性信息的图像,通过上述步骤得到更加清晰的车牌信息和车纹信息。

    具体地,通过结合以下三方面因素综合选择和采样生成有具体长度的图像序列,在下面做出解释:

    第一方面,选择较大的车辆位置框的视频帧。

    更进一步说明,由于车辆目标在视频图像中所占据的像素区域十分大,可以通过使用检测结果中该车辆的位置框的面积大小来表示,所以位置框面积越大,所在的视频帧越合适。

    接下来按跟踪轨迹中车辆位置框面积的大小对轨迹中每帧目标的大小做归一化处理,对视频帧进行筛选。

    其中,位置框的面积公式可以表示为:

    其中:smin表示轨迹中目标位置框最小的面积值;

    smax表示轨迹中目标位置框最大的面积值。

    第二方面,选择车辆的姿态一致性较高的视频帧。

    更进一步说明,车牌是悬挂在车辆的车头和车尾部分,因此要能够准确的识别车辆的车牌信息,就需要车辆行驶轨迹与拍摄视角的夹角越小越好,车纹信息的比对在相同车辆之间的差异越小越好,因此选择一致性较高的姿态序列下的视频帧。

    第三方面,选择图像清晰度较高的视频帧。

    更进一步说明,视频帧的图像质量越高包含的车辆信息就越准确,所以利用基于二次模糊的无参考图像的图像清晰度评价,得到图像清晰度指标,具体流程如下:

    步骤s1,选择待评价图像经过低通滤波得到模糊图像;

    步骤s2,计算该待评价图像和该模糊图像的相邻像素灰度值的变化;

    步骤s3,将该待评价图像和该模糊图像的相邻像素灰度值的变化进行比较;

    步骤s3,将上述比较结果进行归一化处理,得到图像清晰度指标。

    在一个实施例中,该第一时间车纹信息和该第二时间车纹信息包括车型车款、车身颜色、车牌类型、天窗、年检表、挂件、摆件、以及喷涂信息。

    其中,进行车纹识别时还可以记录驾驶人员的信息,使得车辆判定信息更全面,数据准确度更高。

    在一个实施例中,上述步骤s204,根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份id,包括:

    根据该第二时间车纹信息和该第一时间车纹信息的n维浮点向量之间的余弦相似度,确定该第二时间车纹信息与该第一时间车纹信息的相似度;

    当该第二时间车纹信息与该第一时间车纹信息的相似度满足设定阈值时,该第二时间车纹信息所对应的车辆的身份id与该车辆数据库中存储的该第一时间车纹信息所对应的车辆的身份id相同。

    其中,车纹信息由车型车款、车身颜色、车牌类型、天窗、年检标、挂件、摆件、以及喷涂等属性特征所组成,将上述图像中的属性特征经过卷积神经网络模型提取得到的一组n维浮点数。

    该卷积神经网络模型的训练过程主要包含原始训练数据的准备、迭代训练样本生成、模型迭代训练几个主要模块,其中原始训练数据的准备流程如下:

    步骤s1,在不同的场景下获取相同车辆的视频段;

    步骤s2,根据检测和跟踪,得到车该辆轨迹帧采样;

    步骤s4,根据对该车辆轨迹帧的采样得到该车辆的图像序列;

    步骤s5,对该图像序列中的检测框进行裁剪,得到该车辆的样本图像序列;

    步骤s6,根据该车辆的样本图像序列生成车牌匹配的标签,并且得到该车辆的训练样本集。

    在经过原始训练样本准备流程,生成以车辆为单位的图像序列与车牌为标签的原始训练样本集之后,由于深度卷积神经网络的输入数据维度是固定的,而原始训练样本集中每个样本中图像序列的长度并不一样的,所以迭代训练样本生成的流程如下:

    步骤s1,随机采样选取指定的长度为l张的图像序列;

    步骤s2,对该图像序列中的每张图像随机的进行裁剪、旋转、噪声叠加等扰动操作;

    步骤s3,生成长度为l的图像序列和车牌映射成数字结果为标签的迭代训练样本。

    然后,模型迭代训练的流程是基于反馈神经网络训练原理选用随机梯度下降法迭代训练和调优该迭代训练样本,得到车纹特征提取模型。

    最后,将车辆进出的图像序列经过车纹特征提取模型得到一个n维浮点向量,用该n维浮点向量表示的该车辆的车纹信息。

    其中,一个n维浮点向量表示的车纹信息的表现形式可以为f={f0,f1,f2,…fn}。

    另外,因为每辆车的车纹信息都是一个n维浮点向量,所以可以使用两个n维浮点向量之间的余弦相似度来表征两辆车纹信息之间的相似度。

    更进一步说明,表示两辆车纹信息之间的相似度是通过向量空间中两个向量夹角的余弦值作为衡量两辆车之间差异大小。若两个向量越接近,则证明差异就越小,车纹信息的相似度越大,此时余弦值为1。

    例如,假设f={f0,f1,f2,…fn}和g={g0,g1,g2,…gn}分别表示两个不同的车纹信息的n维浮点向量,则表示两个不同的车纹信息的n维浮点向量的余弦相似度的计算公式为:

    本实施例还提供了一种车辆进出识别的装置,该装置用于实现上述车辆身份识别的方法的实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

    图5是根据本申请实施例的一种车辆身份识别装置的结构框图,如图5所示,该装置包括:获取模块51、第一识别模块52以及第二识别模块53:;

    该获取模块51,用于在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息,并根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份id,将该车辆的身份id记录到车辆数据库中;

    该第一识别模块52,用于在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id;

    该第二识别模块53,用于在根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id失败时,获取该车辆的第二时间车纹信息;根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份id。

    需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

    本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

    可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:

    步骤s1,在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息,并根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份id,将该车辆的身份id记录到车辆数据库中。

    步骤s2,在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id;

    步骤s3,在根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id失败时,获取该车辆的第二时间车纹信息;

    步骤s4,根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份id。

    需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。

    在一个实施例中,提供了一种计算机可读存储介质,图6是根据本申请实施例的一种计算机可读存储介质的结构框图,如图6所示,其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例提供的一种车辆身份识别方法中的步骤,步骤如下:

    步骤s1,在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息,并根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份id,将该车辆的身份id记录到车辆数据库中。

    步骤s2,在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id;

    步骤s3,在根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份id失败时,获取该车辆的第二时间车纹信息;

    步骤s4,根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份id。

    本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机可读存储介质的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

    本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

    以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

    以上该的实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。


    技术特征:

    1.一种车辆身份识别方法,其特征在于,包括:

    在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中;

    在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id;

    在根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id失败时,获取所述车辆的第二时间车纹信息;

    根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id。

    2.根据权利要求1所述的方法,其特征在于,所述在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中,包括:

    获取所述车辆入口的视频信息,根据所述车辆入口的视频信息对所述车辆进行检测跟踪与匹配,得到所述车辆的跟踪轨迹;

    根据所述车辆的跟踪轨迹,对所述车辆的出入状态进行判断;

    在判断所述车辆的出入状态为驶入所述车辆入口时,从所述跟踪轨迹中筛选出包含所述车辆属性信息的视频帧;所述车辆属性信息包括车牌信息和车纹信息;

    基于所述视频帧,识别所述车辆的第一时间车牌和所述第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,记录到所述车辆数据库中。

    3.根据权利要求1所述的方法,其特征在于,所述在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id,包括:

    获取所述车辆出口的视频信息,根据所述车辆出口的视频信息对所述车辆进行检测跟踪与匹配,得到所述车辆的跟踪轨迹;

    根据所述车辆的跟踪轨迹,对所述车辆的出入状态进行判断;

    在判断所述车辆的出入状态为驶出所述车辆出口时,从所述跟踪轨迹中筛选出所述车辆属性信息的视频帧;所述车辆属性信息包括车牌信息和车纹信息;

    基于所述视频帧,识别所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id。

    4.根据权利要求2或3所述的方法,其特征在于,所述从所述跟踪轨迹中筛选出包含所述车辆属性信息的视频帧,包括:

    从所述跟踪轨迹中选择包含所述车辆属性信息的车辆位置框较大、车辆姿态一致性较高、以及图像清晰度较高的视频帧。

    5.根据权利要求1至3任一项所述的方法,其特征在于,所述第一时间车纹信息和所述第二时间车纹信息包括车型车款、车身颜色、车牌类型、天窗、年检表、挂件、摆件、以及喷涂信息。

    6.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id,包括:

    根据所述第二时间车纹信息和所述第一时间车纹信息的n维浮点向量之间的余弦相似度,确定所述第二时间车纹信息与所述第一时间车纹信息的相似度;

    当所述第二时间车纹信息与所述第一时间车纹信息的相似度满足设定阈值时,所述第二时间车纹信息所对应的车辆的身份id与所述车辆数据库中存储的所述第一时间车纹信息所对应的车辆的身份id相同。

    7.一种车辆身份识别装置,其特征在于,包括:获取模块、第一识别模块以及第二识别模块:

    所述获取模块,用于在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息,并根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中;

    所述第一识别模块,用于在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息,并根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id;

    所述第二识别模块,用于在根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id失败时,获取所述车辆的第二时间车纹信息;根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id。

    8.一种车辆身份识别系统,其特征在于,包括:摄像设备、传输设备以及服务器设备;其中,所述摄像设备通过传输设备连接服务器设备;

    所述摄像设备,用于在车辆驶入车辆入口时,获取所述车辆的第一时间车牌信息和第一时间车纹信息;

    所述传输设备,用于将所述车辆的第一时间车牌信息和第一时间车纹信息传输至所述服务器设备;

    所述服务器设备,用于根据所述第一时间车牌信息和第一时间车纹信息生成所述车辆的身份id,将所述车辆的身份id记录到车辆数据库中;

    所述摄像设备,还用于在在所述车辆驶出车辆出口时,获取所述车辆的第二时间车牌信息;

    所述传输设备,还用于将所述车辆的第二时间车牌信息传输至所述服务器设备;

    所述服务器设备,还用于根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id;

    所述摄像设备,还用于在根据所述第二时间车牌信息在所述车辆数据库中匹配所述车辆的身份id失败时,获取所述车辆的第二时间车纹信息;

    所述传输设备,还用于将所述车辆的第二时间车纹信息传输至所述服务器设备;

    所述服务器设备,还用于根据所述第二时间车纹信息与所述第一时间车纹信息的相似度确定所述车辆的身份id。

    9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的一种车辆身份识别方法。

    10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的一种车辆身份识别方法。

    技术总结
    本申请涉及一种车辆身份识别方法、装置、系统、电子装置和存储介质,其中,该方法通过在车辆驶入车辆入口时,获取该车辆的第一时间车牌信息和第一时间车纹信息,并根据该第一时间车牌信息和第一时间车纹信息生成该车辆的身份ID,将该车辆的身份ID记录到车辆数据库中;在该车辆驶出车辆出口时,获取该车辆的第二时间车牌信息,并根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份ID;在根据该第二时间车牌信息在该车辆数据库中匹配该车辆的身份ID失败时,获取该车辆的第二时间车纹信息;根据该第二时间车纹信息与该第一时间车纹信息的相似度确定该车辆的身份ID。本申请解决了在出入口处车辆身份信息识别率低的问题。

    技术研发人员:郑永宏
    受保护的技术使用者:浙江预策科技有限公司
    技术研发日:2020.10.29
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-15221.html

    最新回复(0)