本发明属于远程医疗领域,特别是涉及一种基于车联网的辅助驾驶和车辆安全管理系统。
背景技术:
当前,我国的交通行业飞速发展,车辆已经成为了人们日常生活的一部分;车流量的增长导致了道路阻塞,进而导致整个交通运输系统的工作效率低下,交通事故的问题愈发严重;当今车辆的那种安全气囊,防撞栏那种被动的防护措施已经无法满足人们的需求了。随着我国的交通行业以及北斗系统建设和服务能力的发展。车联网的技术开始进入了上升期,急需打造一款实用、功能完善的车联网产品是有很大的意义的。
技术实现要素:
本发明在北斗卫星定位系统的基础上,针对同类软件在功能上和设计上的问题和不足,以为用户提供内容更加丰富、功能更为完备的车联网服务为目标,通过分析和处理北斗导航定位卫星提供的定位服务获取车辆的位置和运行轨迹,使用传感器收集车内的温度、湿度、烟雾浓度、酒精浓度、周围障碍物的距离等数据;使用摄像头实时监测驾驶员的驾驶状态,和实时采集车辆前方路面的信息;基于opencv脸谱图,由人脸检测和人脸特征对驾驶人状态进行监测,是否存在疲劳驾驶或者看手机等注意力分散的情况,并结合计算机视觉技术对车辆、道路、红绿灯等物体进行识别,在自主搭建的web应用上实现对车辆运行状态的监测、查询历史轨迹、规划地理围栏、地点搜索、路径规划、天气预报等功能,提供一套功能完善的车联网产品。
本发明提出一种基于车联网的辅助驾驶和车辆安全管理系统,包括:
用户端系统,包括,用户端数据存储模块,用户端通信模块,用户端显示模块,用户端数据处理单元,用户端定位模块,
所述用户端数据存储模块与所述用户端通信模块、用户端数据处理单元、用户端定位模块连接,
所述用户端数据处理单元与所述用户端显示模块连接,
其中,所述用户端显示模块,包括,
车辆综合信息显示单元,用于显示目标车辆的车辆综合信息,
驾驶员信息显示预警单元,用于显示所述目标车辆的驾驶员信息,并根据所述驾驶员信息进行预警,
地点搜索单元,用于输入所述目标地点,在所述用户端显示模块,显示所述目标地点,
路径规划单元,用于输入所述目标地点,在所述用户端显示模块,显示到达所述目标地点的路径,
地理围栏单元,用于选择目标区域,在所述用户端显示模块,显示所述目标区域,通过用户端车辆定位模块,实时显示所述目标车辆在所述目标区域的运动情况,
车辆历史轨迹单元,用于查询和显示所述目标车辆的历史运动轨迹,
用户端用户识别单元;用于所述用户端系统的用户识别和登录;
车辆端系统,包括,车内数据收集模块,驾驶员驾驶状态检测模块,车道识别检测模块,交通路面识别检测模块,车辆端数据存储模块,车辆端通信模块,
所述车辆端数据存储模块与所述车内数据收集模块、驾驶员驾驶状态检测模块、车道识别检测模块、交通路面识别检测模块、车辆端通信模块连接,
其中,所述车内数据收集模块,用于收集所述目标车辆的环境信息,并对所述车辆进行定位,获得所述目标车辆的运动轨迹信息,
所述驾驶员驾驶状态检测模块,用于通过设置在所述目标车辆的内部摄像头,收集和检测所述目标车辆的驾驶员状态图像,
所述车道识别检测模块,用于通过设置在所述目标车辆的外部摄像头,收集和检测所述目标车辆在行驶过程中,路面的车道情况,
所述交通路面识别检测模块,用于通过所述外部摄像头,检测和识别所述路面的路面情况;
服务器端系统,包括,服务器端数据存储模块,服务器端数据处理模块,服务器端通信模块,
所述服务器端数据存储模块与所述服务器端数据收集模块、服务器端数据处理模块连接。
优选地,所述目标区域,包括若干个区域,其中,每个区域之间包括重合部分和不重合部分;通过所述地理围栏单元,对所述目标区域进行添加或删减。
优选地,所述历史运动轨迹,包括若干个运动轨迹,通过所述车内数据收集模块的定位功能,收集所述运动轨迹信息,将所述运动轨迹信息通过所述车辆端通信模块,传输到所述服务器端数据存储模块,通过所述服务器端数据处理模块生成所述历史运动轨迹,所述车辆历史轨迹单元,通过所述用户端通信模块,基于所述服务器端数据存储模块,显示和查询所述历史运动轨迹。
优选地,所述车内数据收集模块,包括,烟雾传感器单元,温度传感器单元,车辆定位单元,数据转换单元,
其中,
所述烟雾酒精传感器单元,用于检测所述目标车辆的内部气体信息;
所述温湿度传感器单元,用于检测所述目标车辆的内部温湿度信息;
所述车辆定位单元,用于对所述目标车辆进行实时定位,获得所述运动轨迹信息;
所述数据转换单元,用于将所述内部气体信息、内部温湿度信息、运动轨迹信息转化成数字信号;
所述车内数据收集模块,用于,基于所述数字信号,通过所述车辆端通信模块,将所述数字信号,传输到所述服务器端数据存储模块,基于所述服务器端数据处理模块,对所述数字信号进行处理,获得处理结果,通过所述服务器端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述处理结果,其中,所述车辆综合信息,包括所述处理结果,所述车辆端通信模块,为ec204g无线通信模块。
优选地,所述烟雾酒精传感器单元,包括,mp2雾传感器模块和mp3酒精传感器模块;
所述数据转换单元,为mcu转换器;
所述温湿度传感器单元,为dht11温湿度传感器;
所述车辆定位单元,为atk1218-bd北斗模块;
所述车辆定位单元,通过所述数据转换单元,得到所述运动轨迹信息。
优选地,所述驾驶员驾驶状态检测模块,包括,脸部识别单元;
所述驾驶员驾驶状态监测模块,用于通过所述内部摄像头,获得所述目标车辆的驾驶员脸部图像,将所述驾驶员脸部图像通过所述脸部识别单元,进行眼睛定位,获得驾驶员脸部眼睛定位图像,将所述驾驶员脸部眼睛定位图像,进行识别处理,获得所述驾驶员信息,将所述驾驶员信息通过所述车辆端通信模块,传输到所述驾驶员信息显示预警单元。
优选地,所述驾驶员脸部眼睛定位图像,包括,左眼定位图像和右眼定位图像,其中,所述左眼定位图像,通过选择三个左眼定位点获得左眼定位图像,所述右眼定位图像,通过选择三个右眼定位点获得右眼定位图像;
所述脸部识别单元,通过设置所述驾驶员脸部眼睛定位图像的阈值,基于所述阈值,对所述左眼定位图像和右眼定位图像进行识别,其中,当所述左眼定位图像和右眼定位图像不满足所述阈值时,输出预警信息,当所述左眼定位图像和右眼定位图像满足所述阈值时,输出正常信息;
所述驾驶员信息包括预警信息和正常信息;
所述驾驶员信息显示预警单元,根据所述预警信息,进行预警。
优选地,所述车道识别检测模块,用于通过所述外部摄像头,收集所述路面的原始车道图像,对所述原始车道图像,进行若干次灰度图处理,获得原始目标图像,对所述原始目标图像,通过高斯模糊处理、图像轮廓处理、霍夫直接检测处理,获得目标车道图像数据,通过所述车辆端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述目标车道图像数据,其中,所述车辆综合信息还包括所述目标车道图像数据。
优选地,所述交通路面识别检测模块,用于通过所述外部摄像头,获得原始路面图像,基于yolo识别所述原始路面图像的路面物体图像,基于路面物体图像,根据所述原始路面图像,构建路面情况模型,获得所述路面情况,将所述路面情况通过所述车辆端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述路面情况,其中,所述车辆综合信息,还包括,所述路面情况。
优选地,所述用户端系统,还包括,便捷生活模块;
所述便捷生活模块,包括,当天天气状况显示单元、当前生活指数单元;
所述用户端系统,通过所述用户端定位模块,基于所述当天天气状况显示单元,显示所在地区的温度信息、体感温度信息、风向信息、风力信息;
所述用户端系统,通过所述用户端定位模块,基于所述当前生活指数单元,显示所述所在地区的生活信息。
本发明的积极进步效果在于:
本发明开发前景大,硬件部分所需要的成本比较低,硬件设备是安置在车内的,不会被车外的严酷的环境所侵蚀。硬件的耐用性就会大大的增加。在软件方面的架构是采用前后端分离的模式,这种模式实现高内聚低耦合的特点,数据的逻辑与视图层是分开的,开发起来更加的有效率,扩展性增强,软件的开发升级成本低廉。
本发明最大的特点就在计算机视觉识别技术方面,就现在而言,当发生交通事故的时候,像安全气囊或者汽车的防撞栏这种被动的防护措施已经很难更好的保证人们的生命安全,但是,如果结合计算机视觉识别技术,在人驾驶过程中对驾驶人员进行一些行为的检测和判断,比如说检测驾驶员的疲劳状态,是否处于异常的状态。如果发现出现了一些疲劳的迹象,则提醒用户,达到防患于未然的目的,减少交通事故的发生。实时接收车内的数据,让用户查看车内的实时情况,保障了行车的安全。
附图说明
图1为本发明所述的系统结构图;
图2为本发明所述的系统整体架构图;
图3为本发明所述的系统实现流程;
图4为本发明所述的烟雾酒精传感单元,其中4a为mq2烟雾传感器,4b为mq3酒精传感器;
图5为本发明所述的atk1218-bd北斗模块;
图6为本发明所述的dht11温湿度传感器;
图7为本发明所述的ec204g无线通信模块;
图8为本发明所述的硬件流程图;
图9为本发明所述的软件流程图;
图10为本发明所述的检测过程图;
图11为本发明所述的测试数据示意图;
图12为本发明所述的地点搜索示意图;
图13为本发明所述的路径规划示意图;
图14为本发明所述的实时车辆定位示意图;
图15为本发明所述的准备进入围栏区域示意图;
图16为本发明所述的离开围栏区域示意图;
图17为本发明所述的车辆历史轨迹示意图;
图18为本发明所述的筛选车辆历史轨迹操作界面;
图19为本发明所述的天气指数图;
图20为本发明所述的生活指数图;
图21为本发明所述的系统电路图;
图22为本发明所述的围栏功能。
具体实施方式
下面结合附图给出本发明较佳实施例,以详细说明本发明的技术方案,但并不因此将本发明限制在所述的实施例范围之中。
如图1-21所示,本实施例提供一种基于车联网的辅助驾驶和车辆安全管理系统,包括:
用户端系统,包括,用户端数据存储模块,用户端通信模块,用户端显示模块,用户端数据处理单元,用户端定位模块,
所述用户端数据存储模块与所述用户端通信模块、用户端数据处理单元、用户端定位模块连接,
所述用户端数据处理单元与所述用户端显示模块连接,
其中,所述用户端显示模块,包括,
车辆综合信息显示单元,用于显示目标车辆的车辆综合信息,
驾驶员信息显示预警单元,用于显示所述目标车辆的驾驶员信息,并根据所述驾驶员信息进行预警,
地点搜索单元,用于输入所述目标地点,在所述用户端显示模块,显示所述目标地点,
路径规划单元,用于输入所述目标地点,在所述用户端显示模块,显示到达所述目标地点的路径,
地理围栏单元,用于选择目标区域,在所述用户端显示模块,显示所述目标区域,通过用户端车辆定位模块,实时显示所述目标车辆在所述目标区域的运动情况,
车辆历史轨迹单元,用于查询和显示所述目标车辆的历史运动轨迹,
用户端用户识别单元;用于所述用户端系统的用户识别和登录;
车辆端系统,包括,车内数据收集模块,驾驶员驾驶状态检测模块,车道识别检测模块,交通路面识别检测模块,车辆端数据存储模块,车辆端通信模块,
所述车辆端数据存储模块与所述车内数据收集模块、驾驶员驾驶状态检测模块、车道识别检测模块、交通路面识别检测模块、车辆端通信模块连接,
其中,所述车内数据收集模块,用于收集所述目标车辆的环境信息,并对所述车辆进行定位,获得所述目标车辆的运动轨迹信息,
所述驾驶员驾驶状态检测模块,用于通过设置在所述目标车辆的内部摄像头,收集和检测所述目标车辆的驾驶员状态图像,
所述车道识别检测模块,用于通过设置在所述目标车辆的外部摄像头,收集和检测所述目标车辆在行驶过程中,路面的车道情况,
所述交通路面识别检测模块,用于通过所述外部摄像头,检测和识别所述路面的路面情况;
服务器端系统,包括,服务器端数据存储模块,服务器端数据处理模块,服务器端通信模块,
所述服务器端数据存储模块与所述服务器端数据收集模块、服务器端数据处理模块连接。
所述目标区域,包括若干个区域,其中,每个区域之间包括重合部分和不重合部分;通过所述地理围栏单元,对所述目标区域进行添加或删减。
所述历史运动轨迹,包括若干个运动轨迹,通过所述车内数据收集模块的定位功能,收集所述运动轨迹信息,将所述运动轨迹信息通过所述车辆端通信模块,传输到所述服务器端数据存储模块,通过所述服务器端数据处理模块生成所述历史运动轨迹,所述车辆历史轨迹单元,通过所述用户端通信模块,基于所述服务器端数据存储模块,显示和查询所述历史运动轨迹。
所述车内数据收集模块,包括,烟雾传感器单元,温度传感器单元,车辆定位单元,数据转换单元,
其中,
所述烟雾酒精传感器单元,用于检测所述目标车辆的内部气体信息;
所述温湿度传感器单元,用于检测所述目标车辆的内部温湿度信息;
所述车辆定位单元,用于对所述目标车辆进行实时定位,获得所述运动轨迹信息;
所述数据转换单元,用于将所述内部气体信息、内部温湿度信息、运动轨迹信息转化成数字信号;
所述车内数据收集模块,用于,基于所述数字信号,通过所述车辆端通信模块,将所述数字信号,传输到所述服务器端数据存储模块,基于所述服务器端数据处理模块,对所述数字信号进行处理,获得处理结果,通过所述服务器端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述处理结果,其中,所述车辆综合信息,包括所述处理结果,所述车辆端通信模块,为ec204g无线通信模块。
所述烟雾酒精传感器单元,包括,mp2雾传感器模块和mp3酒精传感器模块;
所述数据转换单元,为mcu转换器;
所述温湿度传感器单元,为dht11温湿度传感器;
所述车辆定位单元,为atk1218-bd北斗模块;
所述车辆定位单元,通过所述数据转换单元,得到所述运动轨迹信息。
优选地,所述驾驶员驾驶状态检测模块,包括,脸部识别单元;
所述驾驶员驾驶状态监测模块,用于通过所述内部摄像头,获得所述目标车辆的驾驶员脸部图像,将所述驾驶员脸部图像通过所述脸部识别单元,进行眼睛定位,获得驾驶员脸部眼睛定位图像,将所述驾驶员脸部眼睛定位图像,进行识别处理,获得所述驾驶员信息,将所述驾驶员信息通过所述车辆端通信模块,传输到所述驾驶员信息显示预警单元。
所述驾驶员脸部眼睛定位图像,包括,左眼定位图像和右眼定位图像,其中,所述左眼定位图像,通过选择三个左眼定位点获得左眼定位图像,所述右眼定位图像,通过选择三个右眼定位点获得右眼定位图像;
所述脸部识别单元,通过设置所述驾驶员脸部眼睛定位图像的阈值,基于所述阈值,对所述左眼定位图像和右眼定位图像进行识别,其中,当所述左眼定位图像和右眼定位图像不满足所述阈值时,输出预警信息,当所述左眼定位图像和右眼定位图像满足所述阈值时,输出正常信息;
所述驾驶员信息包括预警信息和正常信息;
所述驾驶员信息显示预警单元,根据所述预警信息,进行预警。
所述车道识别检测模块,用于通过所述外部摄像头,收集所述路面的原始车道图像,对所述原始车道图像,进行若干次灰度图处理,获得原始目标图像,对所述原始目标图像,通过高斯模糊处理、图像轮廓处理、霍夫直接检测处理,获得目标车道图像数据,通过所述车辆端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述目标车道图像数据,其中,所述车辆综合信息还包括所述目标车道图像数据。
所述交通路面识别检测模块,用于通过所述外部摄像头,获得原始路面图像,基于yolo识别所述原始路面图像的路面物体图像,基于路面物体图像,根据所述原始路面图像,构建路面情况模型,获得所述路面情况,将所述路面情况通过所述车辆端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述路面情况,其中,所述车辆综合信息,还包括,所述路面情况。
所述用户端系统,还包括,便捷生活模块;
所述便捷生活模块,包括,当天天气状况显示单元、当前生活指数单元;
所述用户端系统,通过所述用户端定位模块,基于所述当天天气状况显示单元,显示所在地区的温度信息、体感温度信息、风向信息、风力信息;
所述用户端系统,通过所述用户端定位模块,基于所述当前生活指数单元,显示所述所在地区的生活信息。
下面详细解释本申请所述技术方案的设计思路和技术构成:
本发明在北斗卫星定位系统的基础上,针对同类软件在功能上和设计上的问题和不足,以为用户提供内容更加丰富、功能更为完备的车联网服务为目标,通过分析和处理北斗导航定位卫星提供的定位服务获取车辆的位置和运行轨迹,使用传感器收集车内的温度、湿度、烟雾浓度、酒精浓度、周围障碍物的距离等数据;使用摄像头实时监测驾驶员的驾驶状态,和实时采集车辆前方路面的信息;基于opencv脸谱图,由人脸检测和人脸特征对驾驶人状态进行监测,是否存在疲劳驾驶或者看手机等注意力分散的情况,并结合计算机视觉技术对车辆、道路、红绿灯等物体进行识别,在自主搭建的web应用上实现对车辆运行状态的监测、查询历史轨迹、规划地理围栏、地点搜索、路径规划、天气预报等功能,提供一套功能完善的车联网产品。
本发明整体架构:是搭配云服务器作为数据的中转站,硬件设备采用了stm32f103作为主控芯片,通过串口,gpio和模数转换器收集车辆定位数据和车内环境数据,可以通过ec204g模块进行tcp协议通信;web客户端则通过ip和端口号与云服务器进行连接,二者通过同时连接云服务器实现远程连接。从而实现了数据之间的通信和数据之间的传输。通信模块是基于tcp、websocket协议以及netty框架进行设计的。
框架的具体实现:云服务器搭载一个基于netty框架编写的网络服务程序,等待客户端的连接。web应用的服务端程序根据ip地址和端口号与云服务器建立连接之后,对云服务器的响应进行数据处理和存储。web应用的服务端程序再通过websocket连接将处理好的数据发送给浏览器进行展示。
在硬件方面,我们使用stm32rct6,arm-cortex-m3内核的微型处理器作为运动的主控制cpu,最高工作频率72mhz,128kb的sram存储器。该芯片具有a/d转换,串口等丰富外设,性价比高。我们使用了mq2和mq3模块,通过模数转换采集模块发出的模拟信号后转换为数字信号,经过处理可得到浓度。在定位方面使用了atk1218-bd定位模块,通过串口接收原始北斗定位原始数据,分析协议的数据格式,得到经纬度。通过dht11模块采集车内的温湿度,最后通过ec204g模块把数据发送给服务器。在树莓派上搭建了高清摄像头,经过人脸识别,通过wifi通信,服务器通过访问ip和端口号可以获得实时录像并进行图象识别。
在软件方面,本web应用主要采用javaee和vue.js进行开发。服务端使用intellijidea作为开发平台,采用springboot作为核心框架,结合springdata和mybatisplus作为数据库交互框架、netty作为通信框架进行开发。客户端使用webstorm作为开发平台,采用vue.js作为核心框架,elementui作为ui框架,结合express与数据库交互进行开发。云服务器程序采用netty框架进行开发,搭载在centos7的可访问外网的环境下。数据库方面采用了关系型数据管理系统的mysql。通过本应用,用户可以实现对车辆运行状态的监测、查询历史轨迹、规划地理围栏、地点搜索、路径规划、天气预报等功能
我们在服务器方面选择的是阿里云服务器,远程服务器采用阿里巴巴公司的阿里云服务器,它提供可扩展的计算容量,且拥有公网唯一ip,理论上在任何地方只要能连接因特网,就可以与服务器进行通信。通过阿里云服务器,我们可以快速部署应用程序,并使用cpu、内存、硬盘等资源。我们的服务器使用linuxcentos7系统,利用netty、进程和nio流等技术与硬件设备和web应用的服务端程序建立联系。用户访问应用程序后,会根据ip地址和端口自动与云服务器建立连接。成功连接后,通过远程服务器这个中转站,用户便可以轻松地与汽车设备建立了联系。
在前端方面的技术选型上,我们使用了vue框架,vue框架的的优势:轻量级框架、简单易学、双向数据绑定、组件化、视图、数据和结构的分离、虚拟dom、运行速度快。给前端的开发人员提供了快捷美观的界面来构造页面。
在计算机视觉识别技术中,我们采用的是python的opencv库,在计算机视觉识别方面,python对比与其他的语言具有很大的优势,同时我们采用了python提供的计算机视觉识别框架——yolo框架,我们可以通过yolov3来训练属于自己的模型,用来实现自己对应的视觉识别功能。
酒精烟雾检测模块,用于收集车内的酒精浓度和烟雾浓度。该模块灵敏度高、响应快、稳定性好、寿命长。具有良好的抗干扰性,可准确排除有刺激性非可燃性烟雾的干扰信息。实现对mq-2烟雾浓度的采集,只需实现adc0832采集函数便可完成信号的采集。但通过adc0832采集到的信号只为原始信号,要转换为实际的烟雾浓度,还需要根据mq-2的特性进行校正和公式转换,最终得到实际的浓度值。
车辆定位单元是用来定位车辆位置,采用gps和北斗双模式进行定位,模块可通过串口进行各种参数设置和数据收发,并可保存在内部flash,使用方便。通过atk-s1218-bdgps/北斗模块,任何单片机(3.3v/5v电源)都可以很方便的实现gps/北斗定位。
atk1218-bdgps/北斗模块具有以下特点:
模块采用s1216f8-bd模组,体积小巧,性能优异。
模块可通过串口进行各种参数设置,并可保存在内部flash,使用方便。
模块自带ipx接口,可以连接各种有源天线
模块兼容3.3v/5v电平,方便连接各种单片机系统。
模块自带可充电后备电池,可以掉电保持星历数据
温湿度传感器单元用来收集车内的温度和湿度,该模块应用专用的数字模块采集技术和温湿度传感技术,确保产品具有极高的可靠性与卓越的长期稳定性。data用于微处理器与dht11之间的通讯和同步,采用单总线数据格式,一次通讯时间4ms左右,数据分小数部分和整数部分,具体格式在下面说明,当前小数部分用于以后扩展,现读出为零操作流程如下:
一次完整的数据传输为40bit,高位先出。数据格式:8bit湿度整数数据 8bit湿度小数数据 8bi温度整数数据 8bit温度小数数据 8bit校验和数据传送正确时校验和数据等于“8bit湿度整数数据 8bit湿度小数数据 8bi温度整数数据 8bit温度小数数据”所得结果的末8位用户mcu发送一次开始信号后,dht11从低功耗模式转换到高速模式,等待主机开始信号结束后,dht11发送响应信号,送出40bit的数据,并触发一次信号采集,用户可选择读取部分数据.从模式下,dht11接收到开始信号触发一次温湿度采集,如果没有接收到主机发送开始信号,dht11不会主动进行温湿度采集采集数据后转换到低速模式。
ec20r2.1是移远通信推出的ltecat4无线通信模块,采用lte3gpprel.11技术,支持最大下行速率150mbps和最大上行速率50mbps;同时在封装上兼容移远通信umts/hspa uc20模块以及多网络制式lteec20/ec21/ec25/eg25-g模块,实现了3g网络与4g网络之间的无缝切换。该模块提供了串口通信,串口可以用于at命令或数据传输,支持9600,19200,38400,57600,115200,230400,460800和921600bps波特率,默认波特率是115200bps,可以与mcu进行串口通信。
硬件原理部分
车内数据收集模块中:运用了mq2和mq3传感器,该传感器属于二氧化锡半导体气敏材料。当与烟雾接触时,如果晶粒间界处的势垒收到烟雾的调至而变化,就会引起表面导电率的变化。利用这一点就可以获得这种烟雾存在的信息,烟雾的浓度越大,导电率越大,输出电阻越低,则输出的模拟信号就越大。mcu可以将模拟信号转换为数字信号,换算为浓度值。用来采集温湿度的dht11温湿度传感器是采用单总线数据格式与处理器进行通讯,一次通讯时间4ms左右,数据分小数部分和整数部分,通过时序的控制来读取数据位。定位方面使用的atk1218模块北斗模块默认采用nmea0183协议输出gps/北斗定位数据,并可以通过skytraq协议对模块进行配置,mcu通过串口接受输出的原始数据,分析nmea0183协议的数据格式来获得定位数据。车辆数据实时传输给服务器,我们使用了ec204g模块,该模块通过串口,使用at指令进行控制,使主控板通过tcp协议与云服务器建立连接,实时进行车内数据的发送。
驾驶员驾驶状态检测模块中:使用树莓派4b搭建高清摄像头,运用python的opencv库对车内摄像头传输回的数据进行人脸检测,基于opencv自带的脸谱图数据,在人脸图的左右眼睛各标记6个标记点,通过我们设置的阈值,当左右眼的标记点处于某个在我们限定之外的状态时,则发出警告,以达到较好的检测驾驶员的驾驶状态的目的。
车道识别检测模块中:运用python的opencv库对传输回的数据进行车道线检测。经过多次灰度图处理,高斯模糊对图像进行去噪声处理、图像的轮廓以及霍夫直线检测等处理之后,可得到一个可观的车道轮廓线集合。
交通路面识别检测模块中:基于yolo对物体进行识别检测的,yolov3的速度相对于其他框架显像更快的速度,更能符合这个项目。我们对yolov3训练模型进行预训练,再保持原本的准确度上,提高识别速度,同时由于运行机器性能的限制,我们再原有的框架上再加修改,通过筛选数据的方法,减少识别数据量,同时能较好的保持识别准确度,以进一步提高识别速度。
软件原理部分:
在规划围栏的模块中,我们前端负责提供一个添加围栏的按钮,当用户选择添加围栏的时候,可以用过鼠标来控制围栏的形状和大小,最后把这些围栏相对应的经纬度收集起来,发送给后台java客户端,java把这些数据进行一些预处理后,再把这些数据添加到mysql服务器中,实现保存围栏功能。
在围栏查看模块中,用户选择一个围栏之后,系统会自动的通过一系列的算法开始判断当前车辆的行驶轨迹是否有出入围栏的操作,如果车辆进入或者离开围栏区域,浏览器会给用户发出相对应的通知。
在历史轨迹模块中,保存历史轨迹的原理是通过浏览器对后端java的连接情况来判断的,当浏览器成功连接java的客户端,则开始保存对应的历史轨迹,在浏览器断开与java客户端的连接之后会结束保存的历史轨迹,把这些保存起来的数据,一次性的发送给java客户端,java客户端再把这些数据保存到mysql当中,提供用户以后查看。
系统测试方案
测试目的:
本报告是针对该项目的稳定性,可用性,网页ui的渲染时间以及发生的一些未知错误,发现现有系统中可能存在的性能方面的问题,提出可行的建议,以尽可能的降低后续工作风险,为维护稳定运行提供保证。
测试范围:
根据项目开发说明和软件需求规格说明以及相应的设计文档进行系统测试,包括功能测试,性能测试,用户访问与安全控制测试、用户界面测试。主要功能有与远程服务器进行丽娜姐、接收硬件传来的数据进行一些处理,正确的现实在ui界面上。
测试环境:
配置:服务器采用阿里云服务器,centos7.364位操作系统,内存4g;
应用软件:火狐浏览器,谷歌浏览器等大众浏览器;
测试过程,如图10所示;
测试数据,如图11所示。
本发明所述的系统实现功能
地点搜索:如图12所示,在地点搜索模块中,用户可以在搜索栏中搜索对应的地点,地图上会显示一个区域内相关地点的地标提供用户选择观看。
路径规划:如图13所示,用户可以在路径规划模块中,选择起始地点,选择出行方式,然后就能就能搜索到一些相关的路径实现导航的效果。
实时车辆定位:如图14所示,在车辆定位模块中,我们可以接受硬件的经纬度,然后把这些经纬度的数据发送到服务器中,客户端再接受这些数据显示在浏览器中。实现车辆的实时定位
围栏功能:如图22所示,用户可以在围栏中,根据自己的需要来添加或者删除相应的围栏;如图15所示,成功添加的围栏可以进行选择查看,当车辆进入围栏的时候,会提示用户车辆进入围栏范围区域;如图16所示,当车辆离开围栏的时候,会提示用户车辆离开了围栏范围区域。
查看车辆历史轨迹,如图17-18所示,
用户可以在这个界面中查看历史行驶轨迹,还可以根据关键字来对这些历史行驶轨迹进行筛选,搜索出自己想要的历史轨迹。
车内数据实时监测
在车内数据监测模块中,客户端可以接受硬件传输过来的数据,把这些数据显示在浏览器上,提供用户查看。硬件获取到的数据会发送到阿里云服务器当中,然后java客户端通过连接对应的ip地址和端口号,把硬件发送来的数据经过处理,再发送到浏览器上给用户进行显示。
天气和生活指数,如图19,20所示,在天气和生活指数模块中,用户可以获取所在地区的温度、体感温度、风向、风力等天气信息,可以查看当前的生活指数。为用户提供详尽的生活指南。
计算机视觉识别
在驾驶人员疲劳检测模块,我们可以通过摄像头来接受用户的驾驶图像数据,然后这些数据会经过python,python通过opencv实时检测数据,然后对传进来的图像进行处理,最后把处理好的图像再传回来,通过判断眼睛的一些算法,来得知驾驶员是否打瞌睡。
在交通路面检测模块中,我们可以把街道上的图像数据再发送给python,然后python通过opencv再进行图像识别,检测出马路上的车辆,行人,交通灯以及红绿灯等。
在路线检测模块中,python通过opencv来对道路上的车道线进行识别和检测。把处理好的结果反馈给用户。
本发明开发前景大,硬件部分所需要的成本比较低,硬件设备是安置在车内的,不会被车外的严酷的环境所侵蚀。硬件的耐用性就会大大的增加。在软件方面本发明的架构是采用前后端分离的模式,这种模式实现高内聚低耦合的特点,数据的逻辑与视图层是分开的,开发起来更加的有效率,扩展性增强,软件的开发升级成本低廉。
本发明最大的特点就在计算机视觉识别技术方面,就现在而言,当发生交通事故的时候,像安全气囊或者汽车的防撞栏这种被动的防护措施已经很难更好的保证人们的生命安全,但是,如果结合计算机视觉识别技术,在人驾驶过程中对驾驶人员进行一些行为的检测和判断,比如说检测驾驶员的疲劳状态,是否处于异常的状态。如果发现出现了一些疲劳的迹象,则提醒用户,达到防患于未然的目的,减少交通事故的发生。实时接收车内的数据,让用户查看车内的实时情况,保障了行车的安全。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
1.一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,包括:
用户端系统,包括,用户端数据存储模块,用户端通信模块,用户端显示模块,用户端数据处理单元,用户端定位模块,
所述用户端数据存储模块与所述用户端通信模块、用户端数据处理单元、用户端定位模块连接,
所述用户端数据处理单元与所述用户端显示模块连接,
其中,所述用户端显示模块,包括,
车辆综合信息显示单元,用于显示目标车辆的车辆综合信息,
驾驶员信息显示预警单元,用于显示所述目标车辆的驾驶员信息,并根据所述驾驶员信息进行预警,
地点搜索单元,用于输入所述目标地点,在所述用户端显示模块,显示所述目标地点,
路径规划单元,用于输入所述目标地点,在所述用户端显示模块,显示到达所述目标地点的路径,
地理围栏单元,用于选择目标区域,在所述用户端显示模块,显示所述目标区域,通过用户端车辆定位模块,实时显示所述目标车辆在所述目标区域的运动情况,
车辆历史轨迹单元,用于查询和显示所述目标车辆的历史运动轨迹,
用户端用户识别单元;用于所述用户端系统的用户识别和登录;
车辆端系统,包括,车内数据收集模块,驾驶员驾驶状态检测模块,车道识别检测模块,交通路面识别检测模块,车辆端数据存储模块,车辆端通信模块,
所述车辆端数据存储模块与所述车内数据收集模块、驾驶员驾驶状态检测模块、车道识别检测模块、交通路面识别检测模块、车辆端通信模块连接,
其中,所述车内数据收集模块,用于收集所述目标车辆的环境信息,并对所述车辆进行定位,获得所述目标车辆的运动轨迹信息,
所述驾驶员驾驶状态检测模块,用于通过设置在所述目标车辆的内部摄像头,收集和检测所述目标车辆的驾驶员状态图像,
所述车道识别检测模块,用于通过设置在所述目标车辆的外部摄像头,收集和检测所述目标车辆在行驶过程中,路面的车道情况,
所述交通路面识别检测模块,用于通过所述外部摄像头,检测和识别所述路面的路面情况;
服务器端系统,包括,服务器端数据存储模块,服务器端数据处理模块,服务器端通信模块,
所述服务器端数据存储模块与所述服务器端数据收集模块、服务器端数据处理模块连接。
2.如权利要求1所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述目标区域,包括若干个区域,其中,每个区域之间包括重合部分和不重合部分;通过所述地理围栏单元,对所述目标区域进行添加或删减。
3.如权利要求1所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述历史运动轨迹,包括若干个运动轨迹,通过所述车内数据收集模块的定位功能,收集所述运动轨迹信息,将所述运动轨迹信息通过所述车辆端通信模块,传输到所述服务器端数据存储模块,通过所述服务器端数据处理模块生成所述历史运动轨迹,所述车辆历史轨迹单元,通过所述用户端通信模块,基于所述服务器端数据存储模块,显示和查询所述历史运动轨迹。
4.如权利要求1所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述车内数据收集模块,包括,烟雾传感器单元,温度传感器单元,车辆定位单元,数据转换单元,
其中,
所述烟雾酒精传感器单元,用于检测所述目标车辆的内部气体信息;
所述温湿度传感器单元,用于检测所述目标车辆的内部温湿度信息;
所述车辆定位单元,用于对所述目标车辆进行实时定位,获得所述运动轨迹信息;
所述数据转换单元,用于将所述内部气体信息、内部温湿度信息、运动轨迹信息转化成数字信号;
所述车内数据收集模块,用于,基于所述数字信号,通过所述车辆端通信模块,将所述数字信号,传输到所述服务器端数据存储模块,基于所述服务器端数据处理模块,对所述数字信号进行处理,获得处理结果,通过所述服务器端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述处理结果,其中,所述车辆综合信息,包括所述处理结果,所述车辆端通信模块,为ec204g无线通信模块。
5.如权利要求4所述的一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述烟雾酒精传感器单元,包括,mp2雾传感器模块和mp3酒精传感器模块;
所述数据转换单元,为mcu转换器;
所述温湿度传感器单元,为dht11温湿度传感器;
所述车辆定位单元,为atk1218-bd北斗模块;
所述车辆定位单元,通过所述数据转换单元,得到所述运动轨迹信息。
6.如权利要求1所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述驾驶员驾驶状态检测模块,包括,脸部识别单元;
所述驾驶员驾驶状态监测模块,用于通过所述内部摄像头,获得所述目标车辆的驾驶员脸部图像,将所述驾驶员脸部图像通过所述脸部识别单元,进行眼睛定位,获得驾驶员脸部眼睛定位图像,将所述驾驶员脸部眼睛定位图像,进行识别处理,获得所述驾驶员信息,将所述驾驶员信息通过所述车辆端通信模块,传输到所述驾驶员信息显示预警单元。
7.如权利要求6所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述驾驶员脸部眼睛定位图像,包括,左眼定位图像和右眼定位图像,其中,所述左眼定位图像,通过选择三个左眼定位点获得左眼定位图像,所述右眼定位图像,通过选择三个右眼定位点获得右眼定位图像;
所述脸部识别单元,通过设置所述驾驶员脸部眼睛定位图像的阈值,基于所述阈值,对所述左眼定位图像和右眼定位图像进行识别,其中,当所述左眼定位图像和右眼定位图像不满足所述阈值时,输出预警信息,当所述左眼定位图像和右眼定位图像满足所述阈值时,输出正常信息;
所述驾驶员信息包括预警信息和正常信息;
所述驾驶员信息显示预警单元,根据所述预警信息,进行预警。
8.如权利要求1所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述车道识别检测模块,用于通过所述外部摄像头,收集所述路面的原始车道图像,对所述原始车道图像,进行若干次灰度图处理,获得原始目标图像,对所述原始目标图像,通过高斯模糊处理、图像轮廓处理、霍夫直接检测处理,获得目标车道图像数据,通过所述车辆端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述目标车道图像数据,其中,所述车辆综合信息还包括所述目标车道图像数据。
9.如权利要求1所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述交通路面识别检测模块,用于通过所述外部摄像头,获得原始路面图像,基于yolo识别所述原始路面图像的路面物体图像,基于路面物体图像,根据所述原始路面图像,构建路面情况模型,获得所述路面情况,将所述路面情况通过所述车辆端通信模块,传输到所述用户端系统,通过所述车辆综合信息显示单元,显示所述路面情况,其中,所述车辆综合信息,还包括,所述路面情况。
10.如权利要求1所述一种基于车联网的辅助驾驶和车辆安全管理系统,其特征在于,
所述用户端系统,还包括,便捷生活模块;
所述便捷生活模块,包括,当天天气状况显示单元、当前生活指数单元;
所述用户端系统,通过所述用户端定位模块,基于所述当天天气状况显示单元,显示所在地区的温度信息、体感温度信息、风向信息、风力信息;
所述用户端系统,通过所述用户端定位模块,基于所述当前生活指数单元,显示所述所在地区的生活信息。
技术总结