本发明涉及驾驶辅助，具体涉及一种基于深度学习的多任务识别系统。
背景技术：
1、在传统的机器学习领域中，通常采用单任务学习的方式进行，即，构建并训练一项模型，用于专门解决某一项特定的任务。而如果有n个任务，这n个任务或它们的一个子集彼此相关但不完全相同，则称为多任务学习(mtl)通过使用所有n个任务中包含的知识，将有助于改善特定模型的学习。在驾驶辅助领域，由于道路场景相对复杂，往往需要对多个不同的目标进行识别，比如道路标线、交通标志、行人、车辆等。而采用多任务学习模型对该类场景进行处理，特别是在特征提取、目标检测阶段对特征进行复用，有助于缩短模型的处理延时，提高驾驶辅助功能的性能表现。
2、现有技术中，已存在有基于多任务学习来实现驾驶辅助的技术方案。比如，中国专利cn202211467563.2公开了一种自动驾驶多任务视觉感知方法，采取硬约束式多任务网络的方式同时利用目标检测和语义分割的方法对图像进行全面的感知；采用单阶段目标检测网络yolov5的主干网络和特征金字塔网络组成网络的编码器，实现对图像的特征进行提取和融合。利用目标检测解码器和语义分割解码器来分别实现对行人、车辆的目标检测和车道线及可行驶区域的语义分割任务；采用卷积和特征图拼接代替传统残差模块中的相加来融合共享网络层中的位置信息，减少了目标边缘定位信息的丢失从而改善了车道线和可行驶区域之间的边缘检测模糊的问题。利用任务学习挖掘不同检测任务间的隐藏信息，从而提高模型整体的检测精度。
3、但是，在实际实施过程中，发明人发现，上述技术方案由于预先确定了目标检测解码器对车辆和行人的障碍物进行目标检测、语义分割解码器对可行驶区域和车道线进行语义分割等硬分支，导致对任务特征的共享程度不足，无法充分共享相互关联的任务的特征，比如，行人与交通标志之间的关联特征等，导致预测结果不够理想。
技术实现思路
1、针对现有技术中存在的上述问题，现提供一种基于深度学习的多任务识别系统。
2、具体技术方案如下：
3、一种基于深度学习的多任务识别系统，适用于车辆，包括：
4、数据采集模块，所述数据采集模块连接所述车辆上配置的驾驶辅助摄像头以获取图像数据；
5、识别模型，所述识别模型连接所述数据采集模块，所述识别模型对所述图像数据进行多任务分割，以分别得到三维视觉特征图、行人识别特征图和交通标志识别特征图；
6、所述识别模型依照所述三维视觉特征图预测得到三维视觉识别结果，以及，对所述行人识别特征图和所述交通标志识别特征图进行融合处理，以预测得到行人识别结果和交通标志识别结果。
7、另一方面，所述识别模型包括：
8、预识别模块，所述预识别模块对输入的所述图像数据得到预识别特征图；
9、第一分裂模块，所述第一分裂模块连接所述预识别模块，所述第一分裂模块对所述预识别特征图进行分割以分别得到所述三维视觉特征图、所述行人识别特征图和所述交通标志识别特征图；
10、第一预测分支，所述第一预测分支连接所述第一分裂模块，所述第一预测分支对所述三维视觉特征图预测得到所述三维视觉识别结果；
11、第二预测分支，所述第二预测分支连接所述第一分裂模块，所述第二预测分支对所述行人识别特征图和所述交通标志识别特征图进行融合处理，以预测得到行人识别结果和交通标志识别结果。
12、另一方面，所述第一预测分支包括：
13、全连接层，所述全连接层接收所述三维视觉特征图，所述全连接层依照所述三维视觉特征图预测得到所述三维视觉识别结果。
14、另一方面，所述第二预测分支包括：
15、特征融合模块，所述特征融合模块分别接收所述行人识别特征图和所述交通标志识别特征图，所述特征融合模块对所述行人识别特征图和所述交通标志识别特征图进行融合得到融合特征图；
16、目标检测模块，所述目标检测模块连接所述特征融合模块，所述目标检测模块对所述融合特征图进行多尺寸目标检测得到目标图；
17、第二分裂模块，所述第二分裂模块连接所述目标检测模块，所述第二分裂模块对所述目标图进行分割得到行人识别图和交通标志检测图；
18、多任务预测模块，所述多任务预测模块连接所述第二分裂模块，所述多任务检测模块依照所述行人识别图生成所述行人识别结果，以及依照所述交通标志检测图生成所述交通标志识别结果。
19、另一方面，所述多任务预测模块包括行人预测模块，所述行人预测模块用于生成所述行人识别结果，所述行人预测模块包括：
20、行人识别网络，所述行人识别网络对所述行人识别图进行识别以获取行人二次检测图；
21、第一roi模块，所述第一roi模块连接所述行人识别网络，所述第一roi模块对所述行人二次检测图进行识别得到所述行人识别结果。
22、另一方面，所述多任务预测模块包括交通标志预测模块，所述交通标志预测模块用于生成所述交通标志识别结果；
23、所述交通标志预测模块包括：
24、交通灯预测分支，所述交通灯预测分支包括：
25、交通灯检测网络，所述交通灯检测网络对所述交通标志检测图进行检测得到交通灯检测图；
26、第二roi模块，所述第二roi模块连接所述交通灯检测网络，所述第二roi模块对所述交通灯检测图进行识别得到交通灯识别结果作为所述交通标志识别结果；
27、限速预测分支，所述限速预测分支包括：
28、限速标识检测网络，所述限速标识检测网络对所述交通标志检测图进行检测得到限速标识检测图；
29、第三roi模块，所述第三roi模块连接所述限速标识检测网络，所述第三roi模块对所述限速标识检测图进行识别得到限速标识识别结果作为所述交通标志识别结果；
30、禁令标识预测分支，所述禁令标识预测分支包括：
31、禁令标识检测网络，所述禁令标识检测网络对所述交通标志检测图进行检测得到禁令标识检测图；
32、第四roi模块，所述第四roi模块连接所述禁令标识检测网络，所述第四roi模块对所述禁令标识检测图进行识别得到禁令标识识别结果作为所述交通标志识别结果。
33、另一方面，还包括模型训练模块，所述模型训练模块包括：
34、数据采样器，所述数据采样器连接外部数据源，所述数据采样器获取所述外部数据源输出的行车样本图像，并对所述行车样本图像进行分类得到样本任务类别；
35、数据集添加模块，所述数据集添加模块连接所述数据采样器，所述数据集添加模块依照所述任务类别和预先配置的任务比例对所述行车样本图像进行筛选，随后添加至数据集中；
36、所述数据集用于对所述识别模型进行训练。
37、另一方面，所述模型训练模块在训练过程中，采用以下损失函数对所述识别模型进行衡量：
38、
39、式中，loss为整体损失，为第i项任务的损失，αi为第i项任务的损失权重，n为任务总数。
40、上述技术方案具有如下优点或有益效果：
41、针对现有技术中的多任务学习方案在对行人、交通标志这类存在一定关联的预测任务中的特征共享程度较低、预测准确度受到制约的问题，本方案中，在进行了多任务分割后，对行人识别特征图和交通标志识别特征图进行融合处理，随后再预测得到行人识别结果和交通标志识别结果。通过将行人识别特征图和交通标志识别特征图进行联合处理，实现了对具有交通标志下的行人行为的较为准确的预判，提高了该场景下的预测准确度。
1.一种基于深度学习的多任务识别系统，其特征在于，适用于车辆，包括：
2.根据权利要求1所述的多任务识别系统，其特征在于，所述识别模型包括：
3.根据权利要求2所述的多任务识别系统，其特征在于，所述第一预测分支包括：
4.根据权利要求2所述的多任务识别系统，其特征在于，所述第二预测分支包括：
5.根据权利要求4所述的多任务识别模块，其特征在于，所述多任务预测模块包括行人预测模块，所述行人预测模块用于生成所述行人识别结果，所述行人预测模块包括：
6.根据权利要求4所述的多任务识别模块，其特征在于，所述多任务预测模块包括交通标志预测模块，所述交通标志预测模块用于生成所述交通标志识别结果；
7.根据权利要求1所述的多任务识别模块，其特征在于，还包括模型训练模块，所述模型训练模块包括：
8.根据权利要求7所述的多任务识别模块，其特征在于，所述模型训练模块在训练过程中，采用以下损失函数对所述识别模型进行衡量：
