本发明涉及计算机视觉，尤其涉及一种基于人脸情绪识别算法模型的情绪判断方法、介质和电子设备。
背景技术：
1、计算机视觉技术情绪是影响驾驶员行为和决策的重要因素，国内外大量研究验证了情绪对人注意、判断和决策的影响。调查显示，与人为因素有关的事故占所有交通事故的90％，其中70％以上是由驾驶员造成的。驾驶员的突发情绪会对安全驾驶产生一定的影响，从而增加交通事故发生的概率，尤其是愤怒情绪下的驾驶员易出现强行加塞与攻击性驾驶等行为。因此，对影响到安全驾驶的情绪进行快速有效的识别，并以适当的方式对驾驶员的情绪进行调节与干预，使驾驶员情绪维持在稳定区间，对于提高道路交通安全具有重要的意义。
2、目前，绝大多数基于人脸图像的情绪识别仅从情绪“识别”的角度出发，追求的是算法模型具有更高的精度、鲁棒性和识别速度，如要求算法模型可对每秒25帧的视频流逐帧检测，或对给定的测试集的识别精度达到较高水平等。而往往忽略了从情绪“干预”的角度出发，情绪识别需要什么样的结果，如真的需要以每帧的情绪识别结果来干预驾驶员吗？要知道如果是对每秒25帧的视频流进行检测，则每0.04秒就会产生一个情绪结果，即1秒内将产生25个情绪结果，如果这25个情绪结果是相同的，假设均为neutral(中立)的，上位的情绪干预程序还容易处理；如果在1秒内所产生的25个情绪结果中，有10个是happy(开心)的，有10个是neutral(中立)的，还有5个是sad(伤心)的，上位情绪干预程序该如何处理呢？又该如何进一步去控制智能座舱内的氛围灯、音响、屏幕面板等设备，以调节驾驶员的情绪呢？因此，需要从情绪“干预”的角度出发，设定合理的情绪识别结果输出频率。
3、其次，现有的研究大多是基于ck+、fer 2013、emo-db等公开数据集来训练情绪识别算法模型的，而这些公开数据集中的人脸表情基本都较为夸张，且人脸以国外非亚洲人种居多，在实际的测试中，往往会导致对国人人脸的误识别，如在人眼主观判断下，明明驾驶员当前是neutral(中立)的表情，但算法模型可能会输出sad(伤心)、disgusted(厌恶)等结果。原因在于模型的结果是选取置信度最高的情绪类别作为当前帧的情绪结果，而实际情况可能是7种情绪的置信度均相差不大，均未超过50％，没有哪一种情绪最为显著。因此，需要在合理的输出频率基础上，对人脸情绪识别结果进行适当的纠偏，以符合实际结果。
4、更重要的是，在对不同的驾驶员进行实测的过程中发现，不同情绪在人脸上时间占比是不同的。在驾驶过程中，绝大多数时间属于neutral(中立)状态，剩余6种情绪在时间上的总和都不及neutral(中立)一种情绪的时间多，因此，有必要从干预的角度对算法模型的输出结果做进一步的处理，以更符合现实情况，也给智能座舱的声、光、气味等方式的干预输出更合理的结果。
技术实现思路
1、本发明要解决的技术问题是设计一种基于人脸情绪识别算法模型的情绪判断方法、介质和电子设备，将算法模型运行在带有算力的硬件设备上，通过对摄像头的实时视频流的拉取，对图像帧进行识别，如对angry(愤怒)、disgusted(厌恶)、fear(恐惧)、happy(开心)、neutral(中立)、sad(伤心)和surprised(惊讶)等情绪的识别，再通过判断算法对算法模型的情绪识别结果序列进行某种纠偏和校正，使得更符合现实中驾驶员本身的情绪状态，输出适合上位机进一步用于情绪干预的结果，解决现有的技术问题。
2、为解决上述技术问题，本发明的情绪判断方法基于人脸情绪识别算法模型，人脸情绪识别算法模型对输入的每一图像帧均会输出一个情绪识别结果，由算法模型对帧序列输出的情绪识别结果，同样也是一个序列，称为置信度序列。置信度序列是由不同帧的置信度向量组成，记为
3、当图像帧中没有人脸或者算法模型未识别到人脸时，
4、当算法模型识别到人脸时，
5、具体包括如下步骤：
6、步骤s1：计算原始情绪识别结果序列fn表示视频流的第n帧图像，将所对应的情绪，赋值给
7、步骤s2：对原始的情绪识别结果进行过滤，得到情绪序列
8、步骤s3：对过滤后的情绪序列进行平滑处理，得到情绪序列
9、步骤s4：按照输出频率f输出最终的情绪结果。
10、进一步的，步骤s2中，采用固定阈值筛选法进行过滤，具体方法为：记情绪过滤器阈值为δemotion(δangry，δdisgusted，δfear，δhappy，δneutral，δsad，δsurprised)，δangry表示angry(愤怒)情绪过滤器的阈值，δdisgusted表示disgusted(厌恶)情绪过滤器的阈值，δfear表示fear(恐惧)情绪过滤器的阈值，δhappy表示happy(开心)情绪过滤器的阈值，δneutral表示neutral(中立)情绪过滤器的阈值，δsad表示sad(伤心)情绪过滤器的阈值，δsurprised表示surprised(惊讶)情绪过滤器的阈值，将7种情绪的过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised设定为具体数值，分别为thangry、thdisgusted、thfear、thhappy、thneutral、thsad和thsurprised；记当前帧为fn；
11、如果则将none作为
12、如果将原始情绪序列中fn情绪结果所对应的置信度，即置信度序列中的与该情绪的阈值δemotion进行比较：
13、若大于等于该情绪的阈值δemotion，则将该情绪赋值给
14、若小于该情绪的阈值δemotion，则将neutral赋值给
15、进一步的，过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised的取值范围均为[0.45，0.55]。
16、进一步的，步骤s2中，还可以采用标准差筛选法进行过滤，具体方法为：记情绪过滤器阈值为δemotion，计算各情绪置信度的标准差为stdev；
17、如果则将none作为
18、如果则计算原始情绪序列中fn各情绪结果所对应置信度的标准差stdev，与过滤器阈值δemotion进行比较：
19、若stdev大于等于该阈值δemotion，则将该所对应的情绪赋值给
20、若stdev小于该阈值δemotion，则将neutral赋值给
21、进一步的，情绪过滤器阈值δemotion的取值范围为[0.155，0.165]。
22、进一步的，步骤s3中具体包括如下步骤：
23、新增基准情绪序列表示当前帧fn的基准情绪，记滑动时间窗口为timewindow，基准情绪是统计当前时间t往前推timewindow秒内出现次数最多的情绪作为基准情绪；
24、如果则将none作为
25、如果则将序列中当前帧fn往前推timewindow秒作为滑动时间窗口，统计滑动时间窗口中出现次数最多的情绪，作为当前帧fn的基准情绪将与基准情绪比较：
26、若与基准情绪相同，则将基准情绪作为平滑处理后的情绪序列的结果，即将赋值给
27、若与基准情绪不相同，则需判断是否已连续若干帧均与基准情绪不同，连续不同的帧数超过平滑处理阈值δsmoothing，且如果已连续若干帧均与基准情绪不同，连续不同的帧数超过平滑处理阈值δsmoothing，且则将作为平滑处理后情绪序列的结果，即将赋值给否则，将基准情绪作为平滑处理后情绪序列的结果，即将赋值给
28、进一步的，平滑处理阈值δsmoothing的取值范围为f为源视频帧率。
29、进一步的，步骤s4中，
30、如果则统计平滑处理后的情绪序列第1帧到第n帧中出现次数最多的情绪，将该情绪赋值给
31、如果则统计平滑处理后的情绪序列中到中出现次数最多的情绪，将该情绪赋值给
32、当n为f*f的整数倍数时，输出作为最终的情绪结果；
33、表示平滑处理后的情绪序列经统计处理产生的情绪序列，f为最终情绪结果的输出频率，f为源视频帧率。
34、本发明还提供一种计算机可读存储介质，其上存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现前述的基于人脸情绪识别算法模型的情绪判断方法。
35、本发明还提供一种电子设备，包括：
36、至少一个处理器；以及
37、至少一个与所述处理器通信连接的存储器；
38、其中，所述存储器存储有可被处理器执行的指令，所述指令被所述处理器执行，以使电子设备执行前述的基于人脸情绪识别算法模型的情绪判断方法。
39、本发明基于驾驶员人脸图像算法模型输出结果的作出具体化处理：
40、首先，基于深度学习算法如yolo、r-cnn、resnet等，训练出情绪识别算法模型，实现对若干种人脸情绪的识别，如对angry(愤怒)、disgusted(厌恶)、fear(恐惧)、happy(开心)、neutral(中立)、sad(伤心)、surprised(惊讶)等情绪的识别。
41、其次，将算法模型运行在带有算力的硬件设备上，通过对摄像头的实时视频流的拉取，对图像帧进行识别。
42、再次，通过增加一系列的判断算法，对算法模型的情绪识别结果序列进行某种纠偏和校正，使得更符合现实中驾驶员本身的情绪状态，输出适合上位机进一步用于情绪干预的结果。
43、最后，由上位机及程序对校正过后的情绪进行进一步分析，给车机系统发送控制指令，以调节座舱内氛围灯、音响、屏幕面板等设备的参数。
44、本发明的有益效果：
45、(1)可以输出一段时间内的综合情绪结果，从情绪“干预”角度并不需要每一帧的情绪识别结果，每一帧的情绪识别结果频率太高，对于实际的情绪干预手段来说没有实际意义。本发明的判断算法可输出一段时间内的综合结果，方便给上位机及程序对校正过后的情绪进行进一步分析，给车机系统发送控制指令，以调节座舱内氛围灯、音响、屏幕面板等设备的参数；
46、(2)使情绪序列的结果更平滑，将少数与基准情绪不同的离群值或噪音校正为基准情绪，减少噪音的干扰；
47、(3)由于不同情绪在人脸上时间占比是不同的，在驾驶过程中绝大多数时间属于neutral(中立)状态，本发明可使情绪序列的结果更贴近驾驶员的实际情绪。
1.一种基于人脸情绪识别算法模型的情绪判断方法，其特征在于：人脸情绪识别算法模型对输入的每一图像帧均会输出一个情绪识别结果，由算法模型对帧序列输出的情绪识别结果称为置信度序列，记为
2.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤s2中，采用固定阈值筛选法进行过滤，具体方法为：记情绪过滤器阈值为δemotion(δangry，δdisgusted，δfear，δhappy，δneutral，δsad，δsurprised)，将7种情绪的过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised设定为具体数值；
3.根据权利要求2所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised的取值范围均为[0.45，0.55]。
4.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤s2中，采用标准差筛选法进行过滤，具体方法为：记情绪过滤器阈值为δemotion，计算各情绪置信度的标准差为stdev；
5.根据权利要求4所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：情绪过滤器阈值δemotion的取值范围为[0.155，0.165]。
6.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤s3中具体包括如下步骤：
7.根据权利要求6所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：平滑处理阈值δsmoothing的取值范围为f为源视频帧率。
8.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤s4中，
9.一种计算机可读存储介质，其特征在于：其上存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-8中任一项所述的基于人脸情绪识别算法模型的情绪判断方法。
10.一种电子设备，其特征在于：包括：
