本发明涉及人工智能技术领域，具体涉及一种基于人工智能的舌头震颤程度评估系统。
背景技术：
舌头是人体的重要器官，舌头通过经络与五脏相连，人体的脏腑、气血的虚实和疾病的深浅轻重变化都能够客观地反映于舌象，因此中医经常通过观察舌头来了解身体的健康状态。
舌诊是中医诊断重要的一部分，舌震颤是舌诊中常见的症状之一。舌震颤是由于舌肌纤维收缩所致，医生通过观察舌震颤情况，能够得到一些有用的信息，可以为病人病情的诊断提供更多的数据参考。因此舌震颤的检测对及时发现、及时预防相关疾病尤为重要。
目前，对于舌震颤的检测主要是将采集的相邻帧舌头区域图像送入光流网络提取光流图像，将多帧光流图像通过预测网络得到预测光流图像，将预测光流图像与原始图像通过时空滑窗评价方法得到两图像之间的预测峰值信噪比，根据预测峰值信噪比计算得到舌震分数值。
发明人在实践中，发现上述现有技术存在以下缺陷：在实际的舌震颤检测场景中，待测人员的面部移动会引起舌头的运动，使得图像采集出现误差，进而对采集到的图像的分析产生影响，降低了舌头震颤程度检测结果的准确性。
技术实现要素：
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的舌头震颤程度评估系统，所采用的技术方案具体如下：
本发明实施例提供了一种基于人工智能的舌头震颤程度评估系统，该系统包括：
关键点检测单元，用于利用关键点检测网络获取嘴巴关键点和舌头关键点；
图像采集单元，用于当由所述嘴巴关键点和所述舌头关键点获得的所述舌头的伸展程度在预设阈值内时，确定所述舌头处于稳定状态，进而采集设定时间内所述舌头的深度图像序列和rgb图像序列；
特征提取单元，用于利用帧差法获取所述rgb图像序列中舌头区域的差值图序列，提取所述差值图序列中所述舌头区域的面积序列和所述舌头区域的像素值序列；
特征修正单元，用于通过所述深度图像序列中所述舌头区域之外的图像的深度信息，获取所述设定时间内待测人员面部与图像采集设备之间的距离变化量，结合所述舌头区域的面积变化量和像素值变化量，以相对应地修正所述面积序列和所述像素值序列；
震颤程度评估单元，用于将所述修正后的所述面积序列和所述像素值序列输入时序分类网络，得到所述舌头的震颤程度。
进一步地，所述舌头区域是指所述舌头区域的外接矩形。
进一步地，所述图像采集单元中所述舌头的伸展程度是通过计算所述嘴巴关键点和所述舌头关键点的位置距离得到的。
进一步地，所述图像采集单元中当所述伸展程度大于第一阈值且所述伸展程度的变化量小于第二阈值时，判断所述舌头处于稳定状态。
进一步地，所述特征修正单元中所述舌头区域之外的图像的深度信息是所述图像的平均深度值。
进一步地，所述特征修正单元中所述修正所述面积序列是利用所述舌头区域的面积序列减去对应的所述面积变化量。
进一步地，所述特征修正单元中所述修正所述像素值序列是利用所述舌头区域的像素值序列减去对应的所述像素值变化量。
进一步地，所述特征修正单元中所述修正所述面积序列的公式为：
其中，
进一步地，所述特征修正单元中所述外接矩形缩放的宽度是由所述外接矩形的尺寸缩放系数与所述距离变化量相乘得到的。
进一步地，所述特征修正单元中所述修正所述像素值序列的公式为：
其中，
本发明实施例至少存在以下有益效果：(1)利用由嘴巴关键点和舌头关键点的位置信息得到的舌头伸展程度，确定采集舌头图像序列的最佳时机，进而能够确保采集到对检测结果有价值的图像。
(2)通过待测人员面部与相机之间的距离变化去修正差值图序列中的面积序列和像素值序列，一方面能够排除对差值图像分析结果的误差，另一方面能够使得舌头震颤程度评估的结果更精确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例所提供的一种基于人工智能的舌头震颤程度评估系统的流程图；
图2为本发明实施例所提供的一种基于人工智能的舌头震颤程度评估系统的结构框图；
图3为本发明实施例中相机透视效果下roi区域的示例图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的舌头震颤程度评估系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的舌头震颤程度评估系统的具体方案。
参照附图1和附图2，本发明实施例提供了一种基于人工智能的舌头震颤程度评估系统，该系统包括：关键点检测单元10、图像采集单元20、特征提取单元30、特征修正单元40以及震颤程度评估单元50。
关键点检测单元10，用于利用关键点检测网络获取嘴巴关键点和舌头关键点。
图像采集单元20，用于当由嘴巴关键点和舌头关键点获得的舌头的伸展程度在预设阈值内时，认为舌头处于稳定状态，进而采集设定时间内舌头的深度图像序列和rgb图像序列。
特征提取单元30，用于利用帧差法获取rgb图像序列中舌头区域的差值图序列，提取差值图序列中舌头区域的面积序列和舌头区域的像素值序列。
特征修正单元40，用于通过深度图像序列中舌头区域之外的图像的深度信息，获取设定时间内待测人员面部与图像采集设备之间的距离变化量，结合舌头区域的面积变化量和像素值变化量，以相对应地修正面积序列和像素值序列。
震颤程度评估单元50，用于将修正后的面积序列和像素值序列输入时序分类网络，得到舌头的震颤程度。
进一步地，部署rgb相机，rgb相机视角正视于嘴巴区域，保证视野可以覆盖嘴巴的全部区域。当发出伸舌指令后，rgb相机采集待测人员嘴巴区域的rgb图像。
进一步地，在关键点检测单元10中，将嘴巴区域的rgb图像输入关键点检测网络获取嘴巴关键点和舌头关键点。
优选的，本发明实施例中选择将上嘴唇中心点作为嘴巴关键点，舌尖中心点作为舌头关键点。
本发明实施例采用编码器-解码器结构的关键点检测网络进行关键点检测，关键点检测网络的具体
训练过程如下：
1)获取标签数据集：将嘴巴区域的rgb图像作为训练集图像，训练集图像中应包含舌头和嘴巴的图像信息。本发明实施例中利用高斯卷积核在2个关键点位置进行高斯处理，得到高斯热斑。
2)将标签数据集送入编码器进行下采样，利用卷积的方式完成特征提取得到特征图，将特征图送入解码器通过不断上采样操作，得到与采集到的rgb图像等大的关键点热力图。该关键点热力图有2个通道，一个通道是嘴巴关键点，另一个通道是舌头关键点。
3)利用softargmax函数得到嘴巴关键点和舌头关键点的位置信息。
4)关键点检测网络中的损失函数采用交叉熵损失函数。损失函数反映了关键点检测网络输出结果与标签数据的差距，通过不断迭代更新模型中的参数，当损失函数不再降低或达到标准时完成网络训练。进一步地，考虑到发出伸舌指令后，舌头一直处于伸展运动的状态，此时不利于舌头震颤程度的检测，因此需要在舌头伸展运动结束后，才能对舌头震颤程度进行检测，这样能够避免舌头的伸展运动、牙齿和嘴唇对舌头表面的遮挡，影响检测的结果。
进一步地，在图像采集单元20中，本发明实施例中通过上嘴唇中心点p1和舌尖中心点p2获得向量
进一步地，当变化量
优选的，本发明实施例中根据经验设定第一阈值为5，第二阈值为0.5，即满足条件为：
进一步地，在舌头处于稳定状态下，开始采集一段时间t内的舌头的深度图像序列sd和rgb图像序列sr。
优选的，本发明实施例中时间t选取为5秒。
进一步地，在特征提取单元30中，对采集到的rgb图像序列sr进行处理，得到面积序列a和像素值序列g，具体处理步骤如下:
第一步，利用语义分割网络对采集到的rgb图像序列sr进行训练得到每一帧rgb图像中舌头区域的rgb图像，具体网络训练过程如下：
1)获取标签数据集：将相机采集到的rgb图像作为训练集，人为地将训练集标注上标签，且舌头区域的像素点标注为1，其他区域的像素点标注为0。
2)将训练集和标签数据送入语义分割网络中，输出舌头区域的第一掩模区域(mask)，且第一掩模区域是一个二值图像。
3)将第一掩模区域与原rgb图像相乘，得到舌头区域的rgb图像。
4)对rgb图像序列sr中的每一帧图像都按照1)～3)步骤进行处理，得到每一帧rgb图像中舌头区域的rgb图像。
5)语义分割网络中的损失函数采用交叉熵损失函数，不断更新模型内的参数。
需要说明的是，在其他实施例中，实施者可以采用u-net、deeplabv3 等语义分割网络。
第二步，对处理后的rgb图像序列sr进行进一步地处理，将得到的每一帧舌头区域的rgb图像利用帧差法，即利用当前帧减去上一帧的方法，得到差值图序列sc，本发明实施例中差值图的计算公式如下：
其中，
进一步地，考虑到舌头不存在震颤现象时，舌头区域保持静止，且在差值图上呈现黑色的背景颜色；当舌头存在震颤现象时，舌头区域的灰度值会由于震颤发生变化，且在差值图上呈现出灰度区域。故通过差值图中灰度区域的灰度值和分布面积的变化来反映舌头的震颤程度。
第三步，针对差值图序列sc中的每一帧差值图，通过计算每一帧差值图中灰度区域的平均灰度值和分布面积，得到差值图序列的面积序列a和像素值序列g。本发明实施例中以第k张差值图
1)计算差值图中像素的平均灰度值并作为像素值，计算公式如下：
其中，gk表示第k张差值图中像素的像素值；
2)利用最大类间方差法获得阈值，通过阈值对差值图进行阈值分割，获得分割图；对分割图进行连通域分析，获得分割图中白色区域外接矩形的面积，即为第k张差值图中前景区域的面积ak。
3)至此得到了第k张差值图的特征值gk和ak。
进一步地，利用上述计算过程分别对差值图序列sc中的每一张差值图进行同样地处理，得到面积序列a和像素值序列g。
需要说明的是，本发明实施例中使用白色区域外接矩形的面积是为了便于利用深度图像序列sd对面积序列a进行修正，以得到精确的修正后的面积值。
进一步地，在实际的舌头震颤检测场景中，通过图像采集单元10采集到的舌头深度图像序列sd和rgb图像序列sr，由于待测人员面部的移动会引起舌头的运动，进而对上述由差值图序列提取到的特征值产生影响，进而会对检测结果带来误差。
进一步地，在特征修正单元40中，考虑到待测人员面部的移动主要体现在待测人员面部与相机之间的距离变化，本发明实施例中利用舌头之外区域的深度变化来反映面部的移动情况。
本发明实施例中对每一帧rgb图像中舌头区域的第一掩模区域进行处理，将像素值为1的像素点置为0，将像素值为0的像素点置为1，得到每一帧rgb图像中舌头之外区域的第二掩模区域。利用第二掩模区域与深度图像序列sd中相对应的每一帧深度图像进行相乘，得到舌头区域之外的图像，进而能够屏蔽掉舌头区域的深度信息。
进一步地，本发明实施例中同样以第k张处理后的深度图像
其中，lk为第k张处理后的深度图像的平均深度值；a为第k张处理后的深度图像的宽度；b为第k张处理后的深度图像的高度；
进一步地，通过上述计算公式分别对深度图像序列sd中每一张深度图像进行同样的处理，得到深度值序列l。
进一步地，利用深度值序列l对上述得到的面积序列a和像素值序列g进行修正：当相邻处理后的深度图像的深度值出现变化时，表示待测人员的面部出现移动，即面部到相机之间的距离也发生了变化。将当前帧处理后的深度图像的深度值减去上一帧的深度值，得到相邻帧的深度值变化量，利用深度值变化量去修正面积序列a和像素值序列g。
进一步地，考虑到相机成像呈现的近小远大的透视效果，因此舌头区域的面积变化分为两个部分：第一部分是待测人员面部移动引起的舌头区域的面积变化；第二部分是待测人员面部与相机之间的距离变化引起舌头区域因近大远小效果引起的面积变化。故本发明实施例以第k张处理后的深度图像为例介绍面积序列a和像素值序列g的修正方法，具体修正过程如下：
1)对rgb图像中舌头区域的第一掩模区域进行处理，得到rgb图像中舌头区域的外接矩形，作为roi区域。
2)参照附图3，实线矩形为第k帧rgb图像中舌头区域的roi区域，虚线矩形为第k-1帧rgb图像中舌头区域的roi区域，相对应的通过深度值得到待测人员面部与相机之间的距离变化为δlk＝|lk-lk-1|，则面积修正公式为：
l＝α×δlk
其中，
3)由于待测人员面部移动产生的面积变化在差值图中被错误地认定为前景区域，进而会保留该面积变化范围内舌头区域的灰度值，造成舌头震颤程度检测的误差，因此需要相对应的修正像素值，则像素值修正公式为：
其中，
进一步地，通过上述修正过程对面积序列a和像素值序列g分别进行修正得到修正后的面积序列an和素值序列gn。
进一步地，在震颤程度评估单元50中，将一段时间t内的修正后的面积序列an和像素值序列gn通过时序分类网络得到舌头的震颤程度。本发明实施例中采用tcn网络进行检测，具体的检测过程如下：
1)根据专业医师的判定，人为标注舌头的震颤等级，并将人为标注的震颤等级通过one-hot编码得到标签数据。本发明实施例中将舌头的震颤等级分为n个等级，等级越高表示舌头震颤越严重。
2)为了训练方便，将数据集和数据标签进行归一化处理，调整至同一的区间，且数据集为多组修正后的面积序列an和像素值序列gn。
3)tcn网络的输入形状为[b，e，2]，输出形状为[b,n]，其中b为batchsize；e为时间尺度，可根据采集时间t内的数据进行设置；2代表2个特征值，即面积和像素值；n代表n种舌头震颤等级的概率，且tcn网络输出的结果为舌头震颤程度的评估结果。
4)tcn网络对数据进行特征提取之后，得到数据的特征描述子，通过全连接层得到最终的输出结果形状为[b，n]，分别对应n种舌头震颤程度的等级。
5)将输出结果经过argmax操作，得到具体的舌头震颤程度等级。
6)tcn网络中的损失函数采用交叉熵损失函数。
优选的，本发明实施例中n的取值为3。
综上所述，本发明实施例提供了一种基于人工智能的舌头震颤程度评估系统，该系统包括关键点检测单元10、图像采集单元20、特征提取单元30、特征修正单元40以及震颤程度评估单元50。该系统通过关键点检测单元10检测到的嘴巴关键点和舌头关键点，输入图像采集单元20判断舌头的稳定状态，以采集一段时间t内舌头的深度图像序列和rgb图像序列，将舌头的rgb图像序列输入特征提取单元30利用帧差法得到差值图序列并提取差值图序列中的面积序列和像素值序列，将舌头的深度图像序列输入特征修正单元40利用待测人员面部与相机之间的距离变化，去修正面积序列和像素值序列，再将修正后的面积序列和像素值序列输入震颤程度评估单元50中的时序分类网络，得到舌头的震颤程度。
通过待测人员面部与相机之间的距离变化去修正差值图序列中的面积序列和像素值序列，一方面能够排除对差值图像分析结果的误差，另一方面能够使得舌头震颤程度评估的结果更精确。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种基于人工智能的舌头震颤程度评估系统，其特征在于，该系统包括：
关键点检测单元，用于利用关键点检测网络获取嘴巴关键点和舌头关键点；
图像采集单元，用于当由所述嘴巴关键点和所述舌头关键点获得的所述舌头的伸展程度在预设阈值内时，确定所述舌头处于稳定状态，进而采集设定时间内所述舌头的深度图像序列和rgb图像序列；
特征提取单元，用于利用帧差法获取所述rgb图像序列中舌头区域的差值图序列，提取所述差值图序列中所述舌头区域的面积序列和所述舌头区域的像素值序列；
特征修正单元，用于通过所述深度图像序列中所述舌头区域之外的图像的所述深度信息，获取所述设定时间内待测人员面部与图像采集设备之间的距离变化量，结合所述舌头区域的面积变化量和像素值变化量，以相对应地修正所述面积序列和所述像素值序列；
震颤程度评估单元，用于将所述修正后的所述面积序列和所述像素值序列输入时序分类网络，得到所述舌头的震颤程度。
2.如权利要求1所述的系统，其特征在于，所述舌头区域是指所述舌头区域的外接矩形。
3.如权利要求1所述的系统，其特征在于，所述图像采集单元中所述舌头的伸展程度是通过计算所述嘴巴关键点和所述舌头关键点的位置距离得到的。
4.如权利要求3所述的系统，其特征在于，所述图像采集单元中当所述伸展程度大于第一阈值且所述伸展程度的变化量小于第二阈值时，判断所述舌头处于稳定状态。
5.如权利要求1所述的系统，其特征在于，所述特征修正单元中所述舌头区域之外的图像的深度信息是所述图像的平均深度值。
6.如权利要求2所述的系统，其特征在于，所述特征修正单元中所述修正所述面积序列是利用所述舌头区域的面积序列减去对应的所述面积变化量。
7.如权利要求6所述的系统，其特征在于，所述特征修正单元中所述修正所述像素值序列是利用所述舌头区域的像素值序列减去对应的所述像素值变化量。
8.如权利要求6所述的系统，其特征在于，所述特征修正单元中所述修正所述面积序列的公式为：
其中，
9.如权利要求8所述的系统，其特征在于，所述特征修正单元中所述外接矩形缩放的宽度是由所述外接矩形的尺寸缩放系数与所述距离变化量相乘得到的。
10.如权利要求7所述的系统，其特征在于，所述特征修正单元中所述修正所述像素值序列的公式为：
其中，
