基于图结构的人脸分区特征关联的中医功能态辨析方法

    专利2026-01-20  6


    本发明属于计算机软件,特别涉及基于图结构的人脸分区特征关联的中医功能态辨析方法。


    背景技术:

    1、中医“功能态”是指人体脏腑器官的功能活动表现状态,包括生理功能的协调与平衡,以及与其他脏腑的相互作用的健康状态。中医面诊认为,人体功能态可以通过脸部的变化反映出来,通过观察面部的变化,中医医师可以推测出可能的健康问题,并根据这些观察结果制定相应的治疗方案。在物联网场景中,将中医面诊与计算机视觉分类技术相结合,可以高效的辅助中医功能态监测,有助于亚健康及时干预。

    2、现有技术中,中国专利公开号为cn202210093004.3提供的一种基于人脸特征检测的中医面诊辅助诊断方法,包括采集人脸图像,对所述人脸图像的面诊关键特征进行标注,以用于人脸特征检测模型训练,所述面诊关键特征包括斑、痣、痘、血丝、横纹中的至少一种;采用人脸关键点检测算法获取面诊所需的人脸区域,以根据所述人脸关键点定位对所述人脸图像进行中医面诊分区;将人脸图像通过卷积神经网络结构提取所述面诊关键特征,卷积神经网络结构包括至少通过一次卷积层、一次池化层、一次特征融合和一次特征金字塔;结合所述面诊关键特征和所述中医面诊分区,根据医学逻辑判断得到中医面诊诊断结果。该发明可自动提取斑、痣、痘、横纹等人脸关键特征,有效支撑中医面诊诊断准确性的提高。

    3、但上述方法的输出结果不全面,仅获取了人脸的一些特征,缺乏各个区域之间的相关性,没有区域关联分析,准确性也有待提高;并且人脸各个区域的状态是身体五脏六腑的一个映射,在中医中五脏六腑具有一定的关联,现有技术中并未将人脸特征与五脏六腑进行关联,对中医面诊诊断的辅助效果有待提高。


    技术实现思路

    1、本发明的目的在于克服现有技术只是单独分析面部各个区域的状态,从而判定整个人脸图像所映射的功能态,判定结果没有结合面部各区域之间的关联,造成判定结果不准确、不全面的问题,提出基于图结构的人脸分区特征关联的中医功能态辨析方法,创建功能态辨析模型,能够通过学习训练将人脸图像各个区域映射的功能态联系起来,综合判断整个人脸图像所映射的功能态,结果更准确,过程更客观,可以更好辅助中医诊断。

    2、为了实现上述发明目的,本发明提供了以下技术方案:

    3、基于图结构的人脸分区特征关联的中医功能态辨析方法,该方法包括:

    4、s1,获取标注数据集,步骤包括:采集人脸图像并进行分区,根据中医功能态对各面部分区进行数据标注,得到功能态标记图像,所述功能态标记图像组成所述标注数据集;

    5、s2,将所述标注数据集作为功能态辨析模型的输入,训练所述功能态辨析模型,得到训练完备的所述功能态辨析模型;所述功能态辨析模型包括:面部特征提取模块、图注意力神经网络模块和全连接层;

    6、所述面部特征提取模块从所述功能态标记图像中提取各面部分区的面部区域特征;所述图注意力神经网络模块为所述面部区域特征分配权重,建立各所述面部区域特征之间的关联;所述全连接层对分配权重后的所述面部区域特征输入进行分类任务,并根据损失函数计算分类任务的损失,训练所述功能态辨析模型;

    7、s3,基于训练完备的所述功能态辨析模型对人脸图像进行功能态辨析,得到功能态分析结果。

    8、作为本发明的优选方案,采集人脸图像后对所述人脸图像依次进行图像尺寸统一、直方图均衡化、人脸检测与对齐、数据增强和归一化,完成所述人脸图像的预处理。

    9、作为本发明的优选方案,所述面部区域包括额和眉心、鼻、左眼、右眼、左脸颊、右脸颊、嘴、下巴。

    10、作为本发明的优选方案,各个所述面部区域的划分方法包括:使用dan级联网络对预处理后的所述人脸图像进行面部关键点检测,定位各所述面部区域的关键点,通过所述关键点连线确定各个所述面部区域。

    11、作为本发明的优选方案,所述数据标注的步骤包括:在采集所述人脸图像时,进行中医问诊,得到该人脸图像的所述面部区域所代表的功能态,并创建功能态标签统一所述功能态的名称。

    12、作为本发明的优选方案,所述功能态标签包括心肾不交、心肾阳虚、心肺气虚、心脾两虚、心肝血虚、脾肺气虚、肺肾阴虚、肝火犯肺、肝胃不和、肝郁脾虚、肝肾阴虚、脾肾阳虚。

    13、作为本发明的优选方案,所述面部区域特征通过多维向量表示,所述多维向量包括颜色、纹理、形状和斑点的特征向量。

    14、作为本发明的优选方案,所述图注意力神经网络模块为所述面部区域特征分配权重的步骤包括:将所述面部区域作为面部拓扑图的节点,将各所述节点的所述面部区域特征作为所述图注意力神经网络模块的输入特征,引入共享的注意力网络使每个节点参与其他所有节点的信息传递,并通过共享的权重矩阵为每个所述节点分配不同的注意力值;所述注意力值再经过归一化,得到注意力因子,最终计算得到每个所述节点的输出特征。

    15、作为本发明的优选方案,所述全连接层训练所述功能态辨析模型的步骤包括:将所述输出特征作为所述全连接层的输入,进行分类任务,并使用交叉熵损失函数计算所述分类任务的损失,通过优化器进行反向传播和优化,完成所述功能态辨析模型的训练。

    16、基于相同的构思,本发明还提出基于图结构的人脸分区特征关联的中医功能态辨析装置,其特征在于,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项所述的基于图结构的人脸分区特征关联的中医功能态辨析方法。

    17、与现有技术相比,本发明的有益效果:

    18、本发明创建功能态辨析模型,通过图注意力神经网络模块建立各面部区域所映射的功能态之间的关联,综合判断人脸图像所映射的功能态,面部与脏腑之间的功能态的映射更能准确;功能态辨析模型通过学习训练后可以自主完成功能态的辨析,可应用于智能医疗设备和手机应用程序,不仅可以节省医疗资源,同时使得判断更加客观化。



    技术特征:

    1.基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,该方法包括:

    2.根据权利要求1所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,采集人脸图像后对所述人脸图像依次进行图像尺寸统一、直方图均衡化、人脸检测与对齐、数据增强和归一化,完成所述人脸图像的预处理。

    3.根据权利要求2所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,所述面部区域包括额和眉心、鼻、左眼、右眼、左脸颊、右脸颊、嘴、下巴。

    4.根据权利要求3所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,各个所述面部区域的划分方法包括:使用dan级联网络对预处理后的所述人脸图像进行面部关键点检测,定位各所述面部区域的关键点,通过所述关键点连线确定各个所述面部区域。

    5.根据权利要求4所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,所述数据标注的步骤包括:在采集所述人脸图像时,进行中医问诊,得到该人脸图像的所述面部区域所代表的功能态,并创建功能态标签统一所述功能态的名称。

    6.根据权利要求5所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,所述功能态标签包括心肾不交、心肾阳虚、心肺气虚、心脾两虚、心肝血虚、脾肺气虚、肺肾阴虚、肝火犯肺、肝胃不和、肝郁脾虚、肝肾阴虚、脾肾阳虚。

    7.根据权利要求6所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,所述面部区域特征通过多维向量表示,所述多维向量包括颜色、纹理、形状和斑点的特征向量。

    8.根据权利要求7所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,所述图注意力神经网络模块为所述面部区域特征分配权重的步骤包括:将所述面部区域作为面部拓扑图的节点,将各所述节点的所述面部区域特征作为所述图结构神经网络模块的输入特征,引入共享的注意力网络使每个节点参与其他所有节点的信息传递,并通过共享的权重矩阵为每个所述节点分配不同的注意力值;所述注意力值再经过归一化,得到注意力因子,最终计算得到每个所述节点的输出特征。

    9.根据权利要求8所述的基于图结构的人脸分区特征关联的中医功能态辨析方法,其特征在于,所述全连接层训练所述功能态辨析模型的步骤包括:将所述输出特征作为所述全连接层的输入,进行分类任务,并使用交叉熵损失函数计算所述分类任务的损失,通过优化器进行反向传播和优化,完成所述功能态辨析模型的训练。

    10.基于图结构的人脸分区特征关联的中医功能态辨析装置,其特征在于,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至9中任一项所述的基于图结构的人脸分区特征关联的中医功能态辨析方法。


    技术总结
    本发明公开了基于图结构的人脸分区特征关联的中医功能态辨析方法,方法包括:S1,对各采集的人脸图像进行面部分区并根据中医功能态数据标注,获取标注数据集;S2,将所述标注数据集作为功能态辨析模型的输入,训练所述功能态辨析模型,得到训练完备的所述功能态辨析模型;所述功能态辨析模型中包括图注意力神经网络模块,为所述各面部分区的面部区域特征分配权重,建立各所述面部区域特征之间的关联;S3,基于训练完备的所述功能态辨析模型对人脸图像进行功能态辨析。本发明的中医功能态辨析方法不仅能够分析各面部区域与脏腑之间的映射关系,还考虑了面部区域之间的联系,得到的功能态辨析结果更加准确且客观化,更好的辅助中医诊断。

    技术研发人员:温川飙,朱红霞,许雅馨,赵智慧,赵姝婷,许强,李子奇,屈旭,杨涛
    受保护的技术使用者:成都中医药大学
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-94038.html

    最新回复(0)