本发明涉及人机协作，尤其涉及的是一种人机协作方法、装置、智能终端及存储介质。
背景技术：
1、人机协作(hrc)作为工业5.0中最具前景的一种范式，正在智能制造领域逐渐得到广泛应用。在此模式下，人类操作员和机器人在生产线上紧密合作，共同完成任务。与传统的仅侧重于利润和生产效率的模式相比，人机协作更强调人的福祉和舒适，试图创建一个更为人性化的工作环境，具有巨大的潜力和应用价值。然而，为了实现人机之间的高效协作，机器人需要具备准确且及时感知人体动作和姿态的能力。
2、数字孪生技术是一种能够创建物理对象的虚拟副本的技术，可以在虚拟环境中模拟和预测物理对象的行为。在人机协作技术领域，人体数字孪生(hdt)模型可以作为人体的数字代表，帮助机器人更好地理解和预测人类操作员的动作和意图。但是，现有技术对利用视觉感知技术实现基于hdt模型的人机协作方案，通常仅侧重于处理单一的任务，如姿态识别或动作识别，且容易引起操作人员的不适，存在安全隐患，因此无法设计出全面且安全的人机协作方法规划方案。
技术实现思路
1、鉴于上述现有技术的不足，本发明的目的在于提供一种人机协作方法、装置、智能终端及存储介质，旨在解决现有技术中的基于hdt模型的人机协作方案存在的因缺乏对人体状态的全面理解和分析，而无法设计出全面且安全的人机协作方法的问题。
2、为了实现上述目的，本发明第一方面提供一种基于人体数字孪生模型的人机协作方法，方法包括：
3、获取人机共融场景下的目标深度图像和目标视频流；
4、采用人体数字孪生模型中的三维姿态参数化网络对所述目标深度图像进行三维姿态参数化，获得三维姿态参数，并基于所述三维姿态参数，构建人体姿态；
5、基于所述人体姿态，提取出人体关节点序列，并采用预设的时空图卷积网络对所述人体关节点序列进行特征提取，获得全局关节点特征；
6、采用人体数字孪生模型中的风险评估网络对所述全局关节点特征进行风险评估，获得人机工程学风险指数；
7、采用人体数字孪生模型中的行为意图识别网络对所述全局关节点特征和所述目标视频流进行识别和分类，获得行为意图的分类结果；
8、基于所述人体姿态、所述人机工程学风险指数和所述行为意图的分类结果，做出行为决策并规划运动轨迹。
9、可选的，所述采用人体数字孪生模型中的三维姿态参数化网络对所述目标深度图像进行三维姿态参数化，获得三维姿态参数，并基于所述三维姿态参数，构建人体姿态，包括：
10、对所述目标深度图像进行特征提取，获得目标人体特征；
11、采用人体数字孪生模型中的三维姿态参数化网络对所述目标人体特征进行三维姿态参数化，获得三维姿态参数，且所述三维姿态参数至少包括空间旋转参数、空间平移参数、姿态参数和形状参数；
12、采用预设的参数化人体模型对所述姿态参数和所述形状参数进行参数化处理，获得人体稠密网格；
13、基于所述人体稠密网格、所述空间旋转参数和所述空间平移参数，采用已训练的三维人体姿态感知网络进行三维姿态和关节估计，获得人体姿态。
14、可选的，所述采用预设的时空图卷积网络对所述人体关节点序列进行特征提取，获得全局关节点特征，包括：
15、将所述人体关节点序列拆分为若干个人体关节点子序列，采用匹配的时空图卷积网络分别对所述人体关节点子序列进行处理，获得相应的局部时-空图；
16、利用预设的聚合网络将所有所述局部时-空图进行特征融合，获得全局关节点特征。
17、可选的，所述采用人体数字孪生模型中的行为意图识别网络对所述全局关节点特征和所述目标视频流进行识别和分类，获得行为意图的分类结果，包括：
18、对所述目标视频流进行特征提取，获得时空数据特征；
19、将所述全局关节点特征和所述时空数据特征进行叠加，获得融合特征；
20、利用人体数字孪生模型中的行为意图识别网络对所述融合特征进行识别和分类处理，获得行为意图的分类结果。
21、可选的，所述基于所述人体姿态、所述人机工程学风险指数和所述行为意图的分类结果，做出行为决策并规划运动轨迹，包括：
22、基于所述行为意图的分类结果，获得行为决策结果；
23、基于所述行为决策结果，利用所述人体姿态和所述人机工程学风险指数进行运动路径规划，获得与所述行为决策结果相匹配的运动轨迹。
24、可选的，还包括对所述人体数字孪生模型进行训练的步骤，具体包括：
25、采集人机共融场景下的深度图像样本和视频流样本，获得训练集，并对所述训练集进行人工标注，获得人工标注结果；
26、将所述深度图像样本输入初始三维姿态参数化网络，生成人体姿态样本；
27、将所述人体姿态样本与所述人工标注结果进行对比并优化训练，获得所述三维姿态参数化网络；
28、利用所述三维姿态参数化网络，更新所述人体姿态样本，并基于所述人体姿态样本，生成全局关节点特征样本；
29、将所述全局关节点特征样本输入初始风险评估网络，获得人机工程学风险指数样本；
30、将所述全局关节点特征和所述视频流样本输入初始行为意图识别网络，获得行为意图的分类结果样本；
31、将所述人机工程学风险指数样本和所述行为意图的分类结果样本同时与所述人工标注结果进行对比并优化训练，获得所述风险评估网络和所述行为意图识别网络；
32、基于所述三维姿态参数化网络、所述风险评估网络和所述行为意图识别网络，构建所述人体数字孪生模型。
33、可选的，还包括对所述目标视频流进行预处理，具体包括：
34、基于目标处理精度，预设特征图维度；
35、根据所述特征图维度对所述目标视频流进行分割、采样和/或缩放中的至少一种处理，更新所述目标视频流。
36、本发明第二方面提供一种基于人体数字孪生模型的人机协作装置，所述模型包括：
37、数据采集模块，用于获取人机共融场景下的目标深度图像和目标视频流；
38、人体姿态重建模块，用于采用人体数字孪生模型中的三维姿态参数化网络对目标深度图像进行三维姿态参数化，获得三维姿态参数，并基于所述三维姿态参数，构建人体姿态；
39、关节点特征提取模块，用于基于所述人体姿态，提取出人体关节点序列，并采用预设的时空图卷积网络对所述人体关节点序列进行特征提取，获得全局关节点特征；
40、人机工程学风险指数评估模块，用于采用人体数字孪生模型中的风险评估网络对所述全局关节点特征进行风险评估，获得人机工程学风险指数；
41、行为意图识别模块，用于采用人体数字孪生模型中的行为意图识别网络对所述全局关节点特征和目标视频流进行识别和分类，获得行为意图的分类结果；
42、行为决策规划模块，用于基于所述人体姿态、所述人机工程学风险指数和所述行为意图的分类结果，做出行为决策并规划运动轨迹。
43、本发明第三方面提供一种智能终端，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于人体数字孪生模型的人机协作，所述基于人体数字孪生模型的人机协作被所述处理器执行时实现任意一项上述基于人体数字孪生模型的人机协作方法的步骤。
44、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于人体数字孪生模型的人机协作，所述基于人体数字孪生模型的人机协作被处理器执行时实现任意一项上述基于人体数字孪生模型的人机协作方法的步骤。
45、与现有技术相比，本方案的有益效果如下：
46、本发明利用人体数字孪生模型对目标深度图像和目标视频流进行处理之后，得到人体姿态、人机工程学风险指数和行为意图的分类结果这三种处理结果，然后人体可以根据所有的处理结果做出行为决策并规划运动轨迹。该方法基于人体数字孪生模型，通过实时对人机协作场景中的人体的3d姿态、行为意图、人机工程学风险指数进行识别和同步到网络空间，实现对人体状态的实时全面理解和响应，确保机器人可以实现高效、安全的执行任务，从而实现更为顺畅的人机协作。
1.基于人体数字孪生模型的人机协作方法，其特征在于，方法包括：
2.根据权利要求1所述的基于人体数字孪生模型的人机协作方法，其特征在于，所述采用人体数字孪生模型中的三维姿态参数化网络对所述目标深度图像进行三维姿态参数化，获得三维姿态参数，并基于所述三维姿态参数，构建人体姿态，包括：
3.根据权利要求1所述的基于人体数字孪生模型的人机协作方法，其特征在于，所述采用预设的时空图卷积网络对所述人体关节点序列进行特征提取，获得全局关节点特征，包括：
4.根据权利要求1所述的基于人体数字孪生模型的人机协作方法，其特征在于，所述采用人体数字孪生模型中的行为意图识别网络对所述全局关节点特征和所述目标视频流进行识别和分类，获得行为意图的分类结果，包括：
5.根据权利要求1所述的基于人体数字孪生模型的人机协作方法，其特征在于，所述基于所述人体姿态、所述人机工程学风险指数和所述行为意图的分类结果，做出行为决策并规划运动轨迹，包括：
6.根据权利要求1所述的基于人体数字孪生模型的人机协作方法，其特征在于，还包括对所述人体数字孪生模型进行训练的步骤，具体包括：
7.根据权利要求1所述的基于人体数字孪生模型的人机协作方法，其特征在于，还包括对所述目标视频流进行预处理，具体包括：
8.基于人体数字孪生模型的人机协作装置，其特征在于，包括：
9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于人体数字孪生模型的人机协作程序，所述基于人体数字孪生模型的人机协作程序被所述处理器执行时实现如权利要求1-7任意一项所述基于人体数字孪生模型的人机协作方法的步骤。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于人体数字孪生模型的人机协作程序，所述基于人体数字孪生模型的人机协作程序被处理器执行时实现如权利要求1-7任意一项所述基于人体数字孪生模型的人机协作方法的步骤。
