本发明涉及呼吸训练领域,特别是指一种结合人工智能和vr技术的机器人陪护方法和系统。
背景技术:
1、当前,随着人们生活水平的提高,对于机器人陪护的需求逐渐增加。
2、现有的为老人提供机器人或穿戴设备价格太高,华而不实,智能化程度太低,客户体验差,缺乏个人化特性,功能单一,产品亲和力差,更何况数据记录/监控不等于陪护和诊断预测,更无法满足用户在情感和心理层面的需求。
技术实现思路
1、本发明的主要目的在于克服现有技术中的上述缺陷,提出一种结合人工智能和vr技术的机器人陪护方法,将人工智能和vr技术相结合,不仅能够方便快捷地对用户生理监测异常时进行专业问询,还能够识别出患者的情绪,满足用户心理层面的陪护。
2、本发明采用的技术方案,
3、一种结合人工智能和vr技术的机器人陪护方法,包括机器人,所述机器人上搭载传感器、摄像头;所述方法具体包括:
4、获取传感器采集的用户生理参数数据,以及摄像头拍摄的用户面部图像;所述用户生理参数数据包括但不限于心率、体温和血压;
5、检测用户生理参数数据,当为异常时,触发虚拟医护场景,机器人投射显示虚拟医护场景,用户进行虚拟医护交互;
6、当检测用户生理参数数据为正常时,根据拍摄的用户面部图像,进行情绪识别;
7、当识别情绪为异常时,触发虚拟趣味场景,机器人投射显示虚拟趣味场景,用户进行趣味场景互动。
8、具体地,所述虚拟医护场景搭建具体为:
9、利用3d建模软件,创建医生诊室的虚拟模型;
10、获取医疗问询和指导的视频内容,整合到虚拟环境中;
11、构建交互方式,使用户能够与虚拟环境进行互动,所述交互方式包括但不限于手势识别、语音控制问答、体征监测。
12、具体地,根据拍摄的用户面部图像,进行情绪识别,具体为:
13、首先从拍摄的用户面部图像中,采用人脸检测和关键点定位方法来提取面部特征,获取用户面部表情数据;
14、使用已标记好的面部表情数据集作为训练样本,对构建的情绪分类模型进行训练,所述情绪分类模型包括但不限于支持向量机、卷积神经网络和循环神经网络;
15、将获取的用户面部表情数据输入到训练好的模型进行情绪分类识别,输出情绪类别。
16、具体地,所述采用人脸检测方法和关键点定位方法来提取面部特征,获取用户面部表情数据,具体为:
17、首先利用人脸检测方法,采用哈尔特征在拍摄的用户面部图像中滑动窗口进行检测;
18、对每个窗口应用adaboost算法,以选择最佳分类器,区分用户人脸区域和非人脸区域;
19、将用户人脸区域输入人脸关键点检测器中训练好的形状预测模型,识别面部的特征点,所述特征点包括但不限于眼睛、鼻子、嘴唇;
20、输出面部的特征点的坐标,得到面部表情数据。
21、具体地,虚拟趣味场景搭建具体为:
22、利用3d建模软件,根据实景创建虚拟场景,包括但不限于色彩、光线;
23、获取景点视频或家人影像,整合到虚拟环境中;
24、构建交互方式,使用户能够与虚拟环境进行互动,所述交互方式包括但不限于手势识别、语音控制。
25、具体地,检测用户生理参数数据,当生理参数为异常时,具体为:
26、获取用户生理参数数据,将用户生理参数数据与预先存储生理参数正常范围进行比对,
27、若存在两个或两个以上生理参数未在生理参数正常范围内,则提示生理参数为异常。
28、本发明实施例另一方面提供一种结合人工智能和vr技术的机器人陪护系统,包括机器人,所述机器人上搭载传感器、摄像头;具体包括:
29、获取单元:获取传感器采集的用户生理参数数据,以及摄像头拍摄的用户面部图像;所述用户生理参数数据包括但不限于心率、体温和血压;
30、虚拟医护场景触发单元:检测用户生理参数数据,当为异常时,触发虚拟医护场景,提示用户佩戴vr眼镜,进行虚拟医护交互;
31、情绪识别单元:当检测用户生理参数数据为正常时,根据拍摄的用户面部图像,进行情绪识别;
32、虚拟趣味场景触发单元:当识别情绪为异常时,触发虚拟趣味场景,提示用户佩戴vr眼镜,进行趣味场景互动。
33、本发明再一方面提供一种电子设备,包括:存储器,处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现上述一种结合人工智能和vr技术的机器人陪护步骤。
34、本发明又一方面提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述一种结合人工智能和vr技术的机器人陪护步骤。
35、由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
36、本发明提供了一种结合人工智能和vr技术的机器人陪护方法,包括机器人,所述机器人上搭载传感器、摄像头;具体包括:获取传感器采集的用户生理参数数据,以及摄像头拍摄的用户面部图像;所述用户生理参数数据包括但不限于心率、体温和血压;检测用户生理参数数据,当为异常时,触发虚拟医护场景,机器人投射显示虚拟医护场景,用户进行虚拟医护交互;当检测用户生理参数数据为正常时,根据拍摄的用户面部图像,进行情绪识别;当识别情绪为异常时,触发虚拟趣味场景,机器人投射显示虚拟趣味场景,用户进行趣味场景互动;本发明提出了一种结合人工智能和vr技术的机器人陪护方法,将人工智能和vr技术相结合,不仅能够方便快捷地对用户生理监测异常时进行专业问询,还能够识别出患者的情绪,满足用户心理层面的陪护。
1.一种结合人工智能和vr技术的机器人陪护方法,其特征在于,包括机器人,所述机器人上搭载传感器、摄像头;所述方法具体包括:
2.根据权利要求1所述的一种结合人工智能和vr技术的机器人陪护方法,其特征在于,所述虚拟医护场景搭建具体为:
3.根据权利要求1所述的一种结合人工智能和vr技术的机器人陪护方法,其特征在于,根据拍摄的用户面部图像,进行情绪识别,具体为:
4.根据权利要求1所述的一种结合人工智能和vr技术的机器人陪护方法,其特征在于,所述采用人脸检测方法和关键点定位方法来提取面部特征,获取用户面部表情数据,具体为:
5.根据权利要求1所述的一种结合人工智能和vr技术的机器人陪护方法,其特征在于,虚拟趣味场景搭建具体为:
6.根据权利要求1所述的一种结合人工智能和vr技术的机器人陪护方法,其特征在于,检测用户生理参数数据,当生理参数为异常时,具体为:
7.一种结合人工智能和vr技术的机器人陪护系统,其特征在于,包括机器人,所述机器人上搭载传感器、摄像头;具体包括:
8.一种电子设备,其特征在于,包括:存储器,处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现权利要求1-6之一所述的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6之一所述的方法步骤。