本发明涉及电力安全技术领域，尤其涉及一种基于深度学习从视频中判别人体意外摔倒方法及装置。
背景技术：
人体突然跌倒的原因很多，一般情况需要及时就医。但是，在电力行业尤其是升压站里，环境复杂，高压环境多。巡检人员突然跌倒没有及时得到帮助有可能带来二次伤害，需要立即处理，传统的办法依赖监控巡视来进行人员观察，效率慢并且要求值班人员全神贯注。随着机器学习技术的长足发展，依赖视频进行自动判断的人体跌倒的技术日趋成熟。
目前，对于跌倒行为的检测方法主要有两种。一种是基于穿戴式传感器的跌倒检测技术；另一种则是基于视频的检测技术。基于穿戴式传感器的跌倒检测技术准确性高，但是成本过高，且穿戴不舒适。基于视频的跌倒的检测技术是利用一个或多个摄像头提取到的人体轮廓运动特征来进行识别。但是跌倒是一种运动或者说行为，目前所见技术一般以静态图像为判断依据，以人体躯干的位置或角度来判断是否跌倒，具有较大的局限性，存在误判。
因此，有必要提出一种基于深度学习从视频中判别人体意外摔倒方法及装置，以解决上述问题。
技术实现要素：
本发明提供一种基于深度学习从视频中判别人体意外摔倒的方法及装置，以解决现有识别方式存在的容易误判的问题。
第一方面，本发明提供一种基于深度学习从视频中判别人体意外摔倒的方法，包括：
获取包含人体的视频数据；
利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，其中，n是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
从每秒所述视频数据中抽取前后连续的k帧数据；
利用所述前后连续的k帧数据组成新矩阵n*k*m*3，其中，n是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
确定所述新矩阵中每个人体的躯干的中心点的坐标；
计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
结合第一方面，在第一方面的第一种可实现方式中，利用深度学习模型提取人体的关键骨骼点的步骤中，所述关键骨骼点的关键特征点的总数为25个。
结合第一方面，在第一方面的第二种可实现方式中，从每秒所述视频数据中抽取前后连续的k帧数据的步骤中，k为5。
结合第一方面，在第一方面的第三种可实现方式中，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第一阈值为1.2。
结合第一方面，在第一方面的第四种可实现方式中，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第二阈值为200％。
第二方面，本发明提供一种基于深度学习从视频中判别人体意外摔倒的装置，包括：
获取单元，用于获取包含人体的视频数据；
提取单元，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
第一确定单元，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，其中，n是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
抽取单元，用于从每秒所述视频数据中抽取前后连续的k帧数据；
组成单元，用于利用所述前后连续的k帧数据组成新矩阵n*k*m*3，其中，n是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
第一计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
第二计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
第二确定单元，用于确定所述新矩阵中每个人体的躯干的中心点的坐标；
第三计算单元，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
第四计算单元，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断单元，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
输出单元，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
结合第二方面，在第二方面的第一种可实现方式中，所述关键骨骼点的关键特征点的总数为25个。
结合第二方面，在第二方面的第二种可实现方式中，k为5。
结合第二方面，在第二方面的第三种可实现方式中，所述第一阈值为1.2。
结合第二方面，在第二方面的第四种可实现方式中，所述第二阈值为200％。
由以上技术方案可知，本发明的基于深度学习技术从视频中判别人体意外摔倒的方法及装置，通过获取包含人体的视频数据，利用深度学习模型提取人体的关键骨骼点，引入三维坐标系，确定关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据，利用前后连续的k帧数据组成新矩阵n*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，根据帧数k换算出对应的视频时间长度，并根据角动量偏移和视频时间长度计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，并在人体符合预设的跌倒判定条件，输出判定结果为人体产生跌倒，通过上述流程，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为基于深度学习技术从视频中判别人体意外摔倒的方法的流程图。
图2为人体的关键骨骼点以及关键特征点的分布示意图。
图3为基于深度学习技术从视频中判别人体意外摔倒的装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，本发明第一实施例提供一种基于深度学习从视频中判别人体意外摔倒的方法，该方法的执行主体为处理器，该方法包括：
步骤s101，获取包含人体的视频数据。
具体地，包含人体的视频数据可以通过视频图像采集装置采集，视频图像采集装置采集到包含人体的视频数据后，可以将数据传输至处理器。视频图像采集装置具体可以是在电力行业升压站里设置的摄像头。
步骤s102，利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝。其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点。
具体地，如图2所示，人体的关键骨骼点可以包含从头到脚的多个区域，其中，肩包括两个关键特征点(图2中的2和5)，肘包括两个关键特征点(图2中的3和6)，头包括一个关键特征点(图2中0)，躯干包括四个关键特征点(图2中1、8、9、12)，膝包括两个关键特征点(图2中的10和13)，关键特征点的总数为25个。
步骤s103，引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，其中，n是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
在本实施例中，n*m*3矩阵即为n*25*3矩阵，记载了视频数据每个人体的25个关键特征点中，每个关键特征点的三维坐标。
步骤s104，从每秒所述视频数据中抽取前后连续的k帧数据。
在本实施例中，可从每秒所述视频数据中抽取前后连续的5帧数据。
步骤s105，利用所述前后连续的k帧数据组成新矩阵n*k*m*3，其中，n是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
在本实施例中，n*k*m*3即为n*5*25*3矩阵，记载了视频数据每个人体的5帧中的每一帧中25个关键特征点的三维坐标。
步骤s106，计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量。
具体地，上述计算方法为现有技术。
步骤s107，计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移。
具体地，上述计算方法为现有技术。
步骤s108，确定所述新矩阵中每个人体的躯干的中心点的坐标。
具体地，躯干包括四个关键特征点(图2中1、8、9、12)，根据四个关键特征点的三维坐标确定躯干的中心点的坐标，以根据躯干的中心点的坐标计算躯干的中心点的相对位移。上述确定方法为现有技术。
步骤s109，计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移。
具体地，上述计算方法为现有技术。
步骤s110，根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度。
具体地，上述计算方法为现有技术。
步骤s111，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移。
在本实施例中，跌倒判定条件为同时满足以下条件：
1)肩、肘、头以及膝的关键特征点的角动量的加速度大于1.2。
2)肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于200％。
3)头的关键特征点的相对位移大于躯干中心点的相对位移。
步骤s112，如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
由以上技术方案可知，本发明的基于深度学习技术从视频中判别人体意外摔倒的方法，通过获取包含人体的视频数据，利用深度学习模型提取人体的关键骨骼点，引入三维坐标系，确定关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，从每秒视频数据中抽取前后连续的k帧数据，利用前后连续的k帧数据组成新矩阵n*k*m*3，计算新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量以及相对位移，确定新矩阵中每个人体的躯干的中心点的坐标，计算新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移，根据帧数k换算出对应的视频时间长度，并根据角动量偏移和视频时间长度计算角动量的加速度，判断新矩阵中每个人体是否符合预设的跌倒判定条件，并在人体符合预设的跌倒判定条件，输出判定结果为人体产生跌倒，通过上述流程，可以准确判断意外跌倒，不会将一般体育运动、表演等动作误判为人体跌倒。
如图3所示，本发明还提供一种基于深度学习从视频中判别人体意外摔倒的装置，包括：
获取单元31，用于获取包含人体的视频数据。
提取单元32，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点。
第一确定单元33，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，其中，n是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
抽取单元34，用于从每秒所述视频数据中抽取前后连续的k帧数据。
组成单元35，用于利用所述前后连续的k帧数据组成新矩阵n*k*m*3，其中，n是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量。
第一计算单元36，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量。
第二计算单元37，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移。
第二确定单元38，用于确定所述新矩阵中每个人体的躯干的中心点的坐标。
第三计算单元39，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移。
第四计算单元40，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度。
判断单元41，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移。
输出单元42，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
在本实施例中，所述关键骨骼点的关键特征点的总数为25个，k为5，所述第一阈值为1.2，所述第二阈值为200％。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于深度学习技术从视频中判别人体意外摔倒的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：rom)或随机存储记忆体(英文：randomaccessmemory，简称：ram)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于深度学习技术从视频中判别人体意外摔倒的装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
1.一种基于深度学习从视频中判别人体意外摔倒的方法，其特征在于，包括：
获取包含人体的视频数据；
利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，其中，n是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
从每秒所述视频数据中抽取前后连续的k帧数据；
利用所述前后连续的k帧数据组成新矩阵n*k*m*3，其中，n是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
确定所述新矩阵中每个人体的躯干的中心点的坐标；
计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
如果人体符合预设的跌倒判定条件，输出判定结果为所述人体产生跌倒。
2.如权利要求1所述的方法，其特征在于，利用深度学习模型提取人体的关键骨骼点的步骤中，所述关键骨骼点的关键特征点的总数为25个。
3.如权利要求1所述的方法，其特征在于，从每秒所述视频数据中抽取前后连续的k帧数据的步骤中，k为5。
4.如权利要求1所述的方法，其特征在于，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第一阈值为1.2。
5.如权利要求1所述的方法，其特征在于，判断所述新矩阵中每个人体是否符合预设的跌倒判定条件的步骤中，所述第二阈值为200％。
6.一种基于深度学习从视频中判别人体意外摔倒的装置，其特征在于，包括：
获取单元，用于获取包含人体的视频数据；
提取单元，用于利用深度学习模型提取人体的关键骨骼点，所述关键骨骼点至少包括肩、肘、头、躯干以及膝，其中，肩包括两个关键特征点，肘包括两个关键特征点，头包括一个关键特征点，躯干包括四个关键特征点，膝包括两个关键特征点；
第一确定单元，用于引入三维坐标系，确定所述关键特征点在三维坐标系中的坐标，输出n*m*3矩阵，其中，n是人体的数量，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
抽取单元，用于从每秒所述视频数据中抽取前后连续的k帧数据；
组成单元，用于利用所述前后连续的k帧数据组成新矩阵n*k*m*3，其中，n是人体的数量，k是帧数，m是关键特征点的数量，3是三维坐标系的坐标轴数量；
第一计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的趋势向量；
第二计算单元，用于计算所述新矩阵中每个人体的肩、肘、头、躯干以及膝的关键特征点的相对位移；
第二确定单元，用于确定所述新矩阵中每个人体的躯干的中心点的坐标；
第三计算单元，用于计算所述新矩阵中每个人体的肩、肘、头以及膝的关键特征点相对于躯干的中心点的角动量偏移；
第四计算单元，用于根据帧数k换算出对应的视频时间长度，并根据所述角动量偏移和视频时间长度计算角动量的加速度；
判断单元，用于判断所述新矩阵中每个人体是否符合预设的跌倒判定条件，其中，所述跌倒判定条件为同时满足以下条件：肩、肘、头以及膝的关键特征点的角动量的加速度大于第一阈值，肘、膝的关键特征点的趋势向量与躯干的关键特征点的趋势向量的差值大于第二阈值，头的关键特征点的相对位移大于躯干中心点的相对位移；
输出单元，用于在人体符合预设的跌倒判定条件的情况下，输出判定结果为所述人体产生跌倒。
7.如权利要求6所述的装置，其特征在于，所述关键骨骼点的关键特征点的总数为25个。
8.如权利要求6所述的装置，其特征在于，k为5。
9.如权利要求6所述的装置，其特征在于，所述第一阈值为1.2。
10.如权利要求6所述的装置，其特征在于，所述第二阈值为200％。
技术总结