本发明属于电力信息化技术领域，具体涉及一种应用于电力作业现场的视觉智能动态识别模型构建方法。
背景技术：
现有电力设备的监控装置中，通常采用硬件隔离法或明显标识法对电力作业人员防触电现场进行监控，其中硬件隔离通常采用绝缘材料制作的各类器具将带电体或施工现场与人有效隔离，从而杜绝人身触电事故或非工作人员闯入电力施工现场。但是此种方法每次施工都需要携带大量隔离挡板，受限于施工场地大小，由此携带的隔离挡板或多或少，给每次施工带来很大的不便；而明显标识法通常则使用色标、警示牌等标志将带电设备或电力施工现场加以提示。
规范的工作现场，除悬挂常规标识牌(如“在此工作”、“止步，高压危险”)外，还应根据现场实际需要增配“上方带电区”等警示牌以及色标、布幔等各类标志，必要时还要设置语音报警提示以确保工作人员在作业转移时能及时看到、听到、收到警示和提醒，防止因一时麻痹大意而误入施工现场或误触带电设备。此种方法对非作业人员仅是警示作用，无有效防止其进入作业现场的能力，且现有电力作业现场复杂，施工作业要求规范，科技设备混合应用，构成了多作业点的复杂作业环境，为了有效避免电力作业安全事故的发生，需设计一套电力作业安全监理机器人预警设备。
目前对非施工人员的误入施工现场仍无非常有效的防范措施，仅靠现场监理人员或提示牌，警示语，无法有效的预防非施工人员进入施工现场，因此急需一种改进型技术，解决现有施工现场中所采用的由现场监督人员人力监管的落后技术的问题。
技术实现要素：
本发明的目的是为了解决现有技术的不足，提供一种应用于电力作业现场的视觉智能动态识别模型构建方法，抛弃传统的物理隔绝电力施工现场隔离挡板的装置方案，系统自动识别非工作人员，并通过动作捕捉识别人员意图，在其欲进入施工现场对其提前预警，并实时对现场监理人员进行提醒。
为实现上述目的，本发明采用的技术方案如下：
一种应用于电力作业现场的视觉智能动态识别模型构建方法，包括如下步骤：
s1.利用基于神经网络算法的人脸识别装置、深度学习的人体行为识别装置、电子围栏装置和智能监控目标跟踪装置实现对电力施工作业区域非施工人员的入侵行为进行警示提醒；
s2.通过神经网络算法的人脸识别装置精准捕捉人脸信息并进行识别、抓拍不规范施工行为，保障电力施工人员的规范施工；
s3.当有人员闯入施工现场边界时，首先通过人脸识别装置识别闯入人员是否是现场施工人员，如果是电力作业现场施工人员则通过着装算法识别施工人员是否着装规范，如果着装不规范，则提示施工人员和现场监理人员，着装规范之后则全程监管施工人员的施工方法；
s4.监控施工步骤是否符合施工规范，如果有不规范的地方则实时提醒施工人员以及现场监理人员，帮助施工人员及时纠正不规范施工的地方，保障施工全过程规范施工；
s5.在施工完成之后及时上传施工视频至云端或保存施工视频数据至本地，以待事后对施工环节的复盘分析，通过视频全景拼接装置以及电子围栏装置对施工现场进行水平360°，垂直80°的全景全过程监控。
进一步，优选的是，所述基于神经网络算法的人脸识别装置包括如下步骤：
s11.构建特征脸空间：人脸检测、人脸表达、人脸鉴别、表情/姿态分析、生理分类经过预处理后，加载入人脸库，将库中每个对象的前五张人脸载入作为训练集，后五张载入作为测试集，若人脸库中有n个人脸图像，设人脸图像为矩阵，然后将其每一幅人脸nm图像的按行重排成的nm列的行向量，得到训练样本集，然后求出训练样本的均值，即平均脸，为行向量，为突出差异性，减掉平均脸，得到n幅差异图像；
s12.特征提取：将人脸图像中差异性最大的特征提取出来，进行识别工作，在特征子空间对训练集人脸图像进行投影，将测试集图像也投影到特征子空间，该组系数作为人脸识别的依据；
s13.人脸识别：采用pca算法进行特征提取，对特征提取后的人脸进行分类识别，采用最邻近法判断待分类样本与已知样本的距离，对于一个新样本，将其逐个与已知样本进行比较，距离最近的已知样本的类别，作为新样本的类别。
进一步，优选的是，在步骤s13中进行人脸识别的时候，采用人脸识别实验进行图像的预处理，人脸识别实验前对人脸库中的图像进行预处理，采用几何归一化方法使图像不受尺度和角度变化的影响，将表情子图变换为统一尺寸，首先，标定特征点，在matlab中使用[x,y]＝ginput函数标定两眼和鼻子这三个特征点，接着，选择手动标定，获取这三个特征点的坐标值，然后，按照左右两眼坐标值进行旋转图像，达到保证人脸的方向一致性，根据面部特征点及几何模型确定矩形特征区域范围并对矩形区域进行裁剪，最后，用尺度变换使表情子区域图像统一尺寸。
进一步，优选的是，所述基于深度学习的人体行为识别装置包括如下步骤：
s21.构建包含lstm网络的神经网络模型，所述神经网络模型包含：embedding层、lstm、全连接层和softmax层，其中embedding层将输入其中的离散的信号转化成连续的实数向量，将经过embedding层转化后的向量依时序输入到lstm中，经过lstm将描述操作行为的数个时序向量拼接成一个高维向量后输入到全连接层中，并将经过全连接层降维后的向量输入到softmax层中；
s22.获取海量人体行为样本和机器行为的样本，人体行为样本作为正样本，机器行为样本作为负样本，所述正样本集中所包含的样本数量不少于5000条，在正样本集中选择80％的样本作为训练样本，选择20％的样本作为测试样本，所述负样本集中所包含的样本数量不少于5000条，在负样本集中选择80％的样本作为训练样本，选择20％的样本作为测试样本；
s23.使用正、负样本来训练构建好的神经网络模型，神经网络模型的训练采用向前向后算法，当在测试样本集上的准确率达到设置的阈值之后，神经网络模型的训练完成；
s24.通过训练好的神经网络模型来判断所当前页面的操作主体是人还是机器。
进一步，优选的是，在所述步骤s22中，使用鼠标运动轨迹信息的一阶差值来描述操作行为，其中dxi＝xi-xi-1，dyi＝yi-yi-1，dti＝ti-ti-1；其中xi为鼠标的在屏幕位置的横坐标，yi为鼠标在屏幕位置的纵坐标，ti为时刻信息，且训练的正样本来自人在浏览网页时所记录到的鼠标运动轨迹信息，鼠标运动轨迹通过信息通过网络前端函数采集，通过该函数在鼠标进行拖动的过程中，返回鼠标光标在屏幕中的位置和时刻信息，以(x1，y1，t1)、(x2，y2，t2)、(x3，y3，t3)…(xn，yn，tn)的形式返回，从而反映鼠标在移动过程中的鼠标在对应的每个小时段内，在横向的移动速度和纵向移动速度，以及移动横向位移和纵向位移情况；
负样本由机器生成，生成的方式包括在设置的最大取值范围内，随机产生轨迹长度，随机生成(dxi，dyi，dti)；
在正样本中抽取n条轨迹，将抽取到的轨迹随机分割成n个子段，再将分割后形成的数千个子段随机组拼接成新的轨迹；在正样本中抽取m条轨迹；计算出轨迹的横向移动总距离sum(dxi)、纵向移动总距离sum(dyi)、和移动总时间sum(dti)；随机生成横向移动总距离sum(dxi)’、纵向移动总距离sum(dyi)’和移动总时间sum(dti)’，使用以下公式生成新的运动轨迹的描述参数，
其中dxi′、dyi′、dti′分别为新轨迹的横向坐标、纵向坐标、时间的一阶差值；以及，在正样本中抽取k条轨迹，对dxi，dyi，dti分别随机产生[-0.5，0.5]倍的扰动，获得新的运动轨迹的描述参数。
进一步，优选的是，在步骤s5中采用的视频全景拼接装置，利用图像拼接和实景图像组成全景空间，将多幅图像拼接成一幅大尺度图像或360度全景图，包括摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接，以及亮度与颜色的均衡处理步骤。
进一步，优选的是，在应用视频全景拼接装置的时候，采用rj45接口连接8个网络相机视频输出端，通过onvif协议获取8个网络相机的rtsp视频流，采用qt平台中的多线程模块开辟9个子线程，9个子线程中的8个子线程分别采集8个网络相机的视频，另1个子线程对8个子线程的视频图像融合并显示融合的结果；对压缩后的视频流进行解码，并对解码后的视频流进行转换，对转换后的视频逐帧进行图像校正，得到校正后的图像；将校正后的图像转化为灰度图，采用sift算法对转化后的灰度图进行提取特征点，得到特征点的主方向和特征点的描述子；采用ransac算法筛选提取特征点，利用apap算法确定图像配准的单应性变换矩阵h；对rgb视频帧进行拼接，采用渐入渐出的融合方式对每两个相邻的图像对进行融合，输出拼接结果。
进一步，优选的是，在对所述压缩后的视频流进行解码，并对解码后的视频流进行转换的时候，所述网络相机输出的是经过h.264压缩后的格式，采用cuda对压缩后的视频流进行解码；得到解码后的yuv422格式的视频，对yuv422格式的视频转换的到24位的rgb888视频流，通过以下公式表示所述转换过程，
r＝1.164×(y-16) 1.596×(u-128)
g＝1.164×(y-16)-0.813×(u-128)-0.392(v-128)
b＝1.164×(y-16) 2.017×(v-128)
其中，r、g、b分别代表红、绿、蓝三个通道的颜色的值，y、u、v分别表示像素值的亮度、色度和饱和度，并对8路24位的rgb888视频流进行逐帧图像校正，对网络相机进行标定，得到校正后的视频流，调整所述网络相机间的夹角为45度。
进一步，优选的是，在对8路24位的rgb888视频流进行逐帧图像校正，的时候，采用棋盘格标定法求得相机矩阵，对每一帧图像进行点对点映射，对8路24位的rgb888视频流进行逐帧图像校正，得到校正后的视频流。
进一步，优选的是，所述智能电子围栏的脉冲发生器通电后发射端口向前端围栏发出脉冲电压，时间间隔1.5秒发射1次，脉冲在围栏上停留的时间为0.1秒，前端围栏上形成回路后把脉冲回到主机的接收端口，所述端口接收反馈回来的脉冲信号；同时主机还会探测两个发射端之间的电阻值，如果前端围栏遭到破坏造成断路或短路，脉冲主机的接收端口接收不到脉冲信号或两个发射端之间的电阻太小，主机都会发出报警；
智能监控目标跟踪装置包括：提取单元，用于对获取到的监控视频进行前景提取；第一确定单元，用于根据提取到的前景确定第一跟踪框；处理单元，用于利用预设跟踪算法对所述第一跟踪框进行处理，以得到稳定性更强的第二跟踪框；第二确定单元，用于根据所述第一跟踪框和所述第二跟踪框确定目标跟踪框；跟踪单元，用于根据所述目标跟踪框对监控对象进行跟踪。
为规范电力作业现场施工规范，形成全方位无死角的电力作业现场安全监理和防护的电子式围栏，实现人体行为识别、人脸识别等功能，本发明提供了一种应用于电力作业现场的视觉智能动态识别模型构建方法，视频在拼接的过程中需实现无死角无盲区的作业区域，能精准捕捉人脸进行人脸识别、抓拍不规范施工行为，保证电力作业现场施工人员和市民的生命财产安全，多目视频合成图像要区别与横向或纵向的图像拼接装置，考虑到多角度影像重叠，最终形成一个360度的有机无重影的作业区域。
本发明在所述步骤s22中，在进行神经网络训练时，需要海量的训练样本，人体行为训练样本如果采用手动专门进行采集的话，将耗费大量的人力，而现有阶段中通过在web端设置图片验证来采集人体行为，在登录或者浏览网页时，拖动这些验证码实现验证，即可快速累积样本资源，提高运行效率。
本发明通过多角度视频拍摄即时合成装置构建作业现场电子围栏，对作业区域内人员违规穿戴，非作业人员误入现场，带电区域隔离等关系安全作业的若干问题进行实时跟踪、报警和记录，从而避免一些安全事故的发生。本发明方法中如果是非施工人员闯入电力施工现场，则通过声光联动装置及时提醒现场监理人员，并同时提示闯入人员尽快离开电力施工现场，保障电力施工现场的安全施工环境。
本发明与现有技术相比，其有益效果为：
与现有装置相比，本发明提供了一种应用于电力作业现场的视觉智能动态识别模型构建方法，解决非作业人员进入电力施工现场，保障电力施工的安全,通过对电力作业现场的视觉智能动态识别模型的研究，实现对电力施工现场水平360°、垂直80°的大范围全场景实时监控，有效的解决了以往存在的监控死角问题，为每次电力施工留下完整影像监控资料,电子围栏装置以及目标跟踪装置，人体行为识别装置为非施工人员误入现场预警提供了装置参考，取代了现场监督人员人力监管的落后装置。
附图说明
图1为本发明视觉智能动态识别模型构建方法的流程图。
具体实施方式
下面结合实施例对本发明作进一步的详细描述。
本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
提供以下详细的描述以辅助读者获得对本文所描述的方法、装置和/或系统的全面理解。因此，将向本领域的普通技术人员建议本文所描述的方法、装置和/或系统的各种改变、修改和等同物。所描述的处理操作的进展是示例；然而，操作的顺序和/或操作不限于本文所阐述的，并且可以如本领域中已知的那样改变，除了必须以特定顺序发生的操作以外。另外，为了更加清楚和简洁，可以省略公知的功能和结构的相应的描述。
此外，将在下文中参考附图更全面地描述示例性实施例。然而，示例性实施例可以不同的形式实施，并且不应被解释为限于本文所阐述的实施例。提供这些实施例以使得本公开将是彻底且完整的，并且将向本领域的普通技术人员充分地传达示例性实施例。
应该理解，尽管术语第一、第二等可以在本文用于描述各种元件，但这些元件不应该受这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。如本文所使用的术语“和/或”包括一个或多个相关所列项目的任何和所有组合。
应该理解，当元件被称为“连接”或“耦合”到另一元件时，其可以直接连接或耦合到另一元件，或者可以存在中间元件。相反，当元件被称为“直接连接”或“直接耦合”到另一元件时，不存在中间元件。
本文所使用的术语仅是为了描述特定实施例的目的，而不是限制性的。如本文所使用的，除非上下文另有明确说明，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。
现在将详细参考本公开的示例性实施例，本公开的示例在附图中示出，其中相同的参考标号始终表示相同的元件。
然而，本公开可以许多不同的形式实施，并且不应被解释为限于本文所阐述的实施例；相反，提供这些实施例以使得本公开将是彻底的且完整的，并且将向本领域的普通技术人员充分地传达本公开的概念。
参照图1，一种应用于电力作业现场的视觉智能动态识别模型构建方法，抛弃传统的物理隔绝电力施工现场隔离挡板的装置方案，通过系统自动识别非工作人员，并通过动作捕捉识别人员意图，在其欲进入施工现场对其提前预警，并实时对现场监理人员进行提醒。
利用基于深度学习的人体行为识别装置，基于神经网络算法的人脸识别装置，视频全景拼接装置，智能电子围栏装置，以及智能监控目标跟踪装置的应用，通过基于神经网络算法的人脸识别装置、深度学习的人体行为识别装置、电子围栏装置和智能监控目标跟踪装置实现对电力施工作业区域非施工人员的入侵行为进行警示提醒，通过神经网络算法的人脸识别装置精准捕捉人脸信息并进行识别、抓拍不规范施工行为，保障电力施工人员的规范施工。
首先，当有人员闯入电力作业现场的边界后，由监控设备启动人脸识别算法，通过人脸识别装置识别闯入人员是否是现场施工人员，如果是电力作业现场施工人员则通过着装算法识别施工人员是否着装规范，如果着装不规范，则提示施工人员和现场监理人员，着装规范之后则全程监管施工人员的施工方法，施工步骤是否符合施工规范，如果有不规范的地方则实时提醒施工人员以及现场监理人员，帮助施工人员及时纠正不规范施工的地方，保障施工全过程规范施工，并且在施工完成之后及时上传施工视频至云端或保存施工视频数据至本地，以待事后对施工环节的复盘分析。
如果监控设备的人脸识别判断是非施工人员闯入电力施工现场，则通过声光联动装置，根据电子围栏算法、人体行为识别算法、目标跟踪算法及时提醒现场监理人员，并同时提示闯入人员尽快离开电力施工现场，保障电力施工现场的安全施工环境。
一种应用于电力作业现场的视觉智能动态识别模型构建方法，包括如下步骤：
s1.利用基于神经网络算法的人脸识别装置、深度学习的人体行为识别装置、电子围栏装置和智能监控目标跟踪装置实现对电力施工作业区域非施工人员的入侵行为进行警示提醒；
s2.通过神经网络算法的人脸识别装置精准捕捉人脸信息并进行识别、抓拍不规范施工行为，保障电力施工人员的规范施工；
s3.当有人员闯入施工现场边界时，首先通过人脸识别装置识别闯入人员是否是现场施工人员，如果是电力作业现场施工人员则通过着装算法识别施工人员是否着装规范，如果着装不规范，则提示施工人员和现场监理人员，着装规范之后则全程监管施工人员的施工方法；
s4.监控施工步骤是否符合施工规范，如果有不规范的地方则实时提醒施工人员以及现场监理人员，帮助施工人员及时纠正不规范施工的地方，保障施工全过程规范施工；
s5.在施工完成之后及时上传施工视频至云端或保存施工视频数据至本地，以待事后对施工环节的复盘分析，通过视频全景拼接装置以及电子围栏装置对施工现场进行水平360°，垂直80°的全景全过程监控。
其中，基于神经网络算法的人脸识别装置包括如下步骤：
构建特征脸空间，其中人脸检测、人脸表达、人脸鉴别、表情/姿态分析、生理分类经过基本的预处理后，加载入人脸库，将库中每个对象的前五张人脸载入作为训练集，后五张载入作为测试集，若人脸库中有n个人脸图像，可以设人脸图像为矩阵，然后将其每一幅人脸nm图像的按行重排成的nm列的行向量，得到训练样本集，然后求出训练样本的均值，即平均脸，为行向量，为突出差异性，减掉平均脸，就可以得到n幅差异图像；
特征提取，将人脸图像中差异性最大的特征提取出来就是特征提取，接下来就可以有序进行识别工作，为得到训练集坐标系数，在特征子空间对训练集人脸图像进行投影，同理，将测试集图像也投影到特征子空间，该组系数可以作为人脸识别的依据；进行人脸识别，采用pca算法进行特征提取，对特征提取后的人脸进行分类识别，采用最邻近法是判断待分类样本与已知样本的距离来进行决策，即对于一个新样本，将其逐个与已知样本进行比较，距离最近的已知样本的类别，作为新样本的类别。
进行人脸识别的时候，采用人脸识别实验进行图像的预处理，人脸识别实验前对人脸库中的图像进行预处理，采用几何归一化方法使图像不受尺度和角度变化的影响，将表情子图变换为统一尺寸，首先，标定特征点，在matlab中使用[x,y]＝ginput函数可以标定两眼和鼻子这三个特征点，接着，选择用鼠标动手标定，获取这三个特征点的坐标值，回车结束，然后，按照左右两眼坐标值进行旋转图像，达到保证人脸的方向一致性，根据面部特征点及几何模型可以确定矩形特征区域范围并对矩形区域进行裁剪，最后，用尺度变换使表情子区域图像统一尺寸，便于表情特征的提取。
其中，基于深度学习的人体行为识别装置包括如下步骤：
构建包含lstm网络的神经网络模型，所述神经网络模型包含：embedding层、lstm、全连接层和softmax层，其中embedding层将输入其中的离散的信号转化成连续的实数向量，将经过embedding层转化后的向量依时序输入到lstm中，经过lstm将描述操作行为的数个时序向量拼接成一个高维向量后输入到全连接层中，并将经过全连接层降维后的向量输入到softmax层中；
获取海量人体行为样本和机器行为的样本，人体行为样本作为正样本，机器行为样本作为负样本，所述正样本集中所包含的样本数量不少于5000条，在正样本集中选择80％的样本作为训练样本，选择20％的样本作为测试样本，所述负样本集中所包含的样本数量不少于5000条，在负样本集中选择80％的样本作为训练样本，选择20％的样本作为测试样本；
使用正、负样本来训练构建好的神经网络模型，神经网络模型的训练采用向前向后算法，当在测试样本集上的准确率达到设置的阈值之后，认为神经网络模型的训练完成；
通过训练好的神经网络模型来判断所当前页面的操作主体是人还是机器。
其中，使用鼠标运动轨迹信息的一阶差值(dxi，dyi，dti)来描述操作行为，其中dxi＝xi-xi-1，dyi＝yi-yi-1，dti＝ti-ti-1；其中xi为鼠标的在屏幕位置的横坐标，yi为鼠标在屏幕位置的纵坐标，ti为时刻信息，且训练的正样本来自人在浏览网页时所记录到的鼠标运动轨迹信息，鼠标运动轨迹可通过信息通过网络前端函数很方便的采集到，通过该函数可在鼠标进行拖动的过程中，返回鼠标光标在屏幕中的位置和时刻信息，可以(x1，y1，t1)、(x2，y2，t2)、(x3，y3，t3)…(xn，yn，tn)的形式返回，从而反映鼠标在移动过程中的鼠标在对应的每个小时段内，在横向的移动速度，和纵向移动速度，以及移动横向位移和纵向位移情况，体现操作者进行操作时的细微特征。
在进行神经网络训练时，需要海量的训练样本，人体行为训练样本如果采用手动专门进行采集的话，将耗费大量的人力，而现有阶段中通过在web端设置图片验证来采集人体行为，在登录或者浏览网页时，拖动这些验证码实现验证，即可快速累积样本资源，提高运行效率。负样本由机器生成，生成的方式包括在设置的最大取值范围内，随机产生轨迹长度，随机生成(dxi，dyi，dti)；在正样本中抽取n条轨迹，比如2000条，将抽取到的轨迹随机分割成n个(比如3-10个)子段，再将分割后形成的数千个子段随机组拼接成新的轨迹；在正样本中抽取m条轨迹；计算出轨迹的横向移动总距离sum(dxi)、纵向移动总距离sum(dyi)、和移动总时间sum(dti)；随机生成横向移动总距离sum(dxi)’，纵向移动总距离sum(dyi)’和移动总时间sum(dti)’，使用以下公式生成新的运动轨迹的描述参数，
其中dxi′、dyi′、dti′分别为新轨迹的横向坐标、纵向坐标、时间的一阶差值；以及，在正样本中抽取k条轨迹，对dxi，dyi，dti分别随机产生[-0.5，0.5]倍的扰动，获得新的运动轨迹的描述参数。
本发明采用a、b、c、d方式生成的负样本，充分结合正样本特征，相比于直接随机生成的样本，具有对人体行为更高的模拟程度，因此通过这样的负样本训练出来的神经网络具有更高的辨识能力。将a、b、c、d方式所生成的样本各选择2500条，组成负样本集。相对于单一方式所产生的付样本，负样本集中包含4种方式所生成的样本，使得负样本集具有较大的覆盖范围。
另外，本申请中所采用的视频全景拼接装置，利用图像拼接和实景图像组成全景空间，将多幅图像拼接成一幅大尺度图像或360度全景图，包括摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接，以及亮度与颜色的均衡处理步骤。在应用视频全景拼接装置的时候，采用rj45接口连接8个网络相机视频输出端，通过onvif协议获取8个网络相机的rtsp视频流，采用qt平台中的多线程模块开辟9个子线程，9个子线程中的8个子线程分别采集8个网络相机的视频，另1个子线程对8个子线程的视频图像融合并显示融合的结果；对压缩后的视频流进行解码，并对解码后的视频流进行转换，对转换后的视频逐帧进行图像校正，得到校正后的图像；将校正后的图像转化为灰度图，采用sift算法对转化后的灰度图进行提取特征点，得到特征点的主方向和特征点的描述子；采用ransac算法筛选提取特征点，利用apap算法确定图像配准的单应性变换矩阵h；对rgb视频帧进行拼接，采用渐入渐出的融合方式对每两个相邻的图像对进行融合，输出拼接结果。在对所述压缩后的视频流进行解码，并对解码后的视频流进行转换的时候，所述网络相机输出的是经过h.264压缩后的格式，采用cuda对压缩后的视频流进行解码；得到解码后的yuv422格式的视频，对yuv422格式的视频转换的到24位的rgb888视频流，通过下式表示所述转换过程，并对8路24位的rgb888视频流进行逐帧图像校正，对网络相机进行标定，得到校正后的视频流，调整所述网络相机间的夹角为45度；在对8路24位的rgb888视频流进行逐帧图像校正的时候，采用棋盘格标定法求得相机矩阵，对每一帧图像进行点对点映射，对8路24位的rgb888视频流进行逐帧图像校正，得到校正后的视频流，并通过以下公式表示所述转换过程，r＝1.164×(y-16) 1.596×(u-128)
g＝1.164×(y-16)-0.813×(u-128)-0.392(v-128)
b＝1.164×(y-16) 2.017×(v-128)
其中，r、g、b分别代表红、绿、蓝三个通道的颜色的值，y、u、v分别表示像素值的亮度、色度和饱和度，并对8路24位的rgb888视频流进行逐帧图像校正，对网络相机进行标定，得到校正后的视频流，调整所述网络相机间的夹角为45度。
所述智能电子围栏的脉冲发生器通电后发射端口向前端围栏发出脉冲电压，时间间隔1.5秒发射1次，脉冲在围栏上停留的时间为0.1秒，前端围栏上形成回路后把脉冲回到主机的接收端口，所述端口接收反馈回来的脉冲信号；同时主机还会探测两个发射端之间的电阻值，如果前端围栏遭到破坏造成断路或短路，脉冲主机的接收端口接收不到脉冲信号或两个发射端之间的电阻太小，主机都会发出报警。
智能监控目标跟踪装置，具有提取单元，用于对获取到的监控视频进行前景提取；第一确定单元，用于根据提取到的前景确定第一跟踪框；处理单元，用于利用预设跟踪算法对所述第一跟踪框进行处理，以得到稳定性更强的第二跟踪框；第二确定单元，用于根据所述第一跟踪框和所述第二跟踪框确定目标跟踪框；跟踪单元，用于根据所述目标跟踪框对监控对象进行跟踪。在所述步骤s5中，如果是非施工人员闯入电力施工现场，则通过声光联动装置及时提醒现场监理人员，并同时提示闯入人员尽快离开电力施工现场，保障电力施工现场的安全施工环境。
当有人员闯入施工现场边界时，首先通过人脸识别技术识别闯入人员是否是现场施工人员，如果是电力作业现场施工人员则通过着装算法识别施工人员是否着装规范，如果着装不规范，则提示施工人员和现场监理人员，着装规范之后则全程监管施工人员的施工方法，施工步骤是否符合施工规范，如果有不规范的地方则实时提醒施工人员以及现场监理人员，帮助施工人员及时纠正不规范施工的地方，保障施工全过程规范施工。在施工完成之后及时上传施工视频至云端或保存施工视频数据至本地，以待事后对施工环节的复盘分析。如果是非施工人员闯入电力施工现场，则通过声光联动装置及时提醒现场监理人员，并同时提示闯入人员尽快离开电力施工现场，从而保障电力施工现场的安全施工环境。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
1.一种应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，包括如下步骤：
s1.利用基于神经网络算法的人脸识别装置、深度学习的人体行为识别装置、电子围栏装置和智能监控目标跟踪装置实现对电力施工作业区域非施工人员的入侵行为进行警示提醒；
s2.通过神经网络算法的人脸识别装置精准捕捉人脸信息并进行识别、抓拍不规范施工行为，保障电力施工人员的规范施工；
s3.当有人员闯入施工现场边界时，首先通过人脸识别装置识别闯入人员是否是现场施工人员，如果是电力作业现场施工人员则通过着装算法识别施工人员是否着装规范，如果着装不规范，则提示施工人员和现场监理人员，着装规范之后则全程监管施工人员的施工方法；
s4.监控施工步骤是否符合施工规范，如果有不规范的地方则实时提醒施工人员以及现场监理人员，帮助施工人员及时纠正不规范施工的地方，保障施工全过程规范施工；
s5.在施工完成之后及时上传施工视频至云端或保存施工视频数据至本地，以待事后对施工环节的复盘分析，通过视频全景拼接装置以及电子围栏装置对施工现场进行水平360°，垂直80°的全景全过程监控。
2.根据权利要求1所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，所述基于神经网络算法的人脸识别装置包括如下步骤：
s11.构建特征脸空间：人脸检测、人脸表达、人脸鉴别、表情/姿态分析、生理分类经过预处理后，加载入人脸库，将库中每个对象的前五张人脸载入作为训练集，后五张载入作为测试集，若人脸库中有n个人脸图像，设人脸图像为矩阵，然后将其每一幅人脸nm图像的按行重排成的nm列的行向量，得到训练样本集，然后求出训练样本的均值，即平均脸，为行向量，为突出差异性，减掉平均脸，得到n幅差异图像；
s12.特征提取：将人脸图像中差异性最大的特征提取出来，进行识别工作，在特征子空间对训练集人脸图像进行投影，将测试集图像也投影到特征子空间，该组系数作为人脸识别的依据；
s13.人脸识别：采用pca算法进行特征提取，对特征提取后的人脸进行分类识别，采用最邻近法判断待分类样本与已知样本的距离，对于一个新样本，将其逐个与已知样本进行比较，距离最近的已知样本的类别，作为新样本的类别。
3.根据权利要求2所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，在步骤s13中进行人脸识别的时候，采用人脸识别实验进行图像的预处理，人脸识别实验前对人脸库中的图像进行预处理，采用几何归一化方法使图像不受尺度和角度变化的影响，将表情子图变换为统一尺寸，首先，标定特征点，在matlab中使用[x,y]＝ginput函数标定两眼和鼻子这三个特征点，接着，选择手动标定，获取这三个特征点的坐标值，然后，按照左右两眼坐标值进行旋转图像，达到保证人脸的方向一致性，根据面部特征点及几何模型确定矩形特征区域范围并对矩形区域进行裁剪，最后，用尺度变换使表情子区域图像统一尺寸。
4.根据权利要求1所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，所述基于深度学习的人体行为识别装置包括如下步骤：
s21.构建包含lstm网络的神经网络模型，所述神经网络模型包含：embedding层、lstm、全连接层和softmax层，其中embedding层将输入其中的离散的信号转化成连续的实数向量，将经过embedding层转化后的向量依时序输入到lstm中，经过lstm将描述操作行为的数个时序向量拼接成一个高维向量后输入到全连接层中，并将经过全连接层降维后的向量输入到softmax层中；
s22.获取海量人体行为样本和机器行为的样本，人体行为样本作为正样本，机器行为样本作为负样本，所述正样本集中所包含的样本数量不少于5000条，在正样本集中选择80％的样本作为训练样本，选择20％的样本作为测试样本，所述负样本集中所包含的样本数量不少于5000条，在负样本集中选择80％的样本作为训练样本，选择20％的样本作为测试样本；
s23.使用正、负样本来训练构建好的神经网络模型，神经网络模型的训练采用向前向后算法，当在测试样本集上的准确率达到设置的阈值之后，神经网络模型的训练完成；
s24.通过训练好的神经网络模型来判断所当前页面的操作主体是人还是机器。
5.根据权利要求4所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，在所述步骤s22中，使用鼠标运动轨迹信息的一阶差值来描述操作行为，其中dxi＝xi-xi-1，dyi＝yi-yi-1，dti＝ti-ti-1；其中xi为鼠标的在屏幕位置的横坐标，yi为鼠标在屏幕位置的纵坐标，ti为时刻信息，且训练的正样本来自人在浏览网页时所记录到的鼠标运动轨迹信息，鼠标运动轨迹通过信息通过网络前端函数采集，通过该函数在鼠标进行拖动的过程中，返回鼠标光标在屏幕中的位置和时刻信息，以(x1，y1，t1)、(x2，y2，t2)、(x3，y3，t3)…(xn，yn，tn)的形式返回，从而反映鼠标在移动过程中的鼠标在对应的每个小时段内，在横向的移动速度和纵向移动速度，以及移动横向位移和纵向位移情况；
负样本由机器生成，生成的方式包括在设置的最大取值范围内，随机产生轨迹长度，随机生成(dxi，dyi，dti)；
在正样本中抽取n条轨迹，将抽取到的轨迹随机分割成n个子段，再将分割后形成的数千个子段随机组拼接成新的轨迹；在正样本中抽取m条轨迹；计算出轨迹的横向移动总距离sum(dxi)、纵向移动总距离sum(dyi)、和移动总时间sum(dti)；随机生成横向移动总距离sum(dxi)’、纵向移动总距离sum(dyi)’和移动总时间sum(dti)’，使用以下公式生成新的运动轨迹的描述参数，
其中dxi′、dyi′、dti′分别为新轨迹的横向坐标、纵向坐标、时间的一阶差值；以及，在正样本中抽取k条轨迹，对dxi，dyi，dti分别随机产生[-0.5，0.5]倍的扰动，获得新的运动轨迹的描述参数。
6.根据权利要求1所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，在步骤s5中采用的视频全景拼接装置，利用图像拼接和实景图像组成全景空间，将多幅图像拼接成一幅大尺度图像或360度全景图，包括摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接，以及亮度与颜色的均衡处理步骤。
7.根据权利要求6所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，在应用视频全景拼接装置的时候，采用rj45接口连接8个网络相机视频输出端，通过onvif协议获取8个网络相机的rtsp视频流，采用qt平台中的多线程模块开辟9个子线程，9个子线程中的8个子线程分别采集8个网络相机的视频，另1个子线程对8个子线程的视频图像融合并显示融合的结果；对压缩后的视频流进行解码，并对解码后的视频流进行转换，对转换后的视频逐帧进行图像校正，得到校正后的图像；将校正后的图像转化为灰度图，采用sift算法对转化后的灰度图进行提取特征点，得到特征点的主方向和特征点的描述子；采用ransac算法筛选提取特征点，利用apap算法确定图像配准的单应性变换矩阵h；对rgb视频帧进行拼接，采用渐入渐出的融合方式对每两个相邻的图像对进行融合，输出拼接结果。
8.根据权利要求7所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，在对所述压缩后的视频流进行解码，并对解码后的视频流进行转换的时候，所述网络相机输出的是经过h.264压缩后的格式，采用cuda对压缩后的视频流进行解码；得到解码后的yuv422格式的视频，对yuv422格式的视频转换的到24位的rgb888视频流，通过以下公式表示所述转换过程，
r＝1.164×(y-16) 1.596×(u-128)
g＝1.164×(y-16)-0.813×(u-128)-0.392(v-128)
b＝1.164×(y-16) 2.017×(v-128)
其中，r、g、b分别代表红、绿、蓝三个通道的颜色的值，y、u、v分别表示像素值的亮度、色度和饱和度，并对8路24位的rgb888视频流进行逐帧图像校正，对网络相机进行标定，得到校正后的视频流，调整所述网络相机间的夹角为45度。
9.根据权利要求8所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，在对8路24位的rgb888视频流进行逐帧图像校正，的时候，采用棋盘格标定法求得相机矩阵，对每一帧图像进行点对点映射，对8路24位的rgb888视频流进行逐帧图像校正，得到校正后的视频流。
10.根据权利要求1所述的应用于电力作业现场的视觉智能动态识别模型构建方法，其特征在于，所述智能电子围栏的脉冲发生器通电后发射端口向前端围栏发出脉冲电压，时间间隔1.5秒发射1次，脉冲在围栏上停留的时间为0.1秒，前端围栏上形成回路后把脉冲回到主机的接收端口，所述端口接收反馈回来的脉冲信号；同时主机还会探测两个发射端之间的电阻值，如果前端围栏遭到破坏造成断路或短路，脉冲主机的接收端口接收不到脉冲信号或两个发射端之间的电阻太小，主机都会发出报警；
智能监控目标跟踪装置包括：提取单元，用于对获取到的监控视频进行前景提取；第一确定单元，用于根据提取到的前景确定第一跟踪框；处理单元，用于利用预设跟踪算法对所述第一跟踪框进行处理，以得到稳定性更强的第二跟踪框；第二确定单元，用于根据所述第一跟踪框和所述第二跟踪框确定目标跟踪框；跟踪单元，用于根据所述目标跟踪框对监控对象进行跟踪。
技术总结