本发明涉及工厂巡检技术领域，尤其涉及一种数字工厂的虚拟巡检系统。
背景技术：
数字孪生，是以数字化方式为物理对象创建的虚拟模型，来模拟其在现实环境中的行为。也被称为“数字镜像”，“数字双胞胎”或“数字化映射”。通过搭建整合制造流程的数字孪生生产系统，能实现从产品设计、生产计划到制造执行的全过程数字化，将产品创新、制造效率和有效性水平提升至一个新的高度。
数字孪生从虚拟制造、数字样机等技术上发展而来，原本是美国军方在航天系统研究中提出来的，现在已经拓展到智能制造、预测设备故障以及改进产品等多个领域。
数字孪生，也用来指代将一个工厂的厂房及产线，在没有建造之前，就完成数字化模型。从而在虚拟的赛博空间中对工厂进行仿真和模拟，并将真实参数传给实际的工厂建设。而工房和产线建成之后，在日常的运维中二者继续进行信息交互。
但是，当前的数字孪生工厂的虚拟系统，仅仅虚拟工厂的设备运行情况，而没有把巡检人员的巡检情况特纳入数字孪生虚拟系统，使得巡检人员在巡检时只能查看到系统的表面物理特征，而无法在巡检时随时查看设备的实时数据。
例如，中国专利cn111176245a公开了基于数字孪生技术的多终端工业设备巡检监控系统及方法，包括物理实体模块、可视交互模块、数据计算模块、数据传输与反馈驱动模块。该发明将工业设备生产过程中的状态数据全部通过plc提取出来，再用opcua接口把其中的关键数据传输到服务端，借助云服务对数据进行运算处理，配合增强现实设备、pc及移动端设备，实现实体物理空间到数字空间的映射，数字空间对实体物理空间的反馈控制，实现工业设备生产状态的可视化巡检，解决了生产制造过程中存在的数据可视化差及数据之间关联性差等问题，显著提高了工业制造过程中的数据可视化程度及数据实时反馈程度，达到了故障的预警及设备数据实时可视化的目的。该发明明显地通过系统对设备进行巡检，而不是在三维场景中以漫游的方式查看设定范围内的设备数据。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
技术实现要素：
针对现有技术之不足，本发明提供一种数字工厂的虚拟巡检系统，至少包括服务器系统、至少一个交互终端和至少一个控制系统，所述服务器系统分别与至少一个交互终端和至少一个控制系统建立通信连接，其特征在于，
所述服务器系统至少包括三维模块和图形服务器，所述三维模块基于由所述图形服务器将被控对象的属性数据与图形数据融合形成的至少一个三维图形部件构成在至少一个交互终端显示的三维场景，从而响应于巡检人员在所述交互终端的操作，所述三维模块适应性调节被控对象的三维图形部件的显示角度，使得巡检人员在所述三维场景中以漫游的方式巡检被控对象的属性。
优选的，所述图形服务器以画面频流的方式将被控对象的三维图形部件发送至所述三维模块。
优选的，所述服务器系统还包括用于显示被控对象的二维图形部件的二维模块，所述被控对象的二维图形部件与所述三维图形部件之间建立映射关系，从而巡检人员能够在三维视图中定位到所述二维图形部件。
优选的，所述被控对象的属性能够响应于巡检人员的操作以二维和三维方式并行地在交互终端显示，所述二维模块和所述三维模块基于被控对象的属性变化同时变更被控对象的二维图形部件和三维图形部件。
所述三维模块基于巡检人员在所述交互终端的操作适应性调节被控对象的三维图形部件的显示角度的方式为：基于巡检人员在交互终端的方向调节幅度的指令来进行调节。例如，巡检人员向右方向滑动一段距离，则三维视图的显示角度向右调节。滑动距离越长，则显示角度变化越大。
优选的，所述二维模块基于接收的报警信息以突出的颜色和/或标识将与报警信息相关的至少一个设备的二维图形显示出来。
优选的，响应于基于巡检人员在二维视图指定的景深区域，三维模块向交互终端发送位于景深区域内的设备的三维图形的数据，
使得三维视图以清晰的方式显示位于景深区域内的设备的三维图形，三维视图以非清晰的方式显示位于景深区域外的设备的三维图形。
优选的，当巡检人员查看的范围接近或走出景深区域的边缘时，交互终端发出提醒信息，以提醒人员的查看范围偏离了指定景深区域的巡检范围。
优选的，所述三维图形在图形服务器或第三方服务器进行轻量化处理，经过轻量化处理后的三维图形数据与实时的属性数据进行融合。
优选的，所述三维模块基于接收的报警信息以突出的颜色和/或标识将与报警信息相关的至少一个设备的三维图形显示出来。
本发明的有益技术效果：
(1)本发明的图形服务器中的工程数据不仅包括传统的数字式工程数据，还包括图形式的工程数据、实时工程数据和实时人员定位数据，是一个真正的以工艺生产为基础的、实时性的、跨平台的系统；
(2)本发明的三维模块不需要对三维图形部件的三维模型进行轻量化处理，降低了服务器的工作负荷，三维图形部件的显示速度快，从而三维场景能够基于巡检人员的操作快速调节，实现真实性角度的工厂巡检；
(3)本发明的被控对象的各个部件设置有单独的唯一的编码，从而二维模块和三维模块基于部件的编码来调用并显示被控对象的二维图形部件或三维图形部件，不需要对被控对象的各个数据进行关联计算和调取，调取的速度更快；
(4)本发明通过图形服务器为三维模块进行三维图形和属性数据的融合，使得三维模块能够直接调取三维图形部件并进行简单的渲染显示，从而缩短了被控对象部件的调取时间，更有利于三维场景的显示角度基于巡检的操作进行适应性调整。
附图说明
图1是本发明的虚拟巡检系统的其中一种结构示意图；
图2是本发明的虚拟巡检系统的另一种结构示意图；
图3是在三维场景中漫游的其中一种巡检示意图；
图4是在三维场景中漫游的另一种巡检示意图；
图5是某个被控对象的二维视图和三维视图的并行显示示意图。
附图标记列表
10：二维模块；20：三维模块；30：图形服务器；40：第一交互终端；50：第二交互终端；60：控制系统；70：被控对象。
具体实施方式
下面结合附图进行详细说明。
本发明提供一种数字工厂的虚拟巡检系统，也可以称为一种基于虚拟巡检的可视化控制系统。
本发明中的画面频流是指：能够形成画面的视频流。视频流是指视频数据的传输，例如，它能够被作为一个稳定的和连续的流通过网络处理。
本发明的虚拟巡检系统，巡检人员能够通过在三维场景中漫游的真实视角来对数字工厂进行虚拟巡检。本发明的数字工厂的虚拟的三维场景与实体工厂的真实场景的建筑构造、设备摆设、设备的连接关系是一致的。即，本发明的三维场景显示的三维图形部件能够显示被控对象的属性。在被控对象的属性数据发生变化时，被控对象的三维图形的属性同步发生变化，从而使得巡检人员能够在与真实场景一致的三维场景中以漫游的方式进行虚拟巡检，查看设定范围内的被控对象的属性数据。
如图1所示，本发明的虚拟巡检系统，至少包括交互终端、服务器系统和控制系统60。交互终端与服务器系统建立通信连接。服务器系统与控制系统60建立通信连接。控制系统60与若干被控对象70建立通信连接，从而监测被控对象的属性数据、运行数据并且控制被控对象。控制系统60至少包括控制处理器和控制装置，能够响应于交互终端的指令来控制被控对象。本发明的被控对象包括工厂的建筑结构、工程设备、工艺系统、电气系统、仪控系统和通讯系统。
交互终端包括至少一个交互装置。交互装置例如是操作员站、可交互的移动终端和智能穿戴设备。可交互的移动终端例如是智能手机、移动电脑、ipad等等。在交互终端显示屏幕单独显示的情况下，交互终端能够显示被控对象的二维图形和/或三维图形。在交互终端的显示屏幕能够分屏显示，或者有多余一个显示屏幕的情况下，例如交互终端包括第一交互终端40和第二交互终端50，第一交互终端40显示被控对象的二维图形，第二交互终端50显示三维图形。二维图形和三维图形并行显示。
被控对象70的各个部件按照预定义的统一编码规则进行编码。优选的，各部件的编码为唯一调用各类部件的唯一接口。通过在需要本发明通过将编码作为调用对象，不需要再对数据进行关系检索、分析、筛选等操作，对被控对象的三维图形调取速度快、调用效率高。
如图1～图2所示，本发明的服务器系统至少包括二维模块10和三维模块20。二维模块10和三维模块20均可以是专用集成芯片、cpu处理器、服务器、服务器群组、云服务器中的一种或者几种。
二维模块10用于以二维的方式显示被控对象，以便巡检人员控制其状态。在交互终端，操作员能够操作显示任一个被控对象的二维图形部件。其中，二维模块内定义了被控对象的编号、功能、用途、设定值、输入/输出数据、报警以及相关的各类工程设计图形、数据等信息。二维模块通过显示控制过程中的所有变量的参数和属性，能够以声光报警方式告知操作人员工程意外情况，可以通过任意组合或单点模式显示工程数据的实时或历史趋势图，可以获知工程安全联锁保护状态等。
优选的，二维模块和三维模块中的相同被控对象采用同一个编码，有利于二维模块和三维模块对同一被控对象的同步显示和控制。
三维模块20用于以三维的方式显示被控对象，以便巡检人员显示其当前控制或查看的被控对象，如图3～图4所示。具体地，在交互终端，操作员能够操作显示任一个被控对象的三维图形部件。优选的，本发明的三维图形部件用于显示被控对象的属性。即本发明的三维图形部件能够基于被控对象的属性变化进行同步变化，从而显示实时的被控对象的属性。
优选的，服务器系统还包括图形服务器30。图形服务器用于存储控制系统发送的被控对象的属性数据、数字化工程数据和图形类工程数据。现有技术中的数字化工程数据，仅仅包含纯数字数据信息而缺乏图形信息，导致在二维或者三维图形显示时还需要根据工程数据进行图形的调整，从而导致二维或三维图形显示或者转换延迟，甚至卡顿。本发明的图形类工程数据包含图形数据、实时属性数据和实时人员定位数据。本发明的图形数据包括工厂结构图形、被控对象图形、连接设备图形等多种图形数据。具体地，图形数据还包括流程图、设备制造图、工厂建筑图形、被控对象二维轮廓图形、被控对象三维轮廓图形、人员标志图形等。工厂建筑图形包括与工厂实体建筑结构比例一致的二维平面图形和三维图形。实时人员定位数据为携带有定位装置的人员的实时位置数据。
图形服务器将被控对象的实时的属性数据与图形数据融合形成能够进行三维显示的三维图形部件，以三维视图的方式显示被控对象的属性。如图3～图5所示，巡检人员通过交互终端能够从各个视角角度查看被控对象。优选的，三维图形在图形服务器或第三方服务器进行轻量化处理，经过轻量化处理后的三维图形数据与实时的属性数据进行融合。如此设置，有利于减轻三维模块的工作负荷和处理量，有利于三维模块显示三维图形部件的速度更快。优选的，本发明的三维模块是以来自于图形服务器画面频流的方式来显示三维图形部件的。
三维模块响应于显示三维图形部件的第二交互终端50的请求，以漫游的方式显示被控对象的对应角度的属性。优选的，三维模块以预设的初始角度显示被控对象的三维图形部件，基于巡检人员的操作调节被控对象的显示角度。
本发明的属性数据包括自身属性数据、工作状态属性、控制属性、环境属性、预警属性等。自身属性数据为被控对象本身的数据，例如型号、尺寸、位置、可更换储备数量、安装时间、维修时间等信息。工作状态属性为被控对象的工作状态数据信息，例如某被控对象内的温度、压力值、液位、出口流量、出口介质物性组分的实时数据。控制属性为控制状态、控制操作执行时间、控制效果等信息，例如阀门的打开或关闭、电机的启动或停止等等。环境属性为涉及环境的数据信息，例如可燃气体检测探头监测到的浓度；有毒气检测探头监测到的有毒气体浓度；现场摄像头监测到的实时视频画面等等。预警属性为被控对象的属性数据达到需要报警的阈值或者运行状态，运行状态例如是工作状态异常，流道堵塞、阀门卡住、阀门故障、温度异常、压力异常等等。
优选的，被控对象的二维图形部件以映射的方式与被控对象的三维图形部件建立关联关系，使得巡检人员能够在三维视图中定位到二维图形部件。如图5所示，具体地，当巡检人员在第一交互终端40的显示器点选某个部件时，二维模块响应于对被控对象的二维图形部件之点选触发巡检人员对二维图形部件的预先设定，向三维模块发出被控对象的显示请求信息。三维模块响应于显示请求信息，按照预先设定来显示与被控对象的二维图形部件对应的三维图形部件。例如，巡检人员在第一交互终端40点击某个被控对象的二维图形部件时，第二交互终端50的显示装置显示被控对象的三维图形部件。优选的，三维模块以渲染的方式将被控对象的三维图形部件在第二交互终端50显示。其中，被点击的被控对象的颜色以标亮的方式或者颜色变化的方式显示，以便巡检人员快速确定被控对象。
本发明通过映射关联的设置，使得巡检人员能够便捷的地进行二维图形和三维图形的互相定位，使得巡检人员能够同时查看被控对象的二维视图和三维视图。
优选的，第一交互终端40和第二交互终端50以二维和三维的方式并行显示被控对象，在被控对象的属性发生变化时，二维模块和三维模块同时改变被控对象的二维图形部件和三维图形部件的属性。相比于现有技术中的二维模块与三维模块串行的工作模式，本发明的二维模块与三维模块并行的工作模式，不占用控制网络带宽，工作负荷小，减少三维模块和二维模块的数据延迟显示现象，使得图形显示的工作效率明显提高，从而实现二维图形和三维图形的同步实时显示。
优选的，响应于巡检人员在交互终端的交互操作，被控对象的二维视图能够跳转至对应的三维视图。
优选的，本发明中的二维图形部件与三维图形部件的切换方式至少包括：点选切换、编码切换和基于报警信息切换。本发明的二维图形部件与三维图形部件的切换方式不限于例举的方式，还可以包括其他能够实现二维和三维的图形切换的方式，例如，响应于语音形式的编码内容进行切换，响应于智能穿戴设备的视频或者图片中的编码信息进行切换等等。
点选切换方式例如是：通过点击二维画面上的设备或部件，定位至三维画面的显示的关联的设备。
编码切换方式例如是：直接在二维画面上对应位置输入被控对象的编码来定位至三维显示画面上被控对象的关联的设备。
基于报警信息切换方式例如是：在控制系统发出与被控对象相关的报警信息后，形成报警信息列表。通过点选报警列表来定位至出现报警的被控对象的三维图形部件。
优选的，在第一交互终端40显示二维视图的情况下，三维模块响应于巡检人员的切换操作，能够在第一交互终端跳转和显示被控对象的三维图形，也能够在第二交互终端50跳转并显示被控对象的三维图形。
本发明能够基于同样的原理，实现从被控对象的三维图形部件跳转至同一个被控对象的二维图形部件。
例如，在巡检人员通过第二交互终端50以漫游巡检的视角巡检至某个被控对象时，通过点击被控对象的三维图形部件来查看对应部件的属性和控制对应部件。在巡检人员点击切换二维图形的操作时，二维模块响应于巡检人员的操作请求，在第一交互终端40显示被控对象的二维图形部件。优选的，第一交互终端40响应于巡检人员的漫游视角，能够在被控对象的二维视图中显示巡检人员的虚拟位置，以便于巡检人员更方便地查看漫游的所在位置。相比于现有技术中需要工作人员在实体工厂中进行巡检的情况，本发明的操作人员在交互终端就能够在三维视图中进行被控对象的虚拟巡检，并且在巡检的过程中随时查看被控对象和实时属性并且进行实时控制。针对发出报警信息的被控对象，本发明的巡检人员能够迅速确定异常的被控对象并且查看查看属性的异常，甚至对异常的被控对象通过交互终端进行相应的控制。因此，本发明的虚拟巡检系统，能够节省巡检时间，并且取得和真实巡检相同的工作效果，也有利于提高巡检效率。
现有技术中，工厂的被控对象的数量是巨大的，由于没有二维视图的参照，巡检人员根据连接关系进行查找和查看被控对象，很容易将查看的主要目标进行印象模糊，从而巡检的被控对象越来越多，导致了巡检的效率降低。本发明的三维视图能够显示包含指定被控对象的预设范围内的三维图形部件，有利于巡检人员通过交互终端查看被控对象，对被控对象进行巡检。其中，本发明的三维视图按照在二维场景中指定的景深范围请求数据，给出处于景深范围内的含有被控对象以及与被控对象关联的设备的三维视图。
本发明的景深范围是指是指获取有限距离的视图时，可在显示上构成清晰影像的显示范围。景深区域是指能够清晰显示被控对象的三维图形部件的距离范围。
在二维视图上划定的面积可以是指定的景深范围。景深范围内包含有若干被控对象。在巡检人员划定景深区域时，三维视图按照能够指定的景深范围来显示被控对象的三维图形部件。
例如，巡检人员在交互终端显示的二维视图上以不限定的几何形状划定三维视图的景深区域，则二维模块将景深信息发送至三维模块。三维模块响应于景深信息，将景深区域以三维图形进行展示。例如，巡检人员在显示屏画一个圈，圈内区域则属于要显示的景深区域。
当巡检人员查看指定景深区域内的三维图形及其属性时，画面是清晰的。当操作人员查看到达景深区域的边缘时，边缘内的三维图形是高清晰度的，边缘外的三维图形的清晰度降低，从而提示操作人员查看内容超出景深区域，使得操作人员能够重新规划查看的景深区域，避免无清晰目标的查看。
特别的，巡检人员在与景深区域对应的厂区内进行实时巡检时，获得的设备的信息和图像都是清晰的。当巡检人员接近或走出景深区域的边缘时，交互终端发出提醒信息，以提醒人员偏离了指定景深区域的巡检。
优选的，对于属性异常的设备，二维图形以突出的颜色和/或标识显示发出报警信息的设备的二维图形，以及与该设备的异常问题关联的至少一个其他设备。即操作人员在二维视图上，就能够明显的看到发出报警的设备以及与报警相关的关联设备。巡检人员能够通过在二维视图上划定含有报警设备以及关联设备的景深区域，在三维视图上以高清晰度的方式详细查看报警设备及其关联设备的三维图形及其属性信息。即通过对报警设备及其关联设备的突出显示，巡检人员能够快速确定需要重点查看的设备，避免了无目的的排查设备以找出报警原因的弊端。在巡检人员实时巡检厂区内的报警设备时，能够基于二维视图或者三维视图中突出的图像显示来找到对应的实体设备。
特别的，当巡检人员通过可穿戴设备在厂区内的实时位置进行方向定位后，三维模块基于巡检人员的方向定位提示需要查看的设备与巡检人员的相对位置信息，例如，提示信息为“xx设备在您的左边/左前方/右边/右前方/后方”等等，便于巡检人员快速锁定需要巡检的设备。
如若不设置景深区域的划定方式，巡检人员在交互终端查看三维视图的设备时，三维模块无法确定巡检人员下一步即将查看的设备，只能将当前三维视图内的所有设备均以高清的方式来显示。然而实际中，有很多设备的三维图形及其属性，巡检人员不会详细查看。这就导致了三维模块向交互终端发送了过量的不必要的数据，导致交互终端的数据延迟以及三维图形更新缓慢，影响显示设备的画面更新速度。
本发明通过景深区域的指定，三维模块能够减少向查看的交互终端的输送数据的数据量。三维模块基于二维模块发送的景深区域以及景深区域内的设备名单筛选三维图形及其属性数据的高清数据，并且发送至交互终端。即，三维模块能够基于景深区域有目标的筛选和输送数据，从而减少大量的不必要数据的发送。
优选的，景深区域不仅能够设置二维视图中，也能够设置在三维视图中。当巡检人员在三维视图中划定景深区域时，三维模块能够根据景深区域搜索数据，并且给出景深区域内的设备的表单。巡检人员根据表单来查看自己需要的信息。
优选的，本发明以预设角度初步显示被控对象的三维图形。其中，响应于巡检人员的点选信息或显示角度请求，三维模块调节被控对象的显示角度至指定角度。如此显示，有利于巡检人员查看被控对象的各个角度的运行情况，避免查看角度的局限性。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
1.一种数字工厂的虚拟巡检系统，至少包括服务器系统、至少一个交互终端和至少一个控制系统，所述服务器系统分别与至少一个交互终端和至少一个控制系统建立通信连接，其特征在于，
所述服务器系统至少包括三维模块和图形服务器，
所述三维模块基于由所述图形服务器将被控对象的属性数据与图形数据融合形成的至少一个三维图形部件构成在至少一个交互终端显示的三维场景，从而
响应于巡检人员在所述交互终端的操作，所述三维模块适应性调节被控对象的三维图形部件的显示角度，使得巡检人员在所述三维场景中以漫游的方式巡检被控对象的属性。
2.根据权利要求1所述的数字工厂的虚拟巡检系统，其特征在于，所述图形服务器以画面频流的方式将被控对象的三维图形部件发送至所述三维模块。
3.根据权利要求2所述的数字工厂的虚拟巡检系统，其特征在于，所述服务器系统还包括用于显示被控对象的二维图形部件的二维模块，
所述被控对象的二维图形部件与所述三维图形部件之间建立映射关系，从而巡检人员能够在三维视图中定位到所述二维图形部件。
4.根据权利要求3所述的数字工厂的虚拟巡检系统，其特征在于，所述被控对象的属性能够响应于巡检人员的操作以二维和三维方式并行地在交互终端显示，
所述二维模块和所述三维模块基于被控对象的属性变化同时变更被控对象的二维图形部件和三维图形部件。
5.根据权利要求4所述的数字工厂的虚拟巡检系统，其特征在于，所述三维模块基于巡检人员在所述交互终端的操作适应性调节被控对象的三维图形部件的显示角度的方式为：
基于巡检人员在交互终端的方向调节幅度的指令来进行调节。
6.根据权利要求5所述的数字工厂的虚拟巡检系统，其特征在于，所述二维模块基于接收的报警信息以突出的颜色和/或标识将与报警信息相关的至少一个设备的二维图形显示出来。
7.根据权利要求5所述的数字工厂的虚拟巡检系统，其特征在于，响应于基于巡检人员在二维视图指定的景深区域，三维模块向交互终端发送位于景深区域内的设备的三维图形的数据，
使得三维视图以清晰的方式显示位于景深区域内的设备的三维图形，三维视图以非清晰的方式显示位于景深区域外的设备的三维图形。
8.根据权利要求5～7任一项所述的数字工厂的虚拟巡检系统，其特征在于，当巡检人员查看的范围接近或走出景深区域的边缘时，交互终端发出提醒信息，以提醒人员的查看范围偏离了指定景深区域的巡检范围。
9.根据权利要求1～7任一项所述的数字工厂的虚拟巡检系统，其特征在于，所述三维图形在图形服务器或第三方服务器进行轻量化处理，经过轻量化处理后的三维图形数据与实时的属性数据进行融合。
10.根据权利要求9所述的数字工厂的虚拟巡检系统，其特征在于，所述三维模块基于接收的报警信息以突出的颜色和/或标识将与报警信息相关的至少一个设备的三维图形显示出来。
技术总结