本发明涉及智能通讯的技术领域,具体涉及一种基于边缘计算精准处理数据的方法及装置。
背景技术:
目前,全球已掀起行业数字化转型的浪潮,数字化是基础,网络化是支撑,智能化是目标。通过对人物、环境、过程等对象进行数字化产生数据,通过网络化实现数据的价值流动,以数据为生产要素,通过智能化为各行业创造经济和社会价值。智能化是以数据的智能分析为基础,从而实现智能决策和智能操作,通过闭环实现业务流程的持续智能优化。
目前的智能数据处理方式是以数据计算你中心为基本,从各个地方采集数据,集中进行分析处理的方式,一般数据计算中心的部署位置都较远,在各个应用场景中,计算任务都需要较小的计算时延,而直接通过偏远的数据计算中心将会导致数据传输时间长,带来延时损耗。而在工业生产、运营成场景中,对事故、故障、突发情况的实时响应非常重要,现有的数据处理,乃至云计算都存在网络时延大、成本高及安全隐患等一系列问题,无法适应所有的大数据分析、处理要求。
在云计算架构中,数据通过网络全部传输并保存至云端,通过云计算的动态、弹性及灵活特性,克服了对it资源的独占性、数据中心的业务密度低、系统资源利用效率低下、有限的物理空间难以满足业务快速发展的要求的问题。然而,与此同时,云计算所需要的大量数据来自于相关的设备采集得到,各类终端将采集到的大量数据传送至对应的云平台中,通过中心化的集中运算得到分析结果,随着分布式智能设备的广泛使用,大量的数据传输造成了传输通道的堵塞,造成云计算中的极大困难。
因此,行业内亟需一种能智能化、高效率地解决上述问题的方案。
技术实现要素:
本发明的目的在于针对现有技术的不足而提供一种基于边缘计算精准处理数据的方法及装置。本发明的目的可以通过如下所述技术方案来实现。
本发明提供一种基于边缘计算精准处理数据的方法,包括:
预设事物的属性类型与其网络边缘设备的部署策略对应关系;设置所述目标事物的属性类型与数据采集及处理策略的数据处理对应关系;
根据目标事物的属性类型及所述部署策略对应关系,获取所述目标事物的网络边缘设备部署策略;根据所述网络边缘设备部署策略配置所述目标事物的目标网络边缘设备;
根据所述数据处理对应关系及所述目标事物的属性类型,获取目标数据的采集策略及处理策略;基于所述目标数据的采集策略从所述目标事物处采集目标数据,存储至所述目标网络边缘设备;根据所述目标数据的处理策略处理所述目标网络边缘设备中的所述目标数据,得到网络边缘数据;
汇总各个所述网络边缘数据,按照预设的边缘数据分析处理策略进行分析处理得到边缘计算精准数据。
可选地,其中,根据所述网络边缘设备部署策略配置所述目标事物的目标网络边缘设备,包括:
获取所述目标事物周边预设范围内的网络边缘设备,按照预设的边缘计算测试策略检测各个所述网络边缘设备的边缘计算性能;
按照所述边缘计算性能从高到低排序,并顺次选取预设数量作为所述目标事物的目标网络边缘设备。
可选地,其中,该方法还包括:
将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述边缘计算控制平台按照预设的边缘设备状态检测策略向所述目标网络边缘设备发送状态检测信号;
在发送所述状态检测信号预设时间内未收到检测反馈信号时,根据所述网络边缘设备部署策略配置所述目标事物的更新目标网络边缘设备。
可选地,其中,该方法还包括:
将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述目标网络边缘设备接收所述边缘计算控制平台的存储搜索策略,并按照所述存储搜索策略获取预设存储设备范围内的目标存储设备;
基于所述目标网络边缘设备按照预设的虚拟缓存创建策略创建虚拟分布式缓存,并分布在各个所述目标存储设备上。
可选地,其中,根据所述目标数据的处理策略处理所述目标网络边缘设备中的所述目标数据,得到网络边缘数据,为:
根据所述目标数据的处理策略对所述目标网络边缘设备中的所述目标数据进行校正、去躁及加窗处理得到初处理数据;
根据目标事物的属性类型,基于该属性类型对应的特征提取策略,对所述初处理数据进行特征提取得到网络边缘数据。
另一方面,本发明还提供一种基于边缘计算精准处理数据的装置,包括:设置模块、网络边缘设备配置模块、网络边缘数据获取模块及边缘计算精准数据获取模块;其中,
所述设置模块,预设事物的属性类型与其网络边缘设备的部署策略对应关系;设置所述目标事物的属性类型与数据采集及处理策略的数据处理对应关系;
所述网络边缘设备配置模块,与所述设置模块相连接,根据目标事物的属性类型及所述部署策略对应关系,获取所述目标事物的网络边缘设备部署策略;根据所述网络边缘设备部署策略配置所述目标事物的目标网络边缘设备;
所述网络边缘数据获取模块,与所述网络边缘设备配置模块相连接,根据所述数据处理对应关系及所述目标事物的属性类型,获取目标数据的采集策略及处理策略;基于所述目标数据的采集策略从所述目标事物处采集目标数据,存储至所述目标网络边缘设备;根据所述目标数据的处理策略处理所述目标网络边缘设备中的所述目标数据,得到网络边缘数据;
所述边缘计算精准数据获取模块,与所述网络边缘数据获取模块相连接,汇总各个所述网络边缘数据,按照预设的边缘数据分析处理策略进行分析处理得到边缘计算精准数据。
可选地,其中,所述网络边缘设备配置模块,包括:边缘计算性能测试单元及目标网络边缘设备选取单元;其中,
所述边缘计算性能测试单元,获取所述目标事物周边预设范围内的网络边缘设备,按照预设的边缘计算测试策略检测各个所述网络边缘设备的边缘计算性能;
所述目标网络边缘设备选取单元,与所述边缘计算性能测试单元相连接,按照所述边缘计算性能从高到低排序,并顺次选取预设数量作为所述目标事物的目标网络边缘设备。
可选地,其中,该装置还包括:目标网络边缘设备状态检测模块,与所述网络边缘设备配置模块相连接,将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述边缘计算控制平台按照预设的边缘设备状态检测策略向所述目标网络边缘设备发送状态检测信号;
在发送所述状态检测信号预设时间内未收到检测反馈信号时,根据所述网络边缘设备部署策略配置所述目标事物的更新目标网络边缘设备。
可选地,其中,该装置还包括:目标网络边缘设备虚拟缓存创建模块,与所述网络边缘设备配置模块相连接,将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述目标网络边缘设备接收所述边缘计算控制平台的存储搜索策略,并按照所述存储搜索策略获取预设存储设备范围内的目标存储设备;
基于所述目标网络边缘设备按照预设的虚拟缓存创建策略创建虚拟分布式缓存,并分布在各个所述目标存储设备上。
可选地,其中,所述网络边缘数据获取模块,包括:网络边缘数据初处理单元及网络边缘数据获取单元;其中,
所述网络边缘数据初处理单元,根据所述目标数据的处理策略对所述目标网络边缘设备中的所述目标数据进行校正、去躁及加窗处理得到初处理数据;
所述网络边缘数据获取单元,与所述网络边缘数据初处理单元相连接,根据目标事物的属性类型,基于该属性类型对应的特征提取策略,对所述初处理数据进行特征提取得到网络边缘数据。
与现有技术比,本发明的有益效果:
本发明研发了一种基于边缘计算精准处理数据的方法及装置,利用在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,提高了网络服务性能、开放网络控制能力,激发了类似移动互联网的新网络计算处理业态。解决了网络时延问题,提供近智能服务,可以满足敏捷联接、实时业务、数据优化、应用智能、完全与隐私保护等方面的需求。在网络边缘构建智能、灵活、弹性的网络,与云计算集中化平台相辅相成,互相补充,展现了边缘计算在当前场景下相对于传统数据采集和分析系统的优势,大大提高数据计算处理效率,提升了检测准确性。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例中的基于边缘计算精准处理数据的方法的流程示意图;
图2为本发明实施例中第二种基于边缘计算精准处理数据的方法的流程示意图;
图3为本发明实施例中第三种基于边缘计算精准处理数据的方法的流程示意图;
图4为本发明实施例中第四种基于边缘计算精准处理数据的方法的流程示意图;
图5为本发明实施例中第五种基于边缘计算精准处理数据的方法的流程示意图;
图6为本发明实施例中的基于边缘计算精准处理数据的装置的结构示意图;
图7为本发明实施例中第二种基于边缘计算精准处理数据的装置的结构示意图;
图8为本发明实施例中第三种基于边缘计算精准处理数据的装置的结构示意图;
图9为本发明实施例中第四种基于边缘计算精准处理数据的装置的结构示意图;
图10为本发明实施例中第五种基于边缘计算精准处理数据的装置的结构示意图。
具体实施方式
下面将结合具体实施例,对本发明的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例,都属于本发明的保护范围。
如图1所示,为本实施例中一种基于边缘计算精准处理数据的方法的流程示意图。具体地,该方法包括如下步骤:
步骤101、预设事物的属性类型与其网络边缘设备的部署策略对应关系;设置目标事物的属性类型与数据采集及处理策略的数据处理对应关系。
步骤102、根据目标事物的属性类型及部署策略对应关系,获取目标事物的网络边缘设备部署策略;根据网络边缘设备部署策略配置目标事物的目标网络边缘设备。
步骤103、根据数据处理对应关系及目标事物的属性类型,获取目标数据的采集策略及处理策略;基于目标数据的采集策略从目标事物处采集目标数据,存储至目标网络边缘设备;根据目标数据的处理策略处理目标网络边缘设备中的目标数据,得到网络边缘数据。
步骤104、汇总各个网络边缘数据,按照预设的边缘数据分析处理策略进行分析处理得到边缘计算精准数据。
基于各个边缘节点的网络设备采集和预处理收集到的数据,再汇总建立训练模型和验证模型,甚至进行神经网络学习训练,进行数据的特征针对性分析处理。在各个边缘节点处需要建立统一的数据模型,虽然边缘设备的各方面属性不断提高,但是为了整体性能更加高效,需要在考虑边缘设备的运行能力和未来的可扩展性的前提下,有策略地将云端数据业务进行迁移。
在一些可选的实施例中,如图2所示,为本实施中第二种基于边缘计算精准处理数据的方法的流程示意图,与图1中不同的是,根据网络边缘设备部署策略配置目标事物的目标网络边缘设备,为:
步骤201、获取目标事物周边预设范围内的网络边缘设备,按照预设的边缘计算测试策略检测各个网络边缘设备的边缘计算性能。
步骤202、按照边缘计算性能从高到低排序,并顺次选取预设数量作为目标事物的目标网络边缘设备。
在一些可选的实施例中,如图3所示,为本实施中第三种基于边缘计算精准处理数据的方法的流程示意图,与图1中不同的是,该方法还包括:
步骤301、将各个目标网络边缘设备连接至边缘计算控制平台。
步骤302、边缘计算控制平台按照预设的边缘设备状态检测策略向目标网络边缘设备发送状态检测信号。
步骤303、在发送状态检测信号预设时间内未收到检测反馈信号时,根据网络边缘设备部署策略配置目标事物的更新目标网络边缘设备。
在一些可选的实施例中,如图4所示,为本实施中第四种基于边缘计算精准处理数据的方法的流程示意图,与图1中不同的是,该方法还包括:
步骤401、将各个目标网络边缘设备连接至边缘计算控制平台。
步骤402、目标网络边缘设备接收边缘计算控制平台的存储搜索策略,并按照存储搜索策略获取预设存储设备范围内的目标存储设备。
步骤403、基于目标网络边缘设备按照预设的虚拟缓存创建策略创建虚拟分布式缓存,并分布在各个目标存储设备上。
在一些可选的实施例中,如图5所示,为本实施中第五种基于边缘计算精准处理数据的方法的流程示意图,与图1中不同的是,根据目标数据的处理策略处理目标网络边缘设备中的目标数据,得到网络边缘数据,为:
步骤501、根据目标数据的处理策略对目标网络边缘设备中的目标数据进行校正、去躁及加窗处理得到初处理数据。
步骤502、根据目标事物的属性类型,基于该属性类型对应的特征提取策略,对初处理数据进行特征提取得到网络边缘数据。
在一些可选的实施例中,如图6所示,为本实施中基于边缘计算精准处理数据的装置的示意图,该装置用于实施上述的基于边缘计算精准处理数据的方法。具体地,该装置包括:设置模块601、网络边缘设备配置模块602、网络边缘数据获取模块603及边缘计算精准数据获取模块604。
其中,设置模块601,预设事物的属性类型与其网络边缘设备的部署策略对应关系;设置目标事物的属性类型与数据采集及处理策略的数据处理对应关系。
网络边缘设备配置模块602,与设置模块601相连接,根据目标事物的属性类型及部署策略对应关系,获取目标事物的网络边缘设备部署策略;根据网络边缘设备部署策略配置目标事物的目标网络边缘设备。
网络边缘数据获取模块603,与网络边缘设备配置模块602相连接,根据数据处理对应关系及目标事物的属性类型,获取目标数据的采集策略及处理策略;基于目标数据的采集策略从目标事物处采集目标数据,存储至目标网络边缘设备;根据目标数据的处理策略处理目标网络边缘设备中的目标数据,得到网络边缘数据。
边缘计算精准数据获取模块604,与网络边缘数据获取模块603相连接,汇总各个网络边缘数据,按照预设的边缘数据分析处理策略进行分析处理得到边缘计算精准数据。
在一些可选的实施例中,如图7所示,为本实施中第二种基于边缘计算精准处理数据的装置的示意图,与图6中不同的是,网络边缘设备配置模块602,包括:边缘计算性能测试单元621及目标网络边缘设备选取单元622。
其中,边缘计算性能测试单元621,获取目标事物周边预设范围内的网络边缘设备,按照预设的边缘计算测试策略检测各个网络边缘设备的边缘计算性能。
目标网络边缘设备选取单元622,与边缘计算性能测试单元621相连接,按照边缘计算性能从高到低排序,并顺次选取预设数量作为目标事物的目标网络边缘设备。
在一些可选的实施例中,如图8所示,为本实施中第三种基于边缘计算精准处理数据的装置的示意图,与图6中不同的是,还包括:目标网络边缘设备状态检测模块801,与网络边缘设备配置模块602相连接,将各个目标网络边缘设备连接至边缘计算控制平台。
边缘计算控制平台按照预设的边缘设备状态检测策略向目标网络边缘设备发送状态检测信号。
在发送状态检测信号预设时间内未收到检测反馈信号时,根据网络边缘设备部署策略配置目标事物的更新目标网络边缘设备。
在一些可选的实施例中,如图9所示,为本实施中第四种基于边缘计算精准处理数据的装置的示意图,与图6中不同的是,还包括:目标网络边缘设备虚拟缓存创建模块901,与网络边缘设备配置模块602相连接,将各个目标网络边缘设备连接至边缘计算控制平台。
目标网络边缘设备接收边缘计算控制平台的存储搜索策略,并按照存储搜索策略获取预设存储设备范围内的目标存储设备。
基于目标网络边缘设备按照预设的虚拟缓存创建策略创建虚拟分布式缓存,并分布在各个目标存储设备上。
在一些可选的实施例中,如图10所示,为本实施中第五种基于边缘计算精准处理数据的装置的示意图,与图6中不同的是,网络边缘数据获取模块603,包括:网络边缘数据初处理单元631及网络边缘数据获取单元632。
其中,网络边缘数据初处理单元631,根据目标数据的处理策略对目标网络边缘设备中的目标数据进行校正、去躁及加窗处理得到初处理数据。
网络边缘数据获取单元632,与网络边缘数据初处理单元631相连接,根据目标事物的属性类型,基于该属性类型对应的特征提取策略,对初处理数据进行特征提取得到网络边缘数据。
本实施的基于边缘计算精准处理数据的方案,针对不同类别的数据源和数据类型,分别提出了面对各自环境下的数据采集模块和数据预处理模块的方案设计,并在相应的具体场景下予以实现。设计了底层数据采集与处理模块与上层大数据处理系统的通信构架,在面对具体场景下中心数据处理系统对于边缘设备的不同操作需求时,可以根据具体事务要求做出相应。提出了针对边缘设备数据处理能力较差的前提下,利用中心设备与边缘设备的协同,完成数据分析和数据挖掘任务,以克服边缘设备计算能力弱和云中心计算响应慢等缺点。依据上述过程,完成了基于边缘计算的数据获取与处理系统。系统具有效率高,反应快,能耗低等特点,满足了大多数日常数据收集和处理场景的需求。通过在两个不同数据来源以及处理需求的场景下的实现,验证了系统的可行性和自身特点。
以上借助具体实施例对本发明做了进一步描述,但是应该理解的是,这里具体的描述,不应理解为对本发明的实质和范围的限定,本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改,都属于本发明所保护的范围。
1.一种基于边缘计算精准处理数据的方法,其特征在于,包括:
预设事物的属性类型与其网络边缘设备的部署策略对应关系;设置所述目标事物的属性类型与数据采集及处理策略的数据处理对应关系;
根据目标事物的属性类型及所述部署策略对应关系,获取所述目标事物的网络边缘设备部署策略;根据所述网络边缘设备部署策略配置所述目标事物的目标网络边缘设备;
根据所述数据处理对应关系及所述目标事物的属性类型,获取目标数据的采集策略及处理策略;基于所述目标数据的采集策略从所述目标事物处采集目标数据,存储至所述目标网络边缘设备;根据所述目标数据的处理策略处理所述目标网络边缘设备中的所述目标数据,得到网络边缘数据;
汇总各个所述网络边缘数据,按照预设的边缘数据分析处理策略进行分析处理得到边缘计算精准数据。
2.根据权利要求1所述的基于边缘计算精准处理数据的方法,其特征在于,根据所述网络边缘设备部署策略配置所述目标事物的目标网络边缘设备,为:
获取所述目标事物周边预设范围内的网络边缘设备,按照预设的边缘计算测试策略检测各个所述网络边缘设备的边缘计算性能;
按照所述边缘计算性能从高到低排序,并顺次选取预设数量作为所述目标事物的目标网络边缘设备。
3.根据权利要求1所述的基于边缘计算精准处理数据的方法,其特征在于,还包括:
将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述边缘计算控制平台按照预设的边缘设备状态检测策略向所述目标网络边缘设备发送状态检测信号;
在发送所述状态检测信号预设时间内未收到检测反馈信号时,根据所述网络边缘设备部署策略配置所述目标事物的更新目标网络边缘设备。
4.根据权利要求1所述的基于边缘计算精准处理数据的方法,其特征在于,还包括:
将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述目标网络边缘设备接收所述边缘计算控制平台的存储搜索策略,并按照所述存储搜索策略获取预设存储设备范围内的目标存储设备;
基于所述目标网络边缘设备按照预设的虚拟缓存创建策略创建虚拟分布式缓存,并分布在各个所述目标存储设备上。
5.根据权利要求1所述的基于边缘计算精准处理数据的方法,其特征在于,根据所述目标数据的处理策略处理所述目标网络边缘设备中的所述目标数据,得到网络边缘数据,为:
根据所述目标数据的处理策略对所述目标网络边缘设备中的所述目标数据进行校正、去躁及加窗处理得到初处理数据;
根据目标事物的属性类型,基于该属性类型对应的特征提取策略,对所述初处理数据进行特征提取得到网络边缘数据。
6.一种基于边缘计算精准处理数据的装置,其特征在于,包括:设置模块、网络边缘设备配置模块、网络边缘数据获取模块及边缘计算精准数据获取模块;其中,
所述设置模块,预设事物的属性类型与其网络边缘设备的部署策略对应关系;设置所述目标事物的属性类型与数据采集及处理策略的数据处理对应关系;
所述网络边缘设备配置模块,与所述设置模块相连接,根据目标事物的属性类型及所述部署策略对应关系,获取所述目标事物的网络边缘设备部署策略;根据所述网络边缘设备部署策略配置所述目标事物的目标网络边缘设备;
所述网络边缘数据获取模块,与所述网络边缘设备配置模块相连接,根据所述数据处理对应关系及所述目标事物的属性类型,获取目标数据的采集策略及处理策略;基于所述目标数据的采集策略从所述目标事物处采集目标数据,存储至所述目标网络边缘设备;根据所述目标数据的处理策略处理所述目标网络边缘设备中的所述目标数据,得到网络边缘数据;
所述边缘计算精准数据获取模块,与所述网络边缘数据获取模块相连接,汇总各个所述网络边缘数据,按照预设的边缘数据分析处理策略进行分析处理得到边缘计算精准数据。
7.根据权利要求6所述的基于边缘计算精准处理数据的装置,其特征在于,所述网络边缘设备配置模块,包括:边缘计算性能测试单元及目标网络边缘设备选取单元;其中,
所述边缘计算性能测试单元,获取所述目标事物周边预设范围内的网络边缘设备,按照预设的边缘计算测试策略检测各个所述网络边缘设备的边缘计算性能;
所述目标网络边缘设备选取单元,与所述边缘计算性能测试单元相连接,按照所述边缘计算性能从高到低排序,并顺次选取预设数量作为所述目标事物的目标网络边缘设备。
8.根据权利要求6所述的基于边缘计算精准处理数据的装置,其特征在于,还包括:目标网络边缘设备状态检测模块,与所述网络边缘设备配置模块相连接,将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述边缘计算控制平台按照预设的边缘设备状态检测策略向所述目标网络边缘设备发送状态检测信号;
在发送所述状态检测信号预设时间内未收到检测反馈信号时,根据所述网络边缘设备部署策略配置所述目标事物的更新目标网络边缘设备。
9.根据权利要求6所述的基于边缘计算精准处理数据的装置,其特征在于,还包括:目标网络边缘设备虚拟缓存创建模块,与所述网络边缘设备配置模块相连接,将所述各个所述目标网络边缘设备连接至边缘计算控制平台;
所述目标网络边缘设备接收所述边缘计算控制平台的存储搜索策略,并按照所述存储搜索策略获取预设存储设备范围内的目标存储设备;
基于所述目标网络边缘设备按照预设的虚拟缓存创建策略创建虚拟分布式缓存,并分布在各个所述目标存储设备上。
10.根据权利要求6所述的基于边缘计算精准处理数据的装置,其特征在于,所述网络边缘数据获取模块,包括:网络边缘数据初处理单元及网络边缘数据获取单元;其中,
所述网络边缘数据初处理单元,根据所述目标数据的处理策略对所述目标网络边缘设备中的所述目标数据进行校正、去躁及加窗处理得到初处理数据;
所述网络边缘数据获取单元,与所述网络边缘数据初处理单元相连接,根据目标事物的属性类型,基于该属性类型对应的特征提取策略,对所述初处理数据进行特征提取得到网络边缘数据。
技术总结