本发明涉及环保技术领域,具体为一种基于大数据网络计算的环保数据在线分析方法。
背景技术:
环保,全称环境保护,是指人类为解决现实的或潜在的环境问题,协调人类与环境的关系,保障经济、社会的持续发展而采取的各种行动的总称。其方法和手段有工程技术的、行政管理的、创新研发的,也有法律的、经济的、宣传教育的等。随着物联网技术的迅猛发展,各种先进的在线检测设备已经大规模应用在环保领域上。
现有的环保数据监测系统采用先存储后分析的策略,在一定程度上解决了企业环保数据监测系统信息化的问题,提高了效率。但难以实现对各环保监测数据进行基于大数据网络实时分析的效果,且只能计算出环保监测数据的数值,无法得出环保数据波动的幅度和的频率,可能会导致部分信息丢失,无法准确描述环保数据的真正情况。
技术实现要素:
本发明的目的在于提供一种基于大数据网络计算的环保数据在线分析方法,根据环保监测历史数据得出各类指标在评价环保质量时所占的权重,再对环保监测数据进行分析,能得出直观的、可量化的环保数据值,能够同时反映出环保数据值的波动幅度与波动频率,实现了环保数据的分析处理,确保了数据分析处理的准确性和实时性,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于大数据网络计算的环保数据在线分析方法,包括如下步骤:
从网络云服务器获取环保监测历史数据;
根据环保监测历史数据计算各类指标在评价环保质量时所占的权重,并将权重的信息保存;
以预设频率采集多个监测周期的环保监测数据;
将以预设频率采集的多个监测周期的环保监测数据的各类指标分别表征为矩阵形式;
对矩阵进行梯度计算,获得横向梯度和纵向梯度;
基于横向梯度和纵向梯度计算梯度变异值,进而利用梯度变异值得出环保数据的各类指标波动幅度和波动频率;
根据已保存的各类指标所占的权重及得出环保数据的各类指标波动幅度和波动频率来计算环保数据,然后把环保数据保存到数据库中,并供给终端显示系统。
优选的,还包括允许具有一定的资格的单位或者个人使用数据库上特定权限之内的数据,并用于第三方业务。
优选的,所述获取环保监测历史数据为取预定等间隔时段的环保监测数据。
优选的,所述网络云服务器基于kubernetes的云计算数据平台构建,使用spark作为核心计算引擎,所述网络云服务器获取环保监测历史数据后,通过综合评价权重的方法来计算各类指标在评价环保质量时所占的权重,综合专家经验取权和熵值取权的结果,用线性加权的方法最终确定出各类指标的权重。
优选的,所述用线性加权的方法最终确定出各类指标的权重计算公式如下:
wi=m×ai (1-m)×bi(0≤m≤1);
其中wi表示第i个指标的权重,ai表示第i个指标通过专家经验取权获取到的指标权重,bi表示第i个指标的根据熵值取权的方法计算出的权重,m为计算系数。
优选的,所述矩阵形式中的矩阵的行数对应监测周期数,矩阵的列数对应一个监测周期内采集的环保监测数据的各类指标的数目,矩阵中各元素是所采集的环保监测数据的各类指标值。
优选的,所述横向梯度表征各监测周期内的环保监测数据的各类指标值的波动情况,所述纵向梯度表征各监测周期之间的环保监测数据的各类指标值的波动情况。
优选的,所述梯度变异值的计算公式如下:
其中,fx(i,j)为横向梯度fx的第(i,j)个元素,fy(i,j)为纵向梯度fy的第(i,j)个元素,δti为相邻两个矩阵元素的横向时间,δtj为相邻两个矩阵元素的纵向时间,origin(i,j)为矩阵origin的第(i,j)个元素,m为矩阵origin的行数,n为矩阵origin的列数。
优选的,所述矩阵origin、fx和fy的表达分别为:
优选的,所述终端显示系统支持pc机、手机、平板电脑及其他显示终端设备。
与现有技术相比,本发明的有益效果是:
本发明首先通过从网络云服务器获取环保监测历史数据,再根据环保监测历史数据计算各类指标在评价环保质量时所占的权重,并将权重的信息保存,然后以预设频率采集多个监测周期的环保监测数据,将以预设频率采集的多个监测周期的环保监测数据的各类指标分别表征为矩阵形式,对矩阵进行梯度计算,获得横向梯度和纵向梯度,最后基于横向梯度和纵向梯度计算梯度变异值,进而利用梯度变异值得出环保数据的各类指标波动幅度和波动频率,根据已保存的各类指标所占的权重及得出环保数据的各类指标波动幅度和波动频率来计算环保数据,然后把环保数据保存到数据库中,并供给终端显示系统;本发明根据环保监测历史数据得出各类指标在评价环保质量时所占的权重,再对环保监测数据进行分析,能得出直观的、可量化的环保数据值,能够同时反映出环保数据值的波动幅度与波动频率,实现了环保数据的分析处理,确保了数据分析处理的准确性和实时性。
附图说明
图1为本发明提供的一种基于大数据网络计算的环保数据在线分析方法的流程示意图;
图2为本发明的一种基于大数据网络计算的环保数据在线分析方法的确定各类指标的权重的示意图;
图3为本发明的一种基于大数据网络计算的环保数据在线分析方法的基于kubernetes的云计算数据平台构建的网络云服务器的架构图;
图4为本发明的一种基于大数据网络计算的环保数据在线分析方法的网络云服务器的核心计算引擎spark的架构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
因此,以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
实施例1
本发明提供一种技术方案:
一种基于大数据网络计算的环保数据在线分析方法,包括如下步骤:
从网络云服务器获取环保监测历史数据;
根据环保监测历史数据计算各类指标在评价环保质量时所占的权重,并将权重的信息保存;
以预设频率采集多个监测周期的环保监测数据;
将以预设频率采集的多个监测周期的环保监测数据的各类指标分别表征为矩阵形式;
对矩阵进行梯度计算,获得横向梯度和纵向梯度;
基于横向梯度和纵向梯度计算梯度变异值,进而利用梯度变异值得出环保数据的各类指标波动幅度和波动频率;
根据已保存的各类指标所占的权重及得出环保数据的各类指标波动幅度和波动频率来计算环保数据,然后把环保数据保存到数据库中,并供给终端显示系统。
较佳的,还包括允许具有一定的资格的单位或者个人使用数据库上特定权限之内的数据,并用于第三方业务。
较佳的,获取环保监测历史数据为取预定等间隔时段的环保监测数据。
较佳的,网络云服务器基于kubernetes的云计算数据平台构建,使用spark作为核心计算引擎,网络云服务器获取环保监测历史数据后,通过综合评价权重的方法来计算各类指标在评价环保质量时所占的权重,综合专家经验取权和熵值取权的结果,用线性加权的方法最终确定出各类指标的权重。
较佳的,用线性加权的方法最终确定出各类指标的权重计算公式如下:
wi=m×ai (1-m)×bi(0≤m≤1);
其中wi表示第i个指标的权重,ai表示第i个指标通过专家经验取权获取到的指标权重,bi表示第i个指标的根据熵值取权的方法计算出的权重,m为计算系数。
较佳的,矩阵形式中的矩阵的行数对应监测周期数,矩阵的列数对应一个监测周期内采集的环保监测数据的各类指标的数目,矩阵中各元素是所采集的环保监测数据的各类指标值。
较佳的,横向梯度表征各监测周期内的环保监测数据的各类指标值的波动情况,纵向梯度表征各监测周期之间的环保监测数据的各类指标值的波动情况。
较佳的,终端显示系统支持pc机、手机、平板电脑及其他显示终端设备。
实施例2
本发明提供一种技术方案:
一种基于大数据网络计算的环保数据在线分析方法,包括如下步骤:
从网络云服务器获取环保监测历史数据;
根据环保监测历史数据计算各类指标在评价环保质量时所占的权重,并将权重的信息保存;
以预设频率采集多个监测周期的环保监测数据;
将以预设频率采集的多个监测周期的环保监测数据的各类指标分别表征为矩阵形式;
对矩阵进行梯度计算,获得横向梯度和纵向梯度;
基于横向梯度和纵向梯度计算梯度变异值,进而利用梯度变异值得出环保数据的各类指标波动幅度和波动频率;
根据已保存的各类指标所占的权重及得出环保数据的各类指标波动幅度和波动频率来计算环保数据,然后把环保数据保存到数据库中,并供给终端显示系统。
较佳的,还包括允许具有一定的资格的单位或者个人使用数据库上特定权限之内的数据,并用于第三方业务。
较佳的,获取环保监测历史数据为取预定等间隔时段的环保监测数据。
较佳的,矩阵形式中的矩阵的行数对应监测周期数,矩阵的列数对应一个监测周期内采集的环保监测数据的各类指标的数目,矩阵中各元素是所采集的环保监测数据的各类指标值。
较佳的,横向梯度表征各监测周期内的环保监测数据的各类指标值的波动情况,纵向梯度表征各监测周期之间的环保监测数据的各类指标值的波动情况。
较佳的,梯度变异值的计算公式如下:
其中,fx(i,j)为横向梯度fx的第(i,j)个元素,fy(i,j)为纵向梯度fy的第(i,j)个元素,δti为相邻两个矩阵元素的横向时间,δtj为相邻两个矩阵元素的纵向时间,origin(i,j)为矩阵origin的第(i,j)个元素,m为矩阵origin的行数,n为矩阵origin的列数。
较佳的,矩阵origin、fx和fy的表达分别为:
较佳的,终端显示系统支持pc机、手机、平板电脑及其他显示终端设备。
实施例3
本发明提供一种技术方案:
一种基于大数据网络计算的环保数据在线分析方法,包括如下步骤:
从网络云服务器获取环保监测历史数据;
根据环保监测历史数据计算各类指标在评价环保质量时所占的权重,并将权重的信息保存;
以预设频率采集多个监测周期的环保监测数据;
将以预设频率采集的多个监测周期的环保监测数据的各类指标分别表征为矩阵形式;
对矩阵进行梯度计算,获得横向梯度和纵向梯度;
基于横向梯度和纵向梯度计算梯度变异值,进而利用梯度变异值得出环保数据的各类指标波动幅度和波动频率;
根据已保存的各类指标所占的权重及得出环保数据的各类指标波动幅度和波动频率来计算环保数据,然后把环保数据保存到数据库中,并供给终端显示系统。
较佳的,还包括允许具有一定的资格的单位或者个人使用数据库上特定权限之内的数据,并用于第三方业务。
较佳的,获取环保监测历史数据为取预定等间隔时段的环保监测数据。
较佳的,网络云服务器基于kubernetes的云计算数据平台构建,使用spark作为核心计算引擎,网络云服务器获取环保监测历史数据后,通过综合评价权重的方法来计算各类指标在评价环保质量时所占的权重,综合专家经验取权和熵值取权的结果,用线性加权的方法最终确定出各类指标的权重。
较佳的,用线性加权的方法最终确定出各类指标的权重计算公式如下:
wi=m×ai (1-m)×bi(0≤m≤1);
其中wi表示第i个指标的权重,ai表示第i个指标通过专家经验取权获取到的指标权重,bi表示第i个指标的根据熵值取权的方法计算出的权重,m为计算系数。
较佳的,矩阵形式中的矩阵的行数对应监测周期数,矩阵的列数对应一个监测周期内采集的环保监测数据的各类指标的数目,矩阵中各元素是所采集的环保监测数据的各类指标值。
较佳的,横向梯度表征各监测周期内的环保监测数据的各类指标值的波动情况,纵向梯度表征各监测周期之间的环保监测数据的各类指标值的波动情况。
较佳的,梯度变异值的计算公式如下:
其中,fx(i,j)为横向梯度fx的第(i,j)个元素,fy(i,j)为纵向梯度fy的第(i,j)个元素,δti为相邻两个矩阵元素的横向时间,δtj为相邻两个矩阵元素的纵向时间,origin(i,j)为矩阵origin的第(i,j)个元素,m为矩阵origin的行数,n为矩阵origin的列数。
较佳的,矩阵origin、fx和fy的表达分别为:
较佳的,终端显示系统支持pc机、手机、平板电脑及其他显示终端设备。
综上所述:本发明首先通过从网络云服务器获取环保监测历史数据,再根据环保监测历史数据计算各类指标在评价环保质量时所占的权重,并将权重的信息保存,然后以预设频率采集多个监测周期的环保监测数据,将以预设频率采集的多个监测周期的环保监测数据的各类指标分别表征为矩阵形式,对矩阵进行梯度计算,获得横向梯度和纵向梯度,最后基于横向梯度和纵向梯度计算梯度变异值,进而利用梯度变异值得出环保数据的各类指标波动幅度和波动频率,根据已保存的各类指标所占的权重及得出环保数据的各类指标波动幅度和波动频率来计算环保数据,然后把环保数据保存到数据库中,并供给终端显示系统;本发明根据环保监测历史数据得出各类指标在评价环保质量时所占的权重,再对环保监测数据进行分析,能得出直观的、可量化的环保数据值,能够同时反映出环保数据值的波动幅度与波动频率,实现了环保数据的分析处理,确保了数据分析处理的准确性和实时性。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
1.一种基于大数据网络计算的环保数据在线分析方法,其特征在于,包括如下步骤:
从网络云服务器获取环保监测历史数据;
根据环保监测历史数据计算各类指标在评价环保质量时所占的权重,并将权重的信息保存;
以预设频率采集多个监测周期的环保监测数据;
将以预设频率采集的多个监测周期的环保监测数据的各类指标分别表征为矩阵形式;
对矩阵进行梯度计算,获得横向梯度和纵向梯度;
基于横向梯度和纵向梯度计算梯度变异值,进而利用梯度变异值得出环保数据的各类指标波动幅度和波动频率;
根据已保存的各类指标所占的权重及得出环保数据的各类指标波动幅度和波动频率来计算环保数据,然后把环保数据保存到数据库中,并供给终端显示系统。
2.根据权利要求1所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:还包括允许具有一定的资格的单位或者个人使用数据库上特定权限之内的数据,并用于第三方业务。
3.根据权利要求1所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述获取环保监测历史数据为取预定等间隔时段的环保监测数据。
4.根据权利要求1所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述网络云服务器基于kubernetes的云计算数据平台构建,使用spark作为核心计算引擎,所述网络云服务器获取环保监测历史数据后,通过综合评价权重的方法来计算各类指标在评价环保质量时所占的权重,综合专家经验取权和熵值取权的结果,用线性加权的方法最终确定出各类指标的权重。
5.根据权利要求4所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述用线性加权的方法最终确定出各类指标的权重计算公式如下:
wi=m×ai (1-m)×bi(0≤m≤1);
其中wi表示第i个指标的权重,ai表示第i个指标通过专家经验取权获取到的指标权重,bi表示第i个指标的根据熵值取权的方法计算出的权重,m为计算系数。
6.根据权利要求1所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述矩阵形式中的矩阵的行数对应监测周期数,矩阵的列数对应一个监测周期内采集的环保监测数据的各类指标的数目,矩阵中各元素是所采集的环保监测数据的各类指标值。
7.根据权利要求1所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述横向梯度表征各监测周期内的环保监测数据的各类指标值的波动情况,所述纵向梯度表征各监测周期之间的环保监测数据的各类指标值的波动情况。
8.根据权利要求1所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述梯度变异值的计算公式如下:
其中,fx(i,j)为横向梯度fx的第(i,j)个元素,fy(i,j)为纵向梯度fy的第(i,j)个元素,δti为相邻两个矩阵元素的横向时间,δtj为相邻两个矩阵元素的纵向时间,origin(i,j)为矩阵origin的第(i,j)个元素,m为矩阵origin的行数,n为矩阵origin的列数。
9.根据权利要求8所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述矩阵origin、fx和fy的表达分别为:
10.根据权利要求1所述的一种基于大数据网络计算的环保数据在线分析方法,其特征在于:所述终端显示系统支持pc机、手机、平板电脑及其他显示终端设备。
技术总结