本发明具体涉及一种基于大数据的数据自动可视化的方法。
背景技术：
随着目前各行业数据量的爆炸式增长，针对至少以pb为单位的海量数据，通过人工的方式进行操作时，由于很难进行可视化操作，导致了很多错误的产生；为了减少人工对海量数据操作过程中出现的各种错误，大数据可视化技术应用而生。但是传统的大数据可视化技术，对数据类型进行分析时仍然需要大量的人工操作；为了减少人工对海量数据操作带来的复杂性，急需一种可以智能解析海量数据且根据业务自动可视化的方法。
技术实现要素：
本发明的目的在于针对现有技术的不足，提供一种基于大数据的数据自动可视化的方法，该基于大数据的数据自动可视化的方法可以很好地解决上述问题。
为达到上述要求，本发明采取的技术方案是：提供一种基于大数据的数据自动可视化的方法，该基于大数据的数据自动可视化的方法包括如下步骤：
s1：采集或录入原始数据，整合大规模数据源，并将大规模数据源存储到分布式数据库，并对原始数据进行预处理及存储，经预处理后得到精确的初始数据；
s2：通过配置引擎界面配置参数，从大规模数据源中抽取用于分析的样例数据；
s3：对样例数据进行去燥操作，消除无关数据，得到分析样本；
s4：对得到的样例数据进行可视化匹配处理；
s5：进行映射，对步骤s2中处理后的数据进行数据集建立，并将数值数据转成几何数据，完成数据建模；
s6：绘制和设计图表，根据业务数据呈现方式的需要，选择图表类型，匹配待呈现图表的显示数值，利用可视化类库的制图引擎绘制出图表；
s7：可视化呈现，通过页面布局、局部图表的定制、数据源和数据集的配置以及统一的从大数据平台获取数据的接口进行整合；
s8：将需要呈现的数据源显示在web页面前端，从而实现大数据平台的自动可视化分析页面的配置与呈现。
该基于大数据的数据自动可视化的方法具有的优点如下：
在传统攻击场景建模基础上，使用了可视化的规则配置界面，并在规则生效后可预览告警，提高了场景建模的可视性及交互性，实现了可视化交互的攻击场景建模，便于大数据安全分析，充分利用开源的流式处理框架、事件处理模型以及可视化交互运行反馈模型，通过对场景规则的可视化配置，以及规则作用于数据后的反馈，使数据分析的流程形成完整闭环，人机形成良好交互，最终形成场景建模的良好可视化交互流程，具有良好的应用前景。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示意性地示出了根据本申请一个实施例的基于大数据的数据自动可视化的方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。
为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。
根据本申请的一个实施例，提供一种基于大数据的数据自动可视化的方法，如图1所示，包括如下步骤：
s1：采集或录入原始数据，整合大规模数据源，并将大规模数据源存储到分布式数据库，并对原始数据进行预处理及存储，经预处理后得到精确的初始数据；
s2：通过配置引擎界面配置参数，从大规模数据源中抽取用于分析的样例数据；
s3：对样例数据进行去燥操作，消除无关数据，得到分析样本；
s4：对得到的样例数据进行可视化匹配处理；
s5：进行映射，对步骤s2中处理后的数据进行数据集建立，并将数值数据转成几何数据，完成数据建模；
s6：绘制和设计图表，根据业务数据呈现方式的需要，选择图表类型，匹配待呈现图表的显示数值，利用可视化类库的制图引擎绘制出图表；
s7：可视化呈现，通过页面布局、局部图表的定制、数据源和数据集的配置以及统一的从大数据平台获取数据的接口进行整合；
s8：将需要呈现的数据源显示在web页面前端，从而实现大数据平台的自动可视化分析页面的配置与呈现。
根据本申请的一个实施例，该基于大数据的数据自动可视化的方法的步骤s2，对得到的初始数据进行可视化匹配处理，包括数据的滤波处理、平滑处理、规范化处理、几何变换、线性变换和特征检测及提取。
根据本申请的一个实施例，该基于大数据的数据自动可视化的方法还包括如下步骤：将抽取的数据加载到分布式文件系统hdfs中；根据接收的业务规则对hdfs中的数据进行转换处理，得到处理结果。从hdfs中导出所述处理结果并加载到关系型数据库中。
根据本申请的一个实施例，该基于大数据的数据自动可视化的步骤s3：对样例数据进行降噪操作，消除无关数据，得到分析样本，其中进行降噪的步骤具体如下：
接收降噪请求并获取待降噪的数据，根据所述降噪请求获取对应的特征组合；
根据所述特征组合建立数据降噪比对模型；
计算所述特征组合的区分度参数；
利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
根据预设的评价指标从所述初始特征组合中提取可用特征组合；根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据。
根据本申请的一个实施例，该基于大数据的数据自动可视化的方法中将需要呈现的数据源显示在web页面前端的步骤具体包括：接受用户操作；根据用户操作生成web页面代码，并解析所述web页面代码以生成web页面；将所述web页面转换为图片。
根据本申请的一个实施例，该基于大数据的数据自动可视化的方法还包括web页面检测的步骤：于所述开发设备与被测设备之间的数据线与所述被测设备建立通信通道；所述开发设备通过所述通信通道发送测试指令至所述被测设备，所述测试指令指示所述被测设备获取目标web页面的目标数据信息；所述开发设备获取所述被测设备返回的所述目标web页面的目标数据信息。
以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。
1.一种基于大数据的数据自动可视化的方法，其特征在于，包括如下步骤：
s1：采集或录入原始数据，整合大规模数据源，并将大规模数据源存储到分布式数据库，并对原始数据进行预处理及存储，经预处理后得到精确的初始数据；
s2：通过配置引擎界面配置参数，从大规模数据源中抽取用于分析的样例数据；
s3：对样例数据进行降噪操作，消除无关数据，得到分析样本；
步骤s3：对样例数据进行降噪操作，消除无关数据，得到分析样本，其中进行降噪的步骤具体如下：
接收降噪请求并获取待降噪的数据，根据所述降噪请求获取对应的特征组合；
根据所述特征组合建立数据降噪比对模型；
计算所述特征组合的区分度参数；
利用预设的初始区分度阈值对所述特征组合的区分度进行筛选，获得符合预设要求的区分度对应的特征组合；
根据所述符合预设要求的区分度对应的特征组合生成初始特征组合；
根据预设的评价指标从所述初始特征组合中提取可用特征组合；根据所述可用特征组合对所述初始数据进行降噪处理，删除所述初始数据中的噪音数据，得到可用数据。
s4：对得到的样例数据进行可视化匹配处理；
s5：进行映射，对步骤s2中处理后的数据进行数据集建立，并将数值数据转成几何数据，完成数据建模；
s6：绘制和设计图表，根据业务数据呈现方式的需要，选择图表类型，匹配待呈现图表的显示数值，利用可视化类库的制图引擎绘制出图表；
s7：可视化呈现，通过页面布局、局部图表的定制、数据源和数据集的配置以及统一的从大数据平台获取数据的接口进行整合；
s8：将需要呈现的数据源显示在web页面前端，从而实现大数据平台的自动可视化分析页面的配置与呈现。
2.根据权利要求1所述的基于大数据的数据自动可视化的方法，其特征在于：步骤s2，对得到的初始数据进行可视化匹配处理，包括数据的滤波处理、平滑处理、规范化处理、几何变换、线性变换和特征检测及提取。
3.根据权利要求1所述的基于大数据的数据自动可视化的方法，其特征在于，还包括如下步骤：将抽取的数据加载到分布式文件系统hdfs中；根据接收的业务规则对hdfs中的数据进行转换处理，得到处理结果。
4.根据权利要求3所述的基于大数据的数据自动可视化的方法，其特征在于：从hdfs中导出所述处理结果并加载到关系型数据库中。
5.根据权利要求1所述的基于大数据的数据自动可视化的方法，其特征在于，将需要呈现的数据源显示在web页面前端的步骤具体包括：接受用户操作；根据用户操作生成web页面代码，并解析所述web页面代码以生成web页面；将所述web页面转换为图片。
6.根据权利要求1所述的基于大数据的数据自动可视化的方法，其特征在于，还包括web页面检测的步骤：于所述开发设备与被测设备之间的数据线与所述被测设备建立通信通道；所述开发设备通过所述通信通道发送测试指令至所述被测设备，所述测试指令指示所述被测设备获取目标web页面的目标数据信息；所述开发设备获取所述被测设备返回的所述目标web页面的目标数据信息。
技术总结