本发明涉及大数据分析领域，具体涉及一种基于大数据的信息收集分析系统。
背景技术：
：：在大数据时代，网络中的信息量呈现爆炸式增长，如何实现这些数据的利用，从而是发挥其价值，是当前研究的热点。目前，现在有很多传统的日志或者其他专业工具虽然能够帮助企业分析这些数据，但其对数据的处理目前仅仅停留在各自割裂、简易的图表与简单列示查询的方式，这些数据并没有很好的呈现为可视化的关联，而关键数据的提取以及数据关联关系的建立等仍需依靠人工进行，费时费力，同时，大数据内是否存在危险因素不可知，内载商业价值也不可知。技术实现要素：为解决上述问题，本发明提供了一种基于大数据的信息收集分析系统，可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据，从而发挥其价值。为实现上述目的，本发明采取的技术方案为：一种基于大数据的信息收集分析系统，包括：数据挖掘模块，用于基于预设的数据挖掘模型实现目标信息的挖掘；信息集构建模块，用于基于hadoop运行预设的数据分类模型实现目标信息的分类，得目标信息集；数据分析模块，用于为每一个目标参数集分配一个计算节点，计算节点通过运行预设的数据分析模型实现目标信息集的分析，得到对应的数据分析结果；可视化分析模块，用于运行预设的驱动脚本实现tableaudesktop的驱动，实现目标参数集以及数据分析结果的可视化分析。进一步地，还包括：信息过滤模块，用于滤除存在危险因素的目标信息。进一步地，还包括：信息标准化模块，用于实现每个目标参数集内载目标信息的标准化处理。进一步地，所述数据分类模型采用bi-lstm attention模型。进一步地，每一个目标参数集对应一个数据分类模型，且对应一个数据分析模型和一组驱动脚本。进一步地，还包括：分析报表编制模块，用于实现信息分析报表的自动编制，内载跟踪挖掘模型，用于实现可视化分析模块运行脚本的跟踪挖掘，从而实现可视化分析模块每一步分析结果的自动挖掘填充。进一步地，每一个信息集配置独立的数据储存区，信息集构建模块所得的信息集自动转换成对应的访问超链接，并填充至分析报表模板内。本发明具有以下有益效果：1）可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据，从而发挥其价值。2）基于运行预设的驱动脚本实现tableaudesktop的驱动，可以实现目标参数集以及数据分析结果自动化可视化分析。3）以分析报表的方式实现分析结果的反馈，用户可以一目了然的获取到目标信息的分析结果。附图说明图1为本发明实施例一种基于大数据的信息收集分析系统的系统框图。图2为本发明实施例一种基于大数据的信息收集分析系统的流程图。具体实施方式为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。实施例1如图1所示，一种基于大数据的信息收集分析系统，包括：数据挖掘模块，用于基于预设的数据挖掘模型实现目标信息的挖掘；信息集构建模块，用于基于hadoop运行预设的数据分类模型实现目标信息的分类，得目标信息集；数据分析模块，用于为每一个目标参数集分配一个计算节点，计算节点通过运行预设的数据分析模型实现目标信息集的分析，得到对应的数据分析结果；可视化分析模块，用于运行预设的驱动脚本实现tableaudesktop的驱动，实现目标参数集以及数据分析结果的可视化分析；信息过滤模块，用于滤除存在危险因素的目标信息；具体的，基于预设的危险因素识别模型实现存在危险因素的目标信息的识别，所述危险因素识别模型基于危险因素集训练所得；信息标准化模块，用于实现每个目标参数集内载目标信息的标准化处理；每一个目标参数集配置一种目标信息标准化算法；分析报表编制模块，用于实现信息分析报表的自动编制，内载跟踪挖掘模型，用于实现可视化分析模块运行脚本的跟踪挖掘，从而实现可视化分析模块每一步分析结果的自动挖掘填充，数据分析模块所得的数据分析结果自动填充至分析报表模板内，信息集构建模块所得的信息集自动转换成对应的访问超链接，并填充至分析报表模板内；中央处理模块，用于协调上述模块工作。本实施例中，所述数据分类模型采用bi-lstm attention模型，每一个目标参数集对应一个数据分类模型，且对应一个数据分析模型和一组驱动脚本，所述驱动脚本用于驱动tableaudesktop自主运行，从而实现目标参数集以及数据分析结果的选取、录入、分析操作。如图2所示，本具体实施工作时，包括如下步骤：s1、基于预设的数据挖掘模型实现目标信息的挖掘；s2、滤除存在危险因素的目标信息；具体的，基于预设的危险因素识别模型实现存在危险因素的目标信息的识别，所述危险因素识别模型基于危险因素集训练所得；s3、基于hadoop运行预设的数据分类模型实现目标信息的分类，得目标信息集；s4、实现每个目标参数集内载目标信息的标准化处理；每一个目标参数集配置一种目标信息标准化算法；s5、为每一个目标参数集分配一个计算节点，计算节点通过运行预设的数据分析模型实现目标信息集的分析，得到对应的数据分析结果；s6、运行预设的驱动脚本实现tableaudesktop的驱动，实现目标参数集以及数据分析结果的可视化分析；s7、编制分析报表编制，具体的：数据分析模块所得的数据分析结果自动填充至分析报表模板内，信息集构建模块所得的信息集自动转换成对应的访问超链接，并填充至分析报表模板内，而可视化分析模块的分析结果通过跟踪挖掘模型实现，该模型用于实现可视化分析模块运行脚本的跟踪挖掘，从而实现可视化分析模块每一步分析结果的自动挖掘填充。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
：的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页1 2 3 当前第1页1 2 3
技术特征：1.一种基于大数据的信息收集分析系统，其特征在于，包括：
数据挖掘模块，用于基于预设的数据挖掘模型实现目标信息的挖掘；
信息集构建模块，用于基于hadoop运行预设的数据分类模型实现目标信息的分类，得目标信息集；
数据分析模块，用于为每一个目标参数集分配一个计算节点，计算节点通过运行预设的数据分析模型实现目标信息集的分析，得到对应的数据分析结果；
可视化分析模块，用于运行预设的驱动脚本实现tableaudesktop的驱动，实现目标参数集以及数据分析结果的可视化分析。
2.如权利要求1所述的一种基于大数据的信息收集分析系统，其特征在于，还包括：
信息过滤模块，用于滤除存在危险因素的目标信息。
3.如权利要求1所述的一种基于大数据的信息收集分析系统，其特征在于，还包括：
信息标准化模块，用于实现每个目标参数集内载目标信息的标准化处理。
4.如权利要求1所述的一种基于大数据的信息收集分析系统，其特征在于，所述数据分类模型采用bi-lstm attention模型。
5.如权利要求1所述的一种基于大数据的信息收集分析系统，其特征在于，每一个目标参数集对应一个数据分类模型，且对应一个数据分析模型和一组驱动脚本。
6.如权利要求1所述的一种基于大数据的信息收集分析系统，其特征在于，还包括：
分析报表编制模块，用于实现信息分析报表的自动编制，内载跟踪挖掘模型，用于实现可视化分析模块运行脚本的跟踪挖掘，从而实现可视化分析模块每一步分析结果的自动挖掘填充。
7.如权利要求1所述的一种基于大数据的信息收集分析系统，其特征在于，每一个信息集配置独立的数据储存区，信息集构建模块所得的信息集自动转换成对应的访问超链接，并填充至分析报表模板内。
技术总结本发明涉及大数据分析领域，具体涉及一种基于大数据的信息收集分析系统，包括：数据挖掘模块，用于基于预设的数据挖掘模型实现目标信息的挖掘；信息集构建模块，用于基于Hadoop运行预设的数据分类模型实现目标信息的分类，得目标信息集；数据分析模块，用于为每一个目标参数集分配一个计算节点，计算节点通过运行预设的数据分析模型实现目标信息集的分析，得到对应的数据分析结果；可视化分析模块，用于运行预设的驱动脚本实现Tableau Desktop的驱动，实现目标参数集以及数据分析结果的可视化分析。本发明可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据，从而发挥其价值。
技术研发人员：陈璟
受保护的技术使用者：广西科技师范学院
技术研发日：2020.12.15
技术公布日：2021.03.12
