本发明具体涉及一种高校大数据采集系统及方法。
背景技术：
数字化时代背景下，校园管理同样需要向智能化方向迈进。无论校方、还是学生家长，都希望通过捕获学生的行为信息来了解学生是否在校、是否按时上课、是否按时回家等。学生作为一个特定的、庞大的社会群体，其轨迹行为具有很强的特殊性、规律性，在学校里的学生从进校、上课、离校等方面产生大量的数据，通过对海量学生轨迹数据的收集、清洗、提取和挖掘来获取有价值的信息，能为学生管理、校园管理、安全预警等工作提供决策依据；因此需要一种应用于高校的高校大数据采集系统及方法。
技术实现要素：
本发明的目的在于针对现有技术的不足，提供一种高校大数据采集系统及方法，该高校大数据采集系统及方法可以很好地解决上述问题。
为达到上述要求，本发明采取的技术方案是：提供一种高校大数据采集系统及方法，该高校大数据采集系统包括如下模块：服务端，用于预存有每一学生的学生档案，学生档案包括学生姓名、和学生姓名对应的身份识别码、考勤数据以及位置数据；考勤端，用于读取考勤识别单元内的身份识别码，并将身份识别码上传至服务端；学生数据采集模块，包括考勤识别单元、定位单元及agent单元；所述服务端用于根据学生档案中学生姓名对应的身份识别码和考勤端上传的身份识别码确定学生姓名并新增对应学生的考勤数据，考勤数据包括到校考勤状态和离校考勤状态；信息抓取模块，用于从url队列中获取要爬取的url后便从internet抓取指定的原始数据；ip代理池模块，用于给所述抓取模块提供可用代理；解析模块，用于对数据进行预处理与抽取；url处理模块，用于对url相关数据的处理；数据存储模块，用于对数据进行规则化和持久化。
该高校大数据采集方法包括如下步骤：
s1、采集前端数据：接收数据前端发送的提供服务请求，并根据所述服务请求通过区别于记录服务动作的日志线程监听服务日志；
s2、数据上传：将采集节点采集的数据统一传输至接收分机内；
s3、数据分类：通过接收分机对采集节点采集的数据进行分类；
s4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；
s5：根据所述被采集的数据的类型，采集所述总数据量的被采集数据；
s6：在预设的时刻开始后的第一预设时长内上传所述被采集的数据；
s7：建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。
该高校大数据采集系统及方法方便对学生在校数据进行收集和监控管理，以方便学校第一时间了解每名学生的情况，并通过对海量学生轨迹数据的收集、清洗、提取和挖掘来获取有价值的信息，能为学生管理、校园管理、安全预警等工作提供决策依据。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示意性地示出了根据本申请一个实施例的高校大数据采集系统及方法的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。
为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。
根据本申请的一个实施例，提供一种高校大数据采集系统及方法，如图1所示，包括如下模块：
服务端，用于预存有每一学生的学生档案，学生档案包括学生姓名、和学生姓名对应的身份识别码、考勤数据以及位置数据；
考勤端，用于读取考勤识别单元内的身份识别码，并将身份识别码上传至服务端
学生数据采集模块，包括考勤识别单元、定位单元及agent单元；
所述服务端用于根据学生档案中学生姓名对应的身份识别码和考勤端上传的身份识别码确定学生姓名并新增对应学生的考勤数据，考勤数据包括到校考勤状态和离校考勤状态；
信息抓取模块，用于从url队列中获取要爬取的url后便从internet抓取指定的原始数据；
ip代理池模块，用于给所述抓取模块提供可用代理；
解析模块，用于对数据进行预处理与抽取；
url处理模块，用于对url相关数据的处理；
数据存储模块，用于对数据进行规则化和持久化。
根据本申请的一个实施例，该高校大数据采集系统agent单元部署在要采集的数据设备上。
根据本申请的一个实施例，该高校大数据采集系统数据设备上的每一个应用软件与一个所述agent单元相对应，所述agent单元用于采集与其相对应的应用软件的运行数据，并将该采集数据发送给所述数据汇聚模块进行数据聚合和预处理，并将预处理后的数据发送给所述数据接收模块。
根据本申请的一个实施例，该高校大数据采集系统还包括家长端，服务端还用于将新增的离校考勤状态和离校时间或到校考勤状态和到校考勤时间发送至家长端。
根据本申请的一个实施例，该高校大数据采集方法包括如下步骤：
s1、采集前端数据：接收数据前端发送的提供服务请求，并根据所述服务请求通过区别于记录服务动作的日志线程监听服务日志；
s2、数据上传：将采集节点采集的数据统一传输至接收分机内；
s3、数据分类：通过接收分机对采集节点采集的数据进行分类；
s4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；
s5：根据所述被采集的数据的类型，采集所述总数据量的被采集数据；
s6：在预设的时刻开始后的第一预设时长内上传所述被采集的数据；
s7：建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。
学生成绩分析模块，用于对学生在校成绩信息进行分析，其分析的具体步骤包括：
对每名单一学生进行试题测试，并对每名单一学生的试题测试结果进行知识点掌握程度分析；
根据每名单一学生知识点掌握程度分析结果形成单一学生知识点掌握数据库；构建单一教师教学信息数据库；
将单一教师教学信息数据库与该教师所教授的学生的单一学生知识点掌握数据库中的知识点进行关联；
根据每个单一学生知识点掌握数据库反馈形成对应知识点的教师教学质量数据，将所述教师教学质量数据存储如对应的教师教学信息数据库；
将每个单一教师教学信息数据库的教师教学质量数据进行横向比对得出不同教师对于不同知识点的教学质量比对数据并形成可视乎比对图。
以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。
1.一种高校大数据采集系统，其特征在于，包括如下模块：
服务端，用于预存有每一学生的学生档案，学生档案包括学生姓名、和学生姓名对应的身份识别码、考勤数据以及位置数据；
考勤端，用于读取考勤识别单元内的身份识别码，并将身份识别码上传至服务端
学生数据采集模块，包括考勤识别单元、定位单元及agent单元；
所述服务端用于根据学生档案中学生姓名对应的身份识别码和考勤端上传的身份识别码确定学生姓名并新增对应学生的考勤数据，考勤数据包括到校考勤状态和离校考勤状态；
信息抓取模块，用于从url队列中获取要爬取的url后便从internet抓取指定的原始数据；
ip代理池模块，用于给所述抓取模块提供可用代理；
解析模块，用于对数据进行预处理与抽取；
url处理模块，用于对url相关数据的处理；
数据存储模块，用于对数据进行规则化和持久化；
学生成绩分析模块，用于对学生在校成绩信息进行分析，其分析的具体步骤包括：
对每名单一学生进行试题测试，并对每名单一学生的试题测试结果进行知识点掌握程度分析；
根据每名单一学生知识点掌握程度分析结果形成单一学生知识点掌握数据库；构建单一教师教学信息数据库；
将单一教师教学信息数据库与该教师所教授的学生的单一学生知识点掌握数据库中的知识点进行关联；
根据每个单一学生知识点掌握数据库反馈形成对应知识点的教师教学质量数据，将所述教师教学质量数据存储如对应的教师教学信息数据库；
将每个单一教师教学信息数据库的教师教学质量数据进行横向比对得出不同教师对于不同知识点的教学质量比对数据并形成可视乎比对图。
2.根据权利要求1所述的高校大数据采集系统及方法，其特征在于：所述agent单元部署在要采集的数据设备上。
3.根据权利要求1所述的高校大数据采集系统及方法，其特征在于：所述数据设备上的每一个应用软件与一个所述agent单元相对应，所述agent单元用于采集与其相对应的应用软件的运行数据，并将该采集数据发送给所述数据汇聚模块进行数据聚合和预处理，并将预处理后的数据发送给所述数据接收模块。
4.根据权利要求1所述的高校大数据采集系统及方法，其特征在于：还包括家长端，服务端还用于将新增的离校考勤状态和离校时间或到校考勤状态和到校考勤时间发送至家长端。
5.一种高校大数据采集方法，其特征在于，包括如下步骤：
s1、采集前端数据：接收数据前端发送的提供服务请求，并根据所述服务请求通过区别于记录服务动作的日志线程监听服务日志；
s2、数据上传：将采集节点采集的数据统一传输至接收分机内；
s3、数据分类：通过接收分机对采集节点采集的数据进行分类；
s4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；
s5：根据所述被采集的数据的类型，采集所述总数据量的被采集数据；
s6：在预设的时刻开始后的第一预设时长内上传所述被采集的数据；
s7：建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。
技术总结