本发明涉及dcim系统,特别涉及超大型数据管理的一体化dcim系统。
背景技术:
1、dcim系统可以帮助管理员优化数据中心的运行效率、降低能源消耗,并提供预测性维护和容量规划等功能。它还能够帮助管理员实时监控设备的性能和状态,并提供报警和通知功能,以便及时处理故障和问题。总的来说,dcim系统可以提高数据中心的可靠性、可用性和安全性,提高运维效率,并减少成本。
2、近几年随着大模型训练、算力芯片、gpu、npu、800g光模块、高密度电池等技术突破,且制冷技术高速发展,单机柜功率从8kw提升60kw或更高,并能够实现量产及项目落地,未来液冷技术上下游产业链将不断完善,单机柜功率还将不断攀升,同建筑物内将产出更高的机柜,对于建筑物dcim系统将带来巨大考验及压力;
3、现有分布式dcim系统架构技术无法对未来超大型数据中心进行纳管,
4、1、将存在系统卡顿、数据刷新时间无法满足终端客户要求;
5、2、同时存在系统割裂、故障定位难的问题。
技术实现思路
1、本发明的目的在于提供超大型数据管理的一体化dcim系统,以解决上述背景技术中现有分布式dcim系统架构技术无法对未来超大型数据中心进行纳管的问题。
2、为实现上述目的,本发明提供如下技术方案:超大型数据管理的一体化dcim系统,包括:
3、数据接入系统,用于:
4、为整个dcim系统各个采集模块的数据接口,同时也是反馈设备状态的来源,接收动环监控系统、电力监控系统、ba系统的设备信息及运行状态;
5、数据处理系统,用于:
6、将末端采集到的信息进行计算、分析及存储,具备组态化联动控制功能,实现相关系统或设备的自动化联动控制,具备复杂事件分析功能,自动查找根源告警,方便运维中快速定位根源,快速解决问题,快速恢复故障,其中数据处理系统包括3台管理服务器和3台存储服务器,管理服务器是将采集上的数据进行分析处理,对于设备的故障进行上报及计算,存储服务器是将采集数据进行全量存储,数据接入系统所接收到的信息通过交换机上传至数据处理系统;
7、管理融合平台,用于:
8、将动环监控系统、电力监控系统以及ba自控系统打通,将其融合为一个管理平台,提高了服务器集群的处理能力。
9、进一步地,所述数据接入系统包括:数据采集模块、数据传输模块、数据清洗转换模块、数据保障模块、数据流量控制模块以及数据发送模块,其中
10、数据采集模块,用于:
11、从各个数据源采集数据,包括变电所及电池室区域、it包间区域和冷冻站区域,以及外部的数据源,其中包括云服务、外部监控系统,通过数据采集,系统可以获取实时的数据信息,为后续的数据处理和分析提供基础;
12、数据传输模块,用于:
13、负责将采集到的数据进行传输,确保数据的快速、稳定和安全的传递,选用采用tcp/ip协议进行传输;
14、数据清洗转换模块,用于:
15、在数据传输过程中,能够对数据进行清洗和转换,确保数据的质量和格式的一致性,能够对数据进行去重、去噪、格式转换,使数据更加规范和易于管理;
16、数据保障模块,用于:
17、负责确保数据的安全性,通过加密技术和身份验证的手段,对数据进行保护,防止数据在传输过程中被篡改、泄露或未经授权的访问;
18、数据流量控制模块,用于:
19、对数据流量进行控制和管理,确保数据的平衡和稳定的传输,根据数据中心的需求和资源情况,对数据进行优先级和带宽的分配,保证关键数据的及时传输;
20、数据发送模块,用于:
21、将采集整理后的数据发送至数据处理系统。
22、进一步地,所述数据清洗转换模块包括:数据去重模块、数据去噪模块以及数据格式转换模块;
23、数据去重模块,用于:
24、通过哈希算法去重算法,对采集到的数据进行去重处理;
25、数据去噪模块,用于:
26、通过滤波技术,对数据进行去噪处理,提高数据的准确性和可靠性;
27、数据格式转换模块,用于:
28、根据数据中心的需求,对采集到的数据进行格式转换,使其与系统内部的数据格式一致,方便后续的数据处理和分析。
29、进一步地,所述数据清洗转换模块还包括:
30、数据归一化模块,用于:
31、对数据进行归一化处理,将其转换为统一的单位和量级,方便数据的比较和分析;
32、数据校验模块,用于:
33、通过循环冗余校验对数据进行校验,若数据校验失败,进行数据重传或报警处理;
34、数据补全模块,用于:
35、根据历史数据进行插值或补全,填补数据的空缺,确保数据的完整性和连续性。
36、进一步地,所述数据保障模块包括:
37、数据加密模块,用于:
38、在数据清洗和转换过程中,采用对称加密算法对敏感数据进行加密处理,确保数据在传输和存储过程中的安全性;
39、数据脱敏模块,用于:
40、对于涉及个人隐私或敏感信息的数据,在进行清洗和转换时,采用数据脱敏技术,将敏感信息进行屏蔽或替换,以保护用户隐私和数据安全;
41、数据权限控制模块,用于:
42、在数据清洗和转换过程中,设置严格的数据权限控制机制,限制用户对数据的访问和操作权限,只有经过授权的用户才能进行数据清洗和转换操作,确保数据的安全性和可控性。
43、进一步地,所述数据保障模块还包括:
44、数据审计和监控模块,用于:
45、建立数据清洗和转换的审计和监控机制,记录数据的清洗和转换操作,以便后续的审计和追溯,监控数据清洗和转换过程中的异常操作和数据变动,及时发现和处理数据安全风险;
46、数据备份和恢复模块,用于:
47、在数据清洗和转换过程中,定期进行数据备份,确保数据的可恢复性和持久性,在数据清洗和转换过程中,及时备份数据,以防止数据丢失或损坏,保障数据的安全性和可用性;
48、数据异常检测模块,用于:
49、建立异常检测和报警机制,监测数据清洗和转换过程中的异常情况,一旦发现异常情况,及时触发报警机制。
50、进一步地,所述数据流量控制模块包括:
51、流量监控与分析模块,用于:
52、通过snort流量分析工具对数据流量进行实时监控和分析,可以及时发现异常流量或攻击行为,从而保护数据的安全;
53、流量优先级模块,用于:
54、针对流量较大的数据,优先发送,确保重要数据的及时性;
55、流量阻断模块,用于:
56、结合流量监控和分析结果,设置异常流量检测规则,并配置报警机制,当监测到异常流量时,触发报警机制,同时数据清洗转换以及数据审计和监控停止进行,防止出现数据泄漏。
57、进一步地,所述数据处理系统包括:
58、数据存储模块,对整理发送过来的信息进行存储,其中包括线上存储和线下存储,线上存储通过存储服务器进行存储;
59、机组联动模块,将3台管理服务器同时运行,通过系统运行控制软件实现服务器的负载均衡;
60、定位报警模块,用于:
61、对待监控的设备进行定位报警,自动查找根源告警,方便运维中快速定位根源,快速解决问题,快速恢复故障;
62、报表生成模块,用于:
63、运维人员设计满足其个性化需求的报表报告。
64、进一步地,所述定位报警模块包括:
65、标识符设定模块,用于给每个设备分配一个唯一的标识符,这样可以确保每个设备都有明确的标识,同时建立坐标系,每个设备都有属于自己的坐标点;
66、故障方向确定模块,用于在dcim系统中,有两类故障,一是清楚故障源,另一种是不清楚故障源,设置对设备状态故障的实时监测,使用传感器和数据采集器记录设备的状态信息,两类故障均包括电力故障和环境故障,设定电力故障为d,环境故障为h;
67、精准故障标记模块,用于当遇到清楚故障源时,标记为精准故障(即精准代表符号x),通过分析监测数据来确定是否出现了特定的故障模式,出现特定故障模式即为清楚故障源;
68、故障定位模块,用于排除遇到清楚故障源后,通过分析监测数据来确定出现故障的设备,对故障设备进行坐标点定位,确定出现问题的具体设备和方向;
69、故障设备显示模块,用于在dcim系统的用户界面中,将出现故障的设备和方向在含有坐标轴的平面图上显示出来,以便用户准确了解故障设备和方向的位置和状态;
70、警报通知模块,用于一旦确定出现故障的设备和方向,dcim系统及时发出警报和通知相应的人员,以便他们能够快速采取纠正措施。
71、进一步地,所述报表生成模块包括:
72、设备状态收集模块,用于对dcim系统中监测到的设备状态数据进行收集和记录,其中包括电力和环境数据;
73、数据分析整理模块,用于对收集到的设备状态数据进行分析和整理,提取有关故障、异常或其他重要信息的数据;
74、信息融合模块,根据需要,用于生成设备状态报表,其中包括故障设备清单、设备状态变化趋势以及故障频率统计的报表,同时对出现故障的设备的坐标点进行记录,另外在dcim系统的用户界面中,在含有坐标轴的平面图上进行故障次数显示,其中分为红、黄、蓝三个等级,其中红色代表该设备出现5次及以上故障,黄色代表该设备出现2-4次故障,蓝色代表该设备出现0或1次故障。
75、与现有技术相比,本发明的有益效果是:
76、1.现有技术下,分布式dcim系统存在卡顿、数据刷新时间无法满足终端客户要求,而本发明通过数据传输模块将采集到的数据进行传输,确保数据的快速、稳定和安全的传递,选用采用tcp/ip协议进行传输,相比rs485接口传输速度更快,效率更好,有助于提升整个系统的响应时间,通过数据存储模块对整理发送过来的信息进行存储,其中包括线上存储和线下存储,线上存储通过存储服务器进行存储,通过机组联动模块将3台管理服务器同时运行,通过系统运行控制软件实现服务器的负载均衡,通过定位报警模块,对待监控的设备进行定位报警,自动查找根源告警,方便运维中快速定位根源,快速解决问题,快速恢复故障,系统运行时,3台管理服务器同时运行,通过系统运行控制软件实现服务器的负载均衡,将动环监控系统、电力监控系统、ba自控系统打通,将其融合为一个管理平台,这样不仅提高了服务器集群的处理能力,同时对于运维人员也减少了跨平台使用的问题,大大提高了运维的工作效率,对于200万测点的项目若按照传统方式需要配置10台服务器做处理计算,一体化平台仅需配置3台管理服务器,传统系统架构界面刷新时间在10秒以上,而一体化技术对于200万测点系统可实现6秒的刷新时间,对于管理系统若需要扩容时仅需在集群内增加服务器并进行调试即可,无需对各个子系统进行调整,对于传统系统架构而言,一体化技术可减少15%-20%的投资,并且在系统应用方面具备极大优势。
77、2.现有技术下,目前分布式dcim系统对于数据的处理安全性不够,而本发明通过数据清洗转换模块、数据保障模块、数据流量控制模块,利用数据去重模块通过哈希算法去重算法,对采集到的数据进行去重处理,确保得到的数据没有重复,利用数据去噪模块通过滤波技术,对数据进行去噪处理,提高数据的准确性和可靠性,通过数据格式转换模块根据数据中心的需求,对采集到的数据进行格式转换,使其与系统内部的数据格式一致,方便后续的数据处理和分析,再通过数据归一化模块对数据进行归一化处理,将其转换为统一的单位和量级,方便数据的比较和分析,再通过数据校验模块利用循环冗余校验对数据进行校验,若数据校验失败,进行数据重传或报警处理,最后通过数据补全模块根据历史数据进行插值或补全,填补数据的空缺,确保数据的完整性和连续性,从而使得在数据传输过程中,能够对数据进行清洗和转换,确保数据的质量和格式的一致性,能够对数据进行去重、去噪、格式转换,使数据更加规范和易于管理;
78、其次,在数据清洗和转换过程中,采用对称加密算法对敏感数据进行加密处理,确保数据在传输和存储过程中的安全性,对于涉及个人隐私或敏感信息的数据,在进行清洗和转换时,采用数据脱敏技术,将敏感信息进行屏蔽或替换,以保护用户隐私和数据安全,在数据清洗和转换过程中,设置严格的数据权限控制机制,限制用户对数据的访问和操作权限,只有经过授权的用户才能进行数据清洗和转换操作,确保数据的安全性和可控性,同时建立数据清洗和转换的审计和监控机制,记录数据的清洗和转换操作,以便后续的审计和追溯,监控数据清洗和转换过程中的异常操作和数据变动,及时发现和处理数据安全风险,其次结合流量监控和分析结果,设置异常流量检测规则,并配置报警机制,当监测到异常流量时,触发报警机制,同时数据清洗转换以及数据审计和监控停止进行,防止出现数据泄漏,从而提高接收动环监控系统、电力监控系统、ba系统的设备信息及运行状态的准确性以及安全性。
1.超大型数据管理的一体化dcim系统,其特征在于,包括:
2.如权利要求1所述的超大型数据管理的一体化dcim系统,其特征在于:所述数据接入系统包括:数据采集模块、数据传输模块、数据清洗转换模块、数据保障模块、数据流量控制模块以及数据发送模块,其中
3.如权利要求2所述的超大型数据管理的一体化dcim系统,其特征在于:所述数据清洗转换模块包括:数据去重模块、数据去噪模块以及数据格式转换模块;
4.如权利要求3所述的超大型数据管理的一体化dcim系统,其特征在于:所述数据清洗转换模块还包括:
5.如权利要求4所述的超大型数据管理的一体化dcim系统,其特征在于:所述数据保障模块包括:
6.如权利要求5所述的超大型数据管理的一体化dcim系统,其特征在于:所述数据保障模块还包括:
7.如权利要求6所述的超大型数据管理的一体化dcim系统,其特征在于:所述数据流量控制模块包括:
8.如权利要求7所述的超大型数据管理的一体化dcim系统,其特征在于:所述数据处理系统包括:
9.如权利要求8所述的超大型数据管理的一体化dcim系统,其特征在于:所述定位报警模块包括:
10.如权利要求9所述的超大型数据管理的一体化dcim系统,其特征在于:所述报表生成模块包括: