本发明涉及数据监控传输技术领域，尤其涉及一种基于kafka及netty框架的监控数据传输方法。
背景技术：
kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
随着物联网的发展，云数据存储以体量小、高并发等特点得到广泛应用，但是现有技术中存在一些缺陷：一、缺少对传输数据进行实时监控，难以准确统计数据传输状态和过程信息，二、缺少对备份缓存数据的校验，影响数据传输的准确性的问题，为此我们提出一种基于kafka及netty框架的监控数据传输方法。
技术实现要素：
为了解决现有技术中难以准确统计数据传输状态和过程信息，并且缺少对备份缓存数据的校验，影响数据传输的准确性的问题，本发明提出一种基于kafka及netty框架的监控数据传输方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于kafka及netty框架的监控数据传输方法，具体实施步骤如下：
s1:用户通过云服务器调用netty客户端连接服务端，netty服务端通过获取使用每个netty客户端独立的授权id以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过nett服务端传入kafka消息队列中，netty服务端对客户端数据库进行检测，kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
s2：用户得到授权进入客户端数据库，选择所需的数据进行传输，netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
s3：所需的数据进行传输出现异常，netty服务端对备份缓存数据进行审核，直接调用备份缓存数据重新传输，netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
s4：数据传输完成，对传输结果进行分析，netty服务端对分析结果进行记录，以web页面图形化方式显示；
s5：web页面图形文件生成日志文件反馈给kafka客户端。
优选的，在步骤s1中，netty客户端对应的客户端数据库有唯一授权id，云端服务器根据各个授权id对相应的客户端的访问进行授权。
优选的，在步骤s1中，netty服务端对数据库进行检测，对于初始授权id进行新建客户端数据库。
优选的，在步骤s3中，netty服务端对备份缓存数据进行初步审核，删除不在缓存期内的数据，netty服务端再对备份缓存数据进行二次审核，将原始数据本地缓存与云端数据进行对比，未通过二次审核的数据经由通讯模块发送至专业人员，经由人工审核，netty服务端对审核结果进行监控，以web页面图形化方式显示，审核完成，通过审核的数据进行传输。
优选的，通讯模块包括2/3/4g模块、wifi模块或蓝牙模块。
优选的，netty服务端将本地日志数据和备份缓存数据反馈给客户端时，若数据量太大，基于kafka可以充分利用磁盘顺序读写的高性能，完成数据的高并发写入。
与现有技术相比，本发明的有益效果是：
本发明中，kafka客户端对应有唯一授权id，提高了数据的存储安全性，并且在数据的传输和用户操作通过netty服务端监控并以web页面图形化方式显示，并将web页面图形文件生成日志缓存数据储存，准确统计数据传输状态和过程信息，便与数据的查阅和审核，并且对备份缓存数据调用前会与云存储进行对比审核，并通过人工进行审核，提高数据传输的准确性。
附图说明
图1为本发明提出的一种基于kafka及netty框架的监控数据传输方法的数据传输框图；
图2为本发明提出的一种基于kafka及netty框架的监控数据传输方法的本备份缓存数据审核框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一：
参照图1，一种基于kafka及netty框架的监控数据传输方法，具体实施步骤如下：
s1:用户通过云服务器调用netty客户端连接服务端，netty服务端通过获取使用每个netty客户端独立的授权id以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过nett服务端传入kafka消息队列中，netty服务端对客户端数据库进行检测，kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
s2：用户得到授权进入客户端数据库，选择所需的数据进行传输，netty服务端(netty框架)将选择的数据作为备份缓存数据在客户端数据库内存储；
s3：所需的数据进行传输出现异常，netty服务端备份缓存数据进行审核，直接调用备份缓存数据重新传输，netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
s4：数据传输完成，对传输结果进行分析，netty服务端对分析结果进行记录，以web页面图形化方式显示；
s5：web页面图形文件生成日志文件反馈给netty客户端。
实施例二：
参照图1，一种基于kafka及netty框架的监控数据传输方法，具体实施步骤如下：
s1用户通过云服务器调用netty客户端连接服务端，netty服务端通过获取使用每个netty客户端独立的授权id以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过nett服务端传入kafka消息队列中，netty服务端对客户端数据库进行检测，kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
s2：用户得到授权进入客户端数据库，选择所需的数据进行传输，netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
s3：所需的数据进行传输出现异常，netty服务端对备份缓存数据进行审核，直接调用备份缓存数据重新传输，netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
s4：数据传输完成，对传输结果进行分析，netty服务端对分析结果进行记录，以web页面图形化方式显示；
s5：web页面图形文件生成日志文件反馈给kafka客户端。
实施例三：
参照图1和图2，一种基于kafka及netty框架的监控数据传输方法，具体实施步骤如下：
s1:用户通过云服务器调用netty客户端连接服务端，netty服务端通过获取使用每个netty客户端独立的授权id以及访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库并通过nett服务端传入kafka消息队列中，netty服务端对客户端数据库进行检测，kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
s2：用户得到授权进入客户端数据库，选择所需的数据进行传输，netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
s3：所需的数据进行传输出现异常，netty扩展服务对备份缓存数据进行审核，netty服务端对备份缓存数据进行初步审核，删除不在缓存期内的数据netty服务端再对备份缓存数据进行二次审核，将原始数据本地缓存与云端数据进行对比，未通过二次审核的数据经由通讯模块发送至专业人员，通讯模块包括2/3/4g模块、wifi模块或蓝牙模块，经由人工审核，netty服务端对审核结果进行监控，以web页面图形化方式显示，审核完成，通过审核的数据进行传输，直接调用备份缓存数据重新传输，netty服务端对数据传输状态进行监控，以web页面图形化方式显示；
s4：数据传输完成，对传输结果进行分析，netty服务端对分析结果进行记录，以web页面图形化方式显示；
s5：web页面图形文件生成日志文件存储在客户端服务器中，netty服务端将本地日志数据和备份缓存数据反馈给客户端时，若数据量太大，基于kafka可以充分利用磁盘顺序读写的高性能，完成数据的高并发写入。
本发明中，netty客户端对应有唯一授权id，提高了数据的存储安全性，并且在数据的传输和用户操作通过netty服务端监控并以web页面图形化方式显示，并将web页面图形文件生成日志缓存数据储存，准确统计数据传输状态和过程信息，便与数据的查阅和审核，并且对备份缓存数据调用前会与云存储进行对比审核，并通过人工进行审核，提高数据传输的准确性。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
1.一种基于kafka及netty框架的监控数据传输方法，具体实施步骤如下：
s1:用户通过云服务器调用netty客户端连接服务端，netty服务端通过获取使用每个netty客户端独立的授权id以及客户端访问客户端数据库信息，用户得到客户端授权信息进入客户端数据库获取数据并通过netty服务端传入kafka消息队列中，netty服务端对客户端数据库进行检测，kafka扩展服务对客户端数据库的状态和用户操作监控，以web页面图形化方式显示；
s2：用户得到授权进入客户端数据库，选择所需的数据进行传输，netty服务端将选择的数据作为备份缓存数据在客户端数据库内存储；
s3：所需的数据进行传输出现异常，netty服务端对备份缓存数据进行审核，直接调用备份缓存数据重新传输到kafka消息队列中，kafka扩展服务对数据传输状态进行监控，以web页面图形化方式显示；
s4：数据传输完成，对传输结果进行分析，kafka扩展服务对分析结果进行记录，以web页面图形化方式显示；
s5：web页面图形文件生成日志文件反馈给netty客户端。
2.根据权利要求1所述的一种基于kafka及netty框架的监控数据传输方法，其特征在于，在步骤s1中，netty客户端对应的客户端数据库有唯一授权id，云端服务器根据各个授权id对相应的客户端的访问进行授权。
3.根据权利要求1所述的一种基于kafka及netty框架的监控数据传输方法，其特征在于，在步骤s1中，netty服务端对数据库进行检测，对于初始授权id进行新建客户端数据库。
4.根据权利要求1所述的一种基于kafka及netty框架的监控数据传输方法，其特征在于，在步骤s3中，netty服务端对备份缓存数据进行初步审核，删除不在缓存期内的数据，netty服务端再对备份缓存数据进行二次审核，将原始数据本地缓存与云端数据进行对比，未通过二次审核的数据经由通讯模块发送至专业人员，经由人工审核，kafka扩展服务对审核结果进行监控，以web页面图形化方式显示，审核完成，通过审核的数据进行传输。
5.根据权利要求4所述的一种基于kafka及netty框架的监控数据传输方法，其特征在于，通讯模块包括2/3/4g模块、wifi模块或蓝牙模块。
6.根据权利要求1或4所述的一种基于kafka及netty框架的监控数据传输方法，其特征在于，netty服务端将本地日志数据和备份缓存数据反馈给客户端时，若数据量太大，基于kafka可以充分利用磁盘顺序读写的高性能，完成数据的高并发写入。
技术总结