本发明涉及数据采集领域，尤其涉及一种数据采集方法、终端设备及存储介质。
背景技术：
随着医院信息化工作的不断发展推进，医院信息建设已经从传统的院内业务系统向外延伸，跨行业合作和整合社会资源已成为下一阶段医院信息建设的工作重点之一。医院的各种信息需要与银行、通讯运营商、媒体、上级机构、同级医疗机构等各种社会资源进行整合，为患者提供丰富、便利的医疗及健康服务。
微服务作为一个新兴的软件架构，可以把一个大型的单个应用程序和服务转化拆分为数十个微服务。利用微服务的技术特点，可以对每一个数据项建立标准接口，对数据接口进行二次封装，规范化、标准化、统一化的发布、访问管理，以及推送用户数据和消息队列等服务。
然而，现有的微服务采集技术，只能从一定程度上提高各方数据资源的共享效率，仍然需要面对如下难题：
1.针对不同的存储，无法做到灵活配置和接入。
2.面对不同合作方的不同数据规则，仍需进行定制化服务开发。
3.随着合作方的增多，微服务采集的接口开发也将变得庞大而冗余，难以统一化管理。
4.无法有效地监控采集进度，存在数据丢失，重复采集的问题。
技术实现要素：
为了解决上述问题，本发明提出了一种数据采集方法、终端设备及存储介质。
具体方案如下：
一种数据采集方法，包括以下步骤：
s1：接收数据请求信息，并对数据请求信息的地址进行验证，当数据请求信息的地址符合预设的地址规则时，将数据请求信息加入请求队列内；
s2：根据请求队列内数据请求信息的存入顺序提取数据请求信息，并通过统一服务端口从数据请求信息对应的数据库中获取对应的数据；
s3：判断获取的数据是否符合预设的数据规则，如果是，进入s4，否则，结束；
s4：对获取的数据进行数据处理；
s5：对处理后的数据进行持久化操作。
进一步的，步骤s2中还包括配置统一服务端口的端口参数，端口参数包括端口号、请求数据大小和访问量大小。
进一步的，接收数据请求信息时包括请求用户的身份验证；接收到数据库中的数据时进行安全性校验。
进一步的，数据规则包括数据格式、数据集大小和数据编码。
进一步的，步骤s4中数据处理的过程包括：
s41：将数据进行解析转化为统一的标准结构数据；
s42：根据过滤规则对转化后的标准结构数据进行过滤；
s43：根据数据的内容对数据进行转换，使得转换后的数据符合安全规则和业务规则；
s44：根据数据的来源和存储的字段，对数据的字段名进行标准化重构。
进一步的，持久化操作包括将接收到的数据存入存储介质内。
进一步的，存储介质包括关系型数据库和非关系型数据库；存储介质进行可插拔配置连接，连接存储介质的配置参数包括连接地址，端口号，用户名，密码，最小连接数，连接等待超时时间。
进一步的，步骤s5中还包括对存入存储介质内的数据进行计数，同时记录错误日志并提醒。
一种数据采集终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，并具有有益效果：
1.通过对多种存储介质(关系型数据库及非关系型数据库)的接入支持、组件可插拔化以及采集阈值控制,实现数据采集的灵活和易用。
2.通过对接口规则和数据传输规则的标准化，来解决多方对接的因规则混乱导致的联调难题。
3.通过多方多种不同请求及不同地址进行统一管理，来解决了伴随业务扩大及对接方增多时带来的任务混乱难以管理的问题。
4.实时对数据采集过程进行记录，保证了数据的完整性，同时可为后续的配置方案提供优化建议。
附图说明
图1所示为本发明实施例一的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种数据采集方法，如图1所示，所述方法包括以下步骤：
s1：接收数据请求信息，并对数据请求信息的地址进行验证，当数据请求信息的地址符合预设的地址规则时，将数据请求信息加入请求队列内。
该实施例中在接收数据请求信息时还包括对发送数据请求信息的请求用户的身份验证，验证成功才进行后续步骤。身份验证如用户可以事先注册，注册用户才能够数据发送请求信息。
s2：根据请求队列内数据请求信息的存入顺序提取数据请求信息，并通过统一服务端口从数据请求信息对应的数据库中获取对应的数据。
统一服务端口可以为对内或对外的端口，在使用统一服务端口前还需要预先对其参数进行配置，该实施例中端口参数包括端口号、请求数据大小和访问量大小等。在其他实施例中也可以配置其他端口参数，在此不做限制。
获取数据的数据库可以是外部数据库，也可以是内部数据库，在此不做限制。
为了保证数据的安全性，除了在接收数据请求信息时还包括对发送数据请求信息的请求用户的身份验证之外，还包括对接收到的数据库中的数据进行安全性校验，如设定数据库发送的数据中需要包含授权码。
s3：判断获取的数据是否符合预设的数据规则，如果是，进入s4，否则，结束。
设定数据规则用于规范化接收数据的格式，降低后续的处理难度。该实施例中设定的数据规则包括数据格式、数据集大小和数据编码等。在其他实施例中也可设定其他规则，在此不做限制。
s4：对获取的数据进行数据处理。
数据处理的过程包括以下步骤：
s41：将数据进行解析转化为统一的标准结构数据。
由于获取的数据可能具有不同的结构，如xml,blob,自定义结构等，针对不同的结构设定不同的解析方法，将不同结构的数据转化为统一的标准结构数据。
s42：根据过滤规则对转化后的标准结构数据进行过滤。
过滤可以根据具体业务需求制定数据过滤规则，如过滤空值，非法，业务不相关数据等。
s43：根据数据的内容对数据进行转换，使得转换后的数据符合安全规则和业务规则。
数据中可能包含敏感数据、脏数据等不符合安全规则或业务规则的数据，因此需要对这类数据进行转换，如身份证号用符号“x”代替。
s44：根据数据的来源和存储的字段，对数据的字段名进行标准化重构。
由于不同数据来源的数据，其对应的字段名往往不同，如表示学校学生的性别的字段可能为“男”、“男性”、“男生”多种，因此需要对表示一种内容的多种字段名进行标准化重构。这也可以切断最终数据与来源数据间的结构关联，进一步保证数据的安全性和隐蔽性。
s5：对处理后的数据进行持久化操作。
持久化操作包括将接收到的数据存入存储介质内。
存储介质包括但不限于关系型数据库(mysql，oracle，sqlserver，...)和非关系型数据库(hbase，redis，elasticsearch，...)。
存储介质进行可插拔配置连接，连接存储介质的配置参数包括但不限于连接地址，端口号，用户名，密码，最小连接数，连接等待超时时间。
进一步的，为了保证存入数据的完整性，还包括对存入存储介质内的数据进行计数，同时记录错误日志并提醒。
实施例二：
本发明还提供一种数据采集终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述数据采集终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述数据采集终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述数据采集终端设备的组成结构仅仅是数据采集终端设备的示例，并不构成对数据采集终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据采集终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述数据采集终端设备的控制中心，利用各种接口和线路连接整个数据采集终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述数据采集终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述数据采集终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
1.一种数据采集方法，其特征在于，包括以下步骤：
s1：接收数据请求信息，并对数据请求信息的地址进行验证，当数据请求信息的地址符合预设的地址规则时，将数据请求信息加入请求队列内；
s2：根据请求队列内数据请求信息的存入顺序提取数据请求信息，并通过统一服务端口从数据请求信息对应的数据库中获取对应的数据；
s3：判断获取的数据是否符合预设的数据规则，如果是，进入s4，否则，结束；
s4：对获取的数据进行数据处理；
s5：对处理后的数据进行持久化操作。
2.根据权利要求1所述的数据采集方法，其特征在于：步骤s2中还包括配置统一服务端口的端口参数，端口参数包括端口号、请求数据大小和访问量大小。
3.根据权利要求1所述的数据采集方法，其特征在于：接收数据请求信息时包括请求用户的身份验证；接收到数据库中的数据时进行安全性校验。
4.根据权利要求1所述的数据采集方法，其特征在于：数据规则包括数据格式、数据集大小和数据编码。
5.根据权利要求1所述的数据采集方法，其特征在于：步骤s4中数据处理的过程包括：
s41：将数据进行解析转化为统一的标准结构数据；
s42：根据过滤规则对转化后的标准结构数据进行过滤；
s43：根据数据的内容对数据进行转换，使得转换后的数据符合安全规则和业务规则；
s44：根据数据的来源和存储的字段，对数据的字段名进行标准化重构。
6.根据权利要求1所述的数据采集方法，其特征在于：持久化操作包括将接收到的数据存入存储介质内。
7.根据权利要求6所述的数据采集方法，其特征在于：存储介质包括关系型数据库和非关系型数据库；存储介质进行可插拔配置连接，连接存储介质的配置参数包括连接地址，端口号，用户名，密码，最小连接数，连接等待超时时间。
8.根据权利要求6所述的数据采集方法，其特征在于：步骤s5中还包括对存入存储介质内的数据进行计数，同时记录错误日志并提醒。
9.一种数据采集终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。
技术总结