本申请涉及计算机技术领域，特别涉及一种大数据实时处理的方法及处理装置。
背景技术：
随着工业规模的不断扩大与智能制造的兴起，工业大数据处理与分析成为各大厂商进行产品创新，提升经营水平和生产效率的重要方法。
目前，工业大数据处理方法与装置大多不能根据接受数据的质量进行合理的计算机资源分配，从而影响实时处理效率，而且也不能对数据的处理效果进行预估与评判并根据效果进行自动调节处理策略，因此，我们提出了一种大数据实时处理方法与装置解决上述问题。
技术实现要素：
本申请的目的在于至少解决现有技术中存在的技术问题，提供一种大数据实时处理的方法及处理装置，提高了大数据处理的效率，同时满足了工业大数据处理的实时性要求。
本申请实施例提供一种大数据实时处理的方法，所述方法包括以下步骤：
步骤1：接收数据，并将数据传输至数据库；
步骤2：从数据库中提取样本并根据其数据的缺失，数值异常水平进行评估，得到该类数据的质量水平；
步骤3：根据数据质量水平进行计算机资源分配，同时对数据处理结果进行预估；
步骤4：将数据处理预估结果与数据处理结果进行比较，得到对比结果然后进行评估，完成数据处理。
相应的，本发明还提供了一种大数据实时处理装置包括：数据接收模块、数据传输模块、数据评估模块、计算机资源分配模块、数据处理模块、控制模块、处理结果预估模块和处理结果评估模块，其特征在于，传输模块与数据接收模块和数据评估模块相连，计算机资源分配模块与数据处理模块、控制模块和数据评估模块相连，处理结果评估模块与处理结果预估模块、控制模块和数据处理模块相连。
所述数据接收模块用于接收数据，然后将数据传入数据传输模块。所述数据传输模块将数据输入数据库；
所述数据评估模块会从数据库中提取样本数据，通过对样本数据的缺失和数值异常水平进行评估，从而得到该类数据的质量水平；
所述计算机资源分配模块会根据数据评估模块的到的数据质量水平进行计算机资源分配；
所述处理结果预估模块将对数据处理结果进行预估，并将预估结果输入处理结果评估模块；
所述数据处理模块会根据从计算机资源分配模块分配到的计算机资源进行数据处理，并将结果输入处理结果评估模块；
所述处理结果评估模块会将数据处理模块的到的结果和处理结果预估模块得到的预估结果进行比较，并将评估结果输入至控制模块。
相比于现有技术，本实施例基于大数据实时处理的方法和处理装置通过数据接收模块，数据传输模块，数据评估模块和计算机资源分配模块能够对输入数据进行质量评估和计算机资源的分配，有效地提高了大数据处理的速度，同时能够更加合理化的利用了计算机资源，通过处理结果预估模块，数据处理模块，处理结果评估模块和控制模块更加明显的看出实际处理效果与预估处理效果之间的对比，同时能过通过两者之间的差距使用控制模块进一步合理地对计算机资源进行分配。本发明实施例能够根据数据质量水平进行计算机资源的合理分配，对计算机资源的利用做到了最大化，提高了大数据处理的效率，同时满足了工业大数据处理的实时性要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为发明实施例中的大数据实时处理的方法流程图；
图2是本发明实施例中的大数据实时处理装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了本发明实施例中的大数据实时处理的方法流程图，具体包括以下步骤：
s101、接收数据，并将数据传输至数据库。
s102、从数据库中提取样本并根据其数据的缺失，数值异常水平进行评估，得到该类数据的质量水平。
s103、根据数据质量水平进行计算机资源分配，同时对数据处理结果进行预估。
s104、将数据处理预估结果与数据处理结果进行比较，得到对比结果然后进行评估，完成数据处理。
图2示出了本发明实施例中的大数据实时处理装置结构示意图，具体包括：数据接收模块、数据传输模块、数据评估模块、计算机资源评估模块、数据处理模块、控制模块、处理结果预估模块和处理结果评估模块所组成。数据传输模块与数据评估模块和数据接收模块相连，计算机资源分配模块与数据评估模块、数据处理模块、处理结果预估模块和控制模块相连，处理结果评估模块与处理结果预估模块、数据处理模块和控制模块相连，控制模块与计算机资源分配模块还有处理结果评估模块相连，处理结果预估模块与处理结果评估模块相连。
本实施例通过数据接收模块接收数据并将数据传入数据传输模块，数据传输模块将数据输入数据库，数据评估模块从数据库中取样并根据样本数据的缺损和输值异常水平得到该类数据的质量水平，计算机资源分配模块根据数据质量水平对该类数据进行计算机资源分配，数据处理模块根据计算机资源的分配情况进行数据处理并将结果输入处理结果评估模块，处理结果评估模块会将数据处理结果与从处理结果预估模块的到的预估模块进行对比，并通过控制模块完成数据处理。
本实施例中大数据实时处理装置通过数据接收模块、数据传输模块、数据评估模块和计算机资源分配模块对输入数据的质量进行评估，并依据该评估结果进行合理地计算机资源分配，有效地提高了大数据处理的效率，同时满足大数据处理的实时性要求，通过处理结果预估模块、数据结果处理模块、控制模块和处理结果比较模块能够明显地看出预估结果与实际处理结果地对比，并通过控制模块进一步地合理化分配计算机资源。本发明能够根据输入数据的质量水平合理地分配计算机资源，不仅能够提高大数据实时处理的效率，同时也提升了计算机资源地合理化利用水平。
以上对本发明实施例进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
1.一种大数据实时处理的方法，其特征在于，所述方法包括以下步骤：
步骤1：接收数据，并将数据传输至数据库；
步骤2：从数据库中提取样本并根据其数据的缺失，数值异常水平进行评估，得到该类数据的质量水平；
步骤3：根据数据质量水平进行计算机资源分配，同时对数据处理结果进行预估；
步骤4：将数据处理预估结果与数据处理结果进行比较，得到对比结果然后进行评估，完成数据处理。
2.一种大数据实时处理装置，其特征在于，包括：数据接收模块、数据传输模块、数据评估模块、计算机资源分配模块、数据处理模块、控制模块、处理结果预估模块和处理结果评估模块，其特征在于，传输模块与数据接收模块和数据评估模块相连，计算机资源分配模块与数据处理模块、控制模块和数据评估模块相连，处理结果评估模块与处理结果预估模块、控制模块和数据处理模块相连。
3.如权利要求2所述大数据实时处理装置，其特征在于，
所述数据接收模块用于接收数据，然后将数据传入数据传输模块。所述数据传输模块将数据输入数据库；
所述数据评估模块会从数据库中提取样本数据，通过对样本数据的缺失和数值异常水平进行评估，从而得到该类数据的质量水平；
所述计算机资源分配模块会根据数据评估模块的到的数据质量水平进行计算机资源分配；
所述处理结果预估模块将对数据处理结果进行预估，并将预估结果输入处理结果评估模块；
所述数据处理模块会根据从计算机资源分配模块分配到的计算机资源进行数据处理，并将结果输入处理结果评估模块；
所述处理结果评估模块会将数据处理模块的到的结果和处理结果预估模块得到的预估结果进行比较，并将评估结果输入至控制模块。
技术总结