本发明属于众包数据增强领域,具体涉及一种基于多任务学习的众包真值推理增强方法、设备及存储介质。
背景技术:
1、深度学习训练中普遍面临标注数据不足的问题,而众包成为了备受欢迎的解决方案。它借助众包平台的人力资源和智慧,迅速高效地生成和改进数据集,为深度学习提供了宝贵的标注数据。这些数据然后通过聚合算法来获得任务的真值,供深度学习模型学习。
2、然而,传统的统计学习算法用于构建真值的过程存在一些问题:首先,这一过程高度依赖于算法的准确性,一旦算法出现错误,将会对深度学习模型的训练造成不利影响。其次,研究表明许多传统模型存在能力上限,这意味着它们在数据汇聚方面的表现可能受到限制,从而影响了深度学习模型的性能。
技术实现思路
1、针对现有技术不足,本发明提供了一种基于多任务学习的众包真值推理增强方法、设备及存储介质。
2、第一方面,本发明提供了一种基于多任务学习的众包真值推理增强方法,包括以下步骤:
3、(1)任务发布者在众包平台上发布任务,平台将任务分配给工人进行标注;
4、(2)根据任务的特征选择相应的模型进行任务特征的抽取,将抽取的任务特征与任务、工人的唯一标识交给专家模块学习;
5、(3)使用工人编号作为工人的唯一标识,并交给门控网络模块学习每个工人对专家模块的选择权重;
6、(4)将步骤(2)的输出结果与步骤(3)的输出权重进行加权,并交给输出模块输出工人对任务的标注,并根据步骤(1)工人对任务的标注结果计算损失来训练模型;
7、(5)使用训练好的模型来填充工人的回答矩阵,并使用真值推理算法推理出任务的真值。
8、第二方面,本发明提供了一种存储设备,所述存储设备存储指令及数据用于实现所述的基于多任务学习的众包真值推理增强方法。
9、第三方面,本发明提供了一种基于多任务学习的众包真值推理增强设备,包括:处理器及存储设备;所述处理器加载并执行存储设备中的指令及数据用于实现所述的一种基于多任务学习的众包真值推理增强方法。
10、本发明直接将众包弱监督的范式改为多任务学习的监督学习范式,充分利用了任务特征和工人的能力建立深度学习模型,通过深度学习对每个工人对样本特征的认知行为进行学习。在学习模型的基础上进行工人回答矩阵的填充,能够有效的实现众包数据的增强。
1.一种基于多任务学习的众包真值推理增强方法,其特征在于,包含以下步骤:
2.根据权利要求1所述的一种基于多任务学习的众包真值推理增强方法,其特征在于,步骤(1)中一个工人标注多个任务或者一个任务由多个工人标注。
3.根据权利要求1所述的一种基于多任务学习的众包真值推理增强方法,其特征在于,
4.根据权利要求3所述的一种基于多任务学习的众包真值推理增强方法,其特征在于,
5.根据权利要求1所述的一种基于多任务学习的众包真值推理增强方法,其特征在于,
6.一种存储设备,其特征在于:所述存储设备存储指令及数据用于实现权利要求1~5任一项所述的基于多任务学习的众包真值推理增强方法。
7.一种基于多任务学习的众包真值推理增强设备,其特征在于:包括:处理器及存储设备;所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1~5任一项所述的一种基于多任务学习的众包真值推理增强方法。