本申请实施例涉及图像处理
技术领域：
，特别涉及一种图像的多标签分类方法、装置、计算机设备及存储介质。
背景技术：
：随着人工智能技术的快速发展，终端中对相册中的图像进行智能分类的能力也越来越强。相关技术中，人工智能技术提供的机器学习模型能够智能判断出图像中包含的对象的种类，从而给该图像打上相应的标签。然而面对需要对单幅图像打上多个标签的场景时，现有模型将会出现错误率上升或者运算速度慢等问题。技术实现要素：本申请实施例提供了一种图像的多标签分类方法、装置、计算机设备及存储介质。所述技术方案如下：根据本申请的一方面内容，提供了一种图像的多标签分类方法，所述方法包括：通过标签分类模型中的特征提取层提取待处理图像的图像特征，所述标签分类模型是用于为所述待处理图像添加至少两个标签的神经网络模型；通过图谱特征矩阵处理所述图像特征，获得待激活数据，所述图谱特征矩阵是知识图谱经过图卷积神经网络处理后得到的矩阵，所述知识图谱用于指示第一标签自身的属性，以及，至少两个所述第一标签之间的关系；通过所述标签分类模型中的激活层处理所述待激活数据，得到至少两个第二标签；将至少两个所述第二标签确定为所述待处理图像的标签，所述第二标签属于所述第一标签。根据本申请的另一方面内容，提供了一种图像的多标签分类装置，所述装置包括：第一获取模块，用于获取待处理图像；特征提取模块，用于提取所述待处理图像的图像特征；第二获取模块，用于根据所述图像特征和图谱特征矩阵，获得待激活数据，所述图谱特征矩阵是知识图谱经过图卷积神经网络处理后得到的矩阵，所述知识图谱用于指示第一标签自身的属性，以及，至少两个所述第一标签之间的关系；标签确定模块，用于根据所述待激活数据，获得至少两个第二标签，将至少两个所述第二标签确定为所述待处理图像的标签，所述第二标签属于所述第一标签。根据本申请的另一方面内容，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请各个方面提供的图像的多标签分类方法。根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请各个方面提供的图像的多标签分类方法。根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像的多标签分类方面的各种可选实现方式中提供的方法。本申请提供一种图像的多标签分类方法，能够在获取待处理图像后将待处理图像输入标签分类模型，得到图像对应的图像特征，同时根据知识图谱获得图谱特征矩阵，结合图像特征和图谱特征矩阵得到待激活数据，再依据待激活数据得到待处理图像对应的至少两个第二标签。其中，知识图谱用于指示标签之间的关系以及标签自身的属性。由于标签分类模型在为待处理图像添加多个标签时使用了知识图谱提供的信息，因此，本申请提高了待处理图像得到的多个标签的可靠性，同时降低了获取多个标签的复杂度。附图说明为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本申请实施例提供的一种标签分类模型的架构图；图2是基于图1所示实施例提供的一种标签分类模型的架构图；图3是本申请实施例提供的一种图像的多标签分类方法的流程图；图4是基于图3所示实施例提供的一种全局特征的示意图；图5是基于图3所示实施例提供的另一种局部特征的示意图；图6是基于图3所示的实施例提供的一种图像处理后的可视界面；图7是本申请另一个示例性实施例提供的一种图像的多标签分类方法流程图；图8是基于图7所示实施例提供的一种图像后处理的示意图；图9是本申请实施例提供的一种自动生成相册的过程示意图；图10是本申请一个示例性实施例提供的一种图像的多标签分类装置的结构框图；图11是本申请一个示例性实施例提供的一种终端的结构框图；图12是本申请一个实施例提供的一种服务器的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。为了本申请实施例所示方案易于理解，下面对本申请实施例中出现的若干名词进行介绍。待处理图像：用于被添加标签的图像。一种可能的方式中，待处理图像是终端拍摄的图像。另一种可能的方式中，待处理图像是其它计算机设备拍摄的图像，终端为该图像添加标签。另一种可能的方式中，待处理图像还可以是其它计算机设备按照指定算法或者其它图像工具生成的虚拟图像。可选地，当待处理图像是设备拍摄的真实图像时，本申请可以将待处理图像的获取方式划分为两个途径。示意性的，第一个途径是应用本申请提供的图像的多标签分类方法的设备，通过设备自身配备的图像采集组件进行拍摄的途径。第二个途径是应用本申请提供的图像的多标签分类方法的设备以外的设备，通过图像传输等手段获取，进而再传输给进行多标签分类的设备的途径。举例来看，当本申请实施例应用在例如手机之类的终端中时，待处理图像可以是终端通过自身的摄像头拍摄的图像。当本申请实施例应用在例如服务器之类的设备中时，待处理图像可以是是服务器通过网络获取终端传输的图像，该图像仍然是终端通过摄像头拍摄的图像。神经网络模型：是由大量且简单的处理单元互相连接而形成的复杂网络系统。其中，处理单元又可称之为神经元。该神经网络模型能够反应人脑功能的许多基本特征，实质是一个非线性动力学习系统。在本申请中，神经网络模型是应用了神经网络结构的数学模型。一种可能的实现方式中，神经网络模型中的一部分采用了神经网络结构，另一部分可以是采用其他数据结构，上述部分互相配合，以对数据进行处理，得到设计人员希望得到的结果。例如，本申请使用的标签分类模型能够对待处理图像打上至少两个第二标签，实现图像的多标签分类能力。卷积神经网络(convolutionalneuralnetworks,cnn)：是一类包含卷积计算且具有深度结构的前馈神经网络(feedforwardneuralnetworks)，是深度学习(deeplearning)中的应用最为广泛的算法之一。示意性的，cnn通常的结构包括输入层、隐含层和输出层。首先，输入层用于接收输入cnn的数据。通常而言，输入层能够处理多维数据，当输入的数据是图像时，输入层接收的三维输入数据，该三维输入数据用于指示像素点的坐标以及rgb(redgreenblue，红绿蓝)通道。可选地，在像素点的数据进入输入层之前，可以进行归一化处理，将像素点rgb通道的值从[0,255]归一化至[0,1]，以便提高cnn的学习效率以及推理能力。其次，隐含层可以包括卷积层、池化层和全连接层3种常见的结构。(1)卷积层(convolutionallayer)，功能在于提取输入数据的特征。针对卷积层的介绍，可以从卷积核(convolutionalkernel)、卷积层参数和激励函数三个角度进行。a、卷积核。卷积层中包含多个卷积核。针对一个卷积核，包括若干个元素，每一个元素对应有一个权重系数和一个偏差量(biasvector)。其中，元素类似于前馈神经网络中的神经元(neuron)。b、卷积层参数。卷积层参数包括卷积核大小、步长和填充，上述三个参数共同决定了卷积层输出特征图的尺寸，是卷积神经网络的超参数。其中，卷积核大小是小于输入图像尺寸的任意值。相应的，卷积核越大，可提取的输入特征也越复杂。卷积步长定义了卷积核相邻两次扫过特征图时位置的距离。响应于卷积步长为1时，卷积核将会逐个扫过特征图的元素，步长为n时会在下一次扫描时跳过n-1个元素。需要说明的是，填充的目的在于保持经过卷积核处理后的特征维度。c、激励函数(activationfunction)。激励函数的作用在于协助表达较为复杂的特征。(2)池化层(poolinglayer)在卷积层进行特征提取之后，输出的特征图会被传递至池化层进行特征选择和信息过滤。其中，池化层设置有预设定的池化函数，池化层的作用是将特征图中单个点的结果替换为其相邻区域的特征图统计量。(3)全连接层(fully-connectedlayer)全连接层用于对前述层提取的特征进行非线性组合以得到输出，将数据输出至输出层。再次，cnn中的输出层的上游通常是全连接层。针对图像分类问题，输出层使用逻辑函数或归一化指数函数(softmaxfunction)输出分类标签。在物体识别(objectdetection)问题中，输出层可被设计为输出物体的中心坐标、大小和分类。在语义分割中，输出层输出每个像素的分类结果。图卷积神经网络(graphconvolutionalnetwork，gcn)：是一种用于对图数据进行特征提取的卷积神经网络。知识图谱：一种用于指示多个节点各自的属性以及多个节点互相之间的关系的图数据。在一种可能的方式中，知识图谱包括标签关系矩阵和节点信息矩阵。上述两种矩阵的总和即可被称为知识图谱。本申请提供了一种图像的多标签分类方法，针对相关技术中对单幅图像进行多标签分类产生的错误率高或者运算速度慢等问题有较好的改善作用。需要说明的是，相关技术中由于仅对图像进行特征提取，根据图像中的特征确定与具体哪些标签更贴近，因此仅能在标签对应的特征比较突出或者比较明显的时候确定出多个准确的标签。若在图像中某个需要添加标签的对象的特征不明显，则相关技术难以确定出对应的标签。然而，本申请提供的方案将能够识别出上述需要添加的标签，请参见下述实施例的介绍。本申请实施例能够结合神经网络的结构构建标签分类模型，来实现上述图像的多标签分类方法。需要说明的是，该标签分类模型在应用之前，也即在推理阶段之前，需要先经过训练过程，介绍如下。请参见图1，图1是本申请实施例提供的一种标签分类模型的架构图。在图1中，标签分类模型100包括卷积神经网络110、矩阵相乘模块120和激活层130。在图1所示的标签分类模型100中，卷积神经网络110用于接收待处理图像1a，待处理图像1a经过卷积神经网络110处理后，得到对应的图像特征矩阵1b。随后，图像特征矩阵1b和图谱特征矩阵1c在矩阵相乘模块120中相乘，得到待激活数据1d，待激活数据1d输入到激活层130中，激活层130处理待激活数据后得到第二标签组1e。在图1中，第二标签组1e包括3个第二标签。需要说明的是，图1中的图谱特征矩阵1c是随着知识图谱的更新而更新的数据。结合图谱特征矩阵1c的更新途径，可以得到另一种标签分类模型的架构。请参见图2，图2是基于图1所示实施例提供的一种标签分类模型的架构图。在图2中，知识图谱包括标签关系矩阵2a和节点信息矩阵2b。知识图谱可以输入图卷积神经网络200中，得到图谱特征矩阵1c。当知识图谱产生更新后，计算机设备可以从更新后的知识图谱中重新获取标签关系矩阵2a和节点信息矩阵2b，并将标签关系矩阵2a和节点信息矩阵2b输入至图卷积神经网络200，以便得到图谱特征矩阵1c。示意性的，图谱特征矩阵1c仅在知识图谱发生变化时进行更新。图谱特征矩阵1c在知识图谱不发生变化时，保持上一次计算得到的数值参与图1所示的计算过程中。基于图1和图2所示的分类的架构中，计算机设备可以在构成该标签分类模型时，对图2所示的架构进行训练。在另一种可能的方式，图2所示的结构又称为双分支架构。针对图2所示的模型进行训练时，首先需要构建知识图谱。针对知识图谱的构建过程，可以分为关键字收集阶段和知识图谱构建阶段。在关键字收集阶段中，处于云端的服务器能够收集海量的用户使用手机端相册的数据。需要说明的是，服务器收集的该使用相册的数据是经过脱敏的数据，不涉及任何用户的隐私信息。当服务器获取该使用相册的数据时，服务器能够提取出用户经常搜索的关键字。其中，用户经常搜索的关键字可以是服务器收集的关键字中出现次数最多的前n个关键字。针对关键字的类型而言，可以包括实体、场景、行为或事件等种类。其中，实体可以包括猫、狗、花、车辆、蛋糕、气球、菜肴、饮品、商店、河流、沙滩、海洋等实体对象。场景可包括日出日落、宴会、游乐场或运动场景等场景信息。行为包括走、跑、吃、站等信息。事件包括旅行、逛街或吃饭等信息。在服务器确定用户经常搜索的关键字之后，服务器可以建立包括上述关键字的标签列表。需要说明的是，这里的标签列表中的标签可以是第一标签。接下来，服务器将根据标签列表构建知识图谱。在该阶段中，服务器可以通过执行下述步骤a)至步骤h)以实现知识图谱的构建。步骤a)，从文本类知识图谱中提取文本类标签关系。示意性的，文本类知识图谱可以包括conceptnet或wordnet等知识图谱。文本类标签关系可以包括标签语义上自有的关系，例如包含关系或谓语关系等。在本步骤中，服务器将预先选定文本类知识图谱，从该文本类知识图谱中提取文本类标签关系。需要说明的，服务器在该步骤中，可选用当前领域中文本类标签关系使用效果较好的知识图谱，上述具体的知识图谱仅为示例性介绍，本申请不对具体的使用的文本类指示图谱进行限定。步骤b)，从指定图像类数据集中提取标签在图像中的互相关系。示意性的，互相关系可以是条件概率。响应于互相关系是条件概率，该条件概率的计算方法请参考如下公式。其中，p(a|b)是标签b出现时，标签a出现的条件概率，p(ab)为标签a和标签b同时出现的概率，p(b)为标签b出现的概率。步骤c)，计算标签之间的权重。在本步骤中，文本类关系标签之间的权重，参照步骤a)中所使用的文本类知识图谱中的权重。例如，参照conceptnet或wordnet等知识图谱中的权重。如果合并多个文本类标签关系，则将合并的关系权重做加权平均，作为合并后的关系权重；图像类标签参照步骤b)的条件概率计算方法，一般不做合并；如果文本类标签关系没有权重，则权重将通过0或1的数值填充，0表示两个节点之间没有关系，1表示两个节点之间存在关系。需要说明的是，0与1用于填充具有逻辑关系的两个节点之间的关系。在本申请实施例中，知识图谱中的节点用于表示标签。例如，知识图谱中的一个节点的名称表示本申请中提及的一个标签的名称。步骤d)，合并文本类标签关系和图像类标签关系，作为知识图谱的边。步骤e)，人工整理标签的定义、关键词、同义词等属性。在该步骤中，技术人员通过阅读梳理知识图谱，从逻辑上确定知识图谱和实际生活中的情况是否贴近，对出现异常的数据进行人工调整。本步骤的目的在于提高知识图谱的描述实际生活中的照片之间的关联性的能力。步骤f)，使用指定算法实现对标签执行embedding(嵌入)，得到词向量(wordembedding)。其中，指定算法可以是glove等具备embedding能力的算法。步骤g)，从上述数据中获取定义、关键词、同义词或词向量，作为知识图谱的节点属性。步骤h)，合并边和节点，得到建立的知识图谱。在上述建立的知识图谱中，每个节点代表一个标签，边代表标签之间的关系，这些关系包括但不限于上下义关系、相关关系、在图像中的位置关系和谓语关系等。其中，上下义关系用于指示上位概念和下位概念之间的关系。例如，“宠物”是“猫”的上义概念，“猫”是“宠物”的下义概念。相关关系用于指示两个标签同时出现在一张图像中的概率。在图像中的位置关系用于指示两个标签在图像中的位置关系，例如“苹果”在“桌子”的上方，“地板”在“桌子”的下方。谓语关系用于指示一些标签的定义等。例如，“苹果”是“食物”。针对每个节点的属性而言，上述属性包括但不限于下列内容embedding、节点类型和同义词。其中，embedding是标签通过nlp(naturallanguageprocessing，自然语言处理)相关算法对标签名称作词嵌入得到的词向量。节点类型可以包括物体、场景或事件等。综上所述，知识图谱可以通过上述过程完成构建，当一个知识图谱完成构建之后，该知识图谱中的相关数据也被固定下来。接下来，服务器将可以根据图2所示的架构对本申请所应用的标签分类模型进行训练，得到可以用于推理的标签分类模型。以图2所示的标签分类模型为例，介绍整个标签分类模型的训练过程。标签分类模型中需要在训练阶段被更新的数据是卷积神经网络110中的参数和图卷积神经网络200中的参数。响应于训练过程结束，卷积神经网络110中的参数和图卷积神经网络200中的参数固定下来。在图卷积神经网络200训练时，每个图卷积层可以通过以下公式表示。在上述公式中，h(l)是当前图卷积层的输入。h(1)是图卷积神经网络200中的第一层图卷积层的输入，也即，h(1)是输入图卷积神经网络200节点信息矩阵。是标签关系矩阵a加上自连接之后的矩阵，即为的度矩阵，相当于对邻接矩阵做归一化。w(l)是训练过程中要学习的参数，σ(.)为激活函数。在训练过程中，每个图卷积层会将上一层图卷积层输出的节点信息进行处理，得到新的节点信息输出给下一个图卷积层，而依据的图结构a在整个图卷积神经网络200中是不改变的。当标签分类模型完成训练之后，计算机设备能够利用该模型进行本申请所示的图像的多标签分类方法，详情请参见图3的介绍。请参考图3，图3是本申请实施例提供的一种图像的多标签分类方法的流程图。图3可以应用在计算机设备中，在申请实施例中，计算机设备既可以是终端，也可以是服务器。在本方法的执行过程中，请参见如下介绍。在本申请中，计算机设备可以获取待处理图像。其中，关于获取待处理图像的方式，可以根据计算机设备的具体实现方式而有所区别。示意性的，当计算机设备是终端时，终端可以直接通过图像采集组件拍摄图像，将拍摄到的图像作为待处理图像。在另一种可能的方式中，终端可以从其他计算机设备中获取图像，将获取到的图像作为待处理图像。在又一种可能的方式中，终端还可以通过已安装的图像合成应用，按照指定的指令和数据合成虚拟的图像，并将该虚拟的图像作为待处理图像。示意性的，当计算机设备是服务器时，服务器可以接收终端上传的图像，将该图像作为待处理图像。或者，服务器也可以通过已安装的图像合成应用，按照指定的指令和数据合成虚拟的图像，并将该虚拟的图像作为待处理图像。针对待处理图像的数量而言，待处理图像可以是一张，也可以多张。当待处理图像是多张时，计算机设备可以选择串行方式或者并行方式处理多张待处理图像。在串行方式中，计算机设备将在一张图像被成功打上至少两个第二标签后，在对下一张图像进行处理。在并行方式中，计算机设备将同时处理若干张图像，若干张图像将同时获得各自对应的第二标签。需要说明的是，本申请实施例对待处理图像的数量以及计算机设备采用的串行方式或并行方式，将根据实际应用的场景而有所不同，本申请实施例对此不作限定。步骤310，通过标签分类模型中的特征提取层提取待处理图像的图像特征，标签分类模型是用于为待处理图像添加至少两个标签的神经网络模型。示意性的，在获取待处理图像后，计算机设备将能够从待处理图像中提取出图像特征。在本例中，计算机设备通过标签分类模型中的特征提取层提取待处理图像的图像特征。在实际应用中，本申请提供的标签分类模型用于为一张待处理图像提供至少两个标签。可选地，图像特征可以根据应用场景的不同而包括全局特征和局部特征。响应于图像特征是全局特征，计算机设备将以整张图像为素材，提取整张图像的特征作为待处理图像的图像特征。响应于图像特征是局部特征，计算机设备将以整张图像中的识别出的一个或多个局部区域为素材，提取相应的特诊作为待处理图像的图像特征。请参见图4，图4是基于图3所示实施例提供的一种全局特征的示意图。在图4中，待处理图像400中的每一个像素均被作为素材，经过计算机设备处理后，提取出全局特征420，该全局特征420用于指示待处理图像400的特征。请参见图5，图5是基于图3所示实施例提供的另一种局部特征的示意图。在图5中，待处理图像400经过计算机设备处理后，出现3个候选框，然后计算机设备继续处理，根据3个候选框中的局部图像得到3组局部特征，分别为局部特征510、局部特征520和局部特征530。在本申请实施例中，局部特征510、局部特征520和局部特征530的总和被称之为图像特征。步骤320，通过图谱特征矩阵处理图像特征，获得待激活数据，图谱特征矩阵是知识图谱经过图卷积神经网络处理后得到的矩阵，知识图谱用于指示第一标签自身的属性，以及，至少两个第一标签之间的关系。当计算机设备获得图像特征后，计算机设备将获取到图谱特征矩阵。需要说明的是，图谱特征矩阵是根据知识图谱得到的一个指定的矩阵。当知识图谱未发生变化或者没有更新时，图谱特征矩阵将不变化。也即，计算机设备将在内部存储的知识图谱更新时，更新出对应的图谱特征矩阵。当计算机设备内部存储的知识图谱未发生变化时，不更新原本存储的图谱特征矩阵。在计算机设备同时获得图像特征和图谱特征矩阵时，计算机设备将通过图谱特征矩阵处理图像特征，得到待激活数据。需要说明的是，计算方式可以根据图像特征的形式而有相应的调整。当图像特征是矩阵的形式时，计算机设备将图像特征与图谱特征矩阵进行矩阵相乘的处理方式，将相乘后得到的结果作为待激活数据。需要说明的是，在本申请实施例中应用的知识图谱既用于指示第一标签自身的属性，也用于指示至少两个第一标签之间的关系。步骤330，通过标签分类模型中的激活层处理待激活数据，得到至少两个第二标签。在本申请中，计算机设备通过标签分类模型中的激活层对待激活数据进行处理，得到至少两个第二标签。该第二标签用于指示待处理图像中的特征，每一个第一标签用于指示待处理图像中存在符合标签的特征。需要说明的是，第二标签是从第一标签中筛选出来的标签。例如，第一标签中包括如表一所示的9个标签，则第二标签可以是如表二所示的3个标签。其中，第二标签归属于第一标签，第二标签是第一标签中最符合待处理图像的特征的标签。序号123456789标签沙滩海洋日出日落猫狗宴会逛街风景汽车表一在表一中，示出了一种可能的第一标签的种类。需要说明的是，表一所示类别仅为示例性说明，不对本申请实施例所使用的第一标签的种类形成限定。在一种可能的方式中，第一标签中还可以包括人物，该人物的标签可以具体到人的名字，或者，也可以仅是表示人的年龄或性别或职业等特征的标签。序号1234标签海洋沙滩狗风景表二在表二中，所示的标签是本申请实施例从表一所示的第一标签中筛选出的第二标签，一共包括4个第二标签。换言之，针对待处理图像，计算机设备得出第二标签海洋、沙滩、狗和风景均是符合待处理图像的特征的标签。需要说明的是，针对待处理图像，若图像中包括特征较为明显的海洋和狗，也包括特征不明显的沙滩。按照相关技术中的方案，较大概率仅为待处理图像打上海洋和狗两个标签。而根据本申请提供的方案，由于本申请在判断的过程中引入了图谱特征矩阵，该矩阵来源于知识图谱，知识图谱能够用于指示两个第一标签之间的关系，因此，图谱特征矩阵实际能够提供海洋和沙滩这一具有强相关关系的关联关系，也能够提供海洋和风景的强相关关系，以及沙滩和风景的强相关关系，也即本申请提供的方法，较大可能识别出海洋、沙滩、狗和风景同时作为待处理图像的第二标签。在一种实际的实现过程中，每一个第一标签均具有各自对应的阈值，当激活层得到的该第一标签的概率值大于其对应的阈值时，激活层将该第一标签确定为第二标签。示意性的，以表一和表二所示的数据为例进行介绍。请参见表三，表三所示数据是基于表一中所示的第一标签按照激活数据指示的概率值和预设的阈值。表三在表三中，待处理图像在经过标签分类模型处理后，得到各个第一标签的实测概率，该实测概率包括在经过激活层处理的待激活数据中。激活层中可以预先存储各个第一标签对应的预设阈值。激活层能够获得待处理图像与各个标签之间的实测概率与预设阈值进行比较，将实测概率高于预设阈值的第一标签确定为第二标签。例如，按照表三所示的数据，序号1、2、5和8对应的第一标签被确定为第二标签。步骤340，将至少两个第二标签确定为待处理图像的标签，第二标签属于第一标签。在本申请实施例中，计算机设备在确定出至少两个第二标签后，其作为待处理图像的标签。一种可能的方式中，第二标签可以作为可视化信息显示在被处理后的待处理图像上。请参见图6，图6是基于图3所示的实施例提供的一种图像处理后的可视界面。在用户界面600中，图像610经过处理后可以在下方显示其附带的三个第二标签，分别是第一个第二标签620、第二个第二标签630和第三个第二标签640，分别是“沙滩”、“树”和“海洋”。在另一种可能的方式中，第二标签可以不作为可视化信息，而作为图像的一种属性信息。可选地，该属性信息既可以存储在图像的属性帧中，也可以另外存储在计算机设备指定的文件中。其中，图像的属性帧作为图像的一部分，随着图像的拷贝而拷贝，随着图像的删除而灭失。在一种实际的应用场景中，如果若干张图像均被打上多个第二标签时，计算机设备既可以根据多个标签智能生成相册。例如，若干张图像均出现“沙滩”、“海洋”和“风景”时，则这些图像智能组合成为一个相册，命名为“海边游玩”。需要说明的是，该智能生成相册的操作既可以在终端侧完成，也可以在服务器侧完成。当该操作在服务器中完成时，终端可以将本端拍摄的图像通过云备份或者其它形式上传至服务器。从而，服务器实现对多张图像智能生成相册的操作。综上所述，本申请提供的图像的多标签分类办法，能够在提取到待处理图像的图像特征后，结合图谱特征矩阵得到待激活数据，在根据待激活数据获得至少两个第二标签，将第二标签作为待处理图像的标签。其中，图谱特征矩阵是知识图谱经过图卷积神经网络处理后得到的矩阵，知识图谱用于指示第一标签自身的属性，以及，至少两个第一标签之间的关系，由于本申请在为待处理图像确定第二标签的过程中，引入了体现各个第一标签之间关系的知识图谱，并使用该知识图谱得到的图谱特征矩阵辅助确定第二标签，避免了部分第二标签在待处理图像中特征不明显，从而在确定标签的过程中被遗漏的问题，提高了确定图像的多个标签的准确度。基于上述经过训练的标签分类模型，本申请实施例提供了一种基于该标签分类模型的图像的多标签分类方法。通过该标签分类模型，本申请能够针对一张待处理图像得到更为准确的多标签的分类结果。详情请参见如下介绍。请参见图7，图7是本申请另一个示例性实施例提供的一种图像的多标签分类方法流程图。该图像的多标签分类方法可以应用在上述所示的终端或服务器中。在图7中，该图像的多标签分类方法包括：步骤711，获取待处理图像。在本申请实施例中，可以根据应用在执行主体不同而有不同的待处理图像的获取方法。一种可能的方式中，当待处理图像是服务器获取的，服务器将从终端传输的数据中的获取该待处理图像。可选地，终端向服务器传输数据的方式可以包括云相册同步、智能相册的制作或者云备份等场景。另一种可能的方式中，当待处理图像是终端获取的，终端将从本地存储的图库中提取待处理图像，该图像既可以终端自身拍摄的也可以是其它终端拍摄后发送至终端中的图像。在后续步骤中，以该方法应用在终端中为例，介绍图7所示实施例的实现过程。步骤712，将待处理图像输入卷积神经网络。其中，待处理图像能够直接输入到卷积神经网络中，通过卷积神经网络处理该图像。步骤713，通过卷积神经网络处理待处理图像，得到图像特征矩阵。在本例中，卷积神经网络中包括若干层结构，卷积神经网络依次通过上述若干层结构，得到图像特征矩阵。一种可能的方式中，标签分类模型包括输入层、卷积层和池化层。通过卷积神经网络处理待处理图像的过程，可以包括将待处理图像输入到输入层中，经过上述逐层的处理，最终得到图像特征矩阵。示意性的，计算机设备可以将待处理图像输入输入层，得到第一中间数据；将第一中间数据输入卷积层，得到第二中间数据；将第二中间数据输入池化层，得到图像特征矩阵。当待处理图像输入到输入层后，经过输入层的处理，得到第一中间数据。随后，神经网络中输入层是与卷积层相连的，卷积层对第一中间数据进行处理后，得到第二中间数据。神经网络中，与卷积层相连的是池化层，池化层对第二中间数据处理后，得到图像特征矩阵。需要说明的是，计算机设备可以在尚未存储图谱特征矩阵时执行步骤721至步骤723，以得到图谱特征矩阵。响应于计算机设备存储的图谱特征矩阵是最新版本的知识图谱对应的图谱特征矩阵，则计算机设备在为待处理图像打上多个第二标签的过程中直接使用已存储的图谱特征矩阵即可，无需执行步骤721至步骤723。步骤721，将标签关系矩阵输入图卷积神经网络，标签关系矩阵用于指示至少两个第一标签之间的关系。图卷积神经网络中需要输入两个矩阵，标签关系矩阵作为其中的一个输入，在本申请实施例中将输入到图卷积神经网络中。其中，该标签关系矩阵用于指示至少两个第一标签之间的关系。步骤722，将节点信息矩阵输入图卷积神经网络，节点信息矩阵用于指示第一标签自身的属性。可选地，计算机设备在将标签关系矩阵输入到图卷积神经网络中时，还能够将节点信息矩阵输入到图卷积神经网络。示意性的，节点信息矩阵和标签关系矩阵共同组成知识图谱。步骤723，通过图卷积神经网络处理标签关系矩阵和节点信息矩阵，获得图谱特征矩阵。需要说明的是，响应于生成图谱特征矩阵的知识图谱发生更新，计算机设备将根据更新后的知识图谱重新生成新的图谱特征矩阵，并存储新的图谱特征矩阵，以处理图像特征，得到待激活数据。在实际操作中，计算机设备响应于知识图谱中的数据完成更新，获取更新后的知识图谱；通过图卷积神经网络处理更新后的知识图谱，获得更新后的图谱特征矩阵；通过更新后的图谱特征矩阵，更新标签分类模型中的图谱特征矩阵。需要说明的是，知识图谱的更新可以在服务器侧执行，服务器在知识图谱更新后计算得到更新后的图谱特征矩阵，并将更新后的图谱特征矩阵作为新的信息推送至终端。终端根据新的图谱特征矩阵处理图像特征，得到待激活数据。在一种可能的实现方式中，图谱特征矩阵的规模是c*n，其中，c是第一标签的个数，n是特征维数，c和n均为正整数。相应的，图像特征矩阵的规模是n*1，图谱特征矩阵的规模是c*n，待激活数据矩阵的规模是c*1，c是第一标签的个数，n是特征维数，c和n均为正整数。基于上述图谱特征矩阵的规模是c*n且图像特征矩阵的规模是n*1，得到待激活数据矩阵的规模是c*1。通俗而言，针对待激活数据矩阵而言，每一行数据均对应于一个第一标签被激活之后的数据。步骤731，令图像特征矩阵和图谱特征矩阵相乘，得到待激活数据矩阵。步骤732，通过标签分类模型中的激活层处理待激活数据矩阵，得到至少两个第二标签。在本申请中，终端可以通过执行步骤(3a)、步骤(3b)和步骤(3c)来替换实现步骤732所示的得到至少两个第二标签的效果。步骤(3a)，将待激活数据矩阵输入激活层。步骤(3b)，通过激活层处理待激活数据，获得第一标签对应的概率值，概率值用于指示第一标签符合待处理图像的概率。步骤(3c)，响应于概率值高于对应的第一阈值，将对应的第一标签确定为第二标签，第一阈值是用于判断第一标签是否符合待处理图像的阈值。需要说明的是，第一阈值可以和第一标签一一对应。当标签分类模型中使用的第一标签的个数为i个时，第一阈值的个数也是i个。在本申请实施例中，当计算机设备执行完成步骤732时，待处理图像已经获得至少两个第二标签。每一张待处理图像均可以通过上述的流程得到各自所属的至少两个第二标签。计算机设备可以通过对需要处理的多张待处理图像执行本申请实施例提供的步骤711至步骤732来实现多标签分类的效果。然而，为了提供更加准确的分类效果的方案，本申请实施例还可以增加一个图像后处理流程，通过待处理图像的图像内容之外的特征确定是否再为该待处理图像增加指定的第二标签。示意性的，计算机设备响应于第一图像和第二图像已获取各自对应的第二标签，获取第一图像和第二图像之间的拍摄时刻关系信息。第一图像和第二图像均是已经添加好第二标签的待处理图像。例如，请参见表四。表四示出了一种第一图像和第二图像被处理后的第二标签的情况。表四由表四所示数据可知，第二图像在经过本申请所示的方案打上多个第二标签之后，包括3个第二标签，分别为“海洋”、“狗”和“风景”。第一图像经过本申请所示的方案打上多个第二标签之后，包括4个第二标签，分别为“海洋”、“沙滩”、“狗”和“风景”。在此情况下，计算机设备将获取第一图像和第二图像之间的拍摄时刻关系信息。其中，拍摄时刻关系信息用于指示第一图像和第二图像在拍摄时刻上的时序关系，或者，拍摄时刻关系信息用于指示第一图像的拍摄时刻和第二图像的拍摄时刻之间的时长。在拍摄关系信息指示的第一种情况中，拍摄时刻关系信息指示的是一种时序关系。该时序关系包括两种情况，第一种情况是第一图像的拍摄时刻早于第二图像的拍摄时刻。第二种情况是第一图像的拍摄时刻晚于第二图像的拍摄时刻。需要说明的是，由于本申请所处理的第一图像和第二图像默认是通过同一个终端拍摄的图像。因此，从图像拍摄逻辑上来说，不存在第一图像的拍摄时刻等于第二图像的拍摄时刻。可选的，在本申请实施例中，第一图像和第二图像是同一个终端通过同一组摄像头拍摄的图像。当拍摄图像的终端是智能手机时，智能手机的摄像头通常包括前置摄像头组和后置摄像头组两组，智能手机可以选择其中的一组摄像头来拍摄图像。在一种较为少见的场景中，智能手机仅包括一组摄像头，但该组摄像头能够翻转到拍摄前侧的方向或翻转到拍摄后侧的方向。本申请实施例所示的第一图像和第二图像是该组摄像头在朝向同一侧拍摄的两张图像。其中，智能手机可以通过状态信息确定当前摄像头的朝向。在拍摄时刻关系信息指示的第二种情况中，拍摄时刻关系信息指示的是一种时长信息，该时长信息是第一图像的拍摄时刻和第二图像的拍摄时刻之间的时长，该信息可以是固定的数值，精度可以是分钟、秒或毫秒等。需要说明的是，该精度值可以根据应用的场景而有所不同。当本申请实施例应用在日常拍摄人像风景等场景中时，精度可以是秒级的精度。当本申请实施例应用在拍摄高速运动的物体的场景中精度可以是毫秒，例如高速运动的人、车辆或者微观场景下的粒子。当本申请实施例应用在自然保护区监控的场景中时，精度可以是分钟。本申请实施例对拍摄关系信息的精度仅做示意性介绍，不对实际的场景形成限定。综合上述两种拍摄时刻关系信息指示的内容，计算机设备能够在拍摄时刻关系信息符合预设条件时，将目标第二标签增加为第二图像对应的第二标签，目标第二标签是对应于第一图像且不对应于第二图像的标签。预设条件可以用来指示第一图像的拍摄时刻和第二图像的拍摄时刻接近。也即当拍摄时刻关系信息指示第一图像和第二图像拍摄时刻接近时，对应于拍摄时刻关系信息符合预设条件。对于上述拍摄时刻关系信息符合预设条件，这里进行具体场景上的介绍。当拍摄时刻关系信息指示时序关系时，计算机设备通过步骤(4a)和步骤(4b)来实现为第二图像增加标签的操作。步骤(4a)，响应于第一图像和第二图像已获取各自对应的第二标签，获取目标时长。其中，目标时长是第一图像的拍摄时刻和第二图像的拍摄时刻之间的时长。步骤(4b)，响应于目标时长小于第二阈值，将目标第二标签增加为第二图像对应的第二标签。在本申请实施例中，当目标时长小于第二阈值时，说明第一图像的拍摄时刻接近于第二时刻的拍摄时刻。在该场景中，第一图像中的景物与第二图像中的景物大概率是相似的。因此，计算机设备可以将第二图像中没有的标签且第一图像中有的标签作为第二标签，也打到第二图像上。当拍摄时刻关系信息指示时长时，计算机设备通过步骤(5a)和步骤(5b)来实现为第二图像增加标签的操作。步骤(5a)，响应于第一图像和第二图像已获取各自对应的第二标签，且第一图像的数量为2k，k张第一图像是第二图像之前拍摄的图像，k张第一图像是第二图像之后拍摄的图像，获取第一图像的拍摄时刻。步骤(5b)，响应于2k张第一图像的拍摄时刻所在区间的长度小于第三阈值，将目标第二标签增加为第二图像对应的第二标签，k为大于或等于1的整数。在本申请实施例中，第一图像的张数可以选定为总共2k张，这些第一图像是终端在拍摄第二图像前后连续拍摄的图像。例如，请参见图8，图8是基于图7所示实施例提供的一种图像后处理的示意图。在图8中，k的取值是3，按照拍摄时刻从早到晚的顺序，终端连续拍摄到第一张第一图像811、第二张第一图像812、第三张第一图像813、第二图像820、第四张第一图像814、第五张第一图像815和第六张第一图像816。同时，可以参考表五。表五示出了各张图像的拍摄时刻。图像811图像812图像813图像820图像814图像815图像81610:24:4910:24:5610:25:0610:25:1710:25:2410:25:2910:25:35表五在表五所示的7张图像中，6张第一图像中均有第二标签“沙滩”，而第二图像820中没有对应第二标签“沙滩”。在第一处理阶段8a中，第二图像820的第二标签是“树”和“海洋”。其它6张第一图像的第二标签均是“树”、“海洋”和“沙滩”。在第二处理阶段8b中，计算机设备确定3张第一图像处于第二图像的拍摄时刻之前，另外3张第一图像处于第二图像的拍摄图像之后，获取每一张第一图像的拍摄时刻。在本例中，第三阈值为60秒，第一张第一图像811的拍摄时段到第6张第一图像816的拍摄时刻之间的时长为46秒。也即，6张第一图像的拍摄时刻所在区间的长度小于第三阈值60秒，计算机设备将在第二处理阶段8b中，将6张第一图像中均具有的第二标签“沙滩”作为目标第二标签，复制到第二图像对应的第二标签中。需要说明的是，在第一处理阶段8a和第二处理阶段8b中，第一图像所对应的第二标签均没有发生变化。因此，在图8中没有重复示出第一图像。请参考图9，图9是本申请实施例提供的一种自动生成相册的过程示意图。在图9的图像采集阶段9a中，计算机设备获取需要被处理的若干张待处理图像。若计算机设备是服务器，图像采集阶段9a可以是接收终端上传的照片，落地的过程可以终端在服务器中进行云备份或相册备份等过程。若计算机设备是终端，图像采集阶段9a可以是拍摄照片的过程，当照片拍摄并完成存储后，计算机设备已获得若干张待处理设备。在计算机设备已经采集到待处理图像后，计算机设备可以在多标签确定阶段9b中，通过本申请提供的标签分类模型为待处理图像添加至少两个第二标签。当若干张待处理图像均已经被添加了至少两个标签时，计算机设备能够在图像后处理阶段9c，通过将待处理图像分为第一图像和第二图像，并按照第一图像和第二图像之间的拍摄时刻关系信息是否符合预定条件，确定是否为第二图像补充目标第二标签，该目标第二标签是第一图像对应有的且第二图像不对应的标签。当待处理图像经过图像后处理阶段9c处理后，计算机设备可以根据预设策略生成指定的相册，相册包括待处理图像。一种可能的策略中，计算机设备选定m个标签，根据包括m个标签的待处理图像生成第一相册中，并根据选定的m个标签生成该相册的名称。另一种可能的策略中，计算机设备将限定指定的拍摄地点以及m个标签，生成在指定的拍摄地点拍摄的类似内容的第二相册。另一种可能的策略中，计算机设备将限定指定的拍摄时间以及m个标签，生成在指定的拍摄时间拍摄的类似内容的第三相册。由此可见，本申请实施例提供的方案能够在较高准确性的前提下，为待处理图像打上多个标签，并能够基于此智能生成相应的相册，提高了自动生成相册的效率和准确度，减少了生成相册时遗漏实际上符合相册标准的图像的情况发生。综上所述，本实施例所使用的标签分类模型中包括卷积神经网络的结构，该卷积神经网络用于提取待处理图像中的图像内容，卷积神经网络在提取到图像特征矩阵后，能够被来源于知识图谱的图谱特征矩阵所处理，得到待激活数据，待激活数据被激活层处理后，能够得到至少两个第二标签，已完成为待处理图像标记多个标签的效果。可选地，本申请实施例还能够引入图卷积神经网络处理知识图谱，从而得到用于处理图像特征矩阵的图谱特征矩阵，使得为待处理图像打上多个第二标签时，能够令进入激活层之前的数据受到知识图谱中第一节点之间的互相关系的制衡，从而避免待处理图像中不明显的标签被遗漏掉，提高了为待处理图像打上多个第二标签的准确度。可选的，本实施例还能够在待处理图像完成至少两个第二标签的标注后，通过数据后处理阶段再次检测待处理图像中是否存在尚未标注上的第二标签。在该后处理阶段中，计算机设备将检测与待处理图像相邻的图像中是否存在没有标注在待处理图像上的第二标签，若该与待处理图像相邻的图像在拍摄时刻与待处理图像的拍摄时刻比较接近，则本申请将与待处理图像相邻的图像中存在未标注在待处理图像上的第二标签标注在待处理图像上，以提升第二标签标注的准确性。可选地，当待处理图像的前k张图像和后k张图像中都存在一个第二标签，且前k张图像和后k张图像所处的时间区间在指定的时长范围内，则该第二标签将标注在待处理图像上，从而进一步提高第二标签标注的准确度。下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。请参考图10，图10是本申请一个示例性实施例提供的一种图像的多标签分类装置的结构框图。该图像的多标签分类装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括特征提取模块1010、第一获取模块1020、标签获取模块1030和标签确定模块1040。针对上述模块的具体功能进行介绍。特征提取模块1010，用于通过标签分类模型中的特征提取层提取待处理图像的图像特征，所述标签分类模型是用于为所述待处理图像添加至少两个标签的神经网络模型。第一获取模块1020，用于通过图谱特征矩阵处理所述图像特征，获得待激活数据，所述图谱特征矩阵是知识图谱经过图卷积神经网络处理后得到的矩阵，所述知识图谱用于指示第一标签自身的属性，以及，至少两个所述第一标签之间的关系。标签获取模块1030，用于通过所述标签分类模型中的激活层处理所述待激活数据，得到至少两个第二标签。标签确定模块1040，用于将至少两个所述第二标签确定为所述待处理图像的标签，所述第二标签属于所述第一标签。在一个可选的实施例中，所述第一获取模块1020，用于令所述图像特征矩阵和所述图谱特征矩阵相乘，得到待激活数据矩阵。所述标签获取模块1030，用于通过所述标签分类模型中的所述激活层处理所述待激活数据矩阵，得到至少两个所述第二标签。在一个可选的实施例中，所述装置涉及的所述知识图谱包括标签关系矩阵和节点信息矩阵，所述装置还包括第一输入模块、第二输入模块和第二获取模块。所述第一输入模块，用于将所述标签关系矩阵输入所述图卷积神经网络，所述标签关系矩阵用于指示至少两个所述第一标签之间的关系；所述第二输入模块，用于将所述节点信息矩阵输入所述图卷积神经网络，所述节点信息矩阵用于指示所述第一标签自身的属性；所述第二获取模块，用于通过所述图卷积神经网络处理所述标签关系矩阵和所述节点信息矩阵，获得所述图谱特征矩阵。在一个可选的实施例中，所述装置还包括第三获取模块、第四获取模块和矩阵更新模块。所述第三获取模块，用于响应于所述知识图谱中的数据完成更新，获取更新后的知识图谱；所述第四获取模块，用于通过所述图卷积神经网络处理所述更新后的知识图谱，获得更新后的所述图谱特征矩阵；所述矩阵更新模块，用于通过所述更新后的所述图谱特征矩阵，更新所述标签分类模型中的所述图谱特征矩阵。在一个可选的实施例中，所述装置涉及的所述图谱特征矩阵的规模是c*n，其中，c是所述第一标签的个数，n是特征维数，c和n均为正整数。在一个可选的实施例中，所述装置涉及的所述图像特征矩阵的规模是n*1，所述图谱特征矩阵的规模是c*n，所述待激活数据矩阵的规模是c*1，c是所述第一标签的个数，n是特征维数，c和n均为正整数。在一个可选的实施例中，所述装置涉及的所述待处理图像包括第一图像和第二图像，所述装置还包括后处理模块，所述后处理模块，用于响应于所述第一图像和所述第二图像已获取各自对应的所述第二标签，获取所述第一图像和所述第二图像之间的拍摄时刻关系信息，所述拍摄时刻关系信息用于指示所述第一图像和所述第二图像在拍摄时刻上的时序关系，或者，所述拍摄时刻关系信息用于指示所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的时长；响应于所述拍摄时刻关系信息符合预设条件，将目标第二标签增加为所述第二图像对应的所述第二标签，所述目标第二标签是对应于所述第一图像且不对应于所述第二图像的所述第二标签。在一个可选的实施例中，所述后处理模块，用于响应于目标时长小于第二阈值，将所述目标第二标签增加为所述第二图像对应的所述第二标签，所述目标时长是所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的时长。在一个可选的实施例中，所述后处理模块，用于响应于所述第一图像的数量为2k张，在2k张所述第一图像中，k张所述第一图像是所述第二图像之前拍摄的图像，k张所述第一图像是所述第二图像之后拍摄的图像，获取所述第一图像的拍摄时刻；响应于2k张所述第一图像的拍摄时刻所在区间的长度小于第三阈值，将目标第二标签增加为所述第二图像对应的所述第二标签，所述目标第二标签是2k张所述第一图像均对应的标签且所述目标第二标签是所述第二图像不对应的所述第二标签，k为大于或等于1的整数。综上所述，本实施例所使用的标签分类模型中包括卷积神经网络的结构，该卷积神经网络用于提取待处理图像中的图像内容，卷积神经网络在提取到图像特征矩阵后，能够被来源于知识图谱的图谱特征矩阵所处理，得到待激活数据，待激活数据被激活层处理后，能够得到至少两个第二标签，已完成为待处理图像标记多个标签的效果。可选地，本申请实施例还能够引入图卷积神经网络处理知识图谱，从而得到用于处理图像特征矩阵的图谱特征矩阵，使得为待处理图像打上多个第二标签时，能够令进入激活层之前的数据受到知识图谱中第一节点之间的互相关系的制衡，从而避免待处理图像中不明显的标签被遗漏掉，提高了为待处理图像打上多个第二标签的准确度。可选的，本实施例还能够在待处理图像完成至少两个第二标签的标注后，通过数据后处理阶段再次检测待处理图像中是否存在尚未标注上的第二标签。在该后处理阶段中，计算机设备将检测与待处理图像相邻的图像中是否存在没有标注在待处理图像上的第二标签，若该与待处理图像相邻的图像在拍摄时刻与待处理图像的拍摄时刻比较接近，则本申请将与待处理图像相邻的图像中存在未标注在待处理图像上的第二标签标注在待处理图像上，以提升第二标签标注的准确性。可选地，当待处理图像的前k张图像和后k张图像中都存在一个第二标签，且前k张图像和后k张图像所处的时间区间在指定的时长范围内，则该第二标签将标注在待处理图像上，从而进一步提高第二标签标注的准确度。示例性地，本申请实施例所示的图像的多标签分类方法，可以应用在计算机设备中，计算机设备可以是终端，该终端具备显示屏且具备图像的多标签分类功能。终端可以包括手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、mp4播放终端、mp5播放终端、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(virtualreality，vr)播放终端或增强现实(augmentedreality，ar)播放终端等。请参考图11，图11是本申请一个示例性实施例提供的一种终端的结构框图，如图1所示，该终端包括处理器1120和存储器1140，所述存储器1140中存储有至少一条指令，所述指令由所述处理器1120加载并执行以实现如本申请各个方法实施例所述的图像的多标签分类方法。处理器1120可以包括一个或者多个处理核心。处理器1120利用各种接口和线路连接整个终端110内的各个部分，通过运行或执行存储在存储器1140内的指令、程序、代码集或指令集，以及调用存储在存储器1140内的数据，执行终端110的各种功能和处理数据。可选的，处理器1120可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器1120可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1120中，单独通过一块芯片进行实现。存储器1140可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory，rom)。可选的，该存储器1140包括非瞬时性计算机可读介质(non-transitorycomputer-readablestoragemedium)。存储器1140可用于存储指令、程序、代码、代码集或指令集。存储器1140可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储下面各个方法实施例中涉及到的数据等。在本申请实施例中，计算机设备还可以是服务器，服务器的结构可参见图12所示的结构。请参考图12，图12是本申请一个实施例提供的一种服务器的结构示意图。该服务器用于实施上述实施例提供的应用部署方法。具体来讲：所述服务器1200包括中央处理单元(cpu)1201、包括随机存取存储器(ram)1202和只读存储器(rom)1203的系统存储器1204，以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述服务器1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(input/output，i/o系统)1206，和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。所述基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中所述显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。所述基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为服务器1200提供非易失性存储。也就是说，所述大容量存储设备1207可以包括诸如硬盘或者cd-rom(compactdiscread-onlymemory，只读光盘)驱动器之类的计算机可读介质(未示出)。不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom(electricalprogrammablereadonlymemory，电动程控只读存储器)、eeprom(electricallyerasableprogrammablereadonlymemory，带电可擦可编程只读存储器)、闪存或其他固态存储其技术，cd-rom、dvd(digitalvideodisc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。根据本申请的各种实施例，所述服务器1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到网络1212，或者说，也可以使用网络接口单元1211来连接到其他类型的网络或远程计算机系统。本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像的多标签分类方法。需要说明的是：上述实施例提供的图像的多标签分类装置在执行图像的多标签分类方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像的多标签分类装置与图像的多标签分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。以上所述仅为本申请的能够实现的示例性的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。当前第1页1 2 3
技术特征：1.一种图像的多标签分类方法，其特征在于，所述方法包括：
通过标签分类模型中的特征提取层提取待处理图像的图像特征，所述标签分类模型是用于为所述待处理图像添加至少两个标签的神经网络模型；
通过图谱特征矩阵处理所述图像特征，获得待激活数据，所述图谱特征矩阵是知识图谱经过图卷积神经网络处理后得到的矩阵，所述知识图谱用于指示第一标签自身的属性，以及，至少两个所述第一标签之间的关系；
通过所述标签分类模型中的激活层处理所述待激活数据，得到至少两个第二标签；
将至少两个所述第二标签确定为所述待处理图像的标签，所述第二标签属于所述第一标签。
2.根据权利要求1所述的方法，其特征在于，所述通过图谱特征矩阵处理所述图像特征，获得待激活数据，包括：
令所述图像特征矩阵和所述图谱特征矩阵相乘，得到待激活数据矩阵；
所述通过所述标签分类模型中的激活层处理所述待激活数据，得到至少两个第二标签，包括：
通过所述标签分类模型中的所述激活层处理所述待激活数据矩阵，得到至少两个所述第二标签。
3.根据权利要求2所述的方法，其特征在于，所述知识图谱包括标签关系矩阵和节点信息矩阵，所述方法还包括：
将所述标签关系矩阵输入所述图卷积神经网络，所述标签关系矩阵用于指示至少两个所述第一标签之间的关系；
将所述节点信息矩阵输入所述图卷积神经网络，所述节点信息矩阵用于指示所述第一标签自身的属性；
通过所述图卷积神经网络处理所述标签关系矩阵和所述节点信息矩阵，获得所述图谱特征矩阵。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
响应于所述知识图谱中的数据完成更新，获取更新后的知识图谱；
通过所述图卷积神经网络处理所述更新后的知识图谱，获得更新后的所述图谱特征矩阵；
通过所述更新后的所述图谱特征矩阵，更新所述标签分类模型中的所述图谱特征矩阵。
5.根据权利要求3所述的方法，其特征在于，所述图谱特征矩阵的规模是c*n，其中，c是所述第一标签的个数，n是特征维数，c和n均为正整数。
6.根据权利要求2所述的方法，其特征在于，所述图像特征矩阵的规模是n*1，所述图谱特征矩阵的规模是c*n，所述待激活数据矩阵的规模是c*1，c是所述第一标签的个数，n是特征维数，c和n均为正整数。
7.根据权利要求1所述的方法，其特征在于，所述待处理图像包括第一图像和第二图像，所述方法还包括：
响应于所述第一图像和所述第二图像已获取各自对应的所述第二标签，获取所述第一图像和所述第二图像之间的拍摄时刻关系信息，所述拍摄时刻关系信息用于指示所述第一图像和所述第二图像在拍摄时刻上的时序关系，或者，所述拍摄时刻关系信息用于指示所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的时长；
响应于所述拍摄时刻关系信息符合预设条件，将目标第二标签增加为所述第二图像对应的所述第二标签，所述目标第二标签是对应于所述第一图像且不对应于所述第二图像的所述第二标签。
8.根据权利要求7所述的方法，其特征在于，所述响应于所述拍摄时刻关系信息符合预设条件，将目标第二标签增加为所述第二图像对应的所述第二标签，包括：
响应于目标时长小于第二阈值，将所述目标第二标签增加为所述第二图像对应的所述第二标签，所述目标时长是所述第一图像的拍摄时刻和所述第二图像的拍摄时刻之间的时长。
9.根据权利要求7所述的方法，其特征在于，所述响应于所述拍摄时刻关系信息符合预设条件，将目标第二标签增加为所述第二图像对应的所述第二标签，包括：
响应于所述第一图像的数量为2k张，在2k张所述第一图像中，k张所述第一图像是所述第二图像之前拍摄的图像，k张所述第一图像是所述第二图像之后拍摄的图像，获取所述第一图像的拍摄时刻；
响应于2k张所述第一图像的拍摄时刻所在区间的长度小于第三阈值，将目标第二标签增加为所述第二图像对应的所述第二标签，所述目标第二标签是2k张所述第一图像均对应的标签且所述目标第二标签是所述第二图像不对应的所述第二标签，k为大于或等于1的整数。
10.一种图像的多标签分类装置，其特征在于，所述装置包括：
特征提取模块，用于通过标签分类模型中的特征提取层提取待处理图像的图像特征，所述标签分类模型是用于为所述待处理图像添加至少两个标签的神经网络模型；
第一获取模块，用于通过图谱特征矩阵处理所述图像特征，获得待激活数据，所述图谱特征矩阵是知识图谱经过图卷积神经网络处理后得到的矩阵，所述知识图谱用于指示第一标签自身的属性，以及，至少两个所述第一标签之间的关系；
标签获取模块，用于通过所述标签分类模型中的激活层处理所述待激活数据，得到至少两个第二标签；
标签确定模块，用于将至少两个所述第二标签确定为所述待处理图像的标签，所述第二标签属于所述第一标签。
11.一种计算机设备，其特征在于，所述终端包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至9任一所述的图像的多标签分类方法。
12.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被如权利要求11所述的处理器执行时实现如权利要求1至9任一所述的图像的多标签分类方法。
技术总结本申请实施例公开了一种图像的多标签分类方法、装置、计算机设备及存储介质，属于图像处理技术领域。本申请提供一种图像的多标签分类方法，能够在获取待处理图像后将待处理图像输入标签分类模型，得到图像对应的图像特征，同时根据知识图谱获得图谱特征矩阵，结合图像特征和图谱特征矩阵得到待激活数据，再依据待激活数据得到待处理图像对应的至少两个第二标签。其中，知识图谱用于指示标签之间的关系以及标签自身的属性。由于标签分类模型在为待处理图像添加多个标签时使用了知识图谱提供的信息，因此，本申请提高了待处理图像得到的多个标签的可靠性，同时降低了获取多个标签的复杂度。
技术研发人员：罗彤;郭彦东;李亚乾;杨林
受保护的技术使用者：OPPO广东移动通信有限公司;上海瑾盛通信科技有限公司
技术研发日：2020.12.09
技术公布日：2021.03.12
