一种基于双图正则化约束和字典学习的图像自动标注方法与流程

本发明属于图像检索技术领域，具体涉及一种基于双图正则化约束和字典学习的图像自动标注方法。

背景技术：

随着数码相机和电子设备的逐渐流行，各种图像的数量正在快速增加。对于图像检索，用户习惯于采用关键字等方式进行检索，但是人工的对图像进行标注的方法不但工作量大，而且不可避免地带来主观性和不精确性，让计算机实现图像自动标注势在必行。

图像自动标注是让计算机自动地给图像加上能够反映其内容的语义关键词，自动标注的使用可以有效地改善目前图像检索的困境。

使用包含样本原子在内的过完备字典，样本由过完备字典原子的稀疏线性组合表示，这是字典学习核心思想。目前研究活动主要集中在根据给定字典分解样本的跟踪算法，通过从一组预先指定的线性变换中选择一个或使字典适应一组训练信号，可以设计更符合上述模型的字典。这就直接指出了字典学习的两个过程：训练字典和稀疏编码。字典学习能够有效的关联特征与特征之间，标签与标签之间的高维联系。

因此，提供一种基于字典学习的自动化的图像标注方法是非常有必要的。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于双图正则化约束和字典学习的图像自动标注方法，通过使用特征空间和字典原子空间的拉普拉斯正则化图，通过交替迭代算法求得最优的稀疏字典，使用最优稀疏字典进行特征重构，使用分类器进行标签概率预测，基于标签预测概率构造图像预测标签集，实现图像的自动标注，具有较强的准确性和适用性。

为达到上述目的，本发明提出如下技术方案，本发明提供一种基于双图正则化约束和字典学习的图像自动标注方法，包括以下步骤：

s1、构建图像测试集和训练接，根据图像训练集和测试集提取图像特征，得到图像特征集x；

s2、采用汉明损失和高斯核函数计算图像间相似度权重wi,j，得到特征空间正则化图lc；

s3、构建初始稀疏字典d0根据初始稀疏字典d0对图像特征集x进行稀疏重构得到初始稀疏编码a；

s4、采用凸优化工具获得字典原子图ld；基于特征空间正则化图lc约束、字典原子图ld约束及稀疏编码a，采用交替更新并自适应扩大编码权重得到最优稀疏字典d和分类器w；

s5、根据最优稀疏字典d进行特征重构，自适应扩大分类权重并利用分类器w进行标签概率预测，根据标签预测概率进行图像的自动标注。

优选地，所述测试集和所述训练集分别包含若干个特征向量xi，每个特征向量xi包含若干个连续特征和离散特征。

优选地，所述步骤s2的具体过程为：

s2.1、根据汉明损失计算图像离散特征间相似度的权重

s2.2、根据高斯核函数计算图像连续特征间相似度的权重

s2.3、根据图像离散特征间相似度的权重和图像连续特征间相似度的权重计算图像间的相似度的权重wi,j；

s2.4、根据图像间的相似度的权重wi,j得到数据空间正则化图lc。

优选地，所述步骤s3的具体过程为：

s3.1、获得初始化的稀疏编码a⁽⁰⁾，并设置误差变量z⁽⁰⁾及缩放变量u⁽⁰⁾；

s3.2、对稀疏编码a⁽⁰⁾、误差变量z⁽⁰⁾及缩放变量u⁽⁰⁾进行迭代更新，直到收敛；

s3.3对误差变量z^(k)及误差变量约束ωj进行更新，根据最终的误差变量z^(k)得到稀疏编码a。

优选地，所述步骤s4的具体过程为：

s4.1、初始化字典d⁽⁰⁾及分类器w⁽⁰⁾，得到联合字典并通过联合字典对特征和标签进行稀疏重构，得到稀疏编码

s4.2、根据稀疏限制t0和测试集样本数量m1得到字典原子使用数量阈值并统计各个字典原子的使用数量c^d，根据字典原子使用数量阈值及字典原子使用数量c^d对字典原子编码权重di进行更新；

s4.3、获得当前更新字典原子项dj，并依次更新字典原子项dj和稀疏编码，直到收敛；

s4.4、根据步骤s4.2对字典原子编码权重di进行更新，得到最终的联合字典即为最优的稀疏字典d和分类器w。

优选地，所述对字典原子编码权重di进行更新的过程为：判断字典原子使用数量c^d是否大于字典原子使用数量阈值若字典原子使用数量c^d大于字典原子使用数量阈值则将字典原子编码权重di进行更新；若字典原子使用数量c^d小于字典原子使用数量阈值则保留原字典原子编码权重di。

优选地，所述步骤s5的具体过程为：

s5.1、采用最优稀疏字典d对测试集进行稀疏重构，得到稀疏编码

s5.2、根据稀疏限制t0和训练集数量m1得到字典原子使用数量阈值并统计各个字典原子的使用数量c^k，根据字典原子使用数量阈值及各个字典原子的使用数量c^k对，测试特征的分类权重atest[k,i]进行更新；

s5.3、采用稀疏编码atest和分类器w得到预测概率向量

s5.4、计算训练集中属于某个标签的图像的标签集的平均长度根据标签集的平均长度计算测试集的标签集的预测长度length(y′i)；

s5.5、根据预测概率向量和预测长度length(y′i)，得到图像预测标签集合，完成图像的自动标注。

本发明公开了以下技术效果：

本发明通过使用特征空间和特征属性空间的拉普拉斯正则化图，通过交替迭代算法求得最优的稀疏字典，使用最优稀疏字典进行特征重构，能够有效的关联特征和特征之间，标签和标签之间的高维联系；使用分类器进行标签概率预测；基于标签预测概率构造图像预测标签集，实现图像的自动标注，具有较强的准确性；同时本发明能够标注所有类型的图像，具有较强的泛用性；本发明还能够处理包含连续特征和离散特征的图像，具有较强的适应性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于双图正则化和字典学习的图像自动标注方法流程示意图：

图2为本发明的特征空间正则化图lc的计算流程示意图；

图3为本发明的稀疏编码a的计算流程示意图；

图4为本发明的最优稀疏字典d和分类器w的计算流程示意图；

图5为本发明构建图像预测标签集的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种基于双图正则化和字典学习的图像自动标注方法，包括以下步骤：

s1、构建图像测试集和训练接，根据图像训练集和测试集提取图像特征，得到图像特征集x；

本实施例提取m幅图像的特征构成训练集xtrain为xtrain＝{{(xi,yi)∈χ×{0,1}^q|i＝1,2,...,m1}}和测试集xtest为xtest＝{{(xi,yi)∈χ×{0,1}^q|i＝m1 1,m1 2,...,m}}。

其中：图像特征集x＝(x1,x2,x3,...,xm)＝(xtrain,xtest),其中

其中任意为第i幅图像对应的特征向量，为连续特征，n1为连续特征的个数，为离散特征，n为特征的总个数，其中任意为xi对应的标签向量，q＝1,2,...,q，yi∈l，l＝{l1,l2,...,lq}为总标签集，lq为l中的第q标签，q为标签总数；i为图像的编号；。

设稀疏字典k为稀疏字典d中的字典原子数量，表示矩阵，稀疏编码存在约束||ai||0≤t0,其中ai表示的a中第i项，即xi对应的稀疏编码，t0为稀疏限制,分类器

s2、采用汉明损失和高斯核函数计算图像间相似度权重wi,j，得到特征空间正则化图lc，具体流程如图2所示。

s2.1、基于汉明损失构造xi与xj间各个离散特征的相似度权重具体为：

s2.2、基于高斯核函数构造xi与xi间各个连续特征相似度权重具体为：

其中：表示向量与间的距离；σ为调节因子，

s2.3、对式(1)和式(2)中的和加权求和构造xi与xi间的相似度权重wi,j，具体为：

s2.4、基于相似度权重wi,j确定特征空间正则化图lc，具体为：

其中：

s3、构建初始稀疏字典d0，根据初始稀疏字典d0对图像特征x进行稀疏重构得到稀疏编码a，具体流程如图3所示。

s3.1、初始化稀疏编码稀疏编码存在约束||ai||0≤t0，并设置误差变量z⁽⁰⁾＝a⁽⁰⁾,缩放变量u⁽⁰⁾＝0,k＝1。

s3.2、在稀疏编码的第k次更新中，以(d^td ρi)a βalc＝d^tx ρ(z^(k-1)-u^(k-1))的解更新a^(k)，其中图度矩阵δ是一个对角矩阵，且δii＝∑jwij(i,j＝1,2,...,m1),与之相关联的特征空间正则化拉普拉斯图lc＝δ-w,规范化拉普拉斯为ρ为迭代速率；β是字典原子图权重参数。

s3.3、更新其中：为投影算子，表示只取(a^(k) u^(k-1))中每列前t0大的项。

s3.4、更新u^(k)＝u^(k-1) x^(k)-z^(k)，若不收敛，则令k＝k 1并返回步骤s3.2。

s3.5、更新ωj＝{i|z^(k)[i,j]≠0}(j＝1,2...,m1)，并更新其中：ωj为误差变量约束，表示为当更新某个字典原子误差时，只选择和其有关的稀疏编码的误差进行更新，而忽略和其无关的稀疏编码的误差；是d在ωj约束下的子集。

得到最终的z^(k)即为稀疏编码a。

s4、采用凸优化工具获得字典原子图ld；基于特征空间正则化图lc约束、字典原子图ld约束及稀疏编码a，采用交替更新并自适应扩大编码权重得到最优稀疏字典d和分类器w，具体流程如图4所示。

s4.1、本实施例采用凸优化cvx工具计算字典原子图ld，具体为：

由此，存在约束li,j＝lj,i≤0(i≠j)，ld1＝0，tr(ld)＝n(i,j＝1,2,...,m1)。

其中：α是字典原子图的权重参数；tr(·)是迹函数；||·||f表示f范数；1和0分别表示长度为n的全1列向量和全0列向量。

通过特征空间图约束和字典原子图约束，确定：

由此，存在约束||ai||0≤t0(i＝1,2,...,m1)。

其中：β是字典原子图权重参数；γ是分类器权重参数。

s4.2、初始化字典分类器记初始化k＝1；

s4.3、在稀疏编码的第k次更新中，根据步骤s3通过字典对训练集的图像特征和原始图像样本分类标签进行稀疏重构得到稀疏编码

s4.4、根据稀疏限制t0和测试集样本数量m1，计算获得需要扩大编码权重的字典原子使用数量阈值统计各个字典原子的使用数量c^d＝(c1,c2,...,ck)，其中：扩大字典原子的编码权重，具体为：

s4.5、使用dj(j＝1,2,...,k)表示当前更新字典原子项，得到误差变量约束

s4.6、定义限制算子pj为使用了第j个字典原子的稀疏编码列的集合，其中的

计算误差矩阵，具体为：

其中：表示的第i行；

s4.7、更新表示约束条件下的vj，lc；

更新若不收敛，则k＝k 1并回到步骤s4.2。

s4.8、根据步骤s4.4再次更新字典原子编码权重，得到最终的即为最优稀疏字典d和分类器w。

s5、使用最优稀疏字典d进行特征重构并自适应扩大分类权重并利用分类器w进行标签概率预测，根据标签预测概率实现图像的自动标注，具体流程如图5所示。

基于稀疏字典d和分类器w预测xi属于lq的概率向量构造图像的预测标签集yi′(i＝m1 1,m1 2,...,m,q＝1,2,...,q)。

s5.1、使用最优稀疏字典d对测试图像特征xtest进行稀疏重构，得到稀疏编码

s5.2、根据稀疏限制t0和训练集样本数量m1，计算获得需要扩大分类权重的字典原子使用数量阈值统计各个字典原子的使用数量c^k＝(c1,c2,...,ck)，其中ck＝∑i(1|atest[k,i]≠0)(i＝1,2,...,m2；k＝1,2,...,k)，扩大测试特征的分类权重为：

s5.3、使用稀疏编码atest和分类器w得到预测概率向量

s5.4、计算xtrain中属于lq的图像的标签集的平均长度avelen(lq)：

计算xtest中图像xi的标签集的预测长度length(y′i)：

s5.5、对(q＝1,2,...,q)(i＝m1 1,m1 2,...,m)由大到小进行排序；在由大到小的排序序列中选取前length(yi′)个概率对应的标签，将这些标签的集合作为图像预测标签集，完成对图像的自动标注。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

技术特征：

1.一种基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，包括以下步骤：

s1、构建图像测试集和训练接，根据图像训练集和测试集提取图像特征，得到图像特征集x；

s2、采用汉明损失和高斯核函数计算图像间相似度权重wi,j，得到特征空间正则化图lc；

s3、构建初始稀疏字典d0根据初始稀疏字典d0对图像特征集x进行稀疏重构得到初始稀疏编码a；

s4、采用凸优化工具获得字典原子图ld；基于特征空间正则化图lc约束、字典原子图ld约束及稀疏编码a，采用交替更新并自适应扩大编码权重得到最优稀疏字典d和分类器w；

s5、根据最优稀疏字典d进行特征重构，自适应扩大分类权重并利用分类器w进行标签概率预测，根据标签预测概率进行图像的自动标注。

2.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述测试集和所述训练集分别包含若干个特征向量xi，每个特征向量xi包含若干个连续特征和离散特征。

3.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤s2的具体过程为：

s2.1、根据汉明损失计算图像离散特征间相似度的权重

s2.2、根据高斯核函数计算图像连续特征间相似度的权重

s2.3、根据图像离散特征间相似度的权重和图像连续特征间相似度的权重计算图像间的相似度的权重wi,j；

s2.4、根据图像间的相似度的权重wi,j得到数据空间正则化图lc。

4.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤s3的具体过程为：

s3.1、获得初始化的稀疏编码a⁽⁰⁾，并设置误差变量z⁽⁰⁾及缩放变量u⁽⁰⁾；

s3.2、对稀疏编码a⁽⁰⁾、误差变量z⁽⁰⁾及缩放变量u⁽⁰⁾进行迭代更新，直到收敛；

s3.3对误差变量z^(k)及误差变量约束ωj进行更新，根据最终的误差变量z^(k)得到稀疏编码a。

5.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤s4的具体过程为：

s4.1、初始化字典d⁽⁰⁾及分类器w⁽⁰⁾，得到联合字典并通过联合字典对特征和标签进行稀疏重构，得到稀疏编码

s4.2、根据稀疏限制t0和测试集样本数量m1得到字典原子使用数量阈值并统计各个字典原子的使用数量c^d，根据字典原子使用数量阈值及字典原子使用数量c^d对字典原子编码权重di进行更新；

s4.3、获得当前更新字典原子项dj，并依次更新字典原子项dj和稀疏编码，直到收敛；

s4.4、根据步骤s4.2对字典原子编码权重di进行更新，得到最终的联合字典即为最优的稀疏字典d和分类器w。

6.根据权利要求5所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述对字典原子编码权重di进行更新的过程为：判断字典原子使用数量c^d是否大于字典原子使用数量阈值若字典原子使用数量c^d大于字典原子使用数量阈值则将字典原子编码权重di进行更新；若字典原子使用数量c^d小于字典原子使用数量阈值则保留原字典原子编码权重di。

7.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤s5的具体过程为：

s5.1、采用最优稀疏字典d对测试集进行稀疏重构，得到稀疏编码

s5.2、根据稀疏限制t0和训练集数量m1得到字典原子使用数量阈值并统计各个字典原子的使用数量c^k，根据字典原子使用数量阈值及各个字典原子的使用数量c^k对测试特征的分类权重atest[k,i]进行更新；

s5.3、采用稀疏编码atest和分类器w得到预测概率向量

s5.4、计算训练集中属于某个标签的图像的标签集的平均长度根据标签集的平均长度计算测试集的标签集的预测长度length(y′i)；

s5.5、根据预测概率向量和预测长度length(y′i)，得到图像预测标签集合，完成图像的自动标注。

技术总结
本发明提供一种基于双图正则化约束和字典学习的图像自动标注方法，包括以下步骤：根据图像训练集和测试集提取图像特征，得到图像特征集X；采用汉明损失和高斯核函数计算图像间相似度权重Wi,j，得到特征空间正则化图LC；构建初始稀疏字典D，并对图像特征集X进行稀疏重构得到初始稀疏编码A；采用凸优化工具获得字典原子图LD；基于特征空间正则化图LC约束、字典原子图LD约束及稀疏编码A，交替更新得到最优稀疏字典D和分类器W；根据最优稀疏字典D进行特征重构，自适应扩大分类权重并利用分类器W进行标签概率预测，根据标签预测概率进行图像的自动标注。本发明能够有效的关联特征之间和标签之间的高维联系，具有良好的准确性、泛用性和适应性。

技术研发人员：王振武
受保护的技术使用者：中国矿业大学(北京)
技术研发日：2020.12.17
技术公布日：2021.03.12