本发明涉及航拍场景分类
技术领域：
：，更具体的涉及一种结合颜色与纹理的航拍影像场景分类方法和系统。
背景技术：
：：航拍影像是研究地球环境不可缺少的工具，其能够对具有详细结构的地球表面进行测量，是对地观测具有重要意义的数据源。由于航拍影像数量的庞大以及其几何结构和空间格局的高度复杂，远远超出了人工处理能力范围之外，无法进行及时、有效的特征提取。在这种情况下，对航拍影像进行分类就显得尤为重要。航拍影像分类是一项通过对场景的直接建模，利用空间布局和结构模式的变化，将航拍图像划分为不同的语义类别。因此，其中最关键且最有挑战性的就是研究出一种有效的整体表示方法来直接对航空场景建模。在过去的几年里，场景分类在已经得到了很好的研究，许多专家学者都在努力开发新的分类技术来提高分类结果的准确性。在以往的各种研究工作中，有通过颜色、纹理、结构等视觉特征来区分航拍场景，由于影像的复杂结构，局部结构描述符被广泛应用于航空影像结构局部变化的建模。例如，yang和newsam比较了尺度不变特征变换(scaleinvariantfeaturetransform，sift)和gabor纹理特征，在同样都使用最大先验概率(maximumaposteriori，map)分类器对ikonos卫星图像进行分类的条件下，发现sift的效果更好。为了描述航拍影像的空间格局，颜色和纹理信息也得到了很好的研究。dossantos等人评估了用于场景分类的各种全局颜色描述符和纹理描述符，如颜色直方图(colorhistogram，ch)和局部二值模式(localbinarypattern，lbp)。虽然单一的特征在分类中已经取得了不错的效果，但是互补的特征组合往往可以改善分类结果。avramovic和risojevic将gist和sift描述符组合用于航空场景分类。risojevic和babi′c着重于场景的纹理信息，先后提出了一个局部的结构性纹理描述符，一个取向的差异描述符，基于gabor滤波器的增强gabor纹理描述符进一步提高了性能。luo等提取六种不同类型的特征描述符，即简单的辐射特征，高斯小波特征，灰度共生矩阵(glcm)，gabor滤波器，形状特征和sift，并结合它们形成了一种用于不同空间分辨率遥感影像的多特征表示，结果表明多特征可以更好地描述航空场景。除了依赖低层视觉特征的方法，还有一种航空场景分析方法是通过对提取的局部视觉特征形成的高阶统计模式进行表示，形成整体的场景表示。其中一种被称为bag-of-visual-words(bovw)的方法是一种比较流行的用于土地利用场景识别的方法。由于其简单和高效，bovw模型及其变体被广泛用于航空场景识别。为了提高bovw模型的识别能力，在传统bovw模型的基础上结合多个互补的低层视觉特征。例如，cheng和yang等人用各种局部描述符，包括sift、gist和lbp，被用于航空场景分类的标准bovw模型评价。以上基于bovw模型模型的方法，使用的是各种手工局部图像描述符。近些年来，无监督特征学习方法被用来自动学习自特征描述符。zhang等人使用稀疏自编码器提取图像块的特征，利用影像的局部空间和结构信息。近些年随着神经网络的兴起，深度学习方法在许多计算机视觉任务上取得了令人印象深刻的效果。与中低级视觉方法相比，深度学习方法可以学习到更抽象、更有区别性的语义特征，分类性能也要好得多。wanet等提出了一种基于特征池和非线性分裂归一化的局部特征表示方法。chenget等在现有cnn架构的基础上引入了额外的旋转不变层来处理遥感图像的旋转变化问题。目前研究的图像表示多用到的是纹理描述符，但高分辨率遥感影像也具有丰富的颜色信息。如果只使用纹理描述符，可能会丢失一些重要信息。技术实现要素：本发明实施例提供一种结合颜色与纹理的航拍影像场景分类方法和系统，用以解决上述
背景技术：
：中存在的问题。本发明实施例提供的一种结合颜色与纹理的航拍影像场景分类方法，包括：获取航拍场景图像；采用基于hsv颜色空间的颜色直方图，获取航拍场景图像颜色特征向量；采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量；采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量；将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量矩阵；从航拍场景图像中随机选取一部分航拍场景图像作为训练集，另一部分航拍场景图像为测试集；并将训练集图像对应的新特征向量输入支持向量机svm分类器进行训练，得到训练后的svm分类器；将测试集图像对应的新特征向量输入训练后的svm分类器中，获得航拍场景图像的分类结果。进一步地，所述将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量，包括：将局部纹理特征向量和全局纹理特征向量依次添加到颜色特征向量后面，形成新特征向量矩阵。本发明实施例提供的结合颜色与纹理的航拍场景分类方法，还包括：对新特征向量矩阵进行标准化处理：形成均值为0，方差为1的正态分布。进一步地，所述基采用基于颜色空间hsv的颜色直方图，获取航拍场景图像颜色特征向量，包括：将航拍场景图像从rgb颜色空间转换到hsv颜色空间；将hsv颜色空间划分成若干个小的颜色区间，通过计算颜色落在每个小区间内的像素数量，确定基于颜色直方图的颜色特征向量。进一步地，所述将航拍场景图像从rgb颜色空间转换到hsv颜色空间，包括：设(r,g,b)分别是一个颜色的红、绿、蓝坐标，其值为0到1之间的实数；设max等价于r、g和b中的最大者，min等价于r、g和b中的最小者，h、s、v计算为：v＝max进一步地，所述采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量，包括：将航拍场景图像划分为若干个子区域，对每个子区域内的每个像素点均提取lbp特征；根据局部二值模式lbp，在每个子区域内建立lbp特征的统计直方图；将每个子区域的统计直方图进行连接，形成部纹理特征向量。进一步地，所述局部二值模式lbp，包括：半径为r的圆形区域内含有p个采样点的lbp算子，lbp算子表示为：其中，(xc,yc)是中心像素坐标，ic是中心像素灰度值，ip是邻域采样点灰度值，s(ip-ic)是一个符号函数。进一步地，所述采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量，包括：通过3*3窗口的梯度算子，获取航拍场景图像的梯度信息，并对梯度信息和灰度信息进行归一化处理；将梯度信息加入到灰度共生矩阵中，形成灰度-梯度共生矩阵；根据灰度-梯度共生矩阵和纹理参数，确定全局纹理特征向量；其中，所述纹理参数包括：小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差矩。进一步地，所述对通过3*3窗口的梯度算子，获取航拍场景图像的梯度信息，并对梯度信息和灰度信息进行归一化处理，包括：采用3×3的梯度算子，计算各像点的梯度值：gx＝f(k 1,l-1) 2f(k 1,l) f(k 1,l 1)-f(k-1,l-1)-2f(k-1,l)-f(k-1,l 1)gy＝f(k-1,l 1) 2f(k,l 1) f(k 1,l 1)-f(k-1,l 1)-2f(k,l-1)-f(k 1,l-1)其中，k＝1,2,···,m；l＝1,2,···,n；m，n为图像的行列数；g(k,l)为低(k,l)个像点的梯度值；梯度归一变换：g(k,l)＝int(g(k,l)×ng/gm) 1其中，int表示取整运算；gm是图像中最大的梯度值；ng是归一的最大梯度值；灰度归一变化：f(k,l)＝int(f(k,l)×nh/fm) 1其中，fm是原图像中最大的灰度值；nh是归一后的最大灰度级。本发明实施例提供的一种结合颜色与纹理的航拍影像场景分类系统，包括：图像获取单元，用于获取航拍场景图像；颜色特征提取单元，用于采用基于hsv颜色空间的颜色直方图，获取航拍场景图像颜色特征向量；局部纹理特征提取单元，用于采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量；全局纹理特征提取单元，用于采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量；特征融合单元，用于将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量矩阵；分类器训练单元，用于从航拍场景图像中随机选取一部分航拍场景图像作为训练集，另一部分航拍场景图像为测试集；并将训练集图像对应的新特征向量输入支持向量机svm分类器进行训练，得到训练后的svm分类器；分类单元，用于将测试集图像对应的新特征向量输入训练后的svm分类器中，获得航拍场景图像的分类结果。本发明实施例提供一种结合颜色与纹理的航拍影像场景分类方法和系统，与现有技术相比，其有益效果如下：本发明针对航拍影像蕴含的丰富颜色与纹理信息，提出结合颜色特征与纹理特征的方法来对航拍场景影像进行分类，即采用基于hsv(hue，saturation，value)空间颜色直方图来提取图像的颜色信息，灰度梯度共生矩阵(graylevel-gradientco-occurrencematrix，glgcm)以及局部二值模式(lbp)提取纹理信息，并将所有的特征联合；该方法在uc-merced航空场景分类数据集上进行了验证。uc-merced数据集总共有2100幅人工选择的图像，并标记成21个场景类别，每个场景类型有100幅图像。随机选取80％样本作为测试集的情况下，最高的总体精度oa达到了86.48％，通过实验表明，该分类方法有效的提高了应用低级视觉特征时的分类精度。附图说明图1为本发明实施例提供的一种结合颜色与纹理的航拍影像场景分类方法流程图；图2为本发明实施例提供的uc-mercedlandusedataset21类数据；图3为本发明实施例提供的不同区域半径下的总体精度oa(％)；图4a为本发明实施例提供的颜色直方图在各类样本随机选取80％作为训练集时的混淆矩阵；图4b为本发明实施例提供的lbp在各类样本随机选取80％作为训练集时的混淆矩阵；图4c为本发明实施例提供的glgcm在各类样本随机选取80％作为训练集时的混淆矩阵；图4d为本发明实施例提供的基于颜色特征与纹理特征的航拍场景分类方法在各类样本随机选取80％作为训练集时的混淆矩阵；图5为本发明实施例提供的不同样本比例下(％)4种分类器的总体精度oa(％)。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然本发明所描述的实施例仅仅是一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。参见图1，本发明实施例提供一种结合颜色与纹理的航拍影像场景分类方法，该方法包括：步骤s1，获取航拍场景图像。步骤s2，采用基于hsv颜色空间的颜色直方图，获取航拍场景图像颜色特征向量。步骤s3，采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量。步骤s4，采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量；步骤s5，将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量矩阵。具体地，将局部纹理特征向量和全局纹理特征向量依次添加到颜色特征向量后面，形成新特征向量矩阵。步骤s6，对新特征向量矩阵进行标准化处理：形成均值为0，方差为1的正态分布。步骤s7，从航拍场景图像中随机选取一部分航拍场景图像作为训练集，另一部分航拍场景图像为测试集；并将训练集图像对应的新特征向量输入支持向量机svm分类器进行训练，得到训练后的svm分类器。步骤s8，将测试集图像对应的新特征向量输入训练后的svm分类器中，获得航拍场景图像的分类结果。上述步骤1～8的具体分析如下：第一部分：特征提取特征提取的步骤包括光谱特征和纹理特征两个并行模块的特征提取。将每张图片提取的光谱特征和纹理特征融合到一起，然后将总的特征向量输入svm分类器中进行分类。颜色直方图颜色直方图(ch)是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不依赖于每种色彩所处的空间位置，因此无法描述图像中的对象或物体。颜色直方图可以是基于不同的颜色空间和坐标系。rgb颜色空间是最常用的颜色空间，原因在于绝大多数数字图像都是用rgb颜色空间表达的。但是，rgb颜色空间结构并不符合人们对颜色相似性的主观判断。因此，基于hsv空间、luv空间和lab空间的颜色直方图随之被人提出，因为它们更接近于人们对颜色的主观认识。其中hsv空间是直方图最常用的颜色空间，它的三个分量分别代表色彩(hue)、饱和度(saturation)和值(value)。本发明采取的颜色直方图就是基于hsv空间的。hsv(hue,saturation,value)颜色空间是一种面向视觉感知的颜色模型，人眼的色彩知觉主要包括3个要素：色调、饱和度和亮度。hsv颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集。圆锥的顶面对应于v＝1，它包含rgb模型中的r＝1，g＝1，b＝1三个面，所代表的颜色较亮。色彩h由绕v轴的旋转角给定。红色对应于角度0°，绿色对应于角度120°，蓝色对应于角度240°。在hsv颜色模型中，每一种颜色和它的补色相差180°。饱和度s取值从0到1，所以圆锥顶面的半径为1。hsv颜色模型所代表的颜色域是cie色度图的一个子集，这个模型中饱和度为百分之百的颜色，其纯度一般小于百分之百。在圆锥的顶点(即原点)处，v＝0，h和s无定义，代表黑色。圆锥的顶面中心处s＝0，v＝1，h无定义，代表白色。从该点到原点代表亮度渐暗的灰色，即具有不同灰度的灰色。对于这些点，s＝0,h的值无定义。可以说，hsv模型中的v轴对应于rgb颜色空间中的主对角线。在圆锥顶面的圆周上的颜色，v＝1，s＝1，这种颜色是纯色。hsv模型对应于画家配色的方法。画家用改变色浓和色深的方法从某种纯色获得不同色调的颜色，在一种纯色中加入白色以改变色浓，加入黑色以改变色深，同时加入不同比例的白色，黑色即可获得各种不同的色调。具有最大亮度、最大饱和度的颜色位于圆锥体顶面的圆周上。实验所用的数字图像的颜色信息都是rgb值，因此需要从rgb颜色空间转换到hsv颜色空间，设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。设max等价于r,g和b中的最大者，min等于这些值中的最小者，计算为v＝max计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间成为直方图的一个bin，计算颜色落在每个小区间内的像素数量可以得到颜色直方图。局部二值模式局部二值模式(lbp)是由ojala等提出的一种用来描述图像局部纹理特征的算子。原始的lbp算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。基本的lbp算子最大缺陷在于它只覆盖了一个固定半径范围内的小区域，不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，ojala等对lbp算子进行了改进，将3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的lbp算子允许在半径为r的圆形邻域内有任意多个像素点。从而得到了半径为r的圆形区域内含有p个采样点的lbp算子。lbp可以用公式表示为：其中，(xc,yc)是中心像素坐标，ic是中心像素灰度值，ip是邻域采样点灰度值，s(ip-ic)是一个符号函数。将输入的图片划分为若干个子区域，对每个子区域内的每个像素点都提取lbp特征，然后，在每个子区域内建立lbp特征的统计直方图，最后将得到的每个子区域的统计直方图进行连接成为一个特征向量，也就是整幅图的lbp纹理特征向量。灰度-梯度共生矩阵灰度-梯度共生矩阵(glgcm)模型集中反映了图像中两种最基本的要素，即像点的灰度和梯度(或边缘)的相互关系。各像点的灰度是构成一副图像的基础，而梯度是构成图像边缘轮廓的要素，图像的主要信息是由图像的边缘轮廓提供的。灰度-梯度空间很清晰的描绘了图像内各像素点灰度与梯度的分布规律，同时也给出了各像点与其领域像点的空间关系，很好的描绘了图像的纹理，且对于具有方向性的纹理也可以从梯度的方向上反映出来。glgcm纹理特征分析是将图像的梯度信息加入到灰度共生矩阵中，综合利用图像的灰度信息和梯度信息。图像的梯度信息一般通过梯度算子(也称边缘检测算子)提取，如sobel、canny、reborts等。本发明采用的是3*3窗口的sobel算子计算个像素点的梯度值。基于规范化后的glgcm，可以计算一系列的二次统计特征。灰度-梯度共生矩阵的元素h(i,j)定义为在归一的灰度图像f(m,n)和归一的梯度图像g(m,n)中共同具有灰度为i和梯度为j的总像点数，例如h(10,12)＝20，即图像内像点灰度为10，梯度为12的总像点数为20。以图像的总像点数归一后得到概率为p(i,j)。梯度、灰度归一化采用3×3的sobel算子计算各像点的梯度值：gx＝f(k 1,l-1) 2f(k 1,l) f(k 1,l 1)-f(k-1,l-1)-2f(k-1,l)-f(k-1,l 1)gy＝f(k-1,l 1) 2f(k,l 1) f(k 1,l 1)-f(k-1,l 1)-2f(k,l-1)-f(k 1,l-1)其中，k＝1,2,···,m；l＝1,2,···,n；m，n为图像的行列数；g(k,l)为低(k,l)个像点的梯度值。梯度归一变换：g(k,l)＝int(g(k,l)×ng/gm) 1其中，int表示取整运算；gm是图像中最大的梯度值；ng是归一的最大梯度值。灰度归一变化：f(k,l)＝int(f(k,l)×nh/fm) 1其中，fm是原图像中最大的灰度值；nh是归一后的最大灰度级。统计灰度-梯度共生矩阵在归一的灰度图像f(m,n)和归一的梯度图像g(m,n)中，统计同时使f(m,n)＝i和g(m,n)＝j的像点对数，此值即共生矩阵h的第(i,j)个元素的值。常用的纹理参数有如下15个：小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差矩。纹理参数公式如表1。表1灰度梯度共生矩阵常用纹理参数公式第二部分：结合颜色特征与纹理特征的航拍场景分类场景分类是处理高分辨率航拍影像的基础问题，目前可获得的航拍影像的分辨率达到了高分(hsr)、甚高分(vhr)，这些为场景分类带来了挑战。颜色特征是应用最为广泛的视觉特征，主要原因在于颜色往往和图像中所包含的物体或场景十分相关。此外，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。一般颜色特征是基于像素点的特征，所有属于图像或图像区域的像素都有各自的贡献。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。这种区域性的特征不会由于局部的偏差的原因而失败。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。因此结合颜色和纹理特征，能够提供更可靠的分类结果。本发明基于颜色和光谱特征融合的分类算法具体步骤如下：(1)对航拍场景数据集使用基于hsv颜色空间的颜色直方图提取图像的颜色特征，通过lbp和glgcm提取图像的纹理特征。(2)将提取到的特征向量进行矢量叠加，即将lbp和glgcm提取的特征向量依次添加到颜色特征向量的的后面，最终形成新的特征矩阵。(3)为了加快训练速度以及提高分类精度，使新的特征矩阵各个维度都具有相同的重要性，将叠加后的特征值进行标准化，即转换为均值为0，方差为1的正态分布。(4)从所有样本随机选取一定比例的样本作为训练集，余下的为测试集样本。(5)将训练集的特征矩阵输入到分类器中进行训练，得到训练后的分类器模型。(6)最后将测试集的特征向量输入训练好的分类器模型中进行分类，得到分类结果，再对分类结果进行性能评价。第三部分：实验与分析实验数据uc-mercedlandusedataset：这些图像是从美国地质勘探局国家城市地图区域图像收集的大型图像中手动提取的，分布在美国各地城市地区。这个数据集由21个类别的图像组成，包括农场、机场、棒球场、海滩、建筑群、灌木丛、密集住宅区、森林、高速公路、高尔夫球场、港口、十字路口、中密度住宅区、活动住宅公园、立交桥、停车场、河流、跑道、稀疏住宅区、储水池、网球场。图2为每个类别的样本图像。每个类别都有100幅样本图像，总共2100幅图像，每幅图像的像素为256×256，像素分辨率为1英尺。需要注意的是，数据集中包含了很多相似的场景，比如建筑物类场景与居民区类场景、港口类场景与停车场类场景、高速公路类场景与立交桥类场景。而且数据集中存在高度重叠的类别，如密集住宅区、中等住宅区和稀疏住宅区，主要是结构密度不同，使得数据集难以分类。参数设置本发明中特征提取实验所涉及到的主要参数包括颜色直方图的维数histsize(即多少个直方柱)；glgcm算法中sobel算子移动方框的大小ksize，以及梯度-灰度归一变换后的最大梯度值ng，最大灰度级nh；lbp算法中选取区域的半径lbp_radius和选取中心像素周围的像素点的个数lbp_point。实验参数值如表2所示。表2实验参数值设置table2experimentalparametervaluessetting实验结果与分析本发明提出的方法是通过颜色直方图提取图像的颜色特征，通过lbp和glgcm提取图像的纹理信息，将提取到的特征进行矢量叠加，最终形成新的特征矩阵。为了加快训练速度以及提高分类精度，将叠加后的特征值进行标准化，即转换为均值为0，方差为1的正态分布。最后将标准化后的特征矩阵输入到分类器中进行分类。为了定量地比较分类，采用常用评价指标：整体精度(oa)和混淆矩阵。在数据集进行实验时，有两种不同的实验设置，第一种是会从每个类别数据中随机选取50％的样本作为训练集，其余样本作测试集，第二种则是从每个类别数据中随机选取80％的样本作为训练集，其余样本作为测试集。并且在本节不涉及到分类器种类的所有对比实验中，采用的都是svm分类器，选择高斯径向基函数(rbf)作为核函数，惩罚系数c＝1024，gamma＝1e-3。参数优化与选择将对实验中所涉及到的参数一一展开进行讨论，选择最优的参数值。为提高实验的精确度和可靠性，我们将数据集随机分成训练集和测试集进行评估，并重复十次，以减少随机性的影响，得到可靠的结果，将10次实验的整体精度oa求平均值得到最终结果。表3参数histsize对整体精度oa的影响(％)table3influenceofparameterhistsizeonoverallaccuracyoa(％)表4参数ksize对整体精度oa的影响(％)table4influenceofparameterksizeonoverallaccuracyoa(％)从表3中可以看出，oa值随着histsize的取值增大而增大，在histsize＝256时达到最大值，当histsize继续增大时，分类精度并没有继续升高。表4中也明显表明当ksize＝3时，oa取得最优值。因此在下一小节的对比实验中设置参数histsize为256，ksize为3。glgcm是灰度图与梯度图组成的共生矩阵，其计算量由影像的灰度级与梯度级以及影像的大小来确定。其灰度级与梯度级取值过大的话，对于一副影像计算其灰度-梯度共生矩阵会花费太长时间，过长的时间来进行影像的识别是不太切合实际的。因此在计算灰度-梯度共生矩阵时，在不影响纹理特征的前提下往往需要大量消减影像灰度级与梯度级的取值个数，将原影像的灰度级和梯度级压缩到较小的范围，一般取为8级或16级，以减小共生矩阵的尺寸。经实验(80％样本为训练集)当灰度级与梯度级取16级时的整体精度oa为86.48％，比取8级时的84.52％要高出1.96％，因此参数与取值为16。通过对图3中的数据分析得知，对于选取不同区域半径lbp_radius，都是在中心像素周围的像素点的个数lbp_point为8的取值下，oa达到最大。当(lbp_radius,lbp_point)＝(2,8)时，oa达到最优值。随着中心像素周围的像素点的个数的增加，整体精度oa反而有所下降，计算成本却增高了。精度对比本文提出的方法使用的是颜色特征与纹理特征矢量叠加后的特征矩阵，与单个颜色特征或纹理特征相比，本文提出的方法在验证数据集上的表现要相对好一些，如表5所示。颜色直方图(ch)是用来描述图像的颜色特征，颜色特征是一种全局特征，描述了图像或图像区域内所对应景物的表面性质。颜色直方图能简单描述图像中颜色的全局分布，即不同颜色在图像中所占的比例，不受图像旋转和平移变化的影响。ch方法在第一组实验(随机选取50％样本作为训练集)中总体精度(oa)为61.12％，在第二组实验(随机选取80％样本作为训练集)中也不足69％。lbp和glgcm则是表述图像的纹理特征的。lbp是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点，且对光照具有很强的鲁棒性。lbp算法是先将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取lbp特征，然后，在每个子区域内建立lbp特征的统计直方图。如此一来，每个子区域，就可以用一个统计直方图来进行描述；整个图片就由若干个统计直方图组成。glgcm提取的是图像全局的纹理特征，描绘的是图像内各像素点灰度与梯度的分布规律，给出了像点与其领域内像点的空间关系。然而直接对图片提取全局纹理特征，并根据特征进行判别分析的话，会因为“位置没有对准”而产生很大的误差。实验数据集的图像是在不同地方获取的，且图像中有高度相似的场景。所以glgcm算法的精确度(使用50％样本作为训练集时oa只有59.28％，80％样本为训练集时oa也仅为62.81％)要低一些，而lbp算子先将图像划分为多个子区域，每个子区域都有一个特征向量，不会对整张图片进行对比判别，因此它的分类精度(50％时为69.40％，80％时为86.09％)要略高。本发明提出的方法是将lbp与glgcm提取的纹理特征和基于hsv空间的颜色直方图提取的颜色特征进行融合，包含的图像信息会多一些，因此分类效果最好，比单个特征中表现最好的lbp算法要高出10％以上，50％样本时提高了10.58％，80％样本时提高了11.94％。表54种不同特征在uc-merced数据集上的总体精度oa(％)图4a～4d分别为颜色直方图、lbp、glgcm和本发明提出的方法在各类样本随机选取80％作为训练集时的混淆矩阵。4种算法在农田、沙滩、灌木丛以及港口这四个类别种上的分类精度相对较高，甚至lbp算法和本发明提出的算法在灌木丛这类场景中的分类精度达到了100％。建筑物场景在4种算法中的表现都不好，分类精度低于50％。储油罐和网球场两类场景在只提取纹理特征(lbp算法和glgcm算法)的情况下分类精度都不足30％，只在提取颜色特征的ch算法中表现略好一些，达到了50％左右。因此这两类场景在本发明提出的方法上也表现不佳，精度分别只有53％和59％，在提出的方法上是所有类别中分类精度最低的两类。图5比较了不同训练样本比例下支持向量机(svm)、k-最近邻(knn)、随机森林(rf)、logistic回归(lg)四种分类器对本发明提取的特征的性能。所有分类器的参数均通过网格搜索法取得，分类精度由10次交叉验证取得。训练样本比例小于或等于50％时，rf是4种分类器中表现最好的，尤其是在训练样本只有10％的情况下。随着比例的增加，训练样本数量增加，svm的性能渐渐成为4种分类器最高的。表6给出了本发明算法与其他一些常用算法的的整体精度(样本的80％作为训练集)，其给出的精度都是在这些文献中最好的结果。与这些方法相比，我们的方法获得了不错的性能提高，相对于这些方法中最好的结果(81.67％)，即结合sift的特征描述符和稀疏编码(sift sc)的方法，我们方法的oa要高出4.42％。这是因为在最终的图像表示中，不仅考虑了全局和局部的纹理特征，还考虑了全局的颜色特征，这使得图像的表示更加有效。表6不同方法在uc-merced数据集上的总体精度oa(％)综上所述，本发明针对航拍影像蕴含的丰富颜色信息和纹理信息，提出将颜色特征和纹理特征联合的方式来对航拍影像进行场景分类。此方法在实验数据集上取得了不错的分类精度，与本发明给出的对比算法和部分文献中的算法相比，总体分类精度(oa)有所提高。然使用的都是低级视觉特征，但分类精度比使用其他低级视觉特征和一些中级视觉特征的算法要高。基于同一发明构思，本发明实施例提供一种结合颜色与纹理的航拍影像场景分类系统，该系统包括：颜色特征提取单元，用于采用基于hsv颜色空间的颜色直方图，获取航拍场景图像颜色特征向量；局部纹理特征提取单元，用于采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量；全局纹理特征提取单元，用于采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量；分类器训练单元，用于从航拍场景图像中随机选取一部分航拍场景图像作为训练集，另一部分航拍场景图像为测试集；并将训练集图像对应的新特征向量输入支持向量机svm分类器进行训练，得到训练后的svm分类器；分类单元，用于将测试集图像对应的新特征向量输入训练后的svm分类器中，获得航拍场景图像的分类结果。以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。当前第1页1 2 3 当前第1页1 2 3
技术特征：1.一种结合颜色与纹理的航拍影像场景分类方法，其特征在于，包括：
获取航拍场景图像；
采用基于hsv颜色空间的颜色直方图，获取航拍场景图像颜色特征向量；
采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量；
采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量；
将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量矩阵；
从航拍场景图像中随机选取一部分航拍场景图像作为训练集，另一部分航拍场景图像为测试集；并将训练集图像对应的新特征向量输入支持向量机svm分类器进行训练，得到训练后的svm分类器；
将测试集图像对应的新特征向量输入训练后的svm分类器中，获得航拍场景图像的分类结果。
2.如权利要求1所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，所述将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量，包括：
将局部纹理特征向量和全局纹理特征向量依次添加到颜色特征向量后面，形成新特征向量矩阵。
3.如权利要求1或2所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，还包括：
对新特征向量矩阵进行标准化处理：形成均值为0，方差为1的正态分布。
4.如权利要求1所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，所述基采用基于hsv颜色空间的颜色直方图，获取航拍场景图像颜色特征向量，包括：
将航拍场景图像从rgb颜色空间转换到hsv颜色空间；
将hsv颜色空间划分成若干个小的颜色区间，通过计算颜色落在每个小区间内的像素数量，确定基于颜色直方图的颜色特征向量。
5.如权利要求4所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，所述将航拍场景图像从rgb颜色空间转换到hsv颜色空间，包括：
设(r,g,b)分别是一个颜色的红、绿、蓝坐标，其值为0到1之间的实数；设max等价于r、g和b中的最大者，min等价于r、g和b中的最小者，h、s、v计算为：
v＝max
6.如权利要求1所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，所述采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量，包括：
将航拍场景图像划分为若干个子区域，对每个子区域内的每个像素点均提取lbp特征；
根据局部二值模式lbp，在每个子区域内建立lbp特征的统计直方图；
将每个子区域的统计直方图进行连接，形成部纹理特征向量。
7.如权利要求6所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，所述局部二值模式lbp，包括：
半径为r的圆形区域内含有p个采样点的lbp算子，lbp算子表示为：
其中，(xc,yc)是中心像素坐标，ic是中心像素灰度值，ip是邻域采样点灰度值，s(ip-ic)是一个符号函数。
8.如权利要求1所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，所述采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量，包括：
通过3*3窗口的梯度算子，获取航拍场景图像的梯度信息，并对梯度信息和灰度信息进行归一化处理；
将梯度信息加入到灰度共生矩阵中，形成灰度-梯度共生矩阵；
根据灰度-梯度共生矩阵和纹理参数，确定全局纹理特征向量；其中，所述纹理参数包括：小梯度优势、大梯度优势、灰度分布不均匀性、梯度分布不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差矩。
9.如权利要求8所述的结合颜色与纹理的航拍影像场景分类方法，其特征在于，所述对通过3*3窗口的梯度算子，获取航拍场景图像的梯度信息，并对梯度信息和灰度信息进行归一化处理，包括：
采用3×3的梯度算子，计算各像点的梯度值：
gx＝f(k 1,l-1) 2f(k 1,l) f(k 1,l 1)-f(k-1,l-1)-2f(k-1,l)-f(k-1,l 1)
gy＝f(k-1,l 1) 2f(k,l 1) f(k 1,l 1)-f(k-1,l 1)-2f(k,l-1)-f(k 1,l-1)
其中，k＝1,2,…,m；l＝1,2,…,n；m，n为图像的行列数；g(k,l)为低(k,l)个像点的梯度值；
梯度归一变换：
g(k,l)＝int(g(k,l)×ng/gm) 1
其中，int表示取整运算；gm是图像中最大的梯度值；ng是归一的最大梯度值；
灰度归一变化：
f(k,l)＝int(f(k,l)×nh/fm) 1
其中，fm是原图像中最大的灰度值；nh是归一后的最大灰度级。
10.一种结合颜色与纹理的航拍影像场景分类系统，其特征在于，包括：
图像获取单元，用于获取航拍场景图像；
颜色特征提取单元，用于采用基于hsv颜色空间的颜色直方图，获取航拍场景图像颜色特征向量；
局部纹理特征提取单元，用于采用局部二值模式lbp，获取航拍场景图像的局部纹理特征向量；
全局纹理特征提取单元，用于采用梯度-灰度共生矩阵glgcm，获取航拍场景图像的全局纹理特征向量；
特征融合单元，用于将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量矩阵；
分类器训练单元，用于从航拍场景图像中随机选取一部分航拍场景图像作为训练集，另一部分航拍场景图像为测试集；并将训练集图像对应的新特征向量输入支持向量机svm分类器进行训练，得到训练后的svm分类器；
分类单元，用于将测试集图像对应的新特征向量输入训练后的svm分类器中，获得航拍场景图像的分类结果。
技术总结本发明公开了一种结合颜色与纹理的航拍影像场景分类方法，包括：采用基于HSV颜色空间的颜色直方图，获取航拍场景图像颜色特征向量；采用局部二值模式LBP，获取航拍场景图像的局部纹理特征向量；采用梯度‑灰度共生矩阵GLGCM，获取航拍场景图像的全局纹理特征向量；将颜色特征向量、局部纹理特征向量、全局纹理特征向量，形成新特征向量矩阵；将新特征向量进行标准化处理后输入支持向量机SVM分类器进行训练，获得分类结果。该分类方法有效的提高了应用低级视觉特征时的分类精度。
技术研发人员：赵晋陵;储国民;董莹莹;黄文江;黄林生;梁栋;徐超;洪琪;翁士状;张东彦
受保护的技术使用者：安徽大学;中国科学院空天信息创新研究院
技术研发日：2020.12.16
技术公布日：2021.03.12
