基于超像素和SVM的成熟番茄果实的分割方法及系统与流程

    专利2022-07-08  222


    本发明属于图像处理领域,尤其涉及一种基于超像素和svm的成熟番茄果实的分割方法及系统。



    背景技术:

    本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。

    由于人工采摘农作物番茄果实的效率低,劳动强度大,缺乏客观性,随着农业技术的不断发展,智能采摘机器人逐渐应用到了番茄果实采摘过程中。计算机视觉技术是智能采摘机器人最为关键的技术之一,而目标图像的分割与识别是计算机视觉技术的核心。对于番茄果实采摘机器人,番茄果实图像分割效果的优劣会直接影响采摘的精度。将自然状态下的成熟番茄从复杂环境背景中分割出来是番茄果实采摘机器人进行目标定位采摘的基础。在自然状态下生长的番茄果实受叶片遮挡,光照,拍摄角度,拍摄距离等因素的影响,这样使得复杂环境会对番茄果实图像的分割造成困难,从而无法准确地实现番茄果实自动采摘。



    技术实现要素:

    为了解决上述背景技术中存在的至少一项技术问题,本发明提供一种基于超像素和svm的成熟番茄果实的分割方法及系统,其在复杂环境下能够快速准确地分割成熟番茄果实,进一步提高成熟番茄果实的采摘准确性。

    为了实现上述目的,本发明采用如下技术方案:

    本发明的第一个方面提供一种基于超像素和svm的成熟番茄果实的分割方法。

    一种基于超像素和svm的成熟番茄果实的分割方法,包括:

    接收番茄果实图像并对番茄果实图像进行超像素分割;

    提取分割后的超像素块的颜色特征和纹理特征;

    融合颜色特征和纹理特征,得到融合特征(r,g,h,s,a,b,能量,对比度,熵,逆差矩);其中,r代表红色,g代表绿色,h表示色调,s表示和饱和度,a表示从绿色到红色的颜色分量,b表示从蓝色到黄色的颜色分量;

    将融合特征输入至训练好的svm分类器中,使得超像素块分为番茄果实和背景,得到成熟番茄果实的分割结果。

    本发明的第二个方面提供一种基于超像素和svm的成熟番茄果实的分割系统。

    一种基于超像素和svm的成熟番茄果实的分割系统,包括:

    超像素分割模块,其用于接收番茄果实图像并对番茄果实图像进行超像素分割;

    特征提取模块,其用于提取分割后的超像素块的颜色特征和纹理特征;

    特征融合模块,其用于融合颜色特征和纹理特征,得到融合特征(r,g,h,s,a,b,能量,对比度,熵,逆差矩);其中,r代表红色,g代表绿色,h表示色调,s表示和饱和度,a表示从绿色到红色的颜色分量,b表示从蓝色到黄色的颜色分量;

    成熟番茄果实分割模块,其用于将融合特征输入至训练好的svm分类器中,使得超像素块分为番茄果实和背景,得到成熟番茄果实的分割结果。

    本发明的第三个方面提供一种计算机可读存储介质。

    一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述所述的基于超像素和svm的成熟番茄果实的分割方法中的步骤。

    本发明的第四个方面提供一种计算机设备。

    一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的基于超像素和svm的成熟番茄果实的分割方法中的步骤。

    与现有技术相比,本发明的有益效果是:

    基于简单线性迭代聚类算法对图像进行超像素分割,可以将图像分割成一系列具有相似特征的超像素块,降低了图像后处理的复杂度。简单线性迭代聚类算法生成的超像素也较好地收敛到成熟番茄果实的轮廓,使番茄果实与背景有效地分割开来。基于超像素颜色和纹理特征的提取,能够有效地将超像素进行特征描述,从而使分类器能够有效分类。基于径向基核函数的svm分类器能够有效地分类番茄果实超像素和背景超像素,从而分割出成熟番茄果实。

    本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

    附图说明

    构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。

    图1是本发明实施例的基于超像素和svm的成熟番茄果实的分割方法流程图。

    具体实施方式

    下面结合附图与实施例对本发明作进一步说明。

    应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

    需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

    实施例一

    如图1所示,本实施例提供了一种基于超像素和svm的成熟番茄果实的分割方法,包括:

    s101:接收番茄果实图像并对番茄果实图像进行超像素分割。

    本实施例基于视觉传感器采集的番茄果实图像进行处理。选取部分成熟番茄果实图像作为训练图像进行超像素分割。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的不规则像素块。与基于像素的图像分割相比,基于超像素的图像分割可以大幅降低图像后处理的复杂度。本发明采用slic(简单线性迭代聚类)算法将每张图像分割成400个内部颜色较为接近的超像素块。slic算法是一种简单高效的超像素算法。该算法利用lab颜色空间分量以及xy二维坐标,即利用[l,a,b,x,y]t这5维向量空间,依据设定的超像素块个数,在初始化聚类中心后,在限定空间里迭代计算颜色相似度和欧式距离进行聚类,从而生成超像素块。具体步骤如下:

    初始化种子点,设定初始的超像素个数k,设定k=400。若图像有n个像素点,每个超像素的大小则为n/k,相邻种子点的距离近似为

    计算种子点3×3邻域内所有像素点的梯度值,将种子点移到该邻域内梯度最小的地方。目的是避免种子点落在梯度较大的边缘上。

    在种子点周围2s×2s区域内搜索相似像素。

    计算搜索到的像素在[l,a,b,x,y]t5维向量空间中到聚类中心的距离,计算方法如下:

    公式中:dc定义了颜色距离,ds定义了空间距离,d′定义了每个搜索到的相似像素与种子点在[l,a,b,x,y]t5维向量空间的距离。m和s分别是平衡颜色距离和空间距离的权重,m取固定常数10。每个像素点都会被多个种子点搜索到,取最小值对应的种子点作为该像素点的聚类中心。

    将每个像素划分到距离它最近的超像素里,直到所有的像素点都归类完毕,然后计算这k个超像素里所有像素点的平均向量值,得到新的k个聚类中心,再重新计算剩余的像素到每个聚类中心的距离,并进行划分归类,如此反复迭代10次得到内部特征相近的400个超像素块。

    s102:提取分割后的超像素块的颜色特征和纹理特征。

    对得到的超像素分割图像,从中选取特征明显的超像素块进行分类标记:本发明将红色的成熟番茄果实作为前景,选取对应的超像素块标记为正样本;将除红色番茄果实以外的区域,包括树叶,土壤,天空,绿色未成熟番茄等区域作为背景,选取对应的超像素块标记为负样本。

    基于标记好的超像素块样本提取颜色特征和纹理特征。提取颜色特征首先要选择合适的颜色模型,图像处理中常见的颜色模型有rgb、hsi、cmy、cmyk、lab等。rgb是最基本、最常见的颜色模型,由红绿蓝三原色的色度进行定义。hsi是从人的视觉系统出发,用色调、饱和度、亮度来描述物体的颜色模型。cmy、cmyk是基于颜色减法混色原理的颜色模型。在工业印刷中描述的是需要在白色介质上使用油墨通过光的反射显示出颜色的模型。lab是一种与设备无关的颜色模型,该模型弥补了rgb和cmyk必须依赖于设备颜色特性的不足。l代表亮度,a描述从绿色到红色的颜色分量,b描述从蓝色到黄色的颜色分量。

    基于rgb、hsi和lab的颜色分量进行超像素块颜色特征的描述。基于成熟番茄果实和背景区域在r,g两个颜色向量上取值存在明显不同的特点,所以选取rgb中的r,g颜色分量。在hsi和lab颜色模型中去除描述颜色亮度的分量i和l,选取h,s,a,b颜色分量。每个超像素块内部的颜色是相近的,本发明提取超像素块中颜色分量的平均值表示同一块中所有像素的颜色特征,组成颜色特征向量(r,g,h,s,a,b);h,s分别表示色调和饱和度。r代表红色,g代表绿色。

    采用灰度共生矩阵法(glcm)提取纹理特征:首先将超像素块样本转换成灰度图像,然后计算它的灰度共生矩阵。灰度共生矩阵是指:令q定义两个像素相对位置的一个算子,考虑一幅有l个灰度级的图像f。令g是一个矩阵,其元素gij是图像f中灰度为zi和zj的像素对在q规定的位置上出现的次数,以这种方式形成的矩阵即为灰度共生矩阵。

    基于灰度共生矩阵计算反映矩阵状况的特征参数。本发明采用能量,对比度,熵,逆差矩这4种特征参数来表示纹理特征,具体计算方法如下:

    (1)能量

    公式中pij等于g的第ij项除以g的元素之和。能量是灰度共生矩阵元素值的平方和,反映了图像弧度分布均匀程度和纹理粗细度。

    (2)对比度

    对比度反映了图像的清晰度和纹理沟纹深浅的程度。

    (3)熵

    熵体现了图像纹理的随机性,反映了图像纹理的非均匀程度或复杂程度。

    (4)逆差矩

    逆差矩反映了图像纹理的同质性,度量图像纹理局部变化的多少。

    s103:融合颜色特征和纹理特征,得到融合特征(r,g,h,s,a,b,能量,对比度,熵,逆差矩)。

    本实施例基于上述4中特征参数组成纹理特征向量(能量,对比度,熵,逆差矩),最后将超像素块的颜色特征向量和纹理特征向量组成一个具有10个特征参数的特征向量(r,g,h,s,a,b,能量,对比度,熵,逆差矩)。

    s104:将融合特征输入至训练好的svm分类器中,使得超像素块分为番茄果实和背景,得到成熟番茄果实的分割结果。

    提取的超像素块特征向量,包括正样本和负样本两类数据,训练svm分类器。先将特征向量进行归一化,然后采用基于径向基核函数的svm进行训练。svm的基本思想是:在线性可分情况下,通过寻找数据之间最大差值的超平面将所有数据分离为两类;在非线性情况下,采用核函数对数据进行非线性的高维变换,在高维变换中找到分隔数据的超平面,从而实现数据集的线性可分。本发明采用径向基函数作为核函数,形式如下:

    公式中:k为径向基核函数,x和y是训练数据的特征向量,σ是自由参数,控制函数的径向作用范围。通过训练得到一个训练好的svm分类器。

    实施例二

    本实施例提供了一种基于超像素和svm的成熟番茄果实的分割系统,其包括:

    超像素分割模块,其用于接收番茄果实图像并对番茄果实图像进行超像素分割;

    特征提取模块,其用于提取分割后的超像素块的颜色特征和纹理特征;

    特征融合模块,其用于融合颜色特征和纹理特征,得到融合特征(r,g,h,s,a,b,能量,对比度,熵,逆差矩);其中,r代表红色,g代表绿色,h表示色调,s表示和饱和度,a表示从绿色到红色的颜色分量,b表示从蓝色到黄色的颜色分量;

    成熟番茄果实分割模块,其用于将融合特征输入至训练好的svm分类器中,使得超像素块分为番茄果实和背景,得到成熟番茄果实的分割结果。

    本实施例的基于超像素和svm的成熟番茄果实的分割系统中的各个模块,与实施例一中的基于超像素和svm的成熟番茄果实的分割方法中的各个步骤一一对应,其具体实施过程相同,此处不再累述。

    实施例三

    本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述所述的基于超像素和svm的成熟番茄果实的分割方法中的步骤。

    实施例四

    本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的基于超像素和svm的成熟番茄果实的分割方法中的步骤。

    本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

    本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

    这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

    这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

    本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

    以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。


    技术特征:

    1.一种基于超像素和svm的成熟番茄果实的分割方法,其特征在于,包括:

    接收番茄果实图像并对番茄果实图像进行超像素分割;

    提取分割后的超像素块的颜色特征和纹理特征;

    融合颜色特征和纹理特征,得到融合特征(r,g,h,s,a,b,能量,对比度,熵,逆差矩);其中,r代表红色,g代表绿色,h表示色调,s表示和饱和度,a表示从绿色到红色的颜色分量,b表示从蓝色到黄色的颜色分量;

    将融合特征输入至训练好的svm分类器中,使得超像素块分为番茄果实和背景,得到成熟番茄果实的分割结果。

    2.如权利要求1所述的基于超像素和svm的成熟番茄果实的分割方法,其特征在于,采用简单线性迭代聚类算法将番茄果实图像分割成若干个超像素块。

    3.如权利要求2所述的基于超像素和svm的成熟番茄果实的分割方法,其特征在于,采用简单线性迭代聚类算法将番茄果实图像分割成若干个超像素块的过程为:利用lab颜色空间分量以及xy二维坐标,即利用[l,a,b,x,y]t这5维向量空间,依据设定的超像素块个数,在初始化聚类中心后,在限定空间里迭代计算颜色相似度和欧式距离进行聚类,从而生成超像素块。

    4.如权利要求1所述的基于超像素和svm的成熟番茄果实的分割方法,其特征在于,基于rgb、hsi和lab的颜色分量进行超像素块颜色特征的描述。

    5.如权利要求4所述的基于超像素和svm的成熟番茄果实的分割方法,其特征在于,提取超像素块中颜色分量的平均值表示同一块中所有像素的颜色特征,组成颜色特征向量(r,g,h,s,a,b)。

    6.如权利要求1所述的基于超像素和svm的成熟番茄果实的分割方法,其特征在于,采用灰度共生矩阵法提取纹理特征。

    7.如权利要求1所述的基于超像素和svm的成熟番茄果实的分割方法,其特征在于,采用径向基函数作为svm的核函数。

    8.一种基于超像素和svm的成熟番茄果实的分割系统,其特征在于,包括:

    超像素分割模块,其用于接收番茄果实图像并对番茄果实图像进行超像素分割;

    特征提取模块,其用于提取分割后的超像素块的颜色特征和纹理特征;

    特征融合模块,其用于融合颜色特征和纹理特征,得到融合特征(r,g,h,s,a,b,能量,对比度,熵,逆差矩);其中,r代表红色,g代表绿色,h表示色调,s表示和饱和度,a表示从绿色到红色的颜色分量,b表示从蓝色到黄色的颜色分量;

    成熟番茄果实分割模块,其用于将融合特征输入至训练好的svm分类器中,使得超像素块分为番茄果实和背景,得到成熟番茄果实的分割结果。

    9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的基于超像素和svm的成熟番茄果实的分割方法中的步骤。

    10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于超像素和svm的成熟番茄果实的分割方法中的步骤。

    技术总结
    本发明属于图像处理领域,提供了一种基于超像素和SVM的成熟番茄果实的分割方法及系统。其中,基于超像素和SVM的成熟番茄果实的分割方法包括接收番茄果实图像并对番茄果实图像进行超像素分割;提取分割后的超像素块的颜色特征和纹理特征;融合颜色特征和纹理特征,得到融合特征(R,G,H,S,a,b,能量,对比度,熵,逆差矩);将融合特征输入至训练好的SVM分类器中,使得超像素块分为番茄果实和背景,得到成熟番茄果实的分割结果。

    技术研发人员:杨公平;王冲;孙启玉;李广阵;张志强
    受保护的技术使用者:山东大学;山东锋士信息技术有限公司
    技术研发日:2020.12.04
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-16385.html

    最新回复(0)