本发明涉及图像处理方法，具体涉及一种内窥镜图像分类方法。
背景技术：
消化道疾病，例如肿瘤，息肉，出血，溃疡性肠炎等正在困扰着全球的患者。近年来，中国等发展中国家的消化道疾病的发病率也逐年升高，并且患者有年轻化的趋势。内窥镜是一种常见的消化道检查手段，可以协助医生根据图像视频信息进行诊断。
单次消化道内窥镜检测通常会产生超过6万张图像，从所有图像中筛选出病症图像对于医生来说是一个巨大的挑战。繁复的工作量以及重复单调的图像审查会造成医生的极大疲劳，降低医生敏感性，导致准确率下降和漏检比例的提高。因此，有必要发展基于图像分类技术的辅助阅片系统。
传统的内窥镜图像分类方法主要基于图像的颜色和纹理特征进行分类。常用的纹理表达方法有灰度共生矩阵法、lbp纹理特征等，常用的颜色特征有颜色直方图等。也有将颜色特征，纹理特征和sift特征结合的方法。
技术实现要素：
本发明提供一种内窥镜图像分类方法，该方法可以用来辅助医生解读内窥镜图像，提高医生的工作效率并为诊断提供参考。
根据一个实施例，本发明的内窥镜图像分类方法包括：提取待分类图像的中间层卷积特征；将所述中间层卷积特征进行全接连，生成中间层全连接层。同时或之后，提取待分类图像最高层卷积特征；将所述最高层卷积特征进行全接连，生成最高层全连接层；将中间层全连接层与最高层全连接层进行融合，生成融合全连接层。从融合全连接层生成一组评分值；将所述一组评分值转化为对应的一组概率值；根据所述一组概率值中的最高值所对应的参考图像，确定所述待分类图像所属的类别。
根据一个优选方案，所述提取待分类图像的中间层卷积特征为提取待分类图像的第三层卷积特征。
根据一个优选方案，所述中间层全连接层与最高层全连接层以相减方式进行融合。
根据一个优选方案，所述生成中间层全连接层及所述生成最高层全连接层同时进行。
与现有技术相比，本发明内窥镜图像分类方法具有以下有益效果：
本发明可以有效地解决传统方法中所选的卷积网络丢失细节信息的问题，从而可以提高内窥镜图像分类的精度及处理效率。
附图说明
图1是根据本发明一个实施例内窥镜图像分类方法的流程示意图。
图2是根据本发明一个实施例内窥镜图像分类方法的处理步骤示意图。
图3a、3b、3c、3d是根据本发明一个实施例示例内窥镜图像每一层卷积特征的关注区域(attentionmap)的可视化示意图。
图4至图21是根据本发明实施例进行分类的样例内窥镜图像。
发明详细描述
本发明采用从公开的内窥镜图像集“thekvasirdataset”(kvasir数据集)中选取的样例内窥镜图像，对本发明的内窥镜图像分类方法进行描述。在kvasir数据集中，有两类是手术操作而不是疾病种类，因此为包括在本文描述中。其余的图像分别是三类健康图像：即“正常盲肠”、“正常幽门”、“正常z线”，及三类消化道疾病图像：“食管炎”、“息肉”、“溃疡性结肠炎。每一类图像均选区500张，其中的70％作为训练数据，其余30％作为验证集。
根据一个实施例，如图1及图2所示，本发明的内窥镜图像分类方法100包括，将待分类图像输入卷积网络，优选四层的卷积网络进行卷积处理，从而经步骤110获得待分类图像的卷积层20。该卷积层包括第一卷积层21、第二卷积层22、第三卷积层23及最高卷积层24。之后在步骤122提取中间层，优选提取第三层23。在步骤124，将该中间卷积层23进行全接连，生成中间层全连接层33。与步骤122、124分别同时地或顺序地进行，在步骤132提取最高层24卷积特征，以及在步骤134将最高层24进行全接连，生成最高层全连接层33。随后在步骤140将中间层全连接层33与最高层全连接层34进行融合，优选以减法形式进行融合，生成融合全连接层40。
本发明的方法进一步包括，在步骤150，基于融合全连接层40获得一组评分值。在步骤160将该一组评分值转换为对应的一组概率值。在步骤170从该一组概率值中确定最高概率值所对应的参考图像，从而根据所确定的参考图像将待分类图像分为与该最高概率值所对应的参考图像的相同类别，获得分类结果90。
图3a、3b、3c及3d分别为根据本发明实施例的示例内窥镜图像的第一层、第二层、第三层及第四层卷积特征的关注区域(attentionmap)的可视化结果。具体地，图3a、3b、3c及3d示出根据本发明的内窥镜图像分类方法、采用kvasir内窥镜图片集训练的四层卷积网络对于溃疡性肠炎这一类的每层卷积特征的关注区域(attentionmap)。对于kvasir这类的数量为千级别的小型内窥镜数据集，本发明优选四层的卷积网络，对待分类图像进行处理。
表1至表6示出根据本发明实施例的内窥镜图像分类方法的处理数据及分类结果。
表1
表1是如图4、图5及图6所示的三个示例内窥镜图像，按照本发明的方法进行分类的处理数据。图4、图5及图6所示的三个示例内窥镜图像，是对应“食管炎”类型的图像。每个图像经过四层卷积特征提取、将第三层卷积特征进行全接连，生成中间层全连接层、将最高层卷积特征进行全接连，生成最高层全连接层、以及将第三层全连接层与最高层全连接层进行融合，例如以减法处理进行后，生成融合全连接层。根据融合全连接层生成一组评分值，然后将该评分值转化为对应的一组六个概率值，如表1中的数字栏所示。其中，“9.95783810e-01”是图3与参考图像数据库中的实际类型“食管炎”对应的概率值；“6.27400160e-18”是图3与参考图像数据库中的实际类型“正常盲肠”对应的概率值；“4.58674790e-09”是图4与参考图像数据库中的实际类型“正常幽门”对应的概率值；“4.21617040e-03”是图4与参考图像数据库中的实际类型“正常z线”对应的概率值；“2.34735100e-09”是图4与参考图像数据库中的实际类型“息肉”对应的概率值；“5.30326820e-11”是图4与参考图像数据库中的实际类型“溃疡性结肠炎”对应的概率值。
这一组概率值中的最大值是“9.95783810e-01”，即，图4的分类结果为“食管炎”类型图像。根据表1，此分类结果为“正确”。
在表1中图5的一组概率值中，根据概率值中的最大值“9.02307030e-01”判断，图5与参考图像数据库中的实际类型“正常幽门”对应，因此被机器分类为“正常z线”，即与人工分类不一致的分类结果。类似地，根据概率值中的最大值“9.96489580e-01”判断，图6与参考图像数据库中的实际类型“正常z线”对应，因此被机器分类为“正常z线”，即与人工分类不一致的分类结果。
表2
如表2所示，根据本发明的方法，图7所示的示例图像经过卷积处理后获得一组六个概率值。每个概率值对应参考图像数据库中的一个实际类型，即“食管炎”、“正常盲肠”、“正常幽门”、“正常z线”、“息肉”、及“溃疡性结肠炎”。图7概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“正常盲肠”对应，因此，根据本发明的方法，图7被分类为“正常盲肠”图像。类似地，图8概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“正常盲肠”对应；图9概率值中的最大值“8.84968281e-01”与参考图像数据库中的实际类型“正常盲肠”对应，因此，根据本发明的方法，图8、图9被分类为“正常盲肠”图像，与人工分类结果一致。
表3
如表3所示，根据本发明的方法，图10所示的示例图像经过卷积处理后获得一组六个概率值。每个概率值对应参考图像数据库中的一个实际类型，即“食管炎”、“正常盲肠”、“正常幽门”、“正常z线”、“息肉”、及“溃疡性结肠炎”。图10概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“正常幽门”对应，因此，根据本发明的方法，图10被分类为“正常幽门”图像，与人工分类结果一致。类似地，图11概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“正常幽门”对应；图12概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“正常幽门”对应，因此，根据本发明的方法，图11、图12被分类为“正常幽门”图像，与人工分类结果一致。
表4
如表4所示，根据本发明的方法，图13所示的示例图像经过卷积处理后获得一组六个概率值。每个概率值对应参考图像数据库中的一个实际类型，即“食管炎”、“正常盲肠”、“正常幽门”、“正常z线”、“息肉”、及“溃疡性结肠炎”。图13概率值中的最大值“6.69506730e-01”与参考图像数据库中的实际类型“正常幽门”对应，因此，根据本发明的方法，图13被分类为“正常z线”图像。类似地，图14概率值中的最大值“9.49654520e-01”与参考图像数据库中的实际类型“正常z线”对应；图15概率值中的最大值“9.98284040e-01”与参考图像数据库中的实际类型“正常z线”对应，因此，根据本发明的方法，图14、图15被分类为“正常z线”图像，与人工分类结果一致。
表5
如表5所示，根据本发明的方法，图16所示的示例图像经过卷积处理后获得一组六个概率值。每个概率值对应参考图像数据库中的一个实际类型，即“食管炎”、“正常盲肠”、“正常幽门”、“正常z线”、“息肉”、及“溃疡性结肠炎”。图16概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“息肉”对应，因此，根据本发明的方法，图16被分类为“息肉”图像，与人工分类结果一致。
根据概率值中的最大值“9.99946000e-01”判断，图17与参考图像数据库中的实际类型“正常幽门”对应，因此被机器分类为“正常幽门”，即与人工分类不一致的分类结果。类似地，根据概率值中的最大值“9.99651190e-01”判断，图18与参考图像数据库中的实际类型“正常盲肠”对应，因此被机器分类为“正常幽门”，即与人工分类不一致的分类结果。
表6
如表6所示，根据本发明的方法，图19所示的示例图像经过卷积处理后获得一组六个概率值。每个概率值对应参考图像数据库中的一个实际类型，即“食管炎”、“正常盲肠”、“正常幽门”、“正常z线”、“息肉”、及“溃疡性结肠炎”。图19概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“溃疡性结肠炎”对应，因此，根据本发明的方法，图19被分类为“溃疡性结肠炎”图像。类似地，图20概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“正常z线”对应；图21概率值中的最大值“1.00000000e 00”与参考图像数据库中的实际类型“溃疡性结肠炎”对应，因此，根据本发明的方法，图20、图21被分类为“溃疡性结肠炎”图像，与人工分类结果一致。
机器分类结果与人工分类结果不一致示例图像，可能原因包括原始图像数据错误、图像质量不符合要求、图像噪点等。
可以理解的是，本文结合附图提供的实施例仅是本发明的示例性技术方案，并不旨在以任何方式限制本发明的范围、适用性、操作或配置。相反，前面的详细描述将为本领域技术人员提供用于实现本发明的示例性实施例的便利的路线图，还可以理解的是，本领域技术人员可以对示例性实施例中描述的元件的功能和布置以及操作方法进行各种修改、变化及/或替代。而这些改、变化及/或替代应被理解为属于如所附权利要求书中阐述定义的本发明的范围。
1.一种内窥镜图像分类方法，其特征在于，所述方法包括：
提取待分类图像的中间层卷积特征；
将所述中间层卷积特征进行全接连，生成中间层全连接层；
提取待分类图像最高层卷积特征；
将所述最高层卷积特征进行全接连，生成最高层全连接层；
将中间层全连接层与最高层全连接层进行融合，生成融合全连接层；
从融合全连接层生成一组评分值；
将所述一组评分值转化为对应的一组概率值；
根据所述一组概率值中的最高值所对应的参考图像，确定所述待分类图像所属的类别。
2.如权利要求1所述的内窥镜图像分类方法，其特征在于，所述提取待分类图像的中间层卷积特征为在四层卷积网络中进行。
3.如权利要求2所述的内窥镜图像分类方法，其特征在于，所述提取待分类图像的中间层卷积特征为提取待分类图像的第三层卷积特征。
4.如权利要求2所述的内窥镜图像分类方法，其特征在于，所述中间层卷积包括使用尺寸为3的卷积核进行卷积。
5.如权利要求1所述的内窥镜图像分类方法，其特征在于，所述最高层卷积包括使用尺寸为3的卷积核进行卷积。
6.如权利要求1所述的内窥镜图像分类方法，其特征在于，所述中间层全连接层与最高层全连接层以相减方式进行融合。
7.根据权利要求1所述的图像分类方法，其特征在于，所述生成中间层全连接层及所述生成最高层全连接层同时进行。
技术总结