本发明涉及图像处理,具体涉及基于计算机视觉的儿童行为在线识别系统。
背景技术:
1、儿童行为在线识别系统是一种利用计算机视觉和机器学习技术,实时监测并识别儿童行为的系统;但在系统监控进行视频图像获取的过程中,图像可能会因监控质量、光线、对焦等多方面的原因,导致获取的图像清晰度不高,所以需要对图像进行图像增强。
2、直方图均衡化作为图像增强的传统方法之一,因其对不同图像较强的包容性,所以被广泛应用,但对于不同图像,直方图均衡化都是在固定灰度范围内进行均衡化操作,从而导致部分图像增强过大,部分图像增强过小;为了解决这一问题,本发明提出了一种根据图像中灰度值相似像素点的分布情况,以及相邻帧图像之间的变化,对灰度直方图中不同的灰度范围赋予不同的变化程度,进而对各灰度级进行不同程度的增强的基于计算机视觉的儿童行为在线识别系统。
技术实现思路
1、本发明提供基于计算机视觉的儿童行为在线识别系统,以解决现有的问题。
2、本发明的基于计算机视觉的儿童行为在线识别系统采用如下技术方案:
3、本发明一个实施例提供了基于计算机视觉的儿童行为在线识别系统,该系统包括以下模块:
4、图像采集模块,采集监控图像,预处理得到若干灰度图像;
5、目标程度获取模块,对灰度图像进行灰度级划分得到若干灰度级;根据相邻灰度图像中灰度级的差异得到每个灰度级的变化像素点,根据每个灰度级的变化像素点得到每个灰度级对应像素点变化区域图像;对变化像素点进行连通域划分得到若干连通域;对连通域进行聚类得到若干聚类簇,根据聚类簇中连通域的数量与面积得到每个灰度级的第二目标程度;
6、优化长度获取模块,将相邻的灰度图像作差得到若干个帧差图;根据每个灰度级对应像素点变化区域图像得到每个灰度级的对比图像;根据帧差图与对比图像得到每个灰度级的第二对比图像;根据第二对比图像中连通域的数量与面积得到每个灰度级的重合程度;根据每个灰度级的第二目标程度与重合程度得到每个灰度级的优化长度;
7、行为在线识别模块,根据每个灰度级的优化长度对灰度图像进行增强处理得到若干增强图像,根据增强图像进行儿童行为在线识别。
8、优选的,所述对灰度图像进行灰度级划分得到若干灰度级,包括的具体方法为:
9、预设一个灰度级初始长度t1,将灰度图像中每t1个灰度值作为一个灰度级;
10、优选的,所述根据相邻灰度图像中灰度级的差异得到每个灰度级的变化像素点,包括的具体方法为:
11、对于任意一个灰度级,若相邻灰度图像中同一个的位置的像素点在其中一个灰度图像中属于灰度级,在另一个灰度图像中不属于灰度级,则将同一个位置的像素点记为变化像素点,并用灰度值127表示。
12、优选的,所述根据聚类簇中连通域的数量与面积得到每个灰度级的第二目标程度,包括的具体方法为:
13、获取每个灰度级的每个聚类簇的第一目标程度:
14、
15、对于任意一个灰度级的任意一个聚类簇,其中,a1表示灰度级中聚类簇的第一目标程度;n表示聚类簇中连通域的数量;表示聚类簇中第j个连通域的面积;表示聚类簇中第j个连通域与面积最大的连通域质心之间的距离;
16、将每个灰度级中最大的第一目标程度记为每个灰度级的目标程度;
17、将每个灰度级的目标程度进行归一化得到每个灰度级的第二目标程度。
18、优选的,所述根据每个灰度级对应像素点变化区域图像得到每个灰度级的对比图像,包括的具体方法为:
19、将每个灰度级对应像素点变化区域图像中变化像素点的灰度值记为1,将每个灰度级对应像素点变化区域图像中除变化像素点外像素点的灰度值记为0,将处理后的每个灰度级对应像素点变化区域图像记为每个灰度级的对比图像。
20、优选的,所述根据帧差图与对比图像得到每个灰度级的第二对比图像,包括的具体方法为:
21、将每个灰度级的对比图像与每个帧差图做乘积运算得到的图像记为每个灰度级的第二对比图像。
22、优选的,所述根据第二对比图像中连通域的数量与面积得到每个灰度级的重合程度,包括的具体方法为:
23、
24、对于任意一个灰度级,其中,c表示灰度级的重合程度;n表示灰度级的第二对比图像中连通域数量;表示灰度级的第二对比图像中第个连通域的面积;表示灰度级的第二对比图像中第个连通域的灰度均值;表示灰度级的第二对比图像内像素点灰度值的最小值。
25、优选的,所述根据每个灰度级的第二目标程度与重合程度得到每个灰度级的优化长度,包括的具体方法为:
26、
27、对于任意一个灰度级,其中,l1表示灰度级的优化长度;l表示灰度级初始长度,d表示灰度级的变化程度;表示第i个灰度级的变化程度。
28、优选的,所述根据每个灰度级的优化长度对灰度图像进行增强处理得到若干增强图像,包括的具体方法为:
29、将所有灰度级的优化长度对灰度值域[0,255]进行划分得到若干个新的灰度级,在新的灰度级中,相邻两个灰度图像中的第二个灰度图像进行直方图均衡化处理得到增强图像。
30、优选的,所述根据增强图像进行儿童行为在线识别,包括的具体方法为:
31、将所有灰度图像的灰度图像作为输入集合输入训练好的卷积循环神经网络cnn+lstm中,输出监控视频下儿童行为类别的分类标签与行为的时序轨迹。
32、本发明的技术方案的有益效果是:通过对相邻帧的灰度图像进行灰度值、连通域与聚类分析得到各个灰度级的第二目标程度与重合程度,根据第二目标程度与重合程度得到各个灰度级的优化长度,利用直方图均衡化的思想,将各个灰度级的均衡化灰度范围映射各个灰度级的优化长度所包含的范围内,对各灰度级进行不同程度的图像增强。传统的直方图均衡化,只是对全图进行固定灰度范围的增强,本发明相较于传统的直方图均衡化可以放大图像中运动物体灰度级同时,还可以减少背景区域相对静止物体的灰度级,能够更好地展示运动的人物细节,利用增强后的视频图像作为卷积循环神经网络的输入集,可以进一步提高行为识别的精度。
1.基于计算机视觉的儿童行为在线识别系统,其特征在于,该系统包括以下模块:
2.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述对灰度图像进行灰度级划分得到若干灰度级,包括的具体方法为:
3.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据相邻灰度图像中灰度级的差异得到每个灰度级的变化像素点,包括的具体方法为:
4.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据聚类簇中连通域的数量与面积得到每个灰度级的第二目标程度,包括的具体方法为:
5.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据每个灰度级对应像素点变化区域图像得到每个灰度级的对比图像,包括的具体方法为:
6.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据帧差图与对比图像得到每个灰度级的第二对比图像,包括的具体方法为:
7.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据第二对比图像中连通域的数量与面积得到每个灰度级的重合程度,包括的具体方法为:
8.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据每个灰度级的第二目标程度与重合程度得到每个灰度级的优化长度,包括的具体方法为:
9.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据每个灰度级的优化长度对灰度图像进行增强处理得到若干增强图像,包括的具体方法为:
10.根据权利要求1所述基于计算机视觉的儿童行为在线识别系统,其特征在于,所述根据增强图像进行儿童行为在线识别,包括的具体方法为: