本发明涉及蔬菜生长状态检测，尤其涉及一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法。
背景技术：
1、温室因其作物培育高效和内部环境受控的优点在世界范围内得到广泛应用。有别于传统农业的露天环境显著受自然天气影响，温室的内部环境可以被精确、自动控制。而作物产量和品质与作物生长过程中环境因素和栽培方法息息相关。温室种植过程可以看作是一个控制和优化的过程，其中作物生长监测是至关重要的一步。准确、及时的作物生长信息可以揭示作物当前的生长状况和产量潜力，这对于管理决策大有益处。
2、当前的叶类蔬菜生长监测主要有虫害监测、水分胁迫监测等，叶类蔬菜生长信息的实时获取仍未有可投入实际应用的方案，问题的关键在于温室场景的原始样本数据需要将作物采摘后测量，因此通常只有几百个样本。想实现无损快速获取生长数据可采用图像处理技术，但图像维度通常高达百万级，常见的端到端模型无法实现较高的生长数据预测准确度。同时由于叶类蔬菜的具有较为复杂的纹理和结构，在进行生长状态检测时，一方面图像识别结果不够准确，另一方面仅能获取少量的生长状态特征。
3、针对上述的现有技术存在的问题设计一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法是本发明研究的目的。
技术实现思路
1、有鉴于此，本发明的目的在于提出一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，能够解决上述的问题。
2、本发明提供一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，包括：
3、使用rgb-d相机获取叶类蔬菜的实时rgb图像和实时深度图像，对实时rgb图像进行裁剪，得到标准rgb图像，根据所述标准rgb图像对实时深度图像进行裁剪计算，得到三通道图像；
4、将所述标准rgb图像和三通道图像输入预先训练好的叶类蔬菜特征提取模型进行特征提取，得到rgb图像特征和深度图像特征；
5、将所述rgb图像特征和深度图像特征输入预先训练好的叶类蔬菜生长状态预测模型进行计算，得到叶类蔬菜的生长状态数据。
6、进一步，所述对实时rgb图像进行裁剪，得到标准rgb图像包括：
7、根据一次批量裁剪矩形框大小，对所述实时rgb图像进行一次裁剪，得到一次裁剪后的所述实时rgb图像；
8、使用聚类算法去除一次裁剪后的所述实时rgb图像背景部分；
9、根据二次裁剪矩形框大小，对去除背景部分的一次裁剪后的所述实时rgb图像进行二次裁剪，得到二次裁剪后的所述实时rgb图像。
10、进一步，所述使用聚类算法去除一次裁剪后的所述实时rgb图像背景部分包括：
11、使用k-means聚类算法计算所述实时rgb图像的子图像掩膜；
12、对所述实时rgb图像的子图像掩膜进行二值图像孔填充；
13、将二值图像孔填充后的所述实时rgb图像的子图像掩膜与一次批量剪裁后的所述实时rgb图像进行掩膜运算，得到去除rgb图像背景部分的所述实时rgb图像。
14、进一步，所述根据所述标准rgb图像对实时深度图像进行裁剪计算，得到三通道图像包括：
15、根据所述实时rgb图像的裁剪位置对应裁剪所述实时深度图像；
16、将裁剪后的所述实时深度图像划分成小矩阵，计算每一矩阵的最大值、最小值和平均值，得到三通道图像。
17、进一步，所述叶类蔬菜特征提取模型的预训练步骤包括：
18、采集叶类蔬菜的rgb图像样本、深度图像样本、生长数据样本，对叶类蔬菜的rgb图像样本、深度图像样本进行数据增强，构建叶类蔬菜样本训练集和验证集；
19、使用resnet50网络构建所述叶类蔬菜特征提取模型；
20、通过叶类蔬菜样本训练集和验证集训练所述得到叶类蔬菜特征提取模型参数。
21、进一步，所述对叶类蔬菜的rgb图像样本、深度图像样本进行数据增强包括：
22、对所述rgb图像样本、深度图像样本进行上下翻转、左右翻转、顺时针旋转90°、顺时针旋转180°、顺时针旋转270°；
23、对旋转后的所述rgb图像样本进行亮度调节，将所述rgb图像样本转为hsv图像样本，将hsv图像样本中的v值调节为原有v值的0.8-1.2倍；
24、对旋转后的所述深度图像样本进行对应复制操作，保持rgb图像样本数量和深度图像样本数量一致。
25、进一步，所述将所述标准rgb图像和三通道图像输入预先训练好的叶类蔬菜特征提取模型进行特征提取，得到rgb图像特征和深度图像特征包括：
26、将所述标准rgb图像输入所述resnet50网络中，选取所述resnet50网络的avg_pool层的平均值、activation_46_relu层的平均值、activation_43_relu层的的平均值作为所述rgb图像特征；
27、将所述三通道图像输入所述resnet50网络中，选取所述resnet50网络的avg_pool层的平均值作为所述深度图像特征。
28、进一步，所述一次批量裁剪矩形框大小的获取步骤包括：
29、估算一次裁剪矩形框大小，根据所述一次裁剪矩形框大小批量裁剪所述rgb图像样本，判定一次批量裁剪后的所述rgb图像样本是否裁剪去蔬菜部分；
30、若是则扩大一次裁剪矩形框大小，重新批量裁剪所述rgb图像样本，直至一次批量裁剪后的所述rgb图像样本未裁剪去蔬菜部分，记录所述一次批量裁剪矩形框大小。
31、进一步，所述二次裁剪矩形框大小的获取步骤包括：
32、遍历所有一次裁剪后的所述rgb图像样本，获得最大蔬菜面积的所述rgb图像样本；
33、计算所述rgb图像样本中最大蔬菜图像部分的边缘像素位置和二次批量裁剪矩形框大小；
34、根据二次批量裁剪矩形框大小自动调整每个所述rgb图像样本的裁剪位置，进行二次批量裁剪；
35、记录二次批量裁剪矩形框大小和二次批量裁剪位置。
36、进一步，所述叶类蔬菜生长状态预测模型的预训练步骤包括：
37、使用人工神经网络模型构建叶类蔬菜的湿重预测模型、干重预测模型、直径预测模型、株高预测模型、叶面积预测模型；
38、通过所述叶类蔬菜特征提取模型提取所述叶类蔬菜样本训练集和验证集中的所述rgb图像样本和深度图像样本的图像特征；
39、将所述rgb图像样本和深度图像样本的图像特征训练作为输入，所述生长数据样本作为输出，分别训练所述叶类蔬菜的湿重预测模型、干重预测模型、直径预测模型、株高预测模型、叶面积预测模型，分别得到所述叶类蔬菜的湿重预测模型、干重预测模型、直径预测模型、株高预测模型、叶面积预测模型的参数。
40、本发明的有益效果：
41、一是本发明中采用k-means聚类算法去除冗余的rgb图像背景信息，计算最大蔬菜的边缘像素位置，自动裁剪rgb图像，降低了温室作物生长数据实时获取的任务对计算机算力的需求，同时避免了手动对rgb图像进行预处理，加快了从图像中获取叶类蔬菜生长数据的速度。
42、二是本发明中根据rgb图像裁剪位置对单通道深度图像进行对应裁剪，再将深度图像划分成小矩阵，计算每一矩阵的最大值、最小值和平均值，形成新的三通道图像，满足了图像特征提取网络resnet50的输入要求，同时对深度图像特征的利用提高了蔬菜生长数据预测的准确度。
43、三是本发明根据叶类蔬菜的生长阶段将数据集按照80％和20％的比例划分为训练集和验证集，解决了目前温室场景下图像数据及对应的生长数据样本过少的问题，避免了随机划分训练集和验证集导致的数据分布不均，保证了预测模型精度的可信度，为推广温室作物图像在线处理分析提供了可靠方案。
44、四是本发明中根据图像特征分别构建叶类蔬菜的湿重预测模型、干重预测模型、直径预测模型、株高预测模型、叶面积预测模型，所述的图像特征不仅包括了resnet50中avg_pool层的值，还包括activation_46_relu层和activation_43_relu层的值，减少了图像特征提取过程中图像关键信息的损失，提高了叶类蔬菜生长数据预测的准确度。
45、五是本发明中利用matlab自动调用rgbd相机对叶类蔬菜进行图像采集，并将图像识别的结果直接展示在图形化界面上，实现了叶类蔬菜生长状态的在线检测，简化了生长数据测量的流程，减少了作物表型的时间，降低了作物管理的人力成本，还为后续叶类蔬菜生长环境的调控提供了信息支持。
1.一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，包括：
2.根据权利要求1所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述对实时rgb图像进行裁剪，得到标准rgb图像包括：
3.根据权利要求2所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述使用聚类算法去除一次裁剪后的所述实时rgb图像背景部分包括：
4.根据权利要求1所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述根据所述标准rgb图像对实时深度图像进行裁剪计算，得到三通道图像包括：
5.根据权利要求1所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述叶类蔬菜特征提取模型的预训练步骤包括：
6.根据权利要求5所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述对叶类蔬菜的rgb图像样本、深度图像样本进行数据增强包括：
7.根据权利要求1或5所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述将所述标准rgb图像和三通道图像输入预先训练好的叶类蔬菜特征提取模型进行特征提取，得到rgb图像特征和深度图像特征包括：
8.根据权利要求2或5所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述一次批量裁剪矩形框大小的获取步骤包括：
9.根据权利要求2或5所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述二次裁剪矩形框大小的获取步骤包括：
10.根据权利要求1或5所述的一种基于rgb-d图像识别的叶类蔬菜生长状态检测方法，其特征在于，所述叶类蔬菜生长状态预测模型的预训练步骤包括：
