本发明涉及图像处理，尤其是一种数字仪表字符检测与识别方法、系统及存储介质。
背景技术：
1、随着工业自动化技术的日益成熟，传统的人工仪表读取方法显得越来越不适应现代工业的高效率和高精确度要求。人工读取方式不仅效率低，而且存在着一定的安全风险。更重要的是，人为因素，如操作人员的疲劳、疏忽等，可能会导致读取错误，进而对整个系统的稳定性和安全性构成威胁。因此，自动化的数字仪表读取方法变得越来越重要，它能够减少人为错误，提高数据采集的准确性和实时性。
2、但是，尽管计算机视觉和深度学习技术的飞速发展为自动识别数字仪表上的字符提供了技术基础，但在实际应用中，这些自动识别方法仍面临着一系列挑战。比如：光照条件的不确定性和图像的多样性。强光或反光可能导致图像过曝，而光线不足则可能导致图像欠曝，这两种情况都会影响字符的识别准确性。此外，图像噪声、模糊以及仪表玻璃的反射和污渍都可能降低识别系统的性能。即使是先进的深度学习模型，也需要在不同的光照和质量条件下进行充分的训练，以确保在各种环境中都能保持较高的识别准确率。
3、推理速度的限制是另一个影响自动识别系统性能的关键因素，尤其是在需要实时监控的动态环境中。数字仪表上的字符可能会因为仪表的读数变化而频繁更新，这就要求识别系统不仅要准确，还要快速响应。
技术实现思路
1、本发明的目的是提供一种数字仪表字符检测与识别方法，能够在各种自然场景下具有较强的抗干扰性，并能够在真实场景下更快更准确的获取数字仪表中显示的数字。
2、本发明提供的基础方案：一种数字仪表字符检测与识别方法，包括以下步骤：
3、s100：采集数字仪表的图像数据；
4、s200：对所采集的图像进行预处理，以获得预处理之后的图像；
5、s300：构建并训练字符区域检测模型，以在预处理后的图像中定位数字仪表上的字符区域，并对这些字符区域进行裁剪；所述字符区域检测模型包括特征提取模块、特征融合模块以及字符位置解码器；所述特征提取模块，用于提取数字仪表图像的高维特征；所述特征融合模块，用于融合不同尺度的特征图；所述字符位置解码器，用于确定字符区域并裁剪图像。
6、s400：构建并训练字符识别模型，用于识别裁剪后的字符图像中的字符；所述字符识别模型包括：输入层、特征提取模块、序列模块以及转录模块；所述特征提取模块用于从裁剪后的字符图像中提取特征；所述序列模块用于获取图像上下文的信息；所述转录模块用于将序列模块的输出转换为最终的字符识别结果。
7、本发明的实现原理与有益效果：通过自动化采集数字仪表的图像数据，减少了人工读取仪表的需要，提高数据采集的效率和准确性。图像预处理步骤增强了图像质量，为后续的字符区域检测和字符识别提供更清晰的输入。字符区域检测模型通过特征提取模块从图像中提取高维特征，确保即使在复杂的光照和视角条件下也能获得足够的信息来检测字符；特征融合模块通过整合不同层次的特征图，增强了模型对于字符尺寸变化的适应性，使得方法对于不同尺寸和形状的字符都有很好的识别效果。字符位置解码器进一步精确地定位字符区域，为后续的识别步骤提供了精准的裁剪图像。字符识别模型能够识别出裁剪后的字符图像中的字符，其中，特征提取模块的使用确保了从字符图像中提取出有助于分类的特征，序列模块则根据上下文信息进一步提高识别的准确率。转录模块将序列模型的输出映射到最终的字符序列，其能够直接从序列特征中推断出最终的字符序列，而不需要进行复杂的对齐操作，也能得到准确的数字序列。
8、进一步，所述步骤s200中的预处理包括：将图像大小缩放至预定尺寸；对输入图像中的宽高比不一致部分进行填充以保持长宽比；对缩放和填充后的图像的rgb分量进行归一化处理。
9、本方案的有益效果为：通过标准化图像大小和宽高比，以及归一化图像的rgb分量，为后续的字符区域检测和字符识别提供了统一和标准化的输入。对不同仪表和环境条件，无论原始图像的尺寸或长宽比如何，输入到模型中的都是统一格式的图像，这样可以减少模型处理的复杂性和不确定性。
10、进一步，所述步骤s300中的特征提取模块采用多个连续堆叠的改进后的局部卷积层，每个改进后的局部卷积层均包括通道混淆操作模块；所述特征融合模块采用asff技术将高维特征和低维特征之间逐步融合。
11、本方案的有益效果为：改进后的局部卷积层能够更有效以减少内存消耗，提升模型对于图像的处理速度，并且通过通道混淆使得网络不仅仅关注局部特征，还能通过整合多个通道的信息来增强对全局信息的提取能力。asff技术的应用则可以提升模型对于不同尺度特征的处理能力，通过自适应地融合高维和低维特征，可以使得模型更好的融合不同层次的特征，从而使得模型可以更好的检测出数字仪表上的字符区域。
12、进一步，所述步骤s400中的特征提取模块包括多个基于mobilenet改进后的特征卷积模块，并采用深度可分离卷积和cbam注意力机制；所述序列模块采用双向gru结构。
13、本方案的有益效果为：通过深度可分离卷积，模型在减少计算量的同时保持了高效的特征提取能力。cbam注意力机制增强了模型对关键特征的关注，增强对局部特征的处理，提高特征提取的效率和有效性。双向gru结构使得模型能够同时考虑字符序列的前后文信息，增强了序列依赖性的识别准确度。
14、进一步，所述步骤s300和s400中的模型训练包括：
15、对数字仪表图像集进行数据增强并划分为训练集和测试集；
16、设置训练参数；使用训练集对模型进行训练，并将训练策略设置为线性预测策略；
17、使用测试集对训练后的模型进行测试和验证，直至达到预设的准确率。
18、本方案的有益效果为：模型训练步骤通过数据增强、训练集和测试集的划分、训练参数的设置以及线性预测策略，确保了模型的准确性。
19、进一步，所述步骤s300中还包括使用检测框对预处理后的图像进行透视变换处理，并对透视变换处理后的图像进行缩放。
20、本方案的有益效果为：通过透视变换处理能够校正图像中数字仪表的视角偏差，使得字符呈现出正面视图，可以减少由于角度造成的形变和扭曲，使得数字字符的形状和排列更加规整，有利于模型更准确地进行特征提取和识别。缩放处理用于确保变换后的图像与模型训练时的输入尺寸相匹配，维持了图像的宽高比，提高了后续识别步骤的准确性。
21、本发明还公开了一种数字仪表字符检测与识别系统和存储介质。
1.一种数字仪表字符检测与识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的数字仪表字符检测与识别方法，其特征在于，所述步骤s200中的预处理包括：将图像大小缩放至预定尺寸；对输入图像中的宽高比不一致部分进行填充以保持长宽比；对缩放和填充后的图像的rgb分量进行归一化处理。
3.根据权利要求2所述的数字仪表字符检测与识别方法，其特征在于，所述步骤s300中的特征提取模块采用多个连续堆叠的改进后的局部卷积层，每个改进后的局部卷积层均包括通道混淆操作模块；所述特征融合模块采用asff技术将高维特征和低维特征之间逐步融合。
4.根据权利要求1所述的数字仪表字符检测与识别方法，其特征在于，所述步骤s400中的特征提取模块包括多个基于mobilenet改进后的特征卷积模块，并采用深度可分离卷积和cbam注意力机制；所述序列模块采用双向gru结构。
5.根据权利要求3所述的数字仪表字符检测与识别方法，其特征在于，所述步骤s300和s400中的模型训练包括：
6.根据权利要求5所述的数字仪表字符检测与识别方法，其特征在于，所述步骤s300中还包括使用检测框对预处理后的图像进行透视变换处理，并对透视变换处理后的图像进行缩放。
7.一种数字仪表字符检测与识别系统，其特征在于，该系统使用了如权利要求1-6任一项所述的数字仪表字符检测与识别方法。
8.一种数字仪表字符检测与识别存储介质，存储有计算机程序，其特征在于：所述计算机程序被执行时实现如权利要求1-6任一项所述的数字仪表字符检测与识别方法。
