本发明涉及搅拌站智能监控领域，特别涉及一种搅拌站搅拌车进、卸口对齐自动判定方法、一种搅拌站搅拌车进、卸口对齐自动判定设备以及一种搅拌站搅拌车进、卸口对齐自动判定系统。
背景技术：
目前混凝土搅拌站判定进料口与卸料口是否对齐是通过人工判定的。监控摄像头将监控影像实时传至中控室，中控室中的相关人员通过该监控影像判定卸料口和对应的进料口是否对齐。如果对齐，则进行下一步工艺；否则提示搅拌车司机需重新对齐。该人工判定方法，需相关人员全天候值班，需耗费较大的人力资源。
现有的技术中也有采用图像进行对齐的自动判定的做法，但是其采用的图像识别算法具有鲁棒性低，抗干扰能力弱，无法全天候稳健识别等缺点。
技术实现要素：
本发明的目的是提供一种搅拌站搅拌车进、卸口对齐自动判定方法、设备及系统，旨在解决在现有目前卸料口对齐判定中的自动化程度低和图像识别准确性的问题。
为了实现上述目的，在本发明的第一方面提供了一种搅拌站搅拌车进、卸口对齐自动判定方法所述判定方法包括：获取包含所述卸料口和需与所述卸料口位置对齐的进料口的图像；在所述图像中标定出卸料口基准点；对所述图像进行语义分割，得到进料口基准点；确定所述卸料口基准点与进料口基准点的距离小于预设范围，则判定所述卸料口与所述进料口对齐。
优选的，所述图像为监控视频中的单帧视频帧，所述监控视频中包含所述卸料口和需与所述卸料口位置对齐的进料口。
优选的，对所述图像进行语义分割，得到进料口基准点，包括：将所述图像输入经过训练的语义分割模型，分割出所述进料口的像素集合；从所述像素集合中获取所述进料口的边缘点集；从所述边缘点集中确定所述进料口基准点。
优选的，所述从所述边缘点集中确定所述进料口基准点，包括：以所述边缘点集的最小包围矩阵的中心横坐标为所述进料口基准点的横坐标，以所述最小包围矩阵距底端纵轴方向预设距离的坐标为所述进料口基准点的纵坐标；所述预设距离与进料口形状相关。
优选的，在对所述图像进行语义分割之前，所述判定方法还包括：对所述图像进行预处理，所述预处理包括图像滤波和\或图像降噪。
优选的，在分割出所述进料口的像素集合之后，所述判定方法还包括：对所述像素集合进行后处理，所述后处理包括图像形态学处理和滤除误识别区域处理。
优选的，在所述图像中标定出卸料口基准点，包括：以所述图像中卸料口的横向中线坐标为卸料口基准点的横坐标，以进料口基准点云的纵坐标均值为所述卸料口基准点的纵坐标；所述基准点云为对齐时的进料口基准点的历史位置的集合。
优选的，所述预设范围包括横向阈值和纵向阈值；所述横向阈值和所述纵向阈值均与所述基准点云的分布相关；
所述确定所述卸料口基准点与进料口基准点的距离小于预设范围，包括：所述卸料口基准点与进料口基准点的横向距离小于所述横向阈值，且纵向距离小于所述纵向阈值。
优选的，所述判定方法还包括：若所述卸料口基准点与进料口基准点的距离不小于所述预设范围，则基于所述卸料口基准点与进料口基准点的位置关系，生成搅拌车进料口位置调整提示或进料口位置调整命令。
在本发明的第二方面，还提供了一种搅拌站搅拌车进、卸口对齐自动判定设备，所述判定设备包括：至少一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的判定方法。
优选的，所述判定设备为ai芯片。
在本发明的第三方面，还提供了一种搅拌站搅拌车进、卸口对齐自动判定系统，包括监控摄像头，所述监控摄像头用于采集包含所述卸料口和需与所述卸料口位置对齐的进料口的图像，所述判定系统还包括前述的判定设备。
在本发明的第四方面，还提供了一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的搅拌站搅拌车进、卸口对齐自动判定方法。
本发明提供的技术方案具有以下有益效果：
提出一种基于语义分割的搅拌站搅拌车进、卸口对齐自动判定算法，可替代人工判定，实现搅拌车自动卸料控制，提高工作效率，为后续实现搅拌车自动装料奠定基础。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定方法的流程示意图；
图2为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定方法的实施示意图；
图3为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定方法计算步骤的示意图；
图4为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定系统的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定方法的流程示意图，如图1所示。本发明提供的一种实施方式中的一种搅拌站搅拌车进、卸口对齐自动判定方法，所述判定方法包括：
s01、获取包括所述卸料口和需与所述卸料口位置对齐的进料口的图像；
图像是判定的基础，该图像需要包括卸料口和需与所述卸料口位置对齐的进料口，以便于判别。其中该图像通过摄像头等图像采集装置对卸料口和进料口进行图像采集，处理装置通过与之相连进行图像获取。
s02、在所述图像中标定出卸料口基准点；
在搅拌站的场景中，卸料口区域为固定区域，因此可以采用标定的方式进行卸料口基准点的确定。具体的，在所述图像中依据先验知识，并结合相关统计学方法计算出卸料口基准点。当然也可以基于图像识别等技术。
s03、并对所述图像进行语义分割，得到进料口基准点；
将获取的图像进行语义分割处理，从中识别出进料口，并采用像素的方式进行表示。经过训练的深度学习模型能够对图像中的像素进行分类识别，以此从图像中提取到不同的区域，并对每个区域对应的目标进行标注。本实施方式中通过语义分割获取到的进料口，实际上为图像中进料口的像素的集合。通过对像素集合进行位置上的处理，能够获取到反应出进料口位置的进料口基准点。
需要注意的是，在实际的实施中，卸料口基准点和进料口基准点的获取并没有先后顺序，并不受描述的先后顺序的影响，即步骤s02和步骤s03是可以交换顺序的。
s04、确定所述卸料口基准点与进料口基准点的距离小于预设范围，则判定所述卸料口与所述进料口对齐。
通过比较确定出的卸料口基准点与进料口基准点，能够获取到图像中的进料口和卸料口的位置的相对关系的判定，以判定图像中的卸料口和进料口的对齐情况，以此确定实际场景中的卸料口和进料口是否对齐。
由于卸料口和进料口对齐场景为自然场景，前景与背景区域复杂多变，传统图像处理算法鲁棒性不强，因而采用深学学习中语义分割模型对进料口区域进行识别。本实施方式通过语义识别出图像中的进料口，以及该进料口与卸料口的位置信息，通过位置信息之间的相互关系，以实现两者对齐的自动判定。语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的，相对于其他图像处理方式具有图像特征识别鲁棒性强的优点。
在本发明提供的一种实施方式中，所述图像为监控视频中的单帧视频帧，所述监控视频中包括所述卸料口和需与所述卸料口位置对齐的进料口。目前的现场监控技术大多采用视频监控，获取的是搅拌站在对齐过程中的实时视频，而语义分割大多基于图像。因此通过本实施方式，从视频中提取单帧得视频帧，使得使用场景不局限于单幅图像，还能对于连续的监控视频流进行实时处理。
在本发明提供的一种实施方式中，在对所述图像进行语义分割之前，所述判定方法还包括：对所述图像进行预处理，所述预处理包括图像滤波和\或图像降噪。良好得图像质量有利于提升处理的准确性。为了降低噪声、卸料口区域等对进料口边缘提取的影响，需对模型输入图像进行滤波、降噪等预处理。
在本发明提供的一种实施方式中，在分割出所述进料口的像素集合之后，所述判定方法还包括：对所述像素集合进行后处理，所述后处理包括图像形态学处理和滤除误识别区域处理。后处理主要是形态学处理，包括腐蚀、膨胀、滤除小物体等操作，目的是为了滤除语义分割模型产生的图像中噪声以及误识别区域，提高整体算法的鲁棒性，其后处理后的图像为图像或者能够突出边缘效果的图像。此处的像素集合表现为二值图像。二值图像是指每个像素点均为黑色或者白色的图像。二值图像一般用来描述字符图像，其优点是占用空间少，侧重展示其边缘信息，忽略图像内部的纹理特征表现。本实施方式将像素集合表现为二值图像，有利于卸料口和进料口从图像中的准确提取。
图2为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定方法的实施示意图，如图2所示。所述图像进行语义分割，得到进料口基准点，包括：将所述图像输入经过训练的语义分割模型，分割出所述进料口的像素集合；从所述像素集合中获取所述进料口的边缘点集；从所述边缘点集中确定所述进料口基准点。当获取到的包含卸料口和需与所述卸料口位置对齐的进料口的单帧视频帧，经过预处理后输入至语义分割模型进行语义分割，得到二值分割图像，并经过后处理后计算进料口基准点，通过卸料口和进料口的基准点的位置判定，得到是否对齐的判定结果。
图3为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定方法计算步骤的示意图，如图3所示。在该实施方式中，所述从所述边缘点集中确定所述进料口基准点，包括：以所述边缘点集的最小包围矩阵的中心横坐标为所述进料口基准点的横坐标，以所述最小包围矩阵距底端纵轴方向预设距离的坐标为所述进料口基准点的纵坐标；所述预设距离与进料口形状相关。
进料口基准点(x2，y2)，其中x2为进料口最小包围矩区域中心横坐标，y2为最小包围矩纵轴方向1/3高度处，此处的1/3高度即为所述预设距离，与进料口形状相关。y2一般选择处于进料口孔洞处附近，另一方面也为降低高度检测不准对基准点定位的影响。
在本发明提供的一种实施方式中，在所述图像中标定出卸料口基准点，包括：以所述图像中卸料口的横向中线坐标为卸料口基准点的横坐标，以进料口基准点云的纵坐标均值为所述卸料口基准点的纵坐标；所述基准点云为对齐时的进料口基准点的历史位置的集合。同样如图3所示，进料口基准点(x1，y1)选取原则：x1为卸料口区域中线坐标，即为进料口基准点横坐标，y1是统计进料口基准点云纵坐标的均值，即为其纵坐标，其中基准点云统计的是历史数据，就是不同搅拌车对齐时入料口基准点位置的集合。即通过以上先验的历史数据，以及结合相关统计学方法，计算得到卸料口基准点。
在本发明提供的一种实施方式中，所述预设范围包括横向阈值和纵向阈值；所述横向阈值和所述纵向阈值均与所述基准点云的分布相关；所述确定所述卸料口基准点与进料口基准点的距离小于预设范围，包括：所述卸料口基准点与进料口基准点的横向距离小于所述横向阈值，且纵向距离小于所述纵向阈值。本实施方式中的预设范围，即对齐有效区域，其宽度确定步骤包括：通过分别计算进料口基准点云与进料口基准点横坐标差值的绝对值的均值u与标准方差std，利用均值u与标准方差std两者的和作为有效区域的横向阈值，即单边宽度w，其中宽度w计算公式如下所示，
w＝μ std
其中u表示均值，std表示标准差，xi为进料口基准点横坐标。
同理的，通过分别计算进料口基准点云与进料口基准点纵坐标差值的绝对值的均值和标准方差，并以该均值和标准方差得到纵向阈值，即单边高度高度h。计算方法与前述类似，此处不再赘述。因此对齐有效区域的宽度和高度分别为2w和2h。
对齐判定准则具体为：计算xd＝abs(x1-x2),若xd<w，且yd＝abs(y1-y2),若yd<h，则判定对齐，进料口基准点落入对齐有效区域内。
在本发明提供的一种实施方式中，所述方法还包括：若所述卸料口基准点与进料口基准点的距离不小于所述预设范围，则基于所述卸料口基准点与进料口基准点的位置关系，生成搅拌车进料口位置调整提示或进料口位置调整命令。若上一步中判定为未对齐，则可以根据相对位置，指示搅拌车进行位置调整，使卸料口和进料口位置对齐。具体的，若x1-x2≥w，则太靠左，x2-x1≥w，则太靠右；若y1-y2≥h，则太靠前，y2-y1≥h，则太靠后，对应生成调整提示或调整指令，从而指示搅拌车进行相应位置调整，改变对齐有效区域的位置，以实现对齐。
在本发明提供的一种实施方式中，还提供了一种搅拌站搅拌车进、卸口对齐自动判定设备，所述判定设备包括：至少一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的方法。此处的处理器具有数值计算和逻辑运算的功能，其至少具有数据处理能力的中央处理器cpu、随机存储器ram、只读存储器rom、多种i/o口和中断系统等。此处数据处理模块可以例如为单片机、芯片或处理器等常用硬件，更常用的情况下，就是智能终端或者pc的处理器。在此处，该设备可以是混凝土搅拌站中的控制电脑或自动卸料系统中的现有控制器，其实现的功能为该控制电脑或控制器的子功能。其具体形式为依赖于现有控制电脑或控制器的硬件运行环境中的一段软件代码。
在本发明提供的一种实施方式中，所述判定设备为ai芯片。ai芯片是专门用于处理人工智能应用中的大量计算任务的模块，其具有适应于ai计算的硬件架构，因此处理速度更快，也更加节能。本实施方式通过ai芯片中的人工智能算法对监控影像进行实时分析判定，不仅能够实现智能化，还具有处理迅速和准确度高的优点。
图4为本发明一种实施方式中的搅拌站搅拌车进、卸口对齐自动判定系统的结构示意图，如图4所示。在本发明提供的一种实施方式中，还提供了搅拌站搅拌车进、卸口对齐自动判定系统，包括监控摄像头，所述监控摄像头用于采集包括所述卸料口和需与所述卸料口位置对齐的进料口的图像，搅拌站监控系统还包括前述的搅拌站搅拌车进、卸口对齐自动判定设备。在该应用场景中。当搅拌站搅拌车的进、卸料口需要对齐时，采用监控摄像头获取原始监控场景，得到图像，并经过搅拌站搅拌车进、卸口对齐自动判定设备，本实施方式中优选ai芯片，该ai芯片存储有深度学习模型。经ai芯片对该图像进行处理后，输出判定结果，该判定结果可以采用车载显示屏幕或者语音提醒信息或灯光提醒信息进行展示。从而实现搅拌站搅拌车进、卸口对齐自动判定，并可以自动进行下一步的动作。本实施方式中提供的搅拌站监控系统，具有自动化程度高的优点，为后续实现搅拌车自动装料奠定基础。
在本发明提供的一种实施方式中，还提供了一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的工搅拌站搅拌车进、卸口对齐自动判定方法。该方法的运行实体为pc或智能终端或服务器。
本发明的实施方式提供一种搅拌站搅拌车进、卸口对齐自动判定方法及设备，方法主要包括图像获取、语义分割和位置判定等，同时还给出一种搅拌站搅拌车进、卸口对齐自动判定系统，有效提高了搅拌站内的设备对齐的准确性，提高了对齐效率，有效提高了装载的自动化程度。本发明识别快速且准确性高，具有广泛的应用场景。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
1.一种搅拌站搅拌车进、卸口对齐自动判定方法，其特征在于，所述判定方法包括：
获取包含所述卸料口和需与所述卸料口位置对齐的进料口的图像；
在所述图像中标定出卸料口基准点；
并对所述图像进行语义分割，得到进料口基准点；
确定所述卸料口基准点与进料口基准点的距离小于预设范围，则判定所述卸料口与所述进料口对齐。
2.根据权利要求1所述的判定方法，其特征在于，所述图像为监控视频中的单帧视频帧，所述监控视频中包含所述卸料口和需与所述卸料口位置对齐的进料口。
3.根据权利要求2所述的判定方法，其特征在于，对所述图像进行语义分割，得到进料口基准点，包括：
将所述图像输入经过训练的语义分割模型，分割出所述进料口的像素集合；
从所述像素集合中获取所述进料口的边缘点集；
从所述边缘点集中确定所述进料口基准点。
4.根据权利要求3所述的判定方法，其特征在于，所述从所述边缘点集中确定所述进料口基准点，包括：
以所述边缘点集的最小包围矩阵的中心横坐标为所述进料口基准点的横坐标，以所述最小包围矩阵距底端纵轴方向预设距离的坐标为所述进料口基准点的纵坐标；所述预设距离与进料口形状相关。
5.根据权利要求3所述的判定方法，其特征在于，在对所述图像进行语义分割之前，所述判定方法还包括：对所述图像进行预处理，所述预处理包括图像滤波和\或图像降噪。
6.根据权利要求3所述的判定方法，其特征在于，在分割出所述进料口的像素集合之后，所述判定方法还包括：对所述像素集合进行后处理，所述后处理包括图像形态学处理和滤除误识别区域处理。
7.根据权利要求1所述的判定方法，其特征在于，在所述图像中标定出卸料口基准点，包括：
以所述图像中卸料口的横向中线坐标为卸料口基准点的横坐标，以进料口基准点云的纵坐标均值为所述卸料口基准点的纵坐标；所述基准点云为对齐时的进料口基准点的历史位置的集合。
8.根据权利要求7所述的判定方法，其特征在于，所述预设范围包括横向阈值和纵向阈值；所述横向阈值和所述纵向阈值均与所述基准点云的分布相关；
所述确定所述卸料口基准点与进料口基准点的距离小于预设范围，包括：
所述卸料口基准点与进料口基准点的横向距离小于所述横向阈值，且纵向距离小于所述纵向阈值。
9.根据权利要求1所述的判定方法，其特征在于，所述判定方法还包括：若所述卸料口基准点与进料口基准点的距离不小于所述预设范围，则基于所述卸料口基准点与进料口基准点的位置关系，生成搅拌车进料口位置调整提示或进料口位置调整命令。
10.一种搅拌站搅拌车进、卸口对齐自动判定设备，其特征在于，所述判定设备包括：
至少一个处理器；
存储器，与所述至少一个处理器连接；
其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至9中任意一项权利要求所述的判定方法。
11.根据权利要求10所述的判定设备，其特征在于，所述判定设备为ai芯片。
12.一种搅拌站搅拌车进、卸口对齐自动判定系统，包括监控摄像头，所述监控摄像头用于采集包含所述卸料口和需与所述卸料口位置对齐的进料口的图像，其特征在于，所述判定系统还包括权利要求10或11所述的判定设备。
技术总结