本发明涉及图像处理及识别技术领域，尤其涉及基于热成像与超声相结合检测排污口的方法、装置及系统。
背景技术：
随着社会经济不断的发展，城市化进程不断深化，社会生产及居民生活产生的污水量逐年增加。水环境治理和水安全保障已成为中国当前最重要的任务之一。为了进一步把污水处理事业做得更好。有效控制成本，更加科学合理地开展污水排放口溯源工作，切实将污染控制在源头已经是当务之急。
水资源对于人类具有特别重要的意义，水污染问题已经是国家发展必须解决的问题，能够找到可快速、准确地调查及监测水源污染状况的方法，是十分必要的。常规的污水监测主要是通过现场采样、室内分析化验等手段来进行，但由于水污染的复杂性，只能通过大量采样的办法进行，人力耗费巨大、定位往往不够准确。
技术实现要素：
本发明提供的基于热成像与超声相结合检测排污口的方法、装置及系统，主要解决的技术问题是：如何快速、准确地监测非法排污口的污水排放，提高监测效率，减少人力物力。
为解决上述技术问题，本发明提供一种基于热成像与超声相结合检测排污口的方法，包括：
利用超声探头对待测水域进行成像扫描，采集水下超声图像；
将所述水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对所述水下超声图像进行疑似排污口识别，并输出识别结果；
当所述识别结果指示存在疑似排污口时，开启热成像仪对设定区域进行成像扫描，采集热成像图像；所述设定区域包括所述排污口所在区域，以及以所述疑似排污口所在区域为中心的周边区域；
基于灰度识别算法对所述热成像图像进行处理，判断所述疑似排污口是否为真实排污口；
对真实排污口进行告警。
进一步的，所述灰度识别算法包括：
计算所述排污口所在区域的第一灰度均值，以及计算所述周边区域的第二灰度均值；
计算所述第一灰度均值与所述第二灰度均值之间的差值；
将所述差值与设定阈值进行比较；
当所述差值大于等于所述设定阈值时，判断所述疑似排污口为真实排污口。
进一步的，当所述差值小于所述设定阈值时，判断所述疑似排污口为待确认排污口，供进一步实地考察确定。
进一步的，所述对所述真实排污口进行告警包括：获取所述真实排污口所在位置，对所述所在位置进行标记，并生成告警信息。
本发明还提供一种基于热成像与超声相结合检测排污口的装置，包括控制模块以及与之电连接的超声成像模块、红外成像模块以及传输模块；
所述控制模块用于实现对各模块的控制协调；
所述超声成像模块用于对待测水域进行成像扫描，采集水下超声图像；
所述红外成像模块用于对设定区域进行成像扫描，采集热成像图像；所述设定区域包括所述排污口所在区域，以及以所述疑似排污口所在区域为中心的周边区域；
所述传输模块用于将所述水下超声图像、所述热成像图像传输给后台服务平台；并接收所述后台服务平台基于所述水下超声图像反馈的疑似排污口的识别结果；所述后台服务平台将所述水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对所述水下超声图像进行疑似排污口识别输出所述识别结果；基于灰度识别算法对所述热成像图像进行处理，判断所述疑似排污口是否为真实排污口；对真实排污口进行告警。
进一步的，所述后台服务平台用于计算所述排污口所在区域的第一灰度均值，以及计算所述周边区域的第二灰度均值；计算所述第一灰度均值与所述第二灰度均值之间的差值；将所述差值与设定阈值进行比较；当所述差值大于等于所述设定阈值时，判断所述疑似排污口为真实排污口。
进一步的，所述后台服务平台用于获取所述真实排污口所在位置，对所述所在位置进行标记，并生成告警信息。
进一步的，所述装置搭载与无人船上。
本发明还提供一种基于热成像与超声相结合检测排污口的系统，包括如上任一项所述的基于热成像与超声相结合检测排污口的装置，以及所述后台服务平台。
本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于热成像与超声相结合检测排污口的方法的步骤。
本发明的有益效果是：
根据本发明提供的基于热成像与超声相结合检测排污口的方法、装置及系统，通过利用超声探头对待测水域进行成像扫描，采集水下超声图像；将水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对水下超声图像进行疑似排污口识别，并输出识别结果；当识别结果指示存在疑似排污口时，开启热成像仪对设定区域进行成像扫描，采集热成像图像；设定区域包括排污口所在区域，以及以疑似排污口所在区域为中心的周边区域；基于灰度识别算法对热成像图像进行处理，判断疑似排污口是否为真实排污口；对真实排污口进行告警。本方案通过结合超声与热成像两种方式，基于超声图像实现大面积排污口筛选检测，针对疑似排污口进一步利用热成像扫描，利用污水排放水体温度差异在灰度上的体现特性，对排放口进行精确监测与定位，提高了污水排口的检测效率与准确性；有利于实现对重要流域的环境保护，杜绝非法污水排放。
附图说明
图1为本发明实施例一的基于热成像与超声相结合检测排污口的方法流程示意图；
图2为本发明实施例一的疑似排污口与周边区域之间的设置示意图；
图3为本发明实施例二的基于热成像与超声相结合检测排污口的装置结构示意图；
图4为本发明实施例二的后台服务平台界面展示示意图；
图5为本发明实施例三的基于热成像与超声相结合检测排污口的系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
本实施例提供一种于热成像与超声相结合检测排污口的方法，请参见图1，该方法主要包括如下步骤：
s101、利用超声探头对待测水域进行成像扫描，采集水下超声图像；
s102、将水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对水下超声图像进行疑似排污口识别，并输出识别结果；
s103、当识别结果指示存在疑似排污口时，开启热成像仪对设定区域进行成像扫描，采集热成像图像；其中设定区域包括排污口所在区域，以及以疑似排污口所在区域为中心的周边区域；
s104、基于灰度识别算法对热成像图像进行处理，判断疑似排污口是否为真实排污口；如是，转至步骤s105；如否，转至步骤s106；
s105、对真实排污口进行告警；
s106、确定疑似排污口为待确认排污口，以待进一步实地考察确定。
超声波遇到不同声阻抗的两种介质的交界面(界面，interface)，即有超声反射回来，由探头接收后，经过信号放大和信息处理，可形成一幅声像图或超声图。回声反射的强弱由界面两侧介质的声阻抗差决定。声阻抗相差甚大的两种介质，相邻构成的界面，反射率甚大，几乎可把超声的能量全部反射回来，不再向深部透射。而流域中的水体和地面就属于声阻抗相差较大的两种介质，因此可利用超声对水下进行成像扫描。而当水域下存在暗排的排污口时，由于排污口内部污水与排污口管壁之间形成的界面，与排污口周围水体与水域地面之间形成的界面，相对于超声波探头的距离不同，通常排污口内部污水与排污口管壁之间形成的界面更远，因此回波被接收到的时间有先有后，从而可以形成排污口超声图像。基于超声图像识别算法，可以识别是否存在疑似排污口。
本实施例中，基于预先建立的深度卷积神经网络模型，对水下超声图像进行疑似排污口识别，并输出识别结果。下面主要很对深度卷积神经网络模型的建模过程进行说明：
由于获取的超声图像通常捕获整个河道或流域，而实际排污口仅占据图像的一小部分。此外，由于超声图像中的排污口往往具有复杂的形状，方向，纹理和大小；以不同的聚焦和比例设置来捕获超声图像，也会产生具有不同照明和大小的超声图像。这些因素使得水下排污口识别非常困难，因此超声图像需要进行接下来的预处理。
从超声图像中提取出感兴趣区域(roi)图像。使用图像增强方法，对roi图像进行图像增强，得到多个训练图像数据。其中，图像增强方法是几何增强方法和奇异值分解方法。
具体的，几何增强方法通过以下实现。采用以下两种方法(即，旋转和镜像)，通过转换，将各个roi图像中的像素值映射到新目标，从而改变roi图像的几何形状：
旋转：将上述roi图像围绕图像中心分别逆时针旋转90°，180°和270°；
镜像：使上述roi图像在其垂直轴上翻转，生成图像的反射复制。
上述几何增强方法通过改变方向从每个roi图像生成四个复制图像，同时保留图像中表征图像类别的形状和纹理等模式特征。这些方法在计算上较为简单，因为它们只需要反转行图像矩阵。
奇异值分解(svd)方法，用于从上述原始roi图像生成近似图像，同时保留图像的几何特征。即可以使用较低阶数的矩阵来近似原始图像(或矩阵)。
具体的，对于上述roi的超声rgb图像，三个矩阵m[r,g,b}表示rgb通道中的像素强度值，其中每个矩阵的大小为r*c，其中r和c分别表示行数和列数。m中的每个矩阵可以分解为三个子矩阵：
m{r,g,b}＝uσvt
其中u是r*r，σ是r*c的大小，vt是c*c的大小。u和v是正交矩阵，σ是对角矩阵，其条目沿主对角线按降序排列，并确定原始矩阵的秩。三个rgb通道分别进行分解。在σ中确定一定百分比的顶部奇异值之后，然后反转变换，并且得到的rgb矩阵创建新的真彩色图片。对于每个roi图像，应用所选顶部奇异值的45％，35％和25％比率的三个等级，为相同的roi生成三个近似图像。该方法大致保留了超声图像的重要纹理特性，同时产生了大量的复制图像。
通过使用上述几何增强方法和奇异值分解方法，获得了大量的训练图像数据，可以获得八倍的训练图像数据，使得针对不同排污口的训练样本的数量可以更接近于在每类中训练的最佳训练样本数。
将上述多个大量训练图像数据输入特定的深度卷积神经网络进行训练，从而建立识别模型。本例中，经过广泛的测试，建模参数设置如下：迭代次数设置为5000，初始学习率为0.001，mini-batch大小为8，其他超级参数被设置为默认值。如此建立的模型可以确保排污口识别的准确性。
在建模完成后，基于该识别模型，将水下超声图像作为输入，基于该预先建立的深度卷积神经网络模型，对水下超声图像进行疑似排污口识别，便可输出得到识别结果。
当识别结果指示存在疑似排污口时，开启热成像仪对设定区域进行成像扫描，采集热成像图像；以进一步验证该疑似排污口是否为真实排污口。其中，设定区域包括排污口所在区域，以及以疑似排污口所在区域为中心的周边区域。
基于实际试验数据，周边区域的面积以疑似排污口面积的2～3倍为佳，此时系统扫描和计算效率更高，同时也可以保证识别的准确性。可选的，周边区域以该疑似排污口为中心，围绕在该疑似排污口四周，请参见图2所示。
基于灰度识别算法对热成像图像进行处理，判断疑似排污口是否为真实排污口，具体包括：
计算排污口所在区域的第一灰度均值，以及计算周边区域的第二灰度均值；
计算第一灰度均值与第二灰度均值之间的差值；
将差值与设定阈值进行比较；
当差值大于等于设定阈值时，判断疑似排污口为真实排污口；当差值小于设定阈值时，判断疑似排污口为待确认排污口，供进一步实地考察确定。
该算法的原理是排放污水与水域温度通常是由差异的，且随着污水排放入水域的过程中，温度逐渐与水域融合，最后无温差。也即污水在溶入水域的过程中，温差会越来越小，因此排污口所在位置的污水温度与周边水域温度是存在差异的，而这种差异通过热成像扫描，可直观体现在灰度上的差异。本实施例通过计算排污口所在区域的第一灰度均值以及周边区域的第二灰度均值，根据两者的灰度差值，来判断温差是否足够大，若温差足够大，当大于等于设定阈值时，即可表明此处水温与水域整体温度差异大，结合超声识别结果，综合判断该疑似排污口很有可能就是真实排污口。相反，若温差没有达到设定阈值，这种较小的差异可能是由于环境中某些因素导致的，因此无法明确是否为真实排放口，故针对这种情况，判断疑似排污口为待确认排污口，供进一步实地考察确定。
本实施例中，灰度值的取值范围是0～255。设定阈值根据热成像仪数据采集精度以及具体实验结果灵活设置。本实施例中，设定阈值具体为6％。
基于超声初步识别为疑似排污口，进一步通过热成像算法也确定存在较大的嫌疑，确定其为真实排污口，并针对真实排污口进行告警。具体包括：获取真实排污口所在位置，在电子地图上对所在位置进行标记，并生成告警信息。
根据本发明提供的基于热成像与超声相结合检测排污口的方法，通过利用超声探头对待测水域进行成像扫描，采集水下超声图像；将水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对水下超声图像进行疑似排污口识别，并输出识别结果；当识别结果指示存在疑似排污口时，开启热成像仪对设定区域进行成像扫描，采集热成像图像；设定区域包括排污口所在区域，以及以疑似排污口所在区域为中心的周边区域；基于灰度识别算法对热成像图像进行处理，判断疑似排污口是否为真实排污口；对真实排污口进行告警。本方案通过结合超声与热成像两种方式，基于超声图像实现大面积排污口筛选检测，针对疑似排污口进一步利用热成像扫描，利用污水排放水体温度差异在灰度上的体现特性，对排放口进行精确监测与定位，提高了污水排口的检测效率与准确性；有利于实现对重要流域的环境保护，杜绝非法污水排放。
实施例二：
本实施例提供一种基于热成像与超声相结合检测排污口的装置，用于实现上述实施例一中所述的基于热成像与超声相结合检测排污口的方法的步骤，请参见图3，该装置主要包括控制模块31以及与之电连接的超声成像模块32、红外成像模块33以及传输模块34；其中
控制模块31用于实现对各模块的整体控制协调。
超声成像模块32用于对待测水域进行成像扫描，采集水下超声图像。
红外成像模块33用于对设定区域进行成像扫描，采集热成像图像；设定区域包括排污口所在区域，以及以疑似排污口所在区域为中心的周边区域。
传输模块34用于将水下超声图像、热成像图像传输给后台服务平台；并接收后台服务平台基于水下超声图像反馈的疑似排污口的识别结果；后台服务平台将水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对水下超声图像进行疑似排污口识别输出识别结果；基于灰度识别算法对热成像图像进行处理，判断疑似排污口是否为真实排污口；并对真实排污口进行告警。
具体的，后台服务平台用于计算排污口所在区域的第一灰度均值，以及计算周边区域的第二灰度均值；计算第一灰度均值与第二灰度均值之间的差值；将差值与设定阈值进行比较；当差值大于等于所述设定阈值时，判断疑似排污口为真实排污口。
后台服务平台用于获取真实排污口所在位置，对该所在位置在电子地图上进行标记，并生成告警信息。其中，告警信息包括但不限于文字消息提示、声音报警提示等方式。请参见如图4所示的显示界面。
本装置可部署到无人船上，基于无人船可实现全天候、自动化、全流域的自动监测，提高监测效率，同时可降低部署成本。
具体过程请参见上述实施例一中的描述，在此不再赘述。
实施例三：
本实施例在上述实施例二的基础上，提供一种基于热成像与超声相结合检测排污口的系统，请参见图5，包括如实施例二中所述的基于热成像与超声相结合检测排污口的装置，以及所述后台服务平台。具体过程请参见上述实施例二中的描述，在此不再赘述。
实施例四：
本实施例在上述实施例一的基础上，提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如实施例一中所述的基于热成像与超声相结合检测排污口的方法的步骤。具体过程请参见上述实施例一中的描述，在此不再赘述。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
1.一种基于热成像与超声相结合检测排污口的方法，其特征在于，包括：
利用超声探头对待测水域进行成像扫描，采集水下超声图像；
将所述水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对所述水下超声图像进行疑似排污口识别，并输出识别结果；
当所述识别结果指示存在疑似排污口时，开启热成像仪对设定区域进行成像扫描，采集热成像图像；所述设定区域包括所述排污口所在区域，以及以所述疑似排污口所在区域为中心的周边区域；
基于灰度识别算法对所述热成像图像进行处理，判断所述疑似排污口是否为真实排污口；
对真实排污口进行告警。
2.如权利要求1所述的基于热成像与超声相结合检测排污口的方法，其特征在于，所述灰度识别算法包括：
计算所述排污口所在区域的第一灰度均值，以及计算所述周边区域的第二灰度均值；
计算所述第一灰度均值与所述第二灰度均值之间的差值；
将所述差值与设定阈值进行比较；
当所述差值大于等于所述设定阈值时，判断所述疑似排污口为真实排污口。
3.如权利要求2所述的基于热成像与超声相结合检测排污口的方法，其特征在于，当所述差值小于所述设定阈值时，判断所述疑似排污口为待确认排污口，供进一步实地考察确定。
4.如权利要求1-3任一项所述的基于热成像与超声相结合检测排污口的方法，其特征在于，所述对所述真实排污口进行告警包括：获取所述真实排污口所在位置，对所述所在位置进行标记，并生成告警信息。
5.一种基于热成像与超声相结合检测排污口的装置，其特征在于，包括控制模块以及与之电连接的超声成像模块、红外成像模块以及传输模块；
所述控制模块用于实现对各模块的整体控制协调；
所述超声成像模块用于对待测水域进行成像扫描，采集水下超声图像；
所述红外成像模块用于对设定区域进行成像扫描，采集热成像图像；所述设定区域包括所述排污口所在区域，以及以所述疑似排污口所在区域为中心的周边区域；
所述传输模块用于将所述水下超声图像、所述热成像图像传输给后台服务平台；并接收所述后台服务平台基于所述水下超声图像反馈的疑似排污口的识别结果；所述后台服务平台将所述水下超声图像作为输入，基于预先建立的深度卷积神经网络模型，对所述水下超声图像进行疑似排污口识别输出所述识别结果；基于灰度识别算法对所述热成像图像进行处理，判断所述疑似排污口是否为真实排污口；对真实排污口进行告警。
6.如权利要求5所述的基于热成像与超声相结合检测排污口的装置，其特征在于，所述后台服务平台用于计算所述排污口所在区域的第一灰度均值，以及计算所述周边区域的第二灰度均值；计算所述第一灰度均值与所述第二灰度均值之间的差值；将所述差值与设定阈值进行比较；当所述差值大于等于所述设定阈值时，判断所述疑似排污口为真实排污口。
7.如权利要求6所述的基于热成像与超声相结合检测排污口的装置，其特征在于，所述后台服务平台用于获取所述真实排污口所在位置，对所述所在位置进行标记，并生成告警信息。
8.如权利要求5-7任一项所述的基于热成像与超声相结合检测排污口的装置，其特征在于，所述装置搭载与无人船上。
9.一种基于热成像与超声相结合检测排污口的系统，其特征在于，包括如权利要求5-8任一项所述的基于热成像与超声相结合检测排污口的装置，以及所述后台服务平台。
10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至4中任一项所述的基于热成像与超声相结合检测排污口的方法的步骤。
技术总结