本发明属于无人机航拍影像处理
技术领域：
，具体涉及一种基于无人机航拍数据的水环境污染情况检测评估装置。
背景技术：
：随着我国工业化和城镇化的高速发展，工业、生活废水对生态环境造成了巨大的影响，水资源与水安全问题日益严重。遥感技术应用于宏观生态环境的监测，具有视野广阔、获取的信息量多、效率高、适应性强、可用于动态监测等众多优点，对于大型水域可以使用卫星遥感数据来进行分析处理，但对于小微水域由于卫星遥感影像分辨率的限制，无法直接使用卫星遥感数据进行有效的监测。现行的依靠人工巡检拍照取证方式，既耗费人力物力又会由于人的主观判断对最终的结果评估产生一定的影响。为更好地实施水污染防治，保障水生态环境，水利智能监控系统的需求应运而生。由于基于卫星遥感数据的检测手段不适用于小微水域而传统的基于信息化系统的水环境信息收集与数据分析方式又存在人工成本高、准确率和效率低下的问题，市场急需一种智能高效的装置对无人平台采集的数据进行分析处理。技术实现要素：针对卫星遥感数据分辨率较低而无法适用于小微水域场景以及采用无人机进行巡检数据量大，人工筛选难度大效率较低等问题，本发明提供一种基于无人机航拍数据的水环境污染情况检测评估装置。本发明采用如下技术方案来实现：基于无人机航拍数据的水环境污染情况检测评估装置，包括：数据清洗模块，用于对输入的大批量无人机航拍图像数据进行数据去冗余，输出去冗余后的图像文件列表；语义分割模块，对实际航拍视频帧数据或去冗余后图像数据中的河道，漂浮物，异常排口，岸坡耕地，岸坡建筑，岸坡进行像素级的分割，输出分割结果以及类别对应置信度；离线图像分析模块，对语义分割模块输出的分割结果进行不同目标差异化处理在实际航拍图像上进行标注，输出带有标签的图像以及问题统计文档。本发明进一步的改进在于，在数据清洗模块中，清洗策略上，首先通过无人机航拍图像自身包含信息以及相机的ccd信息计算实际像素精度结合无人机的gps信息来进行清洗阈值判断，此外加入首尾帧以及姿态调整判断策略，输出清洗后的去冗余图像文件列表。本发明进一步的改进在于，语义分割模块中，首先在数据集构建上，采用无人机采集的包含多个场景的正射4k图像进行像素级的语义标注；在训练手段上，骨干网络在ade20k数据集上进行预训练，在自建的基于无人机航拍的河流流域语义分割数据上进行迁移训练；在使用方法上，无需对输入的图像进行上采样或下采样，对航拍实际场景下的河湖流域中关注目标进行像素级的分割，输出分割结果以及置信度。本发明进一步的改进在于，离线图像分析模块中，对于语义分割模块输出的分割结果结合图像自身包含信息以及相机的ccd信息计算实际像素精度计算部分类别的实际面积并在实际航拍图像中进行矢量形式的标注，同时显示其面积以及类别置信度，对其余目标进行矩形框形式的标注并显示其置信度，输出带有标签的图像以及图像问题信息统计文档。本发明进一步的改进在于，还包括在线视频处理模块，对输入的无人机航拍视频数据采用多线程的处理方式进行分析，实现近实时的处理与播放。本发明进一步的改进在于，在线视频处理模块中，以多线程的方式对输入的无人机航拍视频数据进行处理，首先在检测线程，对视频的第t帧和第t n帧进送入语义分割模块行像素级的语义分割并通过对不同类别分割结果的连通域计算在实际航拍视频帧中进行标注，之后在预测线程对第t帧到t n帧之间的视频帧进行预测，最后在显示线程中进行结果显示，输出带有标签的视频播放窗口。本发明至少具有以下有益的技术效果：本发明提供的一种基于无人机航拍数据的水环境污染情况检测评估装置，有效地实现了在无人机拍摄场景下，对输入的无人机航拍图像数据进行像素级的结果分割；对输入的无人机航拍视频数据能进行近实时的处理与展示，在保证装置精度与鲁棒性的前提下，满足使用者对不同数据源处理的需求，提升水环境检测与评估的实时性与便捷性。进一步，本发明中的数据清洗模块，结合无人机航拍图像自身信息以及无人机gps信息进行飞行距离判断，从而达到更精准的数据清洗效果，同时加入了姿态调整判断策略以及首尾帧自动保存策略，在达到减少整体时间开销的情况下进一步保证了数据的完整性。进一步，本发明中的语义分割模块，骨干网络在ade20k数据上进行预训练，在自建的基于无人机航拍的河流流域语义分割数据上进行迁移训练，根据实际数据中的各类别占比调整其所占权重，满足了无人机航拍场景的使用需求，使用编解码器结构实现更高的分割精度，同时实现对输入数据自适应处理无需上采样或下采样。进一步，本发明中的在线视频处理模块，使用多线程的工作模式，在保证高精度以及鲁棒性的前提下近实时地对输入的无人机航拍视频数据进行分析与显示，确保了航拍视频数据处理分析的直观性。进一步，本发明中的离线图像分析模块，对语义分割模块的分割结果结合计算得到的图像像素精度在保证精度的前提下对不同目标进行差异化处理，生成带标签的图及其统计信息，确保了无人机航拍图像数据处理结果的直观性与可用性。从整体上说，本发明基于无人机航拍数据的水环境污染情况检测评估装置对于不同的数据源(图像、视频)都有较为精确的分析策略，其结果直观易用，在水环境检测评估方面有良好的应用价值。附图说明图1为本发明基于无人机航拍数据的水环境污染情况检测评估装置的结构图。图2为本发明基于无人机航拍数据的水环境污染情况检测评估装置中在线视频处理模块多线程示意图。具体实施方式下面结合附图对本发明进行详细阐述：如图1所示，本发明提供的基于无人机航拍数据的水环境污染情况检测评估装置，包括以下几个功能或模块：数据清洗模块、语义分割模块、在线视频处理模块、离线图像结果分析模块。在所述的数据清洗模块中，获取用户上传的有无人机机载相机拍摄的河道数据，首先根据文件的拍摄时间按照河道进行顺序排序，根据所搭载相机的ccd、焦距信息以及无人机在拍摄当前照片时的飞行高度，结合图像的尺寸按照比例计算图像中每一像素对应的真实距离，以此计算沿无人机飞行方向每张图像所对应的真实尺寸。在无人机正常飞行时所保存的图像数据清洗模块会读取它的gps信息，计算第t张与t 1、t 2一直到t n张之间的位移，当t n位移距离大于清洗模块中所设置的阈值时，只保存第t张与第t n，同时初始计算指针由第t张转移到第t n张图像开始下一轮判断，直至所有实际航拍图像处理完成。与此同时数据清洗模块中加入了姿态调整判断机制(高度调整、方向调整等)，此外还加入了首尾帧自动保存机制。数据清洗模块流程结束后将清洗后的图像列表传入语义分割模块，同时在本地指定路径保存一份列表备份。在所述的语义分割模块中，首先，创建了一个基于无人机航拍的河流流域语义分割数据集，该数据集中的数据完全自行收集，共1318张无人机航拍4k图片，目标包括：正常河道、大面积漂浮物、异常排口、岸坡耕地、岸坡建筑、岸坡垃圾等共六类，包含场景有开阔平原、乡镇密集住宅区、城市密集商业区、城市密集住宅区、工业区等。接下来使用以xception为骨干网络的编解码器结构作为本模块的核心结构，其中xception网络在ade20k数据集上进行预训练。针对本发明的具体使用场景，加载网络的预训练权重并初始化逻辑层，对数据集中的4k图像在保持原比例以及像素精度不变的情况下进行有重叠的裁剪从而达到数据扩增的目的，将本模块中的编解码器网络在自建的数据集上进行训练，首先计算自建数据集中各类别所占比重式中表示每一类在图中所处的位置，表示每一个像素点的位置，pi表示各类别占训练集整体的百分比，具体计算结果如表1所示，可以看到受真实场景的限制，不同类别所占的比重并不是均衡的，尤其在异常排口和岸坡垃圾这两类目标上表现最为突出。序号(i)类别占比(％)0背景701河道11.32漂浮物7.73异常排口0.254岸坡耕地5.35岸坡建筑3.16岸坡垃圾0.28表1各类别在自建数据集中所占比重针对样本不平衡问题，按照数据集中每类目标的真实比例调整在训练过程中所占权重。式中p0表示背景所占的比例，pi表示除背景外每一类所占的比例，wi表示除背景外每一类在学习中所占的权重，从而在一定程度上解决样本不平衡现象。在每个特征提取模块使用深度可分离卷积在保持原有功能情况下显著降低整体的计算量，同时引入空洞卷积结构解决在下采样过程中降低了数据分辨率丢失信息的问题，在特征提取结束后接入解码器结构从而实现更好的上采样效果。该网络可以处理不同尺寸的数据，无需对输入的实际航拍视频帧数据或去冗余后图像数据进行下采样或是上采样。具体测试结果如表2所示。序号(i)类别rc(％)pr(％)0背景95.898.11河道91.094.12漂浮物89.386.33异常排口91.331.44岸坡耕地95.280.65岸坡建筑91.283.76岸坡垃圾92.783.1表2模型测试结果如图2所示，在所述的在线视频处理模块中采用了多线程处理，模块首先初始化检测、预测、显示三个线程，对于检测线程获取用户通过机载相机拍摄的河湖流域1080p视频并对其进行抽帧处理，进一步将读取到的第t帧和第t n帧送入语义分割模块得到其对应的的分割结果，将结果保存至检测结果队列。对于预测线程，当视频帧处于第t帧和第t n帧之间时开始工作，依照无人机的飞行速度以及第t帧和第t n帧的分割结果得到预测图层，通过不同目标包含正常河道、大面积漂浮物、异常排口、岸坡耕地、岸坡建筑、岸坡垃圾等连通域的检测得到目标区域位置，在实际航拍视频帧目标区域做出对应的标识以及文字标签，进一步将预测结果保存至预测队列。对于显示线程读取预测队列中的预测结果在屏幕上输出显示，从而达到对无人机航拍视频的实时处理与显示。在所述的离线图像分析模块中，首先语义分割模块得到数据清洗模块处理后的去冗余无人机航拍图像数据列表，依次将实际航拍图像送入分割网络进行处理，进一步将分割结果传入离线图像分析模块，对于分割结果我们进行不同目标包含正常河道、大面积漂浮物、异常排口、岸坡耕地、岸坡建筑、岸坡垃圾等的连通域计算。进一步读取每张无人机航拍图像自身携带的飞行高度、相机焦距以及用户输入的相机ccd信息结合图像自身的尺寸计算图像的像素精度即图像中的每一像素对应的真实物理分辨率。对于岸坡耕地、岸坡垃圾等类别结合像素精度计算实际面积以及连通域边缘坐标并在无人机航拍图像中进行矢量化标注并标注其面积以及置信度；对与岸坡垃圾计算其连通域边缘坐标在无人机航拍图像中进行矢量化标注并标注其置信度；对于漂浮物、异常排口等类别计算其连通域四个顶点坐标在无人机航拍图像中进行矩形框标注并标注其置信度，最终将标注结果以及问题信息的统计文档存入指定路径。当前第1页1 2 3
技术特征：1.基于无人机航拍数据的水环境污染情况检测评估装置，其特征在于，包括：
数据清洗模块，用于对输入的大批量无人机航拍图像数据进行数据去冗余，输出去冗余后的图像文件列表；
语义分割模块，对实际航拍视频帧数据或去冗余后图像数据中的河道，漂浮物，异常排口，岸坡耕地，岸坡建筑，岸坡进行像素级的分割，输出分割结果以及类别对应置信度；
离线图像分析模块，对语义分割模块输出的分割结果进行不同目标差异化处理在实际航拍图像上进行标注，输出带有标签的图像以及问题统计文档。
2.根据权利要求1所述的基于无人机航拍数据的水环境污染情况检测评估装置，其特征在于，在数据清洗模块中，清洗策略上，首先通过无人机航拍图像自身包含信息以及相机的ccd信息计算实际像素精度结合无人机的gps信息来进行清洗阈值判断，此外加入首尾帧以及姿态调整判断策略，输出清洗后的去冗余图像文件列表。
3.根据权利要求1所述的基于无人机航拍数据的水环境污染情况检测评估装置，其特征在于，语义分割模块中，首先在数据集构建上，采用无人机采集的包含多个场景的正射4k图像进行像素级的语义标注；在训练手段上，骨干网络在ade20k数据集上进行预训练，在自建的基于无人机航拍的河流流域语义分割数据上进行迁移训练；在使用方法上，无需对输入的图像进行上采样或下采样，对航拍实际场景下的河湖流域中关注目标进行像素级的分割，输出分割结果以及置信度。
4.根据权利要求1所述的基于无人机航拍数据的水环境污染情况检测评估装置，其特征在于，离线图像分析模块中，对于语义分割模块输出的分割结果结合图像自身包含信息以及相机的ccd信息计算实际像素精度计算部分类别的实际面积并在实际航拍图像中进行矢量形式的标注，同时显示其面积以及类别置信度，对其余目标进行矩形框形式的标注并显示其置信度，输出带有标签的图像以及图像问题信息统计文档。
5.根据权利要求1所述的基于无人机航拍数据的水环境污染情况检测评估装置，其特征在于，还包括在线视频处理模块，对输入的无人机航拍视频数据采用多线程的处理方式进行分析，实现近实时的处理与播放。
6.根据权利要求5所述的基于无人机航拍数据的水环境污染情况检测评估装置，其特征在于，在线视频处理模块中，以多线程的方式对输入的无人机航拍视频数据进行处理，首先在检测线程，对视频的第t帧和第t n帧进送入语义分割模块行像素级的语义分割并通过对不同类别分割结果的连通域计算在实际航拍视频帧中进行标注，之后在预测线程对第t帧到t n帧之间的视频帧进行预测，最后在显示线程中进行结果显示，输出带有标签的视频播放窗口。
技术总结本发明公开了一种基于无人机航拍数据的水环境污染情况检测评估装置，包括：数据清洗模块、语义分割模块、离线图像分析模块。所述的数据清洗模块，用于对用户输入的大批量无人机航拍图像数据进行高效的去冗余操作，减少整体时间开销，输出去冗余后的文件列表；所述的语义分割模块，对输入的实际航拍视频帧数据或去冗余后图像数据中的河道，漂浮物，异常排口，岸坡耕地，岸坡建筑，岸坡进行像素级的分割，输出目标分割结果和置信度；所述的离线图像分析模块，对语义分割模块输出的分割结果按目标类别在无人机航拍图像中进行差异化处理与标注，输出带有标签的图像以及对应的问题统计文档。本发明能够满足使用者对不同数据源处理的需求。
技术研发人员：李凡;许启贤;贺丽君;庞宇航
受保护的技术使用者：西安交通大学
技术研发日：2020.12.10
技术公布日：2021.03.12
