本发明属于带式输送机在线计量，具体涉及一种基于端到端学习的双频条纹散装物料体积获取系统。
背景技术：
1、散装物料的在线称重设备广泛应用于煤炭、冶金、电厂、焦化厂、水泥厂、药厂、烟厂、建材、化肥、碱厂、盐厂等大量散装物料加工、利用企业以及码头、仓库等大量散装物料运输、储存企业。可靠的在线称重技术可有效提高企业生产管理效率、辅助各种配料系统实现自动化控制。
2、在工业现代化、智能化进程中，随着企业产能提升、皮带提速，国内接触式皮带计量装置90％使用的称重传感器获取信号为模拟信号，不利于长距离传送，容易受到电磁等因素干扰，从而影响计量装置的计量精度。近年内虽然国内企业在研究提高电子皮带秤的精度方面取得了一定成果，但由于传感器的修正和补偿技术不完善，积算仪积算算法和秤体结构都大同小异，运行计量精度基本在0.5％-1％范围内，难以满足一些企业在输送散料时对高计量精度的要求。有少数皮带秤厂家推出的高精度皮带秤计量精度虽能勉强达到0.2％，但因价格昂贵(每台30万到40万)，增加了用户企业的运营成本，不被一般散装物料加工、运输企业所接受。另外，接触式计量装置受皮带张力、刚度、自重、跑偏等多种因素影响，使用期间需要精细地维护、频繁地校验，使得后期设备维护工作十分繁重。为了克服接触式计量的诸多问题，行业需求牵引了无接触计量装置的研发，典型的无接触式计量装置如核子秤，利用射线透射物料时的能量减弱规律与物料的质量厚度有关来实现重量计算。由于存在“形状误差”缺陷，决定了核子称计量准确性较差，而且该装置带有微弱的核辐射，对长时间近距离工作人员具有危害性，需要报备国家有关部门，审批手续繁琐等限制了其在大宗散装物料的加工、利用、储存、运输行业的应用。
3、针对物料均匀的测量环境，如大型港口粮食的计量，先采用无接触的方式进行体积测量，再根据物料密度转化为重量，是当下一种较为高效的测量方式。对于不规则堆积形状物料的体积测量，最直接的方法是先对物料进行3d重建，再根据3d面型分布计算体积。基于光学的3d重建技术具有非接触、易实现自动化、智能化控制的优点，在工业在线计量领域存在着广阔的应用前景。基于光学的3d重建技术主要分为被动式和主动式两类，前者虽然结构简单且不需要任何光束对物体照明，但对物体表面纹理依赖性强，限制了其在弱纹理场景中的应用。相比之下，条纹投影轮廓术(fringe projection profilometry，fpp)通过主动控制照明光源的方式，不依赖检测对象表面纹理，具有高速、高精度、高分辨率等优势。在过去的几十年中，基于傅里叶变换的方法和相移算法一直是条纹投影轮廓术的主流算法。傅里叶变换方法从单个正弦条纹图计算物体的表面轮廓信息，但频域滤波限制了该算法的精度。相移算法使用多个正弦条纹图建立方程组求解相位，但多帧条纹投影限制了3d重建速度。从2019年开始，卷积神经网络(cnn)被引入到3d重建领域，并基于变形条纹成功预测了被测物体的3d轮廓，标志着深度学习算法成功应用于3d重建。由于深度学习算法能够在输入少量正弦条纹图的同时保证最终物体重建的准确性，在3d重建领域成为热门研究课题。在3d重建领域，根据网络的输入和输出基于深度学习的算法可以分为两类，一类是深度学习辅助下的正弦条纹分析，另一类是端到端学习。在前一类算法中，网络用来完成fpp的某一中间过程，其功能主要分为条纹获取、包裹相位计算、相位解包裹。第二类端到端的算法直接从条纹学习深度图，通过深度学习网络完成fpp的全过程。
4、在条纹获取类方法中，yu等人，他们提出了一种基于深度学习的正弦条纹图动态3d测量方法，使用cnn从一个或两个正弦图案中获取一组相移的正弦图案。之后他们又在正弦调制增强领域引入了深度学习算法，使用cnn从低调制正弦条纹图学习到高调制正弦条纹图。nguyen等人提出了使用cnn从一个彩色正弦条纹图学习多组不同频率的正弦条纹图。这类网络通过单个正弦条纹图学习多个相移条纹用于相位计算，可以有效省去实际测量系统投影、采集多帧相移条纹的过程，提高了测量速度，且有利于实现动态测量。
5、在包裹相位计算类方法中，网络从正弦图案中提取包裹相位或相位级次。以feng等人为例，他们首次将深度学习应用于相位分析，并提出使用cnn从单个正弦图案中学习包裹相位。zhang等人将残差思想应用于神经网络，进一步提高了cnn学习包裹相位的准确性，实现了动态测量。yao等人使用稠密连接的神经网络从单个低分辨率正弦条纹图中学习包裹相位。zhang等人将bp神经网络的思想应用于正弦条纹图分析领域，实现了从单个彩色正弦条纹中学习包裹相位的功能。qian等人实现了使用神经网络进行立体相位展开的思想，并直接从正弦图案中学习包裹相位和相位级次。yao等人提出了一种新的编码网络，从单个正弦条纹图和两个编码正弦条纹图中学习包裹相位和相位级次，并最终获取绝对相位。qian等人使用神经网络实现从单个彩色正弦图中提取包裹相位和初级绝对相位的功能。sumanth等人提出了trinet，不需要像传统方法那样进行预处理来去除噪声，也不需要进行平滑等后处理。这类算法采用各类深度学习方法代替传统相位计算方法，可实现单幅条纹图到相位或相位级次的获取，降低测量系统硬件复杂度的同时保证了较高的相位获取精度。
6、在相位解包裹中，大多数网络不直接使用正弦条纹图作为输入，而是使用包裹相位作为网络的输入。网络的输出一般为相位级次或初级绝对相位。yin等人提出使用深度神经网络实现时间相位展开，该方法将具有不同频率的两个包裹相位作为输入，以获取相位级次。spoorthi等人提出了phasenet来完成包裹相位到相位级次的学习，最终解决了相位展开问题。bai等人将包裹相位输入到编码器——解码器网络中，引入完全卷积神经网络来将包裹相位映射到相位级次。yu等人提出了一种无监督学习方法来改进传统的立体相位展开方法，他们将包裹相位和背景图像输入到神经网络中，最终提取出相位级次。这类算法可以在网络训练时充分考虑阴影、条纹错级等因素，相比于传统算法，泛化能力更强。
7、前面提到的几类网络用于完成fpp的中间过程，虽然一定程度上降低了测量的复杂度，但最终获取深度信息还需配合传统算法或将多个网络叠加。端到端学习方法直接从单个条纹图中学习深度信息，节省了fpp的中间步骤，且不需要额外的网络。例如，sam等人提出全卷积神经网络实现端到端学习。nguyen等人将结构光技术和深度卷积神经网络结合，提出了一种基于unet的单图像三维形状重建技术。zheng等人构建了fpp系统的数字孪生模型，并利用计算机图形学进行虚拟扫描，从而节省测量硬件成本和劳动力。machineni等人提出了一个范式转变，通过引入基于端到端深度学习的框架来进行频率相位估计，不需要任何频域滤波和相位展开。nguyen等人对unet进行了改进，提出了hnet进行条纹到深度的学习。wang等人利用计算机图形学生成数据，并将生成的数据输入到pix2pix网络中，实现条纹图案到深度信息学习。fan等人提出了使用大量模拟数据驱动神经网络的无监督学习方法，该网络避免了大量数据标注，有效的提高了测量效率。nguyen等人提出基于unet的多任务网络架构，提高了网络应用于测量各环节时的通用性。
8、端到端的学习方法虽然有效加快了深度获取中数据处理的效率，但基于有限的条纹，经过较为简单的网络结构来完成fpp中的相位计算、相位展开、相位深度映射等诸多过程，导致最终学习到的深度图继承了条纹波动、且丢失了物体的细节信息。
技术实现思路
1、本发明针对现有端到端的学习方法精度有限的问题，提出一种基于端到端学习的双频条纹散装物料体积获取系统，采用双频条纹作为输入来提高信息的丰富性，同时设计双支路深度学习网络结构充分挖掘高、低频频条纹的上下文信息，通过特征融合来实现被测物体整体轮廓的保持与局部细节的强化。同时，双频条纹的输入可有效避免网络对单一频率条纹的继承，有效抑制了重建深度图中的波动性误差。
2、为了实现上述目的，本发明通过以下技术方案予以实现：基于端到端学习的双频条纹散装物料体积获取系统，包括图像生成单元、图像投影单元、图像采集单元、时序控制单元、体积测量单元和显示单元，利用图像生成单元生成频率不同的正弦条纹图，通过图像投影单元将生成的图像投影到带式输送机上的散装物料上后，通过时序控制单元控制图像采集单元与图像投影单元同步工作，使得投影单元在投影一帧图像的同时，图像采集单元能够同步采集相应变形的正弦条纹图，采集到的变形图利用体积测量单元进行处理，即可得到带式输送机的散装物料瞬时体积。
3、进一步的，所述图像投影单元条纹生成的过程使用下式表示：
4、
5、其中，x是条纹图像在x方向的像素坐标，a是背景强度，b是调制强度，fn是条纹频率，n的取值有2个，分表代表高频与低频。
6、进一步的，所述体积测量单元包括浅层特征提取层、编码层和解码层、中间连接层和输出层，具体体积计算过程如下：
7、步骤1)采集到的两幅变形正弦条纹图通过由分支特征提取模块和混合特征提取模块组成的浅层特征提取层，提取得到包含不同频率的条纹特征的混合特征；
8、步骤2)编码层对混合特征进一步学习并将学习到的深层特征信息输入至中间连接层；
9、步骤3)中间连接层通过信息馈送模块的学习将编码端的条纹信息馈送至解码层；
10、步骤4)解码层解码将特征图尺寸还原的同时得到物体的深度特征信息；
11、步骤5)输出层降低特征维度并输出物体最终的深度信息；
12、步骤6)散装物料的深度信息对底面积进行积分即可得到散装物料的体积。
13、进一步的，所述浅层特征提取层为双分支结构，高频条纹、低频条纹分别经过三次连续的bfem模块处理后，将两个分支输出的特征图沿通道维度进行串联，并输入mfem模块进行混合特征提取，浅层特征提取的第一部分用下面的公式表示：
14、
15、其中，ii表示输入的条纹图案，表示通道并集操作，表示浅层特征提取第一部分的输出，表示每个bfem的功能；
16、mfem模块可用下面两个公式表示：
17、
18、
19、其中，表示3×3卷积运算，表示激活运算，表示扩张率为d的空洞卷积，是浅层特征提取第二部分得到的特征图，是浅层特征提取第三部分得到的特征图。
20、进一步的，所述编码层采用4个下采样模块dsm，dsm模块包括2个卷积层、第1个卷积层后边加lrelu激活层，第2个卷积层在卷积和lrelu激活层中间加入bn操作，最后采用最大池化把特征图的尺寸降为原来的1/2，整个数据编码过程用下式表示：
21、
22、其中，iencoder是编码层获得的特征图，表示第i个dsm。
23、进一步的，所述解码层采用4个上采样模块usm，usm模块包括1个反卷积层，1个反卷积层后面设置2个卷积层，第1个卷积层后边加lrelu激活层，第2个卷积层在卷积和lrelu激活层中间加入bn操作，这个数据解码过程用下式表示：
24、
25、其中，idecoder表示在解码层中获得的特征图，表示第i个usm，iifm表示从中间连接层的ifm中获得的特征图。
26、进一步的，所述中间连接层包括4个扩张率不同的空洞卷积和一个1×1的卷积层，用下式表示：
27、
28、其中，表示1×1卷积运算，后边设置lrelu激活和bn操作。
29、进一步的，所述体积测量单元选择均方根误差作为损失函数，损失函数表示为：
30、
31、其中，h表示散装物料的实际深度信息，h'代表网络预测的深度信息，h'的计算公式如下：hi表示散装物料的实际深度信息中不同像素对应的深度值，h'i代表预测得到的深度图中不同像素对应的深度值，n代表像素点总数。
32、与现有技术相比，本发明的有益效果为：本发明散装物料体积获取系统的输入由两个具有不同频率的分支组成，可以消除预测的深度图的周期性误差。一个分支用于从低频条纹中学习测量对象的全局轮廓，而另一个分支用于从高频条纹中学习局部细节。为了充分提取上下文信息，设计了分支特征提取模块和混合特征提取模块，在浅层特征提取层中设计了下采样模块和上采样模块。在连接层中，提出了信息传输模块，实现了编码端到解码端的编码条纹信息的有效传输。
33、与现有的端到端网络相比，本发明系统在全局轮廓保持和局部细节增强方面都可以获得更好的结果。消融研究和抗噪性测试证明了网络结构的合理性和网络的泛化能力。
1.基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：包括图像生成单元、图像投影单元、图像采集单元、时序控制单元、体积测量单元和显示单元，利用图像生成单元生成频率不同的正弦条纹图，通过图像投影单元将生成的图像投影到带式输送机上的散装物料上后，通过时序控制单元控制图像采集单元与图像投影单元同步工作，使得投影单元在投影一帧图像的同时，图像采集单元能够同步采集相应变形的正弦条纹图，采集到的变形图利用体积测量单元进行处理，即可得到带式输送机的散装物料瞬时体积。
2.根据权利要求1所述的基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：所述图像投影单元条纹生成的过程使用下式表示：
3.根据权利要求1所述的基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：所述体积测量单元包括浅层特征提取层、编码层和解码层、中间连接层和输出层，具体体积计算过程如下：
4.根据权利要求3所述的基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：所述浅层特征提取层为双分支结构，高频条纹、低频条纹分别经过三次连续的bfem模块处理后，将两个分支输出的特征图沿通道维度进行串联，并输入mfem模块进行混合特征提取，浅层特征提取的第一部分用下面的公式表示：
5.根据权利要求3所述的基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：所述编码层采用4个下采样模块dsm，dsm模块包括2个卷积层、第1个卷积层后边加lrelu激活层，第2个卷积层在卷积和lrelu激活层中间加入bn操作，最后采用最大池化把特征图的尺寸降为原来的1/2，整个数据编码过程用下式表示：
6.根据权利要求3所述的基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：所述解码层采用4个上采样模块usm，usm模块包括1个反卷积层，1个反卷积层后面设置2个卷积层，第1个卷积层后边加lrelu激活层，第2个卷积层在卷积和lrelu激活层中间加入bn操作，这个数据解码过程用下式表示：
7.根据权利要求3所述的基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：所述中间连接层包括4个扩张率不同的空洞卷积和一个1×1的卷积层，用下式表示：
8.根据权利要求3所述的基于端到端学习的双频条纹散装物料体积获取系统，其特征在于：所述体积测量单元选择均方根误差作为损失函数，损失函数表示为：
