本发明涉及灰度图反量化方法领域，具体涉及一种基于深度学习的灰度图反量化方法。
背景技术：
1、伴随着现在物联网和虚拟现实技术商业化的大力发展，往往需要在计算机中进行客观世界的三维表达。而三维重建又是交叉领域学科，涉及到高等数学，计算机视觉，计算机图形学等等。具体实际操作就是用相机等传感器拍摄现实生活中的物体，场景并且用计算机视觉技术进行处理，从而得到物体的完整三维模型。现在随着各种高级扫描设备的发展，现在人们可以在短时间内从三维物体表面获得高精度数据。现在主流技术有3d点云，多视图立体几何，网格重建和优化，纹理贴图，马尔可夫随机场，图像反量化等等。三维重建目前是增强现实(ar)，混合现实(mr)，机器人导航，自动驾驶等领域的核心技术之一。
2、图像的超分辨率重建技术即是使用低质量，低分辨率图像生成高质量，高分辨率的图像，对缺失细节进行自动补全。现有的图像修复模型中，不论是基于cnn模型还是transformer模型，往往都需要进行大量冗余的训练，对计算资源消耗过大，并且网络层相对较浅所以训练得到的模型所包含的特征权值往往不够全面，而且往往都是三通道的rgb图像，把颜色空间等等因素都考虑在内，可能会干扰对图形中的一些三维信息的特征捕捉。
技术实现思路
1、本发明针对表示高度图的灰度图像进行反量化处理，即由离散的整型值还原为连续的浮点型值。灰度图像以有损压缩的格式(如jpg)表示。因此本发明的目标是针对量化和有损压缩之后的灰度图使用深度神经网络将结构和细节修复出来。为了实现该目标，需要构建相应的数据集，深度神经网络模型以及基于几何量的损失函数。
2、在传统的深度学习训练模型中，如cnn的缺点是基于cnn的方法卷积核大小一成不变，对于建立像素之间的关系不够灵活，为了扩大感受域，不断增大网络拓扑的深度和复杂度去恢复细节，直接导致计算量增加。又如传统的transformer中，super resolution(sr)的输入图片尺寸较大，而visual transformer(vit)计算量和图片大小成平方倍数，不方便使用vit模型。在swinir代表的方法中，用1x1的卷积提取的特征感受域很小，进而会影响后面self attention(sa)的计算，且小窗口内计算sa会限制远距离建模的能力。swinir有很多冗余和零散的组件，比如相对位置编码，掩码机制，layernorm以及一些子分支。
3、transformer不仅逐渐主宰了cv领域，在图像修复领域也有广泛的应用。但是transformer中的自注意力计算量代价过于昂贵，同时其中的某些操作对于超分分辨率图像而言可能是冗余的，这就限制了sa的计算范围，从而影响到了超分辨率图像恢复的一些性能。比如传统方法提出的通道空间上计算sa，但是在通道空间上计算sa往往会牺牲一些有用的空间信息，例如纹理和结构信息，这些信息对下游的一些特定任务可能会非常重要。
4、为了解决上述技术问题，本发明的技术方案为提供一种基于深度学习的灰度图反量化方法，包括以下步骤：
5、步骤一：获取能反映待修复物体的高度的高度灰度图像；
6、步骤二：数据预处理；将所述高度灰度图像图片中，去除待修复物体之外的背景，保留所述待修复物体的灰度图像，得到灰度图像；
7、步骤三：构建基于基于分组多尺度自注意力和加速自注意力计算的图像修复网络模型，用3×3的卷积操作提取所述灰度图像中的浅层特征；
8、步骤四：用一组级联的分组自注意力计算模块提取所述灰度图像中的深层特征；
9、步骤五：利用所述浅层特征和所述深层特征，经过重构得到对应待修复物体的高度图。
10、优选的，所述步骤三包括以下步骤：
11、向所述图像修复网络模型输入步骤二得到的所述灰度图像，所述灰度图像为lr图像xl∈r3×h×w，其中，h和w分别是所述lr图像的高和宽；
12、使用单层的所述3×3的卷积操作提取浅层特征xs∈rc×h×w：
13、xs＝hsf(xl)
14、其中c是中间特征的通道数，hsf(·)代表浅层特征提取。
15、优选的，所述步骤四中，所述分组自注意力计算模块为高效长距离注意力模块，所述步骤四包括以下步骤：
16、将步骤三得到的浅层特征xs输入到深层特征提取模块hdf(·)，所述深层特征提取模块hdf(·)包括若干个级联的高效长距离注意力模块；
17、xd＝hdf(xs)
18、其中xd∈rc×h×w为输出结果。
19、优选的，所述步骤四包括以下步骤：
20、步骤41：局部特征提取：输入经过步骤3提取得到的浅层特征xs，先进入一个平移卷积层然后到一个relu层激活，最后再经过一个平移卷积层；
21、所述平移卷积层由一组平移操作和一个1×1卷积组成；首先将所述所述平移卷积层的输入特征平均分成五组，沿着上、下、左、右的空间维度移动其中的四组特征，另一组保持不变，得到提取后的特征图谱；
22、步骤42：分组多尺度自注意力计算：
23、先对所述提取后的特征图沿着对角线方向进行循环移位操作，得到循环移位后的特征图xn×c×h×w；
24、将所述循环移位后的特征图xn×c×h×w作为输入，进行sa值的计算：
25、将所述特征图xn×c×h×w进行两次1×1卷积的批量标准化，将其中一个的结果进行两次重新成形为和再相乘得到(1)另一个的结果进行一次重新成形得到(2)然后将(1)和(2)进行相乘得到结果最后把再次重新成形得到最终的sa值的输出结果yn×c×h×w；即最后得到模型所输出的图像间依赖关系；
26、所述sa值的计算是级联的过程，将上一个sa计算过程中其中一个进行两次卷积操作和一次重成形操作计算得到的结果直接和本次sa计算结果进行一次卷积和重成形的结果进行相乘，得到新的sa值，使得前一个模块计算得到的注意力图可以直接被后续模块复用，直接得到计算结果sa；
27、将所述的循环移位的计算得到的特征图xn×c×h×w沿着对角线基于所述图像间依赖关系，进行反向的移位操作得到原始特征图顺序的最终结果。
28、优选的，所述步骤五包括以下步骤：
29、将xd和xs作为输入，经过重构得到对应待修复物体的高度图：
30、xh＝hrc(xs+xd)
31、其中hrc是重构模块，所述重构模块包括以下两个操作，先进行一个3×3卷积操作，再进行一个像素混洗操作；
32、损失函数的计算，为了简单起见，使用大量的n通道真实hr(高分辨率)图像；再通过最小化像素级别的l1损失和模型表面高度值的法向量误差l2来优化网络参数；
33、
34、
35、其中，l1损失函数中xh，i为重构模块输出的高清灰度图像的第i个通道特征，xt，i为原始真实标签图像的第i个通道特征；l2损失函数中n(ho(u，v))为原始法线向量，n(φ(u，v))为模型预测的结果；
36、使用adam优化器进行优化，这样可以提高其在低层次视觉任务中的性能。
37、本发明具有以下的特点和有益效果：
38、本发明采用的三维重建网络在实际使用中可以在大多数具有清晰和锐利边缘的高度图像上修复其主要结构。证明了在图像修复重建任务中，对原始高质量图像的修复模型可以进一步推广到图像的三维细节恢复上。比起传统的建模方式，本发明采用了基于深度学习的高度图像修复的三维重建方案，成本较低，可适用性强，而且可以针对不同的图像类型进行分类重建，这样大大提高了恢复细节的准确度。并且我们优化了图像修复网络的复杂结构，减少了很多冗余计算。采用上述技术方案，可以仅输入目标的灰度图，每个像素上灰度值的深浅就代表该点的高度信息，颜色越浅表示高度值越大，然后用简化改造的swinir模型去除图像中的噪音干扰并保留高频的图像细节进行特征的捕捉，然后补全修复成连续型的三维图形。
39、本发明提供了一种利用深度学习的简化的超分辨率修复模型和三维重建相结合的方法。将图像中物体缺失的维度信息，通过特征通道，用深度学习的方法进行高效修复。比如给定物体的一幅或多幅图片然后利用深度学习超分模型提取出场景和物体的高度信息从而根据获取的信息，重构恢复出物体的虚拟三维结构，并进行细节补全，呈现出物体的完整形状和细节。
1.一种基于深度学习的灰度图反量化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于深度学习的灰度图反量化方法，其特征在于，所述步骤三包括以下步骤：
3.如权利要求2所述的一种基于深度学习的灰度图反量化方法，其特征在于，所述步骤四中，所述分组自注意力计算模块为高效长距离注意力模块，所述步骤四包括以下步骤：
4.如权利要求2所述的一种基于深度学习的灰度图反量化方法，其特征在于，所述步骤四包括以下步骤：
5.如权利要求3、4中任意一项所述的一种基于深度学习的灰度图反量化方法，其特征在于，所述步骤五包括以下步骤：
