本发明涉及图像投影补偿，特别涉及一种基于明暗通道先验的投影融合补偿方法及系统。
背景技术：
1、随着投影技术的不断发展，现有的投影应用通常使用更大的投影屏幕和更多的投影设备来创造更逼真的投影视觉体验。尤其在虚拟现实领域，拥有大尺寸异型屏幕的沉浸式多投影仪系统常常被应用于军事训练、飞行模拟、空管训练以及医疗研究等领域。然而，在现有的投影系统中，投影设备的光线在投影过程中不可避免地会产生一定程度的互反射现象，从而导致投影成像结果的色彩劣化问题。这个问题在多投影设备融合系统中表现更为严重，不仅显著降低了投影系统的投影成像质量和沉浸式体验效果，更严重限制了沉浸式多投影系统在虚拟现实领域中的应用。因此，消除沉浸式多投影系统中的光线互反射现象对于大型虚拟现实系统的实际应用具有重大的意义和价值。
2、现有的投影设备光线互反射补偿方案主要分为以下三类：
3、(1)基于光传输矩阵求逆的方法：这类方法采用光传输矩阵来模拟和分析投影光线的成像过程，并通过求解光传输矩阵的逆问题来消除场景中的光线互反射现象。这类方法最初由seitz等人提出，他们采用激光光束进行逐像素点的照射来模拟光场，并获取光传输矩阵，然后通过计算光传输矩阵的逆发现了一种线性的光线互反射消除算子。不过，由于光传输矩阵通常具有较大的尺寸，实际的求逆运算通常非常困难和耗时。为了解决大尺寸光传输矩阵的求逆问题，第一种方案是缩小矩阵的尺寸，habe等人通过将相邻的投影仪像素合并为单个超级像素来缩小光传输矩阵的尺寸。wetzstein等人使用聚类方法将光传输矩阵划分为许多独立的、可求解的区域，然后通过重组区域解来逼近全局解。第二种方案是简化矩阵的形式，ding等人利用显式约束使得光传输矩阵列正交，并通过列计算能够轻易求得矩阵的逆。ng等人根据光反射次数对光传输矩阵进行分层，并获得分层矩阵。在分层矩阵中，其先利用在显式约束的方法求出第一层近似逆，然后不断分层迭代求解，以此提高结果精度。然而，这类方法通常假设投影仪成像像素和相机捕获像素之间存在一对一的映射关系，这在实际投影过程中往往很难成立。此外，这类方法的求解过程都引入了不同程度的计算误差，很难获得高精度的补偿结果。
4、(2)基于成像过程建模的方法：这类方法通常采用投影环境中的各类要素建立投影成像的过程模型，并根据模型或模型的逆映射推断补偿图像。nayar等人首次提出了基于辐射响应函数建模的方法，通过在rgb通道上建立复合的非线性单调响应函数来表示系统的辐射模型，然后基于逆响应计算对应通道的补偿颜色。grossberg等人改进了nayar的工作，向辐射响应函数中添加了模拟环境照明的矢量。但考虑实际设备中的颜色响应函数通常具有非单调性，sajadi等人通过稀疏采样拟合了平滑的高维bézier patches模型，并以此表示任何设备的颜色传递函数，但该模型的拟合通常需要采集较多的样本数量，实用性较差。因此等人应用了薄板样条(thin plate splin，tps)插值算法，在较少的样本数量上，实现了样本间插值时的平滑过渡。此外，bimber等人首次提出一种基于patch-to-patch的场景建模的方法，其根据光源强度、屏幕几何形状、表面反射率以及光的反射量和散射量搭建投影环境的场景模型，并通过计算patch上的光线互反射信息来迭代补偿原图。aliaga等人提出了一种多投影仪像素建模方法，用于计算投影仪像素的属性，包括像素大小、形状、中心和强度分布以及不同投影仪间的像素重叠，以此实现精确地投影补偿。takeda等人利用紫外线led阵列控制紫外线的照射，并将该技术应用于投影中光线互反射补偿。然而，这类方法通常需要采集大量的样本来估计建模过程中的各种参数，导致其补偿精度不佳和补偿耗时较长。
5、(3)基于深度学习的方法：huang等人首次将卷积神经网络(cnn)应用于投影补偿，并提出了一个端到端的补偿模型compennet，与以往的求逆计算和建模迭代的形式不同，其将补偿问题重新定义为可在线学习的形式，并使用cnn结构隐式地学习复杂的投影补偿函数。同时，为了更好的学习投影屏幕和环境信息带来的视觉影响，其通过投影纯灰色图像来表示屏幕表面先验信息，并在模型中设计了两个子网络来鼓励表面图像与输入图像的多尺度交互。随后，为了实现完全补偿，huang等人通过引入几何补偿网络和优化屏幕表面特征的交互形式改进了compennet，并提出了compennet++和compennset++。尽管这类基于cnn的方法补偿质量高，适用范围广。但其主要用于解决投影屏幕表面的纹理补偿问题，对于单纯的光度补偿而言，表面的特征提取学习过于冗余。此外，cnn固有的归纳偏置使得其着重学习图像的局部特征，难以充分掌握图像的全局互反射信息。对于高分辨图像而言，其补偿效果十分有限。
技术实现思路
1、为了解决现有的多投影设备在投影补偿中所存在的难以获得高精度的补偿结果，其补偿精度不佳和补偿耗时较长，以及对于高分辨图像而言，其补偿效果十分有限等问题，本发明提供了一种基于明暗通道先验的投影融合补偿方法及系统。
2、为了实现上述发明目的，本发明提供了以下技术方案：
3、第一方面，本发明提供了一种基于明暗通道先验的投影补偿方法，所述方法包括：
4、将光线互反射图像输入至补偿网络中；
5、所述补偿网络根据所述光线互反射图像，采用明通道优先函数和暗通道优先函数获取所述光线互反射图像对应的明通道先验知识和暗通道先验知识；
6、所述补偿网络包括第一子网络、反射光密度位置嵌入模块、反射光强度交叉注意力模块、跨维度注意力融合模块和第二子网络；
7、所述第一子网络将所述光线互反射图像划分为指定大小，再分别提取特征并下采样，获取分片后的图像特征；
8、所述反射光密度位置嵌入模块根据所述暗通道先验知识获取反射光密度位置信息，再将所述反射光密度位置信息嵌入所述图像特征中，生成第一输出结果；
9、所述反射光强度交叉注意力模块根据所述明通道先验知识获取反射光强度信息，再将所述反射光强度信息和所述第一输出结果进行特征交互，生成第二输出结果；
10、所述跨维度注意力融合模块对所述第二输出结果进行光线互反射消除和图像信息重建，生成第三输出结果；
11、所述第二子网络根据所述第三输出结果进行特征重建，将分片后的图像特征进行还原，生成清晰图像。
12、根据一种具体的实施方式，上述补偿方法中，所述反射光密度位置嵌入模块通过正弦位置编码将所述反射光密度位置信息转换为反射光密度位置编码，再通过卷积层将所述图像特征动态生成2d位置编码，并混合所述反射光密度位置编码和所述2d位置编码，将混合后的位置编码嵌入所述图像特征中，生成第一输出结果。
13、根据一种具体的实施方式，上述补偿方法中，所述反射光强度交叉注意力模块包括n层交叉注意力模块，所述交叉注意力模块先将输入通过归一化层处理，再使用交叉注意力机制进行特征交互，再通过归一化层处理，输入至前馈网络层并输出，所述交叉注意力模块包括三种维度，三种维度顺序连接，其中，
14、第一种维度的输入为所述第一输出结果和所述反射光强度信息；
15、第二种维度的输入为所述第一种维度的输出和所述反射光强度信息；
16、第三种维度的输入为所述第二种维度的输出和所述反射光强度信息，输出为所述第二输出结果。
17、根据一种具体的实施方式，上述补偿方法中，所述第一种维度为基于窗口空间的交叉注意力机制，所述第二种维度为基于窗口数量的交叉注意力机制，所述第三种维度为基于全局特征的交叉注意力机制。
18、根据一种具体的实施方式，上述补偿方法中，所述跨维度注意力融合模块的架构为u型的多尺度编码器-解码器，所述编码器和解码器的每一层级都包含ni层注意力融合基本块，所述注意力融合基本块的数量从顶部到底部逐层增加，所述注意力融合基本块先将输入通过归一化层处理，再使用自注意力机制进行特征交互，再通过归一化层处理，输入至前馈网络层并输出，所述注意力融合基本块包括三种维度，三种维度顺序连接，其中：
19、第一种维度的输入为该层编码器/解码器的输入；
20、第二种维度的输入为所述第一种维度的输出；
21、第三种维度的输入为所述第二种维度的输出，输出至下一层编码器/解码器。
22、根据一种具体的实施方式，上述补偿方法中，所述第一种维度为基于窗口空间的自注意力机制，所述第二种维度为基于窗口数量的自注意力机制，所述第三种维度为基于全局特征的自注意力机制。
23、根据一种具体的实施方式，上述补偿方法中，所述注意力融合基本块的多头注意力的注意头数量逐层递增，所述编码器逐层减少特征分辨率，并同时扩展特征维度，所述解码器以低分辨率潜在特征为输入，并逐步恢复高分辨率表示，所述编码器的特征通过跳跃连接的方式与所述解码器的特征进行级联，除顶部解码器外，级联后的特征均通过卷积层进行降维。
24、第二方面，本发明提供了一种投影融合补偿方法，所述方法包括：
25、通过正弦融合函数将原始图像划分为若干个具有水平重叠部分的图像并投影；
26、通过捕获单元采集投影的图像，并进行几何校正，生成光线互反射图像；
27、根据所述原始图像和所述光线互反射图像构建数据集，根据投影成像过程构建所述原始图像和所述光线互反射图像的映射关系，生成目标补偿函数；
28、根据所述数据集和联合损失函数训练补偿网络，得到带参数的补偿网络，使得所述补偿网络接近所述目标补偿函数，公式如下：
29、
30、其中，θ为所述补偿网络的参数，tθ为所述补偿网络，为所述光线互反射图像，i为原始图像，i为所述原始图像和所述光线互反射图像，且i∈[1,n]，loss为包含l1损失函数和lssim损失函数的联合损失函数；
31、根据所述带参数的补偿网络采用上述任一项所述的补偿方法获取光线互反射图像的补偿图像；
32、通过正弦融合函数将所述补偿图像划分为若干个具有水平重叠部分的图像并投影，获取最终投影结果。
33、根据一种具体的实施方式，上述方法中，所述正弦融合函数通过在投影的前置划分过程中，采用自定义的正弦衰减函数的形式减少图像叠加区域的像素值。
34、第三方面，本发明提供了一种投影系统，所述系统包括投影单元、屏幕单元、捕获单元和处理器；
35、所述投影单元用于将输入的图像投影至所述屏幕单元；
36、所述捕获单元用于采集所述屏幕单元上投影的图像；
37、所述处理器用于接收原始图像和投影的图像，并执行上述任一项所述的一种投影融合补偿方法，向所述投影单元输出补偿图像；
38、所述投影单元、捕获单元和处理器通信连接。
39、与现有技术相比，本发明的有益效果：
40、1.本发明提供的一种基于明暗通道先验的投影补偿方法，通过计算光线互反射图像的明通道先验和暗通道先验获得反射光的强度与密度相关的先验知识，并设计相应的嵌入模块和交叉注意力模块对反射光强度与密度信息进行嵌入学习，实现光线互反射水平变化的自适应学习，能够针对不同区域的图像内容实现精确的颜色和亮度补偿，获取具有高精度的补偿图像，同时通过加入的注意力融合模块，对全局的光线互反射信息进行学习，有效提高了补偿结果的颜色与亮度恢复效果，避免了图像内容细节的丢失。
41、2.本发明提供的一种投影融合补偿方法，通过分析投影仪的成像过程模型推理出所需的目标补偿函数，并根据推理过程构建具有映射关系的图像数据集，通过图像间的映射关系指导神经网络进行训练，神经网络通过学习的方式逼近目标补偿函数，提高了补偿精度，减小了补偿耗时，同时，通过提出正弦融合函数，实现了更好、更自然的融合效果，为后续的补偿过程奠定融合基础。
1.一种基于明暗通道先验的投影补偿方法，其特征在于，所述补偿方法包括：
2.根据权利要求1所述的一种基于明暗通道先验的投影补偿方法，其特征在于，所述反射光密度位置嵌入模块通过正弦位置编码将所述反射光密度位置信息转换为反射光密度位置编码，再通过卷积层将所述图像特征动态生成2d位置编码，并混合所述反射光密度位置编码和所述2d位置编码，将混合后的位置编码嵌入所述图像特征中，生成第一输出结果。
3.根据权利要求1所述的一种基于明暗通道先验的投影补偿方法，其特征在于，所述反射光强度交叉注意力模块包括n层交叉注意力模块，所述交叉注意力模块先将输入通过归一化层处理，再使用交叉注意力机制进行特征交互，再通过归一化层处理，输入至前馈网络层并输出，所述交叉注意力模块包括三种维度，三种维度顺序连接，其中，
4.根据权利要求3所述的一种基于明暗通道先验的投影补偿方法，其特征在于，所述第一种维度为基于窗口空间的交叉注意力机制，所述第二种维度为基于窗口数量的交叉注意力机制，所述第三种维度为基于全局特征的交叉注意力机制。
5.根据权利要求1所述的一种基于明暗通道先验的投影补偿方法，其特征在于，所述跨维度注意力融合模块的架构为u型的多尺度编码器-解码器，所述编码器和解码器的每一层级都包含ni层注意力融合基本块，所述注意力融合基本块的数量从顶部到底部逐层增加，所述注意力融合基本块先将输入通过归一化层处理，再使用自注意力机制进行特征交互，再通过归一化层处理，输入至前馈网络层并输出，所述注意力融合基本块包括三种维度，三种维度顺序连接，其中：
6.根据权利要求5所述的一种基于明暗通道先验的投影补偿方法，其特征在于，所述第一种维度为基于窗口空间的自注意力机制，所述第二种维度为基于窗口数量的自注意力机制，所述第三种维度为基于全局特征的自注意力机制。
7.根据权利要求5所述的一种基于明暗通道先验的投影补偿方法，其特征在于，所述注意力融合基本块的多头注意力的注意头数量逐层递增，所述编码器逐层减少特征分辨率，并同时扩展特征维度，所述解码器以低分辨率潜在特征为输入，并逐步恢复高分辨率表示，所述编码器的特征通过跳跃连接的方式与所述解码器的特征进行级联，除顶部解码器外，级联后的特征均通过卷积层进行降维。
8.一种投影融合补偿方法，其特征在于，所述方法包括：
9.根据权利要求8所述的一种投影融合补偿方法，其特征在于，所述正弦融合函数为：通过在投影的前置划分过程中，采用自定义的正弦衰减函数的形式减少图像叠加区域的像素值。
10.一种投影系统，其特征在于，所述系统包括投影单元、屏幕单元、捕获单元和处理器；
