一种基于动态频率混叠降采样算子的图像复原方法

    专利2026-02-10  16


    本发明涉及图像处理,具体涉及一种基于动态频率混叠降采样算子的图像复原方法。


    背景技术:

    1、在计算机视觉中,降采样一直是一种用于减轻计算负担并增强各种任务中处理效率的流行技术。例如,u-net作为一种流行的编码器-解码器架构,首先利用降采样操作来降低编码器中的特征分辨率,然后通过解码器中的上采样操作来恢复原始分辨率。此外,特征金字塔和图像金字塔,也依赖于降采样操作,在高级视觉任务中通常用于获取多尺度特征并提高对象尺寸的稳健性。然而,这些方法主要关注空间属性,而在傅立叶域中,频率混叠效应,即高频和低频叠加发生,对降采样也至关重要。静态混叠现象通常会导致图像领域中的视觉伪影和失真。此外,它可能导致网络在特征域中缺乏平移不变性损失。虽然现有技术中已经提出了很多技术方案来解决这个问题,但之前的方法通常在特征降采样之前使用高斯核和“理想”低通滤波器来减轻混叠。这些方法关注的是频率的静态叠加方式。

    2、本发明的图像复原方法中,提出了一种新颖的特征降采样框架,其中频率交互根据频率上下文是动态的。此外,在适当的参数下,本发明中的特征降采样框架在理论上可以囊括前述的静态抗混叠方法。


    技术实现思路

    1、为解决上述技术问题,本发明提供一种基于动态频率混叠降采样算子的图像复原方法。

    2、为解决上述技术问题,本发明采用如下技术方案:

    3、一种基于动态频率混叠降采样算子的图像复原方法,将待复原图像输入至图像复原模型中,得到复原结果;所述图像复原模型采用基于动态频率混叠降采样算子,进行降采样操作;

    4、所述基于动态频率混叠降采样算子依次包括2d离散傅立叶变换操作、上下文位置变换操作、傅立叶加权自适应叠加操作以及2d逆傅立叶变换操作;

    5、其中,2d离散傅立叶变换操作用于对输入信号进行傅里叶变换,得到频谱;

    6、上下文位置变换操作将所述频谱分块,根据位置变换和叠加准则对块进行分组,其中每个组是用于叠加的像素匹配频率区间;每个组内的频率根据:水平方向的低频、水平方向的高频、垂直方向的高频和对角线方向的高频进行重新排序以实现组间对齐;然后,按通道对齐的顺序对齐的组进行排序,以在通道维度上进行像素匹配;

    7、傅立叶加权自适应叠加操作通过学习的权重对通道进行自适应加权叠加;

    8、2d逆傅立叶变换操作对傅立叶加权自适应叠加操作的结果进行2d逆傅立叶变换,得到输入信号的降采样结果。

    9、本发明中的图像复原模型可以采用低光增强模型drbn、sid,去模糊模型deepdeblur、mprnet,去雾模型msbdn、gridnet,或者其他需要需要降采样操作的图像复原模型。

    10、与现有技术相比,本发明的有益技术效果是:

    11、本发明从频域角度审视深度降采样操作,由于空间域和频率域之间存在显著差异,本发明图像复原方法中的降采样操作,解决了以下两点问题:

    12、(i)空间域和频率域之间明显的非线性差异使得通过卷积层直接在频域学习降采样比较艰难。仅仅依赖一些非线性激活函数几乎无法逼近空间域和频率域之间的功能关系。为了减轻这一具有挑战性的非线性函数,本发明引入了频率混叠的相关原理,从而提供了通过卷积神经网络(cnn)实现可学习权重的可行方法。

    13、(ii)卷积操作通常不适用于频谱域。传统的卷积操作主要设计用于在空间域中操作,捕捉局部特征和感受野。然而,频谱不表现出类似的偏差。大多数先前的工作使用1x1卷积,跨越整个频谱共享权重,基本上学习逐通道的权重。这种设计限制了深度学习中傅立叶理论的发展。因此,如何使用卷积操作提取“伪本地”频谱特征仍然是一个挑战。而本发明的工作揭示了降采样频谱中的“伪本地”关系,促进了未来在深度学习中的应用和傅立叶理论的发展。

    14、本发明创新性地指出以前的降采样方法主要受到静态频率混叠问题的限制。因此具有丰富的理论动机,并从一个开创性的角度提出了一个具有挑战性的解决方案。



    技术特征:

    1.一种基于动态频率混叠降采样算子的图像复原方法,将待复原图像输入至图像复原模型中,得到复原结果;所述图像复原模型采用基于动态频率混叠降采样算子,进行降采样操作;


    技术总结
    本发明涉及图像处理技术领域,公开了一种基于动态频率混叠降采样算子的图像复原方法,将待复原图像输入至图像复原模型中,得到复原结果;所述图像复原模型中采用基于动态频率混叠降采样算子,进行降采样操作;所述基于动态频率混叠降采样算子依次包括2D离散傅立叶变换操作、上下文位置变换操作、傅立叶加权自适应叠加操作以及2D逆傅立叶变换操作;本发明指出以前的降采样方法主要受到静态频率混叠问题的限制,引入了频率混叠的相关原理,从而提供了通过CNN实现可学习权重的可行方法。

    技术研发人员:赵峰,朱齐
    受保护的技术使用者:中国科学技术大学
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-94952.html

    最新回复(0)