视频图像融合控制方法及装置与流程

    专利2026-01-02  2


    本发明涉及计算机图形学,尤其为视频图像融合控制方法及装置。


    背景技术:

    1、硬件加速是指在计算机中通过把计算量非常大的工作分配给专门的硬件来处理以减轻中央处理器的工作量之技术。某些浏览器如google chrome也提供了硬件加速选项,用户可以根据需求开启或关闭此功能。垂直同步则是加在两帧之间的一种技术。它的主要作用是指示前一帧的结束和新一帧的开始。垂直同步脉冲是一个持续时间比较长的脉冲,可能持续一行或几行的扫描时间。其主要应用于高速运行的游戏,如fps游戏。打开后能防止游戏画面高速移动时画面撕裂现象,并确保游戏画面fps数达到或超过显示器的刷新率。但如果fps与刷新率差距较大,可能会出现不同程度的跳帧现象。现有技术中,硬件加速可能会提高渲染速度,但可能会牺牲一定的画质。如何在性能和画质之间找到平衡点是一个挑战,垂直同步机制旨在确保图形渲染的流畅性,但当与硬件加速结合时,可能会出现渲染延迟或画面撕裂等问题。鉴于以上问题,本发明提出视频图像融合控制方法及装置以解决上述问题。


    技术实现思路

    1、本发明的主要目的在于提供视频图像融合控制方法及装置,以解决相关技术中提出的问题。

    2、为了实现上述目的,根据本发明的一个方面,提供了视频图像融合控制方法,包括如下步骤:

    3、s1:通过dxva应用程序将视频编码传输至显卡进行解码;

    4、s2:显卡获取帧数据并通过gpu进行绘制;

    5、s3:通过垂直同步机制调整gpu的帧速率;

    6、s4:将绘制完成的视频图像存入缓冲区并发送至显示器;

    7、s5:显示器接收到图像数据后,将像素点按照屏幕的排列方式显示出来,形成完整的图像。

    8、进一步地,所述s2中gpu进行绘制包括如下步骤:

    9、s21:对输入的三角形顶点数据进行处理,包括顶点变换操作,以确定每个顶点的位置;

    10、s22:将处理后的顶点数据进行光栅化,会进行插值,以确定每个像素的颜色并将其转换为像素数据;

    11、s23:对像素数据进行颜色混合处理,以优化图像的显示效果。

    12、进一步地,所述s21中顶点变换操作包括平移变换、旋转变换和缩放变化,通过矩阵运算计算变换后的坐标,公式如下:

    13、已知顶点坐标(x,y),平移向量为(tx,ty),初始的平移矩阵为:

    14、

    15、通过矩阵乘法计算平移后的坐标(x1,y1):

    16、

    17、已知顶点坐标(x,y),旋转角度为θ,旋转中心为(cx,cy),初始的旋转矩阵为:

    18、

    19、通过矩阵乘法计算旋转后的坐标为(x2,y2):

    20、

    21、已知顶点坐标(x,y),缩放中心为(bx,by),缩放因子为(sx,sy),初始的缩放矩阵为:

    22、

    23、通过矩阵乘法计算缩放后的坐标为(x3,y3):

    24、

    25、进一步地,所述s22中通过插值算法确定像素的颜色值,计算公式如下:

    26、顶点的屏幕坐标为(x,y),顶点的颜色为c,对于每个像素的屏幕坐标(x1,y1),颜色值c′为:

    27、

    28、其中,(x2,y2)和(x3,y3)是构成三角形的两个顶点的屏幕坐标,c 1和c2是对应的颜色值,ω和h分别是水平方向和竖直方向的杈重。

    29、进一步地,所述s23颜色混合的具体步骤如下:

    30、s231:从顶点数据中获取顶点的颜色值;

    31、s232:根据光照模型,对顶点颜色进行光照计算,得到每个像素的颜色值;

    32、s233:将顶点颜色与屏幕上现有得颜色进行混合;

    33、s234:将计算得到得像素颜色值输出到屏幕上。

    34、进一步地,所述s232中对顶点颜色进行光照计算基于pbr光照模型,引入阴影和全局光照的因素来改进光照计算的真实感和准确性,计算公式如下:

    35、cf=ka*ca+kd*cm*(n*l)+ks*cs*f(v,r,b)*g(n,l,v,b)+kr*ca*ia

    36、其中,cf为顶点得最终颜色;ka为环境光系数;ca为环境光颜色;kd为漫反射系数;cm为视频中物体表面的颜色;ks为镜面反射系数;cs为光源颜色;n为顶点的法向量;l为光源的位置;v为视点位置;n为镜面高光系数;r是光线的反射向量;kr为环境光反射率;b为粗糙度;f(v,r,b)为反射的强度;g(n,l,v,b)为计算阴影和遮挡物的影响。

    37、进一步地,在绘制过程中,所述垂直同步机制在显卡完成一帧的扫描后产生一个垂直同步信号,所述gpu在绘制视频图像时受垂直同步信号制约。

    38、进一步地,所述s4中缓冲区分为一个前缓冲区和两个后缓冲区,分别存储即将显示的帧、当前帧和前一帧的图像数据。

    39、进一步地,所述s4的具体步骤如下:

    40、s41:gpu将绘制好的图像写入后缓冲区;

    41、s42:显示器刷新时,前缓冲区与最近完成写入后缓冲区进行交换;

    42、s43:将前缓冲区的图像传送至显示器;

    43、s44:由于垂直同步机制,当显示器未完成画面刷新时,该前缓冲区不允许与后缓冲区进行交换;当显示器刷新完一帧画面后,gpu才会进行下一帧的绘制,前缓冲区可以进行交换。

    44、还提供一种视频图像融合控制装置,包括dxva应用程序、显卡和显示器,所述dxva应用程序会调用api将数据发送至显卡进行解码,所述显卡会将解码后的视频数据发送到显示器中显示,所述显卡和显示器通过视频接口进行连接。

    45、与现有技术相比,本发明具有以下有益效果:

    46、通过dxva,应用程序可以直接利用显卡硬件来加速视频处理,从而减少cpu的负担,提高视频播放的流畅度和效率,在硬件加速的基础上引入垂直同步机制,同时垂直同步机制与三重缓冲区进行融合,可以减少因为垂直同步机制导致的操作延迟问题,能防止游戏画面高速移动时画面撕裂现象,确保图像的连续性和流畅性。



    技术特征:

    1.视频图像融合控制方法,其特征在于,包括如下步骤:

    2.根据权利要求1所述的视频图像融合控制方法,其特征在于,所述s2中gpu进行绘制包括如下步骤:

    3.根据权利要求2所述的视频图像融合控制方法,其特征在于,所述s21中顶点变换操作包括平移变换、旋转变换和缩放变化,通过矩阵运算计算变换后的坐标,公式如下:

    4.根据权利要求2所述的视频图像融合控制方法,其特征在于,所述s22中通过插值算法确定像素的颜色值,计算公式如下:

    5.根据权利要求2所述的视频图像融合控制方法,其特征在于,所述s23颜色混合的具体步骤如下:

    6.根据权利要求5所述的视频图像融合控制方法,其特征在于,所述s232中对顶点颜色进行光照计算基于pbr光照模型,引入阴影和全局光照的因素来改进光照计算的真实感和准确性,计算公式如下:

    7.根据权利要求1所述的视频图像融合控制方法,其特征在于,在绘制过程中,所述垂直同步机制在显卡完成一帧的扫描后产生一个垂直同步信号,所述gpu在绘制视频图像时受垂直同步信号制约。

    8.根据权利要求1所述的视频图像融合控制方法,其特征在于,所述s4中缓冲区分为一个前缓冲区和两个后缓冲区,分别存储即将显示的帧、当前帧和前一帧的图像数据。

    9.根据权利要求1所述的视频图像融合控制方法,其特征在于,所述s4的具体步骤如下:

    10.一种视频图像融合控制装置,包括dxva应用程序、显卡和显示器,基于权利要求1-9中任意一项所述的视频图像融合控制方法,其特征在于,所述dxva应用程序会调用api将数据发送至显卡进行解码,所述显卡会将解码后的视频数据发送到显示器中显示,所述显卡和显示器通过视频接口进行连接。


    技术总结
    本发明涉及计算机图形学技术领域,具体涉及视频图像融合控制方法及装置,包括如下步骤:S1:通过DXVA应用程序将视频编码传输至显卡进行解码;S2:显卡获取帧数据并通过GPU进行绘制;S3:通过垂直同步机制调整GPU的帧速率;S4:将绘制完成的视频图像存入缓冲区并发送至显示器;S5:显示器接收到图像数据后,将像素点按照屏幕的排列方式显示出来,形成完整的图像。通过DXVA,应用程序可以直接利用显卡硬件来加速视频处理,从而减少CPU的负担,提高视频播放的流畅度,在硬件加速的基础上引入垂直同步机制,同时垂直同步机制与三重缓冲区进行融合,可以减少因为垂直同步机制导致的操作延迟问题,能防止游戏画面高速移动时画面撕裂现象。

    技术研发人员:请求不公布姓名
    受保护的技术使用者:深圳云天畅想信息科技有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-93892.html

    最新回复(0)