本发明是关于图像处理，尤其是关于运动估计和运动补偿。
背景技术：
运动估计和运动补偿(motionestimationandmotioncompensation，以下简称memc)技术常应用于图像处理的帧率转换，例如将影像由低帧率转换为高帧率便需要用到memc技术来做运动插补(motioninterpolation)。两个图帧(frame)或画面之间的运动向量(motionvector)通常是基于像素间的绝对差值和(sumofabsolutedifference，以下简称sad)来估算，但图帧或影像的亮度变化容易造成基于sad所估算出来的运动向量变得不准确，最终导致插补后的画面有所谓的图像扰动(shimmer)的副作用产生。图像扰动的现象意谓插补后的画面与邻近的画面不连贯，而此现象通常发生在纹理密集且不规则的区域。因此需要更好的图像处理技术来解决此问题。
技术实现要素：
鉴于先前技术的不足，本发明的一目的在于提供一种图像处理方法及电路，以提高运动向量估计的准确度。
本发明公开一种图像处理方法，应用于运动估计，该方法包含：对一第一画面及一第二画面进行低通滤波，其中该第一画面为一第一图帧的一部分，该第二画面为一第二图帧的一部分，该第一图帧不等于该第二图帧；计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；计算该第一画面及该第二画面之间的一绝对差值和；混合该第一特征值与该第二特征值的差值与该绝对差值和，以产生一混合结果；以及根据该混合结果估算该第一画面及该第二画面之间的一运动向量。
本发明还公开一种图像处理电路，应用于运动估计，包含内存及处理器。内存用来储存一第一图帧的至少一部分的像素数据及一第二图帧的至少一部分的像素数据，并且储存多个程序指令或程序代码，其中该第一图帧不等于该第二图帧。处理器耦接该内存，用来执行该些程序指令或程序代码以执行以下步骤：对一第一画面及一第二画面进行低通滤波，其中该第一画面为该第一图帧的一部分，该第二画面为该第二图帧的一部分；计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；计算该第一画面及该第二画面之间的一绝对差值和；混合该第一特征值与该第二特征值的差值与该绝对差值和，以产生一混合结果；以及根据该混合结果估算该第一画面及该第二画面之间的一运动向量。
本发明还公开一种图像处理方法，应用于运动估计，该方法包含：对一第一画面及一第二画面进行低通滤波，其中该第一画面为一第一图帧的一部分，该第二画面为一第二图帧的一部分，该第一图帧不等于该第二图帧；计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；以及根据该第一特征值及该第二特征值估算该第一画面及该第二画面之间的一运动向量。
本发明还公开一种图像处理电路，应用于运动估计，包含内存及处理器。内存用来储存一第一图帧的至少一部分的像素数据及一第二图帧的至少一部分的像素数据，并且储存多个程序指令或程序代码，其中该第一图帧不等于该第二图帧。处理器耦接该内存，用来执行该些程序指令或程序代码以执行以下步骤：对一第一画面及一第二画面进行低通滤波，其中该第一画面为该第一图帧的一部分，该第二画面为该第二图帧的一部分；计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；以及根据该第一特征值及该第二特征值估算该第一画面及该第二画面之间的一运动向量。
本发明的图像处理方法及图像处理电路能够减轻亮度变化的干扰，而计算出更准确的运动向量。相较于传统技术，本发明可以抑制或减轻图像扰动的现象，使插补后的画面更为连贯且自然。
有关本发明的特征、实作与功效，现配合图式作实施例详细说明如下。
附图说明
图1为本发明图像处理电路的一实施例的功能框图；
图2a至图2b为画面或操作窗口的示意图；
图3为本发明图像处理方法的一实施例的流程图；
图4为本发明特征值计算方法的一实施例的流程图；
图5为本发明特征值计算方法的另一实施例的流程图；以及
图6为本发明图像处理方法的另一实施例的流程图。
具体实施方式
以下说明内容的技术用语是参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释是以本说明书的说明或定义为准。
本发明的公开内容包含图像处理方法及图像处理电路。由于本发明的图像处理电路所包含的部分组件单独而言可能为已知组件，因此在不影响该装置发明的充分公开及可实施性的前提下，以下说明对于已知组件的细节将予以节略。此外，本发明的图像处理方法的部分或全部流程可以是软件及/或固件的形式，并且可借由本发明的图像处理电路或其等效装置来执行，在不影响该方法发明的充分公开及可实施性的前提下，以下方法发明的说明将着重于步骤内容而非硬件。
图1是本发明图像处理电路的一实施例的功能框图。图像处理电路100包含处理器110及内存120。处理器110可以是具有程序执行能力的电路或电子组件，例如中央处理器、微处理器或微处理单元，其借由执行储存在内存120中的程序代码或程序指令来进行图像处理。
除了程序代码或程序指令之外，内存120还储存第一图帧的至少一部分的像素数据及第二图帧的至少一部分的像素数据，第一图帧不等于第二图帧。举例来说，内存120可以作为线缓冲器(linebuffer)以储存第一图帧的至少一列(row)像素的像素值(包含亮度信息及/或彩度信息)及第二图帧的至少一列像素的像素值。
图2a及图2b分别显示画面210及画面220。画面210为第一图帧的一部分，画面220为第二图帧的一部分。画面210及画面220可以对应本发明图像处理方法的操作窗口，亦即本发明的操作窗口可以是如图所示的正方形(长宽各5个像素)，但不以此为限。
图3为本发明图像处理方法的一实施例的流程图。在以下的说明中，像素值可以指像素的亮度或色度，或是两者的混合。首先处理器110对画面210及画面220进行低通滤波，也就是低通滤波画面210及画面220的所有像素的像素值(步骤s310)。对画面进行低通滤波可以消除画面中来自弱边缘的形变干扰，而弱边缘指的是肉眼看着不太突出的边缘。低通滤波操作为本技术领域具有通常知识者所熟知，故不再赘述。
接下来，处理器110分别计算画面210及画面220的特征值(步骤s320)。本发明提出两种计算特征值的方法，详述如下。
图4显示本发明特征值计算方法的一实施例的流程图(方法一)。处理器110计算画面中的多个横向边缘(步骤s410)，再计算画面中的多个纵向边缘(步骤s420)，然后加总该多个横向边缘及该多个纵向边缘以产生该画面的边缘总和(sumedge)，也就是该画面的特征值(步骤s430)。
在步骤s410中，处理器110计算某一列中间隔n(n为正整数)个像素的任两个像素的绝对差值(absolutedifference)，并且对每一列进行同样的计算。更明确地说，如图2a及图2b中的箭头所示(此例中n＝1)，第一列的横向边缘包含|p(1,1)-p(1,3)|、|p(1,2)-p(1,4)|，以及|p(1,3)-p(1,5)|，其中p(i,j)代表第i列第j行(column)的像素的像素值；同理，第二列的横向边缘包含|p(2,1)-p(2,3)|、|p(2,2)-p(2,4)|，以及|p(2,3)-p(2,5)|；第三列至第五列依此类推。因此，画面210或画面220的横向边缘的和可以表示为：
在步骤s420中，处理器110计算某一行中间隔n个像素的任两个像素的绝对差值，并且对每一行进行同样的计算。更明确地说，如图2a及图2b中的箭头所示(此例中n＝1)，第一行的纵向边缘包含|p(1,1)-p(3,1)、p(2,1)-p(4,1)，以及p(3,1)-p(5,1)；同理，第二列的纵向边缘包含|p(1,2)-p(3,2)|、|p(2,2)-p(4,2)|，以及|p(3,2)-p(5,2)|；第三列至第五列依此类推。因此，画面210或画面220的纵向边缘的和可以表示为：
在步骤s430中，处理器110根据下式计算画面210或画面220的特征值cv，特征值cv为画面中所有横向边缘及所有纵向边缘的总和。
cv＝seh sev(3)
图5显示本发明特征值计算方法的另一实施例的流程图(方法二)。处理器110计算画面的像素平均值(步骤s510)，然后累加画面中的每一像素与像素平均值的差值，来产生特征值(步骤s520)。
在步骤s510中，处理器110可以根据下式计算画面的像素平均值。
在步骤s520中，处理器110可以根据下式计算特征值cv。
当画面(原始画面或低通滤波后的画面)中没有纹理或只有极少量的纹理(也就是画面实质上为平坦区域)时，使用方法一及方法二所计算得到的特征值cv都等于0或近似于0。
回到图3，在步骤s320中处理器110分别计算画面210的特征值(cv1)以及画面220的特征值(cv2)，然后计算两个画面的特征值的差值cvd＝|cv1-cv2|。
处理器110接着在步骤s330中计算画面210及画面220的sad：
方程式(6)中的p1(i,j)代表画面210的像素值，而p2(i,j)代表画面220的像素值。
接着处理器110决定特征值的差值cvd与sad的混和比例(步骤s340)。处理器110可以根据画面的像素值的变化程度(例如亮度的变化程度)、两个画面的sad，以及边缘的情况来决定混和比例α(0≦α≦1)。举例来说，当处理器110根据下面方程式(7)来混合特征值的差值cvd及sad时，混和比例α可以与sad呈反比，或是在特征值cv比较小时才进行混合。
接着处理器110混合特征值的差值cvd与sad(步骤s350)。处理器110可以根据下式进行混合，以产生混合结果bl：
bl＝α×sad (1-α)×cvd(7)
接着，处理器110根据混合结果bl估算运动向量，或是决定运动向量的可信度(步骤s360)。举例来说，混合结果bl越小，代表画面210与画面220之间的差异越小，换言之，两者间的运动向量的可信度越高。
在现有技术中，即使画面210及画面220都是平坦区域，两者之间的像素值偏移(bias)(例如亮度差异，如图2a及图2b的白色底及灰色底所示)仍可能导致这两个画面因为sad过大而被认为是不相似的画面(即两画面之间的运动向量将不被考虑或是被给予较低的权重)。反观本案，由于步骤s320可以排除像素值偏移，所以将特征值cv纳入考虑后可以得到更准确的运动向量。换言之，本发明图像处理方法及图像处理电路所决定的运动向量较不会受画面中光亮度变化的影响，因此可以有效抑制图像扰动(shimmer)的现象。
图6为本发明图像处理方法的另一实施例的流程图。在这个实施例中，图像处理方法及图像处理电路在估算运动向量时参考特征值cv，但是不参考sad，详细步骤如下。首先处理器110对画面210及画面220进行低通滤波，也就是低通滤波画面210及画面220的所有像素的像素值(步骤s610)。步骤s610与步骤s310相同，故不再赘述。接着处理器110分别计算画面210及画面220的特征值cv(步骤s620)。步骤s620与步骤s320相同，换言之，步骤s620亦包含上述的二种方法(分别如图4及图5的流程所示)，故不再赘述。接着，处理器110根据画面210的特征值cv1及画面220的特征值cv2估算运动向量(步骤s630)。更明确地说，处理器110可以根据特征值cv1及特征值cv2的差值cvd(＝|cv1-cv2|)来估算运动向量。举例来说，当特征值的差值cvd越小(亦即cv1与cv2的匹配程度越高)时，代表画面210与画面220之间的差异越小(亦即画面210与画面220的匹配程度越高)，处理器110给予两画面间的运动向量较高的可信度。
图6的实施例可以视为图3的实施例的特例；更明确地说，图6的实施例是将方程式(7)的混和比例α设定为0，并且略过图3的步骤s330、s340及s350。在某些sad不具参考价值的情境中(例如当画面的亮度变化过大时)，便可使用图6的施实方式来彻底排除sad，以减少计算量，如此一来可以提升图像处理电路的效能并且降低功耗。
由于本技术领域具有通常知识者可借由本案的装置发明的公开内容来了解本案的方法发明的实施细节与变化，因此，为避免赘文，在不影响该方法发明的公开要求及可实施性的前提下，重复的说明在此予以节略。请注意，前揭图标中，组件的形状、尺寸、比例以及步骤的顺序等仅为示意，是供本技术领域普通技术人员了解本发明之用，非用以限制本发明。
虽然本发明的实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范围，换言之，本发明的专利保护范围须视本说明书的权利要求书所界定者为准。
【符号说明】
100图像处理电路
110处理器
120内存
210、220画面
s310～s360、s410～s430、s510～s520、s610～s630步骤。
1.一种图像处理方法，应用于运动估计，该方法包含：
对一第一画面及一第二画面进行低通滤波，其中该第一画面为一第一图帧的一部分，该第二画面为一第二图帧的一部分，该第一图帧不等于该第二图帧；
计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；
计算该第一画面及该第二画面之间的一绝对差值和；
混合该第一特征值与该第二特征值的差值与该绝对差值和，以产生一混合结果；以及
根据该混合结果估算该第一画面及该第二画面之间的一运动向量。
2.根据权利要求1所述的方法，其中该计算该第一画面的该第一特征值及计算该第二画面的该第二特征值的步骤包含：
计算该第一画面的多个第一横向边缘；
计算该第一画面的多个第一纵向边缘；
加总该多个第一横向边缘及该多个第一纵向边缘以产生该第一特征值；
计算该第二画面的多个第二横向边缘；
计算该第二画面的多个第二纵向边缘；以及
加总该多个第二横向边缘及该多个第二纵向边缘以产生该第二特征值。
3.根据权利要求1所述的方法，其中该计算该第一画面的该第一特征值及计算该第二画面的该第二特征值的步骤包含：
计算该第一画面的一第一像素平均值；
累加该第一画面中的每一像素与该第一像素平均值的差值以产生该第一特征值；
计算该第二画面的一第二像素平均值；以及
累加该第二画面中的每一像素与该第二像素平均值的差值以产生该第二特征值。
4.一种图像处理电路，应用于运动估计，包含：
一内存，用来储存一第一图帧的至少一部分的像素数据及一第二图帧的至少一部分的像素数据，并且储存多个程序指令或程序代码，其中该第一图帧不等于该第二图帧；以及
一处理器，耦接该内存，用来执行该多个程序指令或程序代码以执行以下步骤：
对一第一画面及一第二画面进行低通滤波，其中该第一画面为该第一图帧的一部分，该第二画面为该第二图帧的一部分；
计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；
计算该第一画面及该第二画面之间的一绝对差值和；
混合该第一特征值与该第二特征值的差值与该绝对差值和，以产生一混合结果；以及
根据该混合结果估算该第一画面及该第二画面之间的一运动向量。
5.根据权利要求4所述的图像处理电路，其中该处理器还执行以下步骤以计算该第一特征值及该第二特征值：
计算该第一画面的多个第一横向边缘；
计算该第一画面的多个第一纵向边缘；
加总该多个第一横向边缘及该多个第一纵向边缘以产生该第一特征值；
计算该第二画面的多个第二横向边缘；
计算该第二画面的多个第二纵向边缘；以及
加总该多个第二横向边缘及该多个第二纵向边缘以产生该第二特征值。
6.根据权利要求4所述的图像处理电路，其中该处理器还执行以下步骤以计算该第一特征值及该第二特征值：
计算该第一画面的一第一像素平均值；
累加该第一画面中的每一像素与该第一像素平均值的差值以产生该第一特征值；
计算该第二画面的一第二像素平均值；以及
累加该第二画面中的每一像素与该第二像素平均值的差值以产生该第二特征值。
7.一种图像处理方法，应用于运动估计，该方法包含：
对一第一画面及一第二画面进行低通滤波，其中该第一画面为一第一图帧的一部分，该第二画面为一第二图帧的一部分，该第一图帧不等于该第二图帧；
计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；以及
根据该第一特征值及该第二特征值估算该第一画面及该第二画面之间的一运动向量。
8.根据权利要求7所述的方法，其中该计算该第一画面的该第一特征值及计算该第二画面的该第二特征值的步骤包含：
计算该第一画面的多个第一横向边缘；
计算该第一画面的多个第一纵向边缘；
加总该多个第一横向边缘及该多个第一纵向边缘以产生该第一特征值；
计算该第二画面的多个第二横向边缘；
计算该第二画面的多个第二纵向边缘；以及
加总该多个第二横向边缘及该多个第二纵向边缘以产生该第二特征值。
9.根据权利要求7所述的方法，其中该计算该第一画面的该第一特征值及计算该第二画面的该第二特征值的步骤包含：
计算该第一画面的一第一像素平均值；
累加该第一画面中的每一像素与该第一像素平均值的差值以产生该第一特征值；
计算该第二画面的一第二像素平均值；以及
累加该第二画面中的每一像素与该第二像素平均值的差值以产生该第二特征值。
10.一种图像处理电路，应用于运动估计，包含：
一内存，用来储存一第一图帧的至少一部分的像素数据及一第二图帧的至少一部分的像素数据，并且储存多个程序指令或程序代码，其中该第一图帧不等于该第二图帧；以及
一处理器，耦接该内存，用来执行该些程序指令或程序代码以执行以下步骤：
对一第一画面及一第二画面进行低通滤波，其中该第一画面为该第一图帧的一部分，该第二画面为该第二图帧的一部分；
计算该第一画面的一第一特征值及计算该第二画面的一第二特征值；以及
根据该第一特征值及该第二特征值估算该第一画面及该第二画面之间的一运动向量。
技术总结