本发明属于视像技术领域,尤其涉及一种具有人脸位置跟踪功能的视频会议系统及其实现方法。
背景技术:
视频会议系统,又称会议电视系统,是指两个或两个以上不同地方的个人或群体,通过传输线路及多媒体设备,将声音、影像及文件资料互传,实现即时且互动的沟通,以实现远程会议的系统。视频会议系统除了能看到对方并进行语言交流外,还能看到对方的表情和动作,使处于不同地方的与会者就像在同一会议室内交流。
目前的视频会议系统在看到对方的表情和动作的基础上,又在力求进行准确的眼神交流,以营造出面对面的会议效果。例如专利号cn201810069356.9揭露了一种视频会议系统,其结构如图1所示,透明屏幕102将用户和摄像头103隔开,投影机101向透明屏幕102的投影光束中携带有接收到的对方的视频信号,用户可通过透明屏幕102的投影图像观看到其他与会者的表情、动作、眼神等,同时摄像头103可透过透明屏幕102拍摄用户的眼神并传送给其他与会者的视频会议系统,104和105为偏振态正交的偏振片。由于摄像头103与用户的眼神位于同一水平线上,因此拍摄到的用户眼神无斜视的现象,实现与会者之间近乎真实的眼神交流。
但是,图1所示的系统需要用投影机与透明投影屏幕配合,结构复杂,占用空间,并且因为透明投影屏幕容易受到环境光线影响而导致图像对比度低,而且,在视频会议过程中经常会出现与会者走动的情况,如何在走动过程中将用户的动作、表情、眼神等如实传达给其他与会人员也值得研究。
技术实现要素:
本发明所要解决的技术问题为如何提供一种结构简单、占用空间小并且图像对比度高的视频会议系统,以及如何通过视频会议系统将用户的动作、表情、眼神等如实传达给其他与会人员。
为解决上述技术问题,第一方面,本发明提供了一种具有人脸位置跟踪功能的视频会议系统,包括自发光型显示装置、摄像头、摄像头控制装置和人脸位置跟踪模块;所述显示装置上设有若干显示像素和透光区域,所述摄像头位于所述显示装置的背光侧,所述摄像头可通过所述透光区域对位于所述显示装置出光侧的本方与会者进行拍摄;
所述人脸位置跟踪模块用于对指定视频信号中的目标与会者的脸部进行跟踪,实时计算出目标与会者的脸部当前所处的位置信息以及位置变化幅度,并实时发送调整指令给所述显示装置和/或所述摄像头控制装置进行相应调整,以使调整后所述摄像头的镜头的拍摄方向、所述显示装置当前用于显示的像素位置、本方与会者的眼睛处于一条线上。
第二方面,本发明提供了一种视频会议系统的实现方法,所述视频会议系统包括自发光型显示装置、摄像头、摄像头控制装置和人脸位置跟踪模块;所述显示装置上设有若干显示像素和透光区域,所述摄像头位于所述显示装置的背光侧,所述摄像头可通过所述透光区域对位于所述显示装置出光侧的本方与会者进行拍摄;所述方法包括:
人脸位置跟踪步骤:人脸位置跟踪模块对指定视频信号中的目标与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并实时发送调整指令给所述显示装置和/或所述摄像头控制装置;
调整步骤:所述显示装置和/或所述摄像头控制装置根据调整指令进行相应调整,以使调整后所述摄像头的镜头的拍摄方向、所述显示装置当前用于显示的像素位置、本方与会者的眼睛处于一条线上。
本发明所提供的视频会议系统采用自发光类型的显示装置(如oled显示装置、micro-led显示装置等)来替换现有技术中的投影机和投影屏幕,通过在显示装置上设置透光区域实现了摄像头从显示装置背面进行拍摄,显示装置的结构简单,容易做到一体设计,外形结构与普通电视机或电脑屏幕没有差异,占用空间小,而且不受环境光线影响,可以提高图像对比度。另外,当视频会议的另一方有走动时在本方的显示装置的显示位置也会有变化,用户的眼神会追随对方移动,因此本发明通过对显示装置和摄像头进行调整,使得摄像头的镜头的拍摄方向、显示装置当前用于显示的像素位置、本方与会者的眼睛处于一条线上,这样能更自然地拍摄到用户的眼神,营造出更逼真的会议效果。
附图说明
图1是现有技术提供的投影式视频会议系统的结构图;
图2是本发明第一实施例提供的视频会议系统的结构图;
图3是本发明第一实施例提供的显示装置的一种侧视结构图;
图4a是本发明第一实施例提供的显示装置的一种出光面的正视结构图;
图4b是图4a中a部分的放大图;
图5是本发明第一实施例提供的显示装置的另一种侧视结构图;
图6本发明第二实施例提供的视频会议系统的结构图;
图7是本发明第二实施例提供的包含摄像头控制装置的视频会议系统的结构图;
图8是图7所示视频会议系统的后视图;
图9是本发明第二实施例提供的两个人脸位置跟踪模块对摄像头进行调整的示意图;
图10是本发明第三实施例提供的视频会议系统的实现方法的流程图;
图11是本发明第三实施例提供的优选人脸位置跟踪的流程图;
图12是本发明第三实施例提供的人脸位置跟踪的另一个流程图;
图13是本发明第三实施例提供的显示调整的流程图;
图14是本发明第三实施例提供的拍摄调整的流程图;
图15是本发明第三实施例提供的拍摄调整的另一个流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图2,本发明第一实施例提供的视频会议系统包括显示装置201、摄像头202、通信装置203、摄像头控制装置204和人脸位置跟踪模块205,显示装置201的出光侧为本方与会者所在的一侧,摄像头202位于显示装置201的背光侧。
显示装置201为自发光型,设有若干显示像素和透光区域,透光区域允许出光侧的光线透过至背光侧,当然也允许背光侧的光线透过至出光侧。显示装置201可以为oled显示装置,显示像素为oled显示像素,也可以为micro-led显示像素,显示像素为micro-led显示像素。
在进行视频会议时,任何一个会议方都需配置图2所示的视频会议系统,每一方的视频会议系统均用于接收对方与会者的视频信号进行显示,并拍摄本方与会者的视频信号发送给对方与会者。具体地,通信装置203与显示装置201和人脸位置跟踪模块205连接,通信装置203用于接收对方与会者的视频信号并将摄像头202拍摄的本方与会者的视频信号发送至对方与会者。
人脸位置跟踪模块205用于对指定视频信号中的目标与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并实时发送调整指令给显示装置201和/或摄像头控制装置204进行相应调整,以使调整后摄像头202的镜头的拍摄方向、所述显示装置201当前用于显示的像素位置、本方与会者的眼睛处于一条线上。
其中,“指定视频信号”可以是通信装置203接收到的对方与会者的视频信号,此时,“目标与会者”即为对方与会者,“指定视频信号”也可以是摄像头202拍摄的本方与会者的视频信号,此时,“目标与会者”即为本方与会者。
也就是说,人脸位置跟踪模块205可以仅对对方与会者的脸部进行跟踪,也可以仅对本方与会者的脸部进行跟踪。前者是为了分析出对方与会者的移动位置以便在显示装置201上动态的呈现出对方与会者的视频,并控制摄像头202随显示装置201的当前用于显示的像素位置的变化而移动,以便从显示装置201的当前用于显示的像素位置的后方正面拍摄到本方与会者的视频。后者则是为了分析出本方与会者的移动位置,以便动态调整摄像头202的拍摄角度,同样实现正面拍摄本方与会者的视频。
当然,人脸位置跟踪模块205也可以同时对对方与会者的脸部和本方与会者的脸部进行跟踪,这样视频会议的双方都可以感受到逼真的会议效果。
本实施例中,摄像头202通过显示装置201上的透光区域拍摄位于出光侧的本方与会者的视频,并且摄像头202的镜头的拍摄方向、显示装置201当前用于显示的像素位置、本方与会者的眼睛处于一条线上,这样可以无倾斜角度的拍摄到本方与会者的眼神和面部表情,营造出面对面交流的效果。而且显示装置201的结构简单,容易做到一体设计,外形结构与普通电视机或电脑屏幕没有差异,占用空间小,而且不受环境光线影响,可以提高图像对比度。
进一步地,考虑到视频会议过程中可能会出现一些本方与会者或对方与会者非正常的移动变化,例如与会者偶尔扭头后又马上复位,再例如与会者的移动变化特别小,摄像头202仍然可以正面拍摄到本方与会者的眼神,这时就无需指令摄像头控制装置204进行调整。因此,本实施例中,人脸位置跟踪模块205具体用于实时判断目标与会者的位置变化幅度是否大于预设的第一阈值;若位置变化幅度小于第一阈值,则认为本次位置变化为无效变化而忽略;若位置变化幅度大于第一阈值,则进一步判断目标与会者的脸部是否在预设时长内回到此前的位置;若目标与会者的脸部在预设时长内回到此前的位置,例如2秒钟内复位,则继续认为本次位置变化无效而忽略;若目标与会者的脸部在预设时长内没有回到此前的位置,则实时作出调整指令给所述显示装置和/或所述摄像头控制装置。
对于显示装置201,其透光区域的位置可以根据需要灵活设计,本实施例现提供如下两种设计:
第一种,可以在每个显示像素旁均设有一块所述透光区域,图3中以oled为例来说明,上透明极板31和下透明基板32之间采用边框胶33密封,中间密封有显示像素34和驱动电路35,每个显示像素34包括rgb三种基色像素组成的oled发光层,在每个显示像素34的左右两侧都有透光区域36,显示装置201两侧的光可经透光区域36双向透过。
图3示出了显示装置201的侧视结构,图4a和图4b以显示装置201出光面的角度进一步示出显示装置201正视结构,可以看出,在每个显示像素34的两侧都留有透光区域36。
第二种,如图5所示,同样,上透明极板31和下透明基板32之间采用边框胶33密封,中间密封有显示像素34和驱动电路35,每个所述显示像素34包括若干基色像素rgb(红绿蓝),与第一种的不同之处在于,各显示像素34之间、以及各基色像素之间rgb均设有透光区域36。这种方式要求属于同一个显示像素34的各基色像素之间的间距要小于各显示像素34之间的间距。
需要说明的是,上述两种设计以每个显示像素包括rgb三种基色像素为例进行了说明,具体还可以设计为包括其他类型的基色像素,如rgbw(红绿蓝白)等,只要各基色像素在发光状态下整体可以形成白光即可。
如上文所述,本视频会议系统主要具有“显示”和“拍摄”两方面的功能,这两方面的功能都与显示装置201有关,具体都与显示装置201的像素区域与透光区域的面积之比有关,当像素区域过大时,摄像头202可能无法准确拍摄到用户的视频图像,而当透光区域过大时,显示装置201可能又无法将其他与会者的视频图像较好的呈现给用户,影响会议效果,因此显示装置201的像素区域与透光区域的面积设计非常重要。经过验证,当透光区域的面积占所述显示装置总面积的20%-70%时两方面的效果可以比较好的兼顾到。同时,当各显示像素之间的间距为0.01mm-2.0mm时,显示装置201的显示效果较好。
摄像头202内置有cmos或ccd等图像获取芯片,摄像头202的镜头要求足够大以便覆盖足够的透光面积,就可以透过显示装置201的透光区域接收足够来自用户脸部及身体反射的光能量,在图像获取芯片上成像,达到清晰的拍摄效果。本实施例中,要求摄像头202的镜头直径范围2.0mm到10.0mm,可覆盖约20到500个显示像素的面积。提供下表中的规格参数供参考:
上述视频会议系统可以是2d模式,也可以是3d模式,对于3d模式,摄像头202为3d摄像头,显示装置201显示的影像为3d画面,用户需要佩戴3d眼镜进行观看,这种情况下,显示装置201发出的光到达3d眼镜时有可能有一部分光会被反射,反射出去的光经透光区域36后作为干扰光信号被摄像头202拍摄到,因此,为避免或降低这种干扰,需要在3d眼镜的外侧附有高透低反组件,该高透低反组件可以允许显示装置201的显示光线绝大部分透射而被用户的眼睛接收,只有很少的部分被反射出去。该高透低反组件可以是光学膜层,也可以是光学玻璃。
在第一实施例的基础上,本发明第二实施例也提供了一种具有人脸位置跟踪功能的视频会议系统,如图6所示,本实施例中,人脸位置跟踪模块205包括对方人脸位置跟踪模块2051和/或本方人脸位置跟踪模块2052。
对方人脸位置跟踪模块2015用于从通信装置203接收到的对方与会者的视频信号中对对方与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令。
本方人脸位置追踪模块2052用于从摄像头303拍摄的本方与会者的视频信号中对本方与会者的脸部进行跟踪,实时计算出本方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令。
显示装置201用于根据对方人脸位置跟踪模块2051计算的位置变化幅度,确定当前用于显示的像素位置,并在确定的像素位置显示对方与会者的视频。
摄像头控制装置204用于根据对方人脸位置跟踪模块2051的调整指令控制摄像头202移动到指定位置,所述指定位置位于显示装置201当前用于显示的像素位置的正后方,并调整摄像头202的拍摄角度;还用于根据本方人脸位置跟踪模块202的调整指令来调整摄像头202的拍摄角度。摄像头控制装置204无论根据对方人脸位置跟踪模块2051的调整指令来调整摄像头202的拍摄角度,还是根据本方人脸位置跟踪模块2052的调整指令来调整摄像头202的拍摄角度,都是为了使摄像头202的拍摄方向正对本方与会者,并且使摄像头202的镜头的拍摄方向、显示装置201当前用于显示的像素位置、本方与会者的眼睛处于一条线上。
本方人脸位置跟踪模块2052追踪本方与会者的脸部之后之所以会发出调整指令,主要是由于本方与会者在本方会议现场走动导致的其脸部没有正对摄像头202,因此需要调整摄像头202的拍摄角度。
而对方人脸位置跟踪模块2051追踪对方与会者的脸部之后之所以会发出调整指令,原因主要是对方与会者在对方会议现场的走动被呈现到显示装置201上,也就是对方与会者的视频在显示装置201上的显示位置有变化了,此时本方与会者的面部、视线都会变成朝向显示装置201上新的显示位置,为能正面捕捉到本方与会者的视频,摄像头202需要移动到本方与会者的视线上进行拍摄,同时还需要配合调整摄像头202的拍摄角度以与本方与会者的视线正对。
从以上描述可以看出,当摄像头控制装置204接收到本方人脸位置跟踪模块2052的调整指令后,仅需调整摄像头202的拍摄角度,而当摄像头控制装置204接收到对方人脸位置跟踪模块2051的调整指令后,则需要将摄像头202的位置和拍摄角度都进行调整。
进一步地,又考虑到视频会议过程中,对方与会者与本方与会者可能出现同时走动的情形,此时摄像头控制装置204会同时接收到两个调整指令,如果调整两次摄像头202的拍摄角度会比较繁琐且没有太大意义。为提高工作效率,本实施例中,摄像头控制装置204首先根据对方人脸位置跟踪模块2015的调整指令控制摄像头202移动到指定位置,然后根据本方人脸位置跟踪模块2052的调整指令调整摄像头202的拍摄角度。这样可以省略根据对方人脸位置跟踪模块2015的调整指令来调整摄像头202的拍摄角度的过程,因为调整拍摄角度的最终目的是与本方与会者的面部、眼睛正对,因此直接以本方人脸位置跟踪模块2052的调整指令为准调整摄像头202的拍摄角度即可。
对方人脸位置跟踪模块2051和本方人脸位置跟踪模块2052均为软件模块,可以存储在同一个存储器上,由同一个处理器调取执行。当然也可以分开存储或者由两个处理器调取执行。
进一步地,如图7和图8所示,本发明第二实施例提供的视频会议系统中,摄像头控制装置204包括:
移动平台,用于承载摄像头202,带动摄像头202移动;
x轴方向移动机构2041,用于根据对方人脸位置跟踪模块2051的调整指令控制所述移动平台带动摄像头202在水平方向上移动至所述指定位置;
y轴方向移动机构2042,用于根据对方人脸位置跟踪模块2051的调整指令控制所述移动平台带动摄像头202在竖直方向上移动至所述指定位置;
角度调整机构,用于根据对方人脸位置跟踪模块2051的调整指令或本方人脸位置跟踪模块2052的调整指令调整摄像头202的拍摄角度。
图9示出了两个人脸位置跟踪模块对摄像头进行调整的示意图,图9中以对方人脸位置跟踪模块指令调整摄像头的位置、本方人脸位置跟踪模块指令调整摄像头的拍摄角度为例示出。
另外,需要说明的是,摄像头控制装置204还可以采用非xy移动平台的方式,只要能带动摄像头移动到显示装置201的各个显示像素的位置后方即可。
本发明第三实施例提供了一种视频会议系统的实现方法,流程如图10所示,该视频会议系统具有第一实施例和第二实施例所示的结构,此处不再赘述。参照图10,该实现方法包括:
步骤s101,人脸位置跟踪步骤:人脸位置跟踪模块对指定视频信号中的目标与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并实时发送调整指令给显示装置和/或摄像头控制装置。
其中,“指定视频信号”可以是通信装置接收到的对方与会者的视频信号,此时,“目标与会者”即为对方与会者,“指定视频信号”也可以是摄像头202拍摄的本方与会者的视频信号,此时,“目标与会者”即为本方与会者。
也就是说,人脸位置跟踪模块可以仅对对方与会者的脸部进行跟踪,也可以仅对本方与会者的脸部进行跟踪。前者是为了分析出对方与会者的移动位置以便在显示装置上动态的呈现出对方与会者的视频,并控制摄像头随显示装置的当前用于显示的像素位置的变化而移动,以便从显示装置的当前用于显示的像素位置的后方正面拍摄到本方与会者的视频。后者则是为了分析出本方与会者的移动位置,以便动态调整摄像头的拍摄角度,同样实现正面拍摄本方与会者的视频。
当然,人脸位置跟踪模块也可以同时对对方与会者的脸部和本方与会者的脸部进行跟踪,这样视频会议的双方都可以感受到逼真的会议效果。
步骤s102,调整步骤:显示装置和/或摄像头控制装置根据调整指令进行相应调整,以使调整后摄像头的镜头的拍摄方向、显示装置当前用于显示的像素位置、本方与会者的眼睛处于一条线上。
本实施例中,摄像头通过显示装置上的透光区域拍摄位于出光侧的本方与会者的视频,并且摄像头的镜头的拍摄方向、显示装置当前用于显示的像素位置、本方与会者的眼睛处于一条线上,这样可以无倾斜角度的拍摄到本方与会者的眼神和面部表情,营造出面对面交流的效果。而且显示装置201的结构简单,容易做到一体设计,外形结构与普通电视机或电脑屏幕没有差异,占用空间小,而且不受环境光线影响,可以提高图像对比度。
进一步地,考虑到视频会议过程中可能会出现一些本方与会者或对方与会者非正常的移动变化,例如与会者偶尔扭头后又马上复位,再例如与会者的移动变化特别小,摄像头仍然可以正面拍摄到本方与会者的眼神,这时就无需指令摄像头控制装置进行调整。因此,本实施例中,如图11所示,人脸位置跟踪步骤包括:
步骤s1011,人脸位置跟踪模块实时判断目标与会者的位置变化幅度是否大于预设的第一阈值;
步骤s1012,若位置变化幅度小于第一阈值,则忽略本次位置变化;若位置变化幅度大于第一阈值,则进一步判断目标与会者的脸部是否在预设时长内回到此前的位置;
步骤s1013,若目标与会者的脸部在预设时长内回到此前的位置,例如2秒钟内复位,则忽略本次位置变化;
步骤s1014,若目标与会者的脸部在预设时长内没有回到此前的位置,则实时作出调整指令给所述显示装置和/或所述摄像头控制装置。
进一步地,人脸位置跟踪模块包括对方人脸位置跟踪模块和/或本方人脸位置跟踪模块,如图12所示,人脸位置跟踪步骤s101包括对方人脸位置跟踪步骤s1015和/或本方人脸位置跟踪步骤s1016;如图13所示调整步骤包括:显示调整步骤s1021和拍摄调整步骤s1022。
步骤s1015,对方人脸位置跟踪步骤包括:对方人脸位置跟踪模块从接收到的对方与会者的视频信号中对对方与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令;
步骤s1016,本方人脸位置跟踪步骤包括:本方人脸位置追踪模块从摄像头拍摄的本方与会者的视频信号中对本方与会者的脸部进行跟踪,实时计算出本方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令。
步骤s1021,显示调整步骤包括:根据对方人脸位置跟踪模块计算的位置变化幅度,确定当前用于显示的像素位置,并显示对方与会者的视频;
步骤s1022,拍摄调整步骤包括:在接收到对方人脸位置跟踪模块的调整指令时,控制摄像头移动到指定位置,指定位置位于显示装置当前用于显示的像素位置的正后方,并调整摄像头的拍摄角度;在接收到本方人脸位置跟踪模块的调整指令时,调整摄像头的拍摄角度。
进一步地,又考虑到视频会议过程中,对方与会者与本方与会者可能出现同时走动的情形,此时摄像头控制装置会同时接收到两个调整指令,如果调整两次摄像头的拍摄角度会比较繁琐且没有太大意义。为提高工作效率,如图14所示,拍摄调整步骤s1022包括:
步骤s10221,在摄像头控制装置同时收到对方人脸位置跟踪模块的调整指令和本方人脸位置跟踪模块的调整指令时,根据对方人脸位置跟踪模块的调整指令控制摄像头移动到指定位置。
步骤s10222,根据本方人脸位置跟踪模块的调整指令调整摄像头的拍摄角度。
进一步地,拍摄调整步骤s1022可以采用xy移动平台的方式实现,如图15所示,拍摄调整步骤s1022包括:
步骤s10223,根据对方人脸位置跟踪模块的调整指令控制摄像头在水平方向上移动至指定位置。
步骤s10224,根据对方人脸位置跟踪模块的调整指令控制摄像头在竖直方向上移动至指定位置。
步骤s10225,根据对方人脸位置跟踪模块的调整指令或本方人脸位置跟踪模块的调整指令调整摄像头的拍摄角度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
1.一种具有人脸位置跟踪功能的视频会议系统,其特征在于,包括自发光型显示装置、摄像头、摄像头控制装置和人脸位置跟踪模块;所述显示装置上设有若干显示像素和透光区域,所述摄像头位于所述显示装置的背光侧,所述摄像头可通过所述透光区域对位于所述显示装置出光侧的本方与会者进行拍摄;
所述人脸位置跟踪模块用于对指定视频信号中的目标与会者的脸部进行跟踪,实时计算出目标与会者的脸部当前所处的位置信息以及位置变化幅度,并实时发送调整指令给所述显示装置和/或所述摄像头控制装置进行相应调整,以使调整后所述摄像头的镜头的拍摄方向、所述显示装置当前用于显示的像素位置、本方与会者的眼睛处于一条线上。
2.如权利要求1所述的视频会议系统,其特征在于,所述人脸位置跟踪模块包括对方人脸位置跟踪模块和/或本方人脸位置跟踪模块;
所述对方人脸位置跟踪模块用于从接收到的对方与会者的视频信号中对对方与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令;
所述本方人脸位置追踪模块用于从所述摄像头拍摄的本方与会者的视频信号中对本方与会者的脸部进行跟踪,实时计算出本方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令;
所述显示装置用于根据所述对方人脸位置跟踪模块计算的位置变化幅度,确定当前用于显示的像素位置,并显示对方与会者的视频;
所述摄像头控制装置用于根据所述对方人脸位置跟踪模块的调整指令控制所述摄像头移动到指定位置,所述指定位置位于所述显示装置当前用于显示的像素位置的正后方,并调整所述摄像头的拍摄角度;还用于根据所述本方人脸位置跟踪模块的调整指令来调整所述摄像头的拍摄角度。
3.如权利要求1所述的视频会议系统,其特征在于,所述人脸位置跟踪模块具体用于实时判断目标与会者的位置变化幅度是否大于预设的第一阈值;若位置变化幅度小于第一阈值,则忽略本次位置变化;若位置变化幅度大于第一阈值,则进一步判断目标与会者的脸部是否在预设时长内回到此前的位置;若目标与会者的脸部在预设时长内回到此前的位置,则忽略本次位置变化;若目标与会者的脸部在预设时长内没有回到此前的位置,则实时作出调整指令给所述显示装置和/或所述摄像头控制装置。
4.如权利要求2所述的视频会议系统,其特征在于,当所述摄像头控制装置同时收到所述对方人脸位置跟踪模块的调整指令和所述本方人脸位置跟踪模块的调整指令时,根据所述对方人脸位置跟踪模块的调整指令控制所述摄像头移动到指定位置,然后根据所述本方人脸位置跟踪模块的调整指令调整所述摄像头的拍摄角度。
5.如权利要求2或4所述的视频会议系统,其特征在于,所述摄像头控制装置包括:
移动平台,用于承载所述摄像头,带动所述摄像头移动;
x轴方向移动机构,用于根据所述对方人脸位置跟踪模块的调整指令控制所述移动平台带动所述摄像头在水平方向上移动至所述指定位置;
y轴方向移动机构,用于根据所述对方人脸位置跟踪模块的调整指令控制所述移动平台带动所述摄像头在竖直方向上移动至所述指定位置;
角度调整机构,用于根据所述对方人脸位置跟踪模块的调整指令或所述本方人脸位置跟踪模块的调整指令调整所述摄像头的拍摄角度。
6.一种视频会议系统的实现方法,其特征在于,所述视频会议系统包括自发光型显示装置、摄像头、摄像头控制装置和人脸位置跟踪模块;所述显示装置上设有若干显示像素和透光区域,所述摄像头位于所述显示装置的背光侧,所述摄像头可通过所述透光区域对位于所述显示装置出光侧的本方与会者进行拍摄;
所述方法包括:
人脸位置跟踪步骤:人脸位置跟踪模块对指定视频信号中的目标与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并实时发送调整指令给所述显示装置和/或所述摄像头控制装置;
调整步骤:所述显示装置和/或所述摄像头控制装置根据调整指令进行相应调整,以使调整后所述摄像头的镜头的拍摄方向、所述显示装置当前用于显示的像素位置、本方与会者的眼睛处于一条线上。
7.如权利要求6所述的视频会议系统的实现方法,其特征在于,所述人脸位置跟踪模块包括对方人脸位置跟踪模块和/或本方人脸位置跟踪模块;所述人脸位置跟踪步骤包括对方人脸位置跟踪步骤和/或本方人脸位置跟踪步骤;所述调整步骤包括:显示调整步骤和拍摄调整步骤;
所述对方人脸位置跟踪步骤包括:所述对方人脸位置跟踪模块从接收到的对方与会者的视频信号中对对方与会者的脸部进行跟踪,实时计算出对方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令;
所述本方人脸位置跟踪步骤包括:所述本方人脸位置追踪模块从所述摄像头拍摄的本方与会者的视频信号中对本方与会者的脸部进行跟踪,实时计算出本方与会者的脸部当前所处的位置信息以及位置变化幅度,并根据计算结果生成调整指令;
所述显示调整步骤包括:根据所述对方人脸位置跟踪模块计算的位置变化幅度,确定当前用于显示的像素位置,并显示对方与会者的视频;
所述拍摄调整步骤包括:在接收到所述对方人脸位置跟踪模块的调整指令时,控制所述摄像头移动到指定位置,所述指定位置位于所述显示装置当前用于显示的像素位置的正后方,并调整所述摄像头的拍摄角度;在接收到所述本方人脸位置跟踪模块的调整指令时,调整所述摄像头的拍摄角度。
8.如权利要求6所述的视频会议系统的实现方法,其特征在于,所述人脸位置跟踪步骤包括:
人脸位置跟踪模块实时判断目标与会者的位置变化幅度是否大于预设的第一阈值;
若位置变化幅度小于第一阈值,则忽略本次位置变化;若位置变化幅度大于第一阈值,则进一步判断目标与会者的脸部是否在预设时长内回到此前的位置;
若目标与会者的脸部在预设时长内回到此前的位置,则忽略本次位置变化;
若目标与会者的脸部在预设时长内没有回到此前的位置,则实时作出调整指令给所述显示装置和/或所述摄像头控制装置。
9.如权利要求7所述的视频会议系统的实现方法,其特征在于,所述拍摄调整步骤包括:
在所述摄像头控制装置同时收到所述对方人脸位置跟踪模块的调整指令和所述本方人脸位置跟踪模块的调整指令时,根据所述对方人脸位置跟踪模块的调整指令控制所述摄像头移动到指定位置;
然后根据所述本方人脸位置跟踪模块的调整指令调整所述摄像头的拍摄角度。
10.如权利要求7或9所述的视频会议系统的实现方法,其特征在于,所述拍摄调整步骤包括:
根据所述对方人脸位置跟踪模块的调整指令控制所述摄像头在水平方向上移动至所述指定位置;
根据所述对方人脸位置跟踪模块的调整指令控制所述摄像头在竖直方向上移动至所述指定位置;
根据所述对方人脸位置跟踪模块的调整指令或所述本方人脸位置跟踪模块的调整指令调整所述摄像头的拍摄角度。
技术总结