本发明涉及交互学习设备技术领域,更具体地说,涉及一种基于远距离显示的交互学习辅助系统和方法。
背景技术:
受到卫生健康、出行效率、安全等因素的影响,未来的教育、培训的形式可能逐渐向线上模式过渡,特别是家教领域。在现有技术中,远程家教通常依赖于手机、平板电脑等手持终端设备,或是计算机终端、智能台灯等桌面终端设备,手持终端设备和桌面终端设备具有较高的便捷性,且为近距离显示设备。
例如,申请号为2017109693907的中国专利文件公开的一种习题搜索方法,该方法基于手持终端设备,能够根据接收到的习题搜索指令开启摄像头获取相关图片,解析所述相关图片,并根据解析结果搜索与所述相关图片对应的习题;根据用户预设规则分类存储所述习题,并显示或/和播放所述习题。这一过程中智能终端可以根据用户的搜索指令一键开启摄像头,然后根据拍摄的图片搜索对应的习题。该方法是一种人机交互的学习方法,其本质是识别待做习题,并将待做习题与数据库中的若干习题进行对比,找出最接近的若干道习题供用户参考。
然而,未成年人的自制力较弱,当手持终端设备和桌面终端设备这些近距离显示的设备完全处于未成年人的控制时,家长对其使用目的难以掌控。
此外,若将终端设备远离未成年人设置,也会带来诸多不便。例如,在一些学习场景中,需要参与远程家教的双方进行互动,若当就某一道题目进行学习时,未成年人需要将题目展示老师看,老师再将解题思路和过程展示给未成年人,未成年人记录解题思路并完成答题。利用桌面终端设备和手持终端设备能够较为方便地实现上述过程,但若终端设备远离未成年人设置,如何增强未成年人与终端设备的交互效果也是亟待解决的问题。
技术实现要素:
1.发明要解决的技术问题
本发明的目的在于克服现有技术中使用者利用近距离的显示终端设备进行学习时效率不高的不足,提供了一种基于远距离显示的交互学习辅助方法,旨在将显示终端设备远离使用设置,以提高使用者的学习效率。
2.技术方案
本发明的一种基于远距离显示的交互学习辅助方法,
第一用户利用拍摄设备和操控设备控制处于远距离显示的显示终端设备,以进行学习活动;以及,
第二用户利用监控设备监控所述显示终端设备的显示内容,以监督第一用户的学习活动;和/或,
第三用户利用远程设备接收所述显示终端设备传输的信息后,再利用远程设备反馈给所述显示终端设备解题信息,以完成对第一用户学习活动的辅导。
进一步地,第二用户利用带有触控功能的显示终端设备对第一用户的学习活动进行辅导。
进一步地,第一用户利用拍摄设备和操控设备控制显示终端设备以进行学习活动时具体包括以下步骤,
步骤一、显示终端设备接收并显示拍摄设备传输的作业图像,并于所述作业图像上形成标识框;
步骤二、显示终端设备接收操控设备的操作指令并调整所述标识框的大小、位置,以确定目标区域;
步骤三、显示终端设备识别所述目标区域内的文字信息,并将所述文字信息显示在显示卡的第一区域;同时显示终端设备将所述文字信息和所述目标区域的图像传输给远程设备;
步骤四、显示终端设备接收并在显示卡的第二区域同步显示所述远程设备反馈的解题信息;
步骤五、显示终端设备接收所述操控设备传输的答题信息,并将所述答题信息显示在显示卡的第三区域内。
进一步地,所述步骤二中,所述标识框具有两种标识方式,所述标识框在形成时以第一标识方式进行标识,所述显示终端设备接收到所述操控设备的操作指令时,所述标识框以第二标识方式进行标识;
当所述标识框以第一标识方式进行标识时,若当t1时间内未接收到所述操控设备的操作指令,则确定目标区域;
当所述标识框以第二标识方式进行标识时,若当t2时间内未接收到所述操控设备的操作指令,则所述标识框以第一标识方式进行标识。
进一步地,所述目标区域至少为两个时,对所有目标区域进行标识,形成若干个标识框;所述步骤二的具体步骤为,
步骤2.1、以第三标识方式对所有标识框进行标识;
步骤2.2、选取若干个以第三标识方式进行标识的标识框中的一个,将该标识框以第一标识方式进行标识;
步骤2.3、检测显示终端设备是否收到操控设备的操作指令,若当显示终端设备在t1时间内未接收到所述操控设备的操作指令,则确定目标区域,并执行步骤2.5;若当显示终端设备在t1时间内接收到所述操控设备的操作指令,则将所述步骤2.2中选取的标识框以第二标识方式标识;
步骤2.4、若当显示终端设备在t2时间内未接收到所述操控设备的操作指令,则将所述步骤2.2中选取的标识框以第一标识方式进行标识,并执行步骤2.3;
步骤2.5、若当仍有以第三标识方式进行标识的标识框,执行步骤2.2;若当所有标识框以第一标识方式进行标识时,完成所述步骤二。
进一步地,所述步骤2.3中,若当显示终端设备在t1时间内接收到所述操控设备的删除指令,则删除所述步骤2.2中选取的标识框,并执行步骤2.5。
进一步地,所述步骤三中,建立若干个显示卡,将所述显示卡划分为所述第一区域、第二区域和第三区域,所述显示卡上的第一区域仅显示一个标识框内的文字信息。
进一步地,所述步骤四中,对接收的解题信息进行识别,并显示在用于显示该解题信息对应文字信息的显示卡的第二区域上。
进一步地,若干个显示卡中仅一个显示卡被提供在显示终端设备上,若干个所述显示卡响应于操控设备的操作指令切换着被提供在显示终端设备上;被提供在显示终端设备上的显示卡响应操控设备答题信息的传输指令,并将答题信息显示在该显示卡的第三区域。
进一步地,被提供在显示终端设备上的显示卡响应操控设备的删除指令,将该显示卡删除,并将若干个显示卡中的另一个显示卡提供在显示终端设备上。
3.有益效果
采用本发明提供的技术方案,与现有技术相比,具有如下有益效果:
(1)在本发明中,当显示终端设备远离用户设置时,可以将显示终端设备设置为大屏显示终端设备,从而解决手持终端设备和桌面终端设备的屏幕较小而然显示内容有限的问题;同时,长期使用近距离显示的手持终端设备和桌面终端设备,可能有损于用户的视力,长期保持伏案的姿势也不利于用户的健康,尤其是处于成长阶段的青少年,因而当显示终端设备远离用户设置时,能够起到护眼的作用。
(2)在本发明中,当显示终端设备远离第一用户设置时,显示终端设备处于一种曝露的状态,第二用户能够轻易观察到显示内容,使得第一用户产生警戒心里,时刻规范自己对于显示终端设备的使用行为,从而提高第一用户的学习效率。
(3)本发明的方法,通过将纸件拍摄为图像显示在显示终端设备上,并通过调整标识框的位置、大小,准确地对作业图像中的目标区域进行定位;之后识别目标区域中的文字信息,并将该文字信息传输给远程设备,使得纸件上的题目能清晰而准确地显示给位于远程设备前的用户;此外,通过将远程设备反馈的解题信息显示在显示终端设备上,能够有效提高参与学习活动双方的效率。
(4)在本发明中,当目标区域为两个以上时,可以在作业图像上形成若干个标识框,并通过操控设备发出的操作指令依次调整标识框的位置、大小,以准确确定目标区域,同时将每个目标区域内的文字信息识别并发送给远程设备,进一步提高了参与学习活动双方的效率。
附图说明
图1为本发明的系统结构示意图;
图2为本发明中方法的步骤示意图;
图3为本发明中对若干个标识框进行调整的逻辑图;
图4为本发明中标识有若干个标识框的作业图像确定目标区域的过程示意图;
图5为本发明中若干个显示卡被切换着提供在显示屏幕的过程示意图。
具体实施方式
为进一步了解本发明的内容,结合附图和实施例对本发明作详细描述。
本说明书附图所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等用语,亦仅为便于叙述的明了,而非用以限定可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
在各实施例中,显示终端设备可以是任何能够远离用户设置的大尺寸显示终端设备,例如lcd显示屏、led显示屏、oled显示屏;显示终端设备也可以是投影设备,此时,投影设备所投射并显像的显示画面远离用户设置。显示终端设备上集成有计算机模块,使得用户能够在显示终端设备上运行应用程序或操作系统的应用程序管理模式的特征,操作系统可以是windows操作系统,或是android操作系统,或是ios操作系统,或是其他任何能够实现人机交互的操作系统;显示终端设备的存储模块内设有密钥程序和应用程序管理程序。
此外,显示终端设备的显示屏幕上还可以设置触控模块,该触控模块用于实现显示终端设备的近距离交互操作,例如第二用户可以利用该触控模块实现触控操作,以对第一用户的学习活动进行指导。触控模块可以是相关领域中常用的红外触控器、电容触控器和电阻触控器,而这些触控器的具体结构和工作原理可参照现有技术中已被公开的内容实施,本实施方式不再赘述相关内容。
拍摄设备可以是任何能够拍摄图像的设备,拍摄设备能够将所拍摄的图像传输给显示终端设备。拍摄设备可以是手持式计算机、智能电话、平板电脑、高拍仪、摄像头。操控设备可以是任何能够在远离显示终端设备时也能发出操作指令的设备,例如是触控板、翻页笔、鼠标、键盘、手写输入板、游戏杆,或是语音操控设备4,其中,键盘和手写输入板可直接用于文字输入。
显示终端设备能够将拍摄设备拍摄的作业图像,以及从作业图像中识别出的文字信息传输给远程设备,第三用户可利用远程设备反馈相应的解题信息给显示终端设备,从而实现第三用户对于第一用户学习活动的辅导。远程设备可以是手持式计算机、智能电话、平板电脑等。
监控设备的存储模块内设有与密钥程序和应用程序管理程序协议通信的监测程序,密钥程序实时接收监测程序的数据,显示终端设备的显示屏幕的显示内容响应于密钥程序的监测结果。监控设备可以是手持式终端设备,可以是手持式计算机、智能电话、平板电脑等。第二用户可利用监控设备对第一用户的学习活动进行监控。还应当说明的是,监测程序、密钥程序、应用程序管理程序具体的实施方式可参照现有技术中常用的相关程序,例如但不限于申请号为2020210844604的中国专利文件公开的方案。
以下,
参照图1,作为交互学习辅助系统的一个实施例,显示终端设备为集成有ops模块的显示屏1,该显示屏1为lcd显示屏,该显示屏1搭载有windows操作系统;拍摄设备为高拍仪2,该高拍仪2具有无线数据传输单元,用于将拍摄的图像信息实时传输给显示屏1;操控设备为手写输入板3,该手写输入板3上可以设置有用于发出相应操作指令的按钮,手写输入板3的无线数据传输单元能够将操作指令传输给显示屏1。
具体的,显示屏1用于显示高拍仪2传输的作业图像,并在作业图像上形成标识框;显示屏1用于响应手写操控设备3的操作指令以调整标识框的大小、位置;显示屏1用于响应手写操控设备3的答题信息的传输指令。
显示屏1可以包括处理器、无线传输模块、显示屏幕,以及用于维持显示屏1正常运转所必须的模块,例如电源模块、存储模块、显示驱动模块。其中,无线传输模块和显示屏幕均与处理器耦合,无线传输模块和显示屏幕能够执行处理器发出的相应指令。
具体的,处理器接收拍摄设备传输的图像信息,以及操控设备传输的操作指令和答题信息,并且在两种显示模式中的任何一个显示模式下操作系统。本实施例的两种显示模式分别是识别模式和作答模式,识别模式指的是显示屏1显示作业图像,并进行标识框的调整;作答模式是指显示屏1显示文字信息、解题信息和答题信息。
在识别模式下,处理器在显示屏幕上提供根据拍摄设备传输的图像信息生成的图像,同时生成标识框;在显示屏幕上移动标识框的位置、缩放标识框的大小、改变标识框的标识方式,以响应操控设备传输的操作指令;
在作答模式下,无线传输模块将图像识别的文字信息传输给远程设备,并接收远程设备传输的解题信息;处理器在显示屏幕上提供文字信息、提供解题信息以响应无线传输模块、提供操控设备输入的答题信息。
以下,
参照图2,利用上述实施例的交互学习辅助系统进行辅助学习的方法,具体可以包括以下步骤:
步骤一、显示屏1接收并显示高拍仪2传输的作业图像,并于作业图像上形成标识框。
具体的,在步骤一中,可以先将记载有作业题目的纸件放置在高拍仪2的摄像头下方,并调整高拍仪2的摄像头焦距,使得纸件能够被清晰拍摄;之后,高拍仪2的无线数据传输单元将高拍仪2的摄像头所拍摄的作业图像传输给显示屏1,显示屏1将该作业图像进行显示。作为优选的,摄像头可以对记载有作业题目的纸件进行摄像,显示屏1能够将作业图像实时显示在显示屏1上,因而方便于调整高拍仪2的摄像头对于纸件的拍摄区域。
当作业图像显示在显示屏1上之后,显示屏1能够根据作业图像中的文字信息生成标识框。根据作业图像形成标识框的方法可采用相关领域中常用的标识框形成方法,例如公开号为cn104573675a、cn103268481a、cn103456195a、us2011222773a1专利文件公开的方法。
步骤二、显示屏1接收手写输入板的操作指令并调整标识框的大小、位置,以确定目标区域。
具体的,步骤二中,标识框具有两种标识方式,标识框在形成时以第一标识方式进行标识,显示屏1接收到手写输入板3的操作指令时,标识框以第二标识方式进行标识;当标识框以第一标识方式进行标识时,若当t1时间内未接收到手写输入板3的操作指令,则确定目标区域;当标识框以第二标识方式进行标识时,若当t2时间内未接收到手写输入板3的操作指令,则标识框以第一标识方式进行标识。
此外,当目标区域至少为两个时,对所有目标区域进行标识,形成若干个标识框;参照图3,对目标区域进行标识并确定目标区域的具体步骤为,
步骤2.1、以第三标识方式对所有标识框进行标识;
步骤2.2、选取若干个以第三标识方式进行标识的标识框中的一个,将该标识框以第一标识方式进行标识;
步骤2.3、检测显示屏1是否收到手写输入板3的操作指令,若当显示屏1在t1时间内未接收到手写输入板3的操作指令,则确定目标区域,并执行步骤2.5;若当显示屏1在t1时间内接收到手写输入板3的操作指令,则将步骤2.2中选取的标识框以第二标识方式标识;
步骤2.4、若当显示屏1在t2时间内未接收到手写输入板3的操作指令,则将步骤2.2中选取的标识框以第一标识方式进行标识,并执行步骤2.3;
步骤2.5、若当仍有以第三标识方式进行标识的标识框,执行步骤2.2;若当所有标识框以第一标识方式进行标识时,完成步骤二。
当高拍仪2拍摄的作业图像包含若干道题目,且并不是所有的题目都需要辅导时,可以利用手写输入板3对不需要辅导的题目所对应的标识框进行删除。具体的,在步骤2.3中,若当显示终端设备在t1时间内接收到操控设备的删除指令,则删除步骤2.2中选取的标识框,并执行步骤2.5。
步骤三、显示屏1识别目标区域内的文字信息,然后建立显示卡,并将文字信息显示在显示卡的第一区域;同时显示屏1将文字信息和目标区域的图像传输给远程设备。
应当指出的是,仅是为了在本实施方式中较为简便地描述用于显示文字信息、答题信息和解题信息的屏幕区域,将这些屏幕区域喻为“显示卡”。“显示卡”在某些方面与桌面用户界面领域中的窗口相似。
具体的,在步骤三中,若当目标区域至少为两个时,可以建立若干个显示卡,并将显示卡划分为第一区域、第二区域和第三区域,一个显示卡上的第一区域仅显示一个标识框内的文字信息。因此,用户可以通过手写输入板3对若干个显示卡进行移动、切换、删除、保存等操作,从而方便对显示卡进行管理。例如,被提供在显示终端设备上的显示卡响应操控设备的删除指令,将该显示卡删除,并将若干个显示卡中的另一个显示卡提供在显示终端设备上。
步骤四、显示屏1接收并在显示卡的第二区域同步显示远程设备反馈的解题信息。
具体的,在步骤四中,若当目标区域至少为两个时,对接收的解题信息进行识别,并显示在用于显示该解题信息对应文字信息的显示卡的第二区域上。例如,当显示卡为两个时,若当判断接收的解题信息为第一显示卡上的题目的解题信息,则将该解题信息显示在第一显示卡的第二区域;若当判断接收的解题信息为第二显示卡上的题目的解题信息,则将该解题信息显示在第二显示卡的第二区域。
步骤五、显示屏1接收手写输入板传输的答题信息,并将答题信息显示在显示卡的第三区域内。
具体的,在步骤五中,若当目标区域至少为两个时,为了提高显示屏1显示的简洁性,同时提高用户的使用效率,若干个显示卡中仅一个显示卡被提供在显示屏1上,若干个显示卡响应于手写输入板3的操作指令而切换着被提供在显示屏1上;被提供在显示屏1上的显示卡响应手写输入板3答题信息的传输指令,并将答题信息显示在该显示卡的第三区域。
以下,
作为本实施方法的辅助学习方法的具体实施例,图4中的a图像为显示屏1接收并显示在显示屏幕上的作业图像,同时,作业图像上形成有三个标识框,该标识框以第三标识方式标识,即为单实线框103。
参照图4中的b图像,用于框选第17题的第一标识框由第一标识方式标识,即由单实线框103转变为双实线框101,显示屏1处于等待接收手写触控板3的操作指令的状态中,用于框选第18题的第二标识框和用于框选第19题的第三标识框仍然以第一标识方式标识。
参照图4中的c图像,当显示屏1在t1时间内接收到手写触控板3的操作指令后,显示屏1相应该操作指令,将第一标识框的标识方式由第一标识方式转换为第二标识方式,即由双实线框101转化为虚线框102。此时,虚线框102可根据手写触控板3的具体操作指令进行调整,例如左右移动、放大缩小、旋转角度。
当虚线框102的大小、位置调整完毕后,手写触控板3不再发出指令。此时,若当显示屏1在t2时间内未收到操作指令后,参照图4中的d图像,第一标识框的标识方式由第二标识方式转换为第一标识方式;当第一标识框以第一方式标识时,若当显示屏1在t1时间内未收到手写触控板3的操作指令,第一标识被选定。
之后,依次对第二标识框和第三标识框进行调整。其中,由于用于框选第19题的第三标识框未将第19题完整地框选,因而可以在第三标识框以第一标识方式标识时,通过手写触控板3发出删除指令,以将第三标识框删除。
参照图5,当完成第一标识框和第二标识框的调整后,分别将第一标识框所框选的第17题和第二标识框所框选的第18题显示在第一显示卡111和第二显示卡112上。此时,先将第一显示卡111提供在显示屏1的显示屏幕上,并将第一标识框内的文字信息显示在第一区域121内;同时,显示屏1接收到远程设备的第17题解题信息时,将该解题信息显示在第一显示卡111的第二显示区域122内,显示屏1接收到手写输入板3的答题信息时,将答题信息显示在第一显示卡111的第三显示区域123内。
当然,显示屏1也能够相应手写输入板3的操作指令,以将第二显示卡112提供在显示屏1的显示屏幕上,例如“下一页”按钮对应的操作指令。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。
1.一种基于远距离显示的交互学习辅助方法,其特征在于:
第一用户利用拍摄设备和操控设备控制处于远距离显示的显示终端设备,以进行学习活动;以及,
第二用户利用监控设备监控所述显示终端设备的显示内容,以监督第一用户的学习活动;和/或,
第三用户利用远程设备接收所述显示终端设备传输的信息后,再利用远程设备反馈给所述显示终端设备解题信息,以完成对第一用户学习活动的辅导。
2.根据权利要求1所述的方法,其特征在于:第二用户利用带有触控功能的显示终端设备对第一用户的学习活动进行辅导。
3.根据权利要求1所述的方法,其特征在于:第一用户利用拍摄设备和操控设备控制显示终端设备以进行学习活动时具体包括以下步骤,
步骤一、显示终端设备接收并显示拍摄设备传输的作业图像,并于所述作业图像上形成标识框;
步骤二、显示终端设备接收操控设备的操作指令并调整所述标识框的大小、位置,以确定目标区域;
步骤三、显示终端设备识别所述目标区域内的文字信息,并将所述文字信息显示在显示卡的第一区域;同时显示终端设备将所述文字信息和所述目标区域的图像传输给远程设备;
步骤四、显示终端设备接收并在显示卡的第二区域同步显示所述远程设备反馈的解题信息;
步骤五、显示终端设备接收所述操控设备传输的答题信息,并将所述答题信息显示在显示卡的第三区域内。
4.根据权利要求3所述的方法,其特征在于:所述步骤二中,所述标识框具有两种标识方式,所述标识框在形成时以第一标识方式进行标识,所述显示终端设备接收到所述操控设备的操作指令时,所述标识框以第二标识方式进行标识;
当所述标识框以第一标识方式进行标识时,若当t1时间内未接收到所述操控设备的操作指令,则确定目标区域;
当所述标识框以第二标识方式进行标识时,若当t2时间内未接收到所述操控设备的操作指令,则所述标识框以第一标识方式进行标识。
5.根据权利要求4所述的方法,其特征在于:所述目标区域至少为两个时,对所有目标区域进行标识,形成若干个标识框;所述步骤二的具体步骤为,
步骤2.1、以第三标识方式对所有标识框进行标识;
步骤2.2、选取若干个以第三标识方式进行标识的标识框中的一个,将该标识框以第一标识方式进行标识;
步骤2.3、检测显示终端设备是否收到操控设备的操作指令,若当显示终端设备在t1时间内未接收到所述操控设备的操作指令,则确定目标区域,并执行步骤2.5;若当显示终端设备在t1时间内接收到所述操控设备的操作指令,则将所述步骤2.2中选取的标识框以第二标识方式标识;
步骤2.4、若当显示终端设备在t2时间内未接收到所述操控设备的操作指令,则将所述步骤2.2中选取的标识框以第一标识方式进行标识,并执行步骤2.3;
步骤2.5、若当仍有以第三标识方式进行标识的标识框,执行步骤2.2;若当所有标识框以第一标识方式进行标识时,完成所述步骤二。
6.根据权利要求5所述的方法,其特征在于:所述步骤2.3中,若当显示终端设备在t1时间内接收到所述操控设备的删除指令,则删除所述步骤2.2中选取的标识框,并执行步骤2.5。
7.根据权利要求6所述的方法,其特征在于:所述步骤三中,建立若干个显示卡,将所述显示卡划分为所述第一区域、第二区域和第三区域,所述显示卡上的第一区域仅显示一个标识框内的文字信息。
8.根据权利要求7所述的方法,其特征在于:所述步骤四中,对接收的解题信息进行识别,并显示在用于显示该解题信息对应文字信息的显示卡的第二区域上。
9.根据权利要求8所述的方法,其特征在于:若干个显示卡中仅一个显示卡被提供在显示终端设备上,若干个所述显示卡响应于操控设备的操作指令切换着被提供在显示终端设备上;被提供在显示终端设备上的显示卡响应操控设备答题信息的传输指令,并将答题信息显示在该显示卡的第三区域。
10.根据权利要求9所述的方法,其特征在于:被提供在显示终端设备上的显示卡响应操控设备的删除指令,将该显示卡删除,并将若干个显示卡中的另一个显示卡提供在显示终端设备上。
技术总结