本发明实施例涉及通信领域,具体而言,涉及一种物品信息确定方法、装置、系统、存储介质及电子装置。
背景技术:
现在随着wifi网络、智能手机的普及,越来越多的智能家电设备开始走智能化的道路,并且为了提升用户体验,现有的智能家电设备的功能也越来越多,因而对智能家电设备在使用过程中的获取对应的物品信息的要求也越来越高。
例如,现有的智能冰箱等智能家电都具有拍照功能,通过将智能家电设备内存储的物品进行拍照,并发送给与该智能家电设备相关联的终端上,使得用户能够通过终端及时监测智能家电设备内物品的状态。
在对照片进行识别时,由于智能家电设备内的存储空间较多,如自上而下排布的货架、设置在门体上的瓶座、设置在货架底部的抽屉,当货架上层堆放物品较多时,容易对货架下层或货架下方的抽屉造成遮挡,甚至可能对门体上的瓶座区的物品也造成遮挡,从而影响识别结果,导致物品识别准确率低。
针对性相关技术中存在的物品识别准确率低的问题,目前尚未提出有效的解决方案。
技术实现要素:
本发明实施例提供了一种物品信息确定方法、装置、系统、存储介质及电子装置,以至少解决相关技术中物品识别准确率低的问题。
根据本发明的一个实施例,提供了一种物品信息确定方法,包括:
检测存储设备的门体的开启角度;
获取视频数据,其中,所述视频数据为在确定所述门体的开启角度大于第一预设角度后对所述存储设备中的第一存储区域进行拍摄后所得到的;
获取图像数据,其中,所述图像数据为在确定所述门体的开启角度由大于所述第一预设角度调整为小于或等于第二预设角度后对所述存储设备中的第二存储区域进行拍摄后所得到的;
基于所述视频数据和所述图像数据,确定所述存储设备内所存储的物品的信息。
在一个示例性实施例中,所述第二存储区域为位于所述门体上的用于存储物品的区域,所述第一存储区域为所述存储设备中除所述第二存储区域之外的其他存储区域。
在一个示例性实施例中,基于所述视频数据确定在所述门体的开启角度大于所述第一预设角度后所述第一存储区域的物品调整信息,其中,所述物品调整信息包括放入所述第一存储区域中的第一物品信息和/或从所述第一存储区域中取出的第二物品信息;
基于所述物品调整信息确定所述第一存储区域中存储的物品的信息;
基于所述图像数据确定所述门体的开启角度小于或等于所述第二预设角度后所述第二存储区域中存储的物品的信息;
将所述第一存储区域中存储的物品的信息和所述第二预设角度后所述第二存储区域中存储的物品的信息确定为所述存储设备内所存储的物品的信息。
在一个示例性实施例中,基于所述视频数据确定在所述门体的开启角度大于所述第一预设角度后所述第一存储区域的物品调整信息包括:
对所述视频数据中包括的至少两帧连续图像进行识别,以确定出所述视频数据中包括的每个物品以及每个物品的坐标信息;
基于每个物品的坐标信息确定出坐标发生变化的目标物品;
将所述目标物品中包括的坐标变化满足第一变化规律的第一目标物品的信息确定为所述第一物品信息;
将所述目标物品中包括的坐标变化满足第二变化规律的第二目标物品的信息确定为所述第二物品信息。
在一个示例性实施例中,在基于所述物品调整信息确定所述第一存储区域中存储的物品的信息之后,所述方法还包括:
播报第一识别信息,其中,所述第一识别信息用于标识所述第一存储区域中存储的物品的信息。
在一个示例性实施例中,在获取图像数据之后,所述方法还包括:
识别所述图像数据中包括的第二存储区域;
在识别出所述第二存储区域之后,播报第二识别信息,其中,所述第二识别信息用于标识已识别出所述第二存储区域。
根据本发明的另一个实施例,提供了一种物品信息确定装置,包括:
角度检测模块,用于检测存储设备的门体的开启角度;
视频数据采集模块,用于获取视频数据,其中,所述视频数据为在确定所述门体的开启角度大于第一预设角度后对所述存储设备中的第一存储区域进行拍摄后所得到的;
图像数据采集模块,用于获取图像数据,其中,所述图像数据为在确定所述门体的开启角度由大于所述第一预设角度调整为小于或等于第二预设角度后对所述存储设备中的第二存储区域进行拍摄后所得到的;
信息确定模块,用于基于所述视频数据和所述图像数据,确定所述存储设备内所存储的物品的信息。
根据本发明的另一个实施例,提供了一种物品信息确定系统,包括:
角度传感器,用于检测存储设备的门体的开启角度;
主摄像设备,用于在确定所述门体的开启角度大于第一预设角度后对所述存储设备中的第一存储区域进行拍摄,以得到视频数据;
辅摄像设备,用于在确定所述门体的开启角度由大于所述第一预设角度调整为小于或等于第二预设角度后对所述存储设备中的第二存储区域进行拍摄,以得到图像数据;
处理器,用于获取所述视频数据和所述图像数据,并基于所述视频数据和所述图像数据确定所述存储设备内所存储的物品的信息。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,由于通过视频数据和图像数据识别不同存储区域的物品信息,能够避免因遮挡等原因造成的物品识别准确率低的问题,因此,可以解决相关技术中物品识别准确率低的问题,达到提高物品识别精度的效果。
附图说明
图1是本发明实施例的一种物品信息确定方法的移动终端的硬件结构框图;
图2是根据本发明实施例的一种物品信息确定方法的流程图;
图3是根据本发明实施例的一种物品信息确定装置的结构框图;
图4是根据本发明实施例的一种物品信息确定系统的结构框图;
图5是根据本发明的具体实施例的结构图;
图6是根据本发明的具体实施例的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种物品信息确定方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的一种物品信息确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(networkinterfacecontroller,简称为nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(radiofrequency,简称为rf)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种物品信息确定方法,图2是根据本发明实施例的一种物品信息确定方法的流程图,如图2所示,该流程包括如下步骤:
步骤s202,检测存储设备的门体的开启角度;
在本实施例中,检测门体的开启角度是为了确定存储设备的门体的状态,从而根据门体的状态执行对应的操作。
其中,存储设备可以是智能家居设备,例如,可以(但不限于)是具有摄像和拍照功能并用于存储收纳的家居设备,例如冰箱、存储柜、衣柜等;检测门体开启角度的方式可以(但不限于)通过在智能家居设备内设置角度传感器来实现,也可以通过其它具有角度检测功能的设备进行检测。
需要说明的是,当至少两扇门体的开启角度均大于第一预设角度的情况下,确定智能家居设备处于第一状态;当只有单扇门体的开启角度小于等于第二预设值,第二预设角度小于第一预设角度的情况下,确定智能家居设备处于第二状态;当所有门体均关闭的情况下,确定智能家居设备处于第三状态,否则均处于第四状态,在处于第四状态的情况下,智能家居设备不动作。
以双开门智能冰箱为例,当两扇门体的开启角度均大于75°的情况下,则确定双开门智能冰箱处于第一状态;当左门或右门的开启角度小于等于60°的情况下,则确定双开门智能冰箱处于第二状态;当两扇门体均关闭的情况下,则确定双开门智能冰箱处于第三状态,否则均为第四状态。
其中,门体的开启角度大于第一预设角度的时间大于预设时间则可以确定门体一直处于第一状态;检测方式可以是通过555计时器进行计时来确定,也可以通过数字计时模块来实现。
例如,在检测到门体处于第一状态时,角度传感器向控制主板输出角度检测信号,随后控制主板根据角度检测信号向计时器输出计时信号;当计时器接收到计时信号时,计时器开始计时,同时计时器向控制主板反馈计时结果;当控制主板接收到反馈的计时结果时,将计时结果与预设时间作对比,当计时结果大于等于预设时间时,则确定门体一直处于第一状态;或者计时器计时到预设时间时,计时器向控制主板反馈预设值,当控制主板接收到预设值时,确定门体一直处于第一状态。
需要说明的是,当使用角度传感器对门体进行角度检测的情况下,随着时间的推移,角度传感器内会出现角度累计偏差,从而导致角度传感器检测的角度会出现偏移,从而影响角度传感器的检测精度;因此为提高角度传感器的检测精度,需要定时对角度传感器进行校准。
步骤s204,获取视频数据,其中,视频数据为在确定门体的开启角度大于第一预设角度后对存储设备中的第一存储区域进行拍摄后所得到的;
在本实施例中,在门体的开启角度大于第一预设角度之后再对第一存储区域进行拍摄,从而能够保证视频数据为待处理的数据,减少其它状态的干扰;而采集视频数据是为了确定进出存储设备的第一存储区域的物品的信息,从而确定第一存储区域的物品的信息,避免因物品遮挡导致的识别错误。
其中,以智能双开冰箱为例,视频数据的采集可以(但不限于)通过设置在智能冰箱内顶层的30fps的摄像头来实现;例如,当角度传感器检测到智能双开冰箱的两个门体的开启角度均大于75°的情况下,智能双开冰箱内设的用于控制冰箱运行的控制板控制摄像头对目标区域进行视频拍摄,实现对目标区域的视频数据采集;其中,控制板可以是具有控制制冷以及图像采集功能的集成电路板,也可以是仅仅用于控制摄像头工作的单片机、plc或集成电路板,且该控制板可以有多个,也可以设置单个,只要能够实现控制功能即可。
需要说明的是,视频数据可以是在检测到门体的开启角度大于第一预设角度之后对第一存储区域进行拍摄而采集到的,也可以是对第一存储区域持续拍摄而采集到的。
第一存储区域可以(但不限于)为除了门体内侧的存储区域以外的其它存储区域,也可以为在门体处于第一状态的情况下,将智能家居设备内的货架至门体远离货架的一侧的竖向空间从内向外水平划分为至少一个的识别区时,所有识别区的总集。以智能双开冰箱为例,当门体处于第一状态的情况下,用户从智能冰箱的冷藏室间室或抽屉(干湿分储区、msa区等)上取出或放入物品,则冷藏室间室或抽屉(干湿分储区、msa区等)到门体远离冷藏室间室或抽屉(干湿分储区、msa区等)的一侧的边缘并位于两扇门体中间的竖向空间即为第一存储区域。
步骤s206,获取图像数据,其中,图像数据为在确定门体的开启角度由大于第一预设角度调整为小于或等于第二预设角度后对存储设备中的第二存储区域进行拍摄后所得到的;
在本实施例中,在门体的开启角度小于或等于第二预设角度后之后再对第二存储区域进行拍摄,从而能够保证图像数据为待处理的数据,减少其它状态的干扰;而采集图像数据是为了确定位于第二存储区域的物品的信息,避免因识别区域限制造成的物品信息遗漏。
其中,以智能双开冰箱为例,第二存储区域可以(但不限于)是为位于所述门体上的用于存储物品的区域,例如,门体内侧承托有物品的区域,该区域又称为瓶座区,一般用于承托体积较小且重量较轻的物品,例如奶瓶、可乐罐等;为使在智能家居设备处于第二状态的情况下,图像数据的采集范围能够覆盖门体,采集图片数据的设备可以设置在智能家居设备的内顶部,并通过设置120广角摄像头采集图像数据,实现对图像数据对门体的覆盖;例如,当角度传感器检测到门体开启角度为60°的情况下,控制板控制120广角摄像头拍摄门体对应区域的照片,实现对第二存储区域的图像数据采集。
其中,在一个可选的实施例中,当门体处于第二状态的情况下,不执行第一状态下的动作,即不采集视频数据。
步骤s208,基于视频数据和图像数据,确定存储设备内所存储的物品的信息。
在本实施例中,分别对视频数据和图像数据中的物品进行识别,以分别获取第一存储区域和第二存储区域的物品信息,再将两个存储区域的物品信息进行综合,从而避免物品信息识别错误或遗漏。
通过上述步骤,由于分别通过视频数据和图像数据对存储设备内的物品进行识别,从而避免物品信息识别错误,解决了相关技术中物品识别准确率低的问题,提高了物品信息识别精度。
在一个可选的实施例中,基于所视频数据和图像数据,确定存储设备内所存储的物品的信息包括:
步骤s2082,基于视频数据确定在门体的开启角度大于第一预设角度后第一存储区域的物品调整信息,其中,物品调整信息包括放入第一存储区域中的第一物品信息和/或从第一存储区域中取出的第二物品信息;
步骤s2084,基于物品调整信息确定第一存储区域中存储的物品的信息;
步骤s2086,基于图像数据确定门体的开启角度小于或等于第二预设角度后第二存储区域中存储的物品的信息;
步骤s2088,将第一存储区域中存储的物品的信息和第二预设角度后第二存储区域中存储的物品的信息确定为存储设备内所存储的物品的信息。
在本实施例中,通过物品调整信息确定进出第一存储区的物品的信息,再通过图像数据确定位于第二存储区域的物品的信息,实现对不同区域的物品的信息的识别确定,从而避免采用图像数据识别时因遮挡造成的识别错误,以及采用视频数据识别时因识别区域限制造成的信息识别遗漏。
其中,第一物品信息包括物品名称(例如茄子、西红柿、辣酱、螺丝刀、钳子、文件夹等)、物品的种类(例如食材、工程工具、危险物品等)、物品的包装方式(例如瓶装、罐装、无包装等)、物品放入时间等信息。
第二物品信息包括物品名称(例如茄子、西红柿、辣酱、螺丝刀、钳子、文件夹等)、物品的种类(例如食材、工程工具、危险物品等)、物品的包装方式(例如瓶装、罐装、无包装等)、物品取出时间等信息。
识别视频数据中的物品的方式可以通过常规图像识别技术实现,即提取视频数据中门体的物品的特征,再将提取的特征与预先设置的物品特征库进行对比,将与物品特征库中特征对比最接近的物品判断为视频数据中被提取特征的物品;也可以通过基于快速循环卷积神经网络fasterrcnn、maskrcnn、ssd或者yolo建立的训练模型进行深度学习的卷积神经网络进行图像识别,还可以是常规图像识别与深度学习的卷及神经网络相结合的方式进行识别,只要能够实现对视频数据进行图像识别即可;图像识别技术可以通过常规图片识别的方式进行识别,也可以通过深度学习的卷积网络进行学习,只要能够实现对图片中物品的识别即可,此处不再赘述。
在一个可选的实施例中,基于视频数据确定在门体的开启角度大于第一预设角度后第一存储区域的物品调整信息包括:
步骤s20822,对视频数据中包括的至少两帧连续图像进行识别,以确定出视频数据中包括的每个物品以及每个物品的坐标信息;
步骤s20824,基于每个物品的坐标信息确定出坐标发生变化的目标物品;
步骤s20826,将目标物品中包括的坐标变化满足第一变化规律的第一目标物品的信息确定为第一物品信息;
步骤s20828,将目标物品中包括的坐标变化满足第二变化规律的第二目标物品的信息确定为第二物品信息。
在本实施例中,将满足不同坐标变化规律的物品的信息确定为不同类型的物品信息,从而判断物品的进出情况。
例如,可以先将获取的第一存储区域内的视频数据按照像素类型建立像素坐标,随后根据采集的物品特征,获取物品的坐标;例如,视频数据中的物品为“绿色的圆形苹果”,其中,“绿色”、“圆形”及该苹果的边界像素均为采集的物品特征,随后根据采集的物品特征,确定该苹果在视频数据中的像素区域,再根据像素区域内像素的坐标,获得物品的坐标。
而确定物品进出智能家居设备的方式可以根据视频数据中物品的坐标变化即可获得;例如,采集到视频数据中物品的某点的坐标为(330,223),而在随后采集的视频数据中,该点的坐标变化为(441,228)则判断该物品被拿出智能家居设备;或在随后采集的视频数据中,该点的坐标变化为(35,60),则判断该物品进入智能家居设备,以此类推。
在一个可选的实施例中,在基于物品调整信息确定第一存储区域中存储的物品的信息之后,该方法还包括:
播报第一识别信息,其中,第一识别信息用于标识第一存储区域中存储的物品的信息。
在本实施例中,对第一识别信息进行播报是为了使用户及时了解到第一存储区域中存储的物品的信息。
对第一识别信息进行播报的方式可以是通过语音设备进行播报,也可以是通过其它设备进行播报。
在一个可选的实施例中,在获取图像数据之后,该方法还包括:
识别图像数据中包括的第二存储区域;
在识别出第二存储区域之后,播报第二识别信息,其中,第二识别信息用于标识已识别出第二存储区域。
在本实施例中,对第二识别信息进行播报是为了让用户及时了解到第二存储区域中存储的物品的信息,从而方便用户及时对第二存储区域的物品进行使用。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种物品信息确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种物品信息确定装置的结构框图,如图3所示,该装置包括:
角度检测模块32,用于检测存储设备的门体的开启角度;
视频数据采集模块34,用于获取视频数据,其中,视频数据为在确定门体的开启角度大于第一预设角度后对存储设备中的第一存储区域进行拍摄后所得到的;
图像数据采集模块36,用于获取图像数据,其中,图像数据为在确定门体的开启角度由大于所述第一预设角度调整为小于或等于第二预设角度后对存储设备中的第二存储区域进行拍摄后所得到的;
信息确定模块38,用于基于视频数据和图像数据,确定存储设备内所存储的物品的信息。
在一个可选的实施例中,第二存储区域为位于门体上的用于存储物品的区域,第一存储区域为存储设备中除第二存储区域之外的其他存储区域。
在一个可选的实施例中,信息确定模块38包括:
物品调整信息单元382,用于基于视频数据确定在门体的开启角度大于所述第一预设角度后第一存储区域的物品调整信息,其中,物品调整信息包括放入第一存储区域中的第一物品信息和/或从第一存储区域中取出的第二物品信息;
第一存储信息单元384,用于基于所述物品调整信息确定所述第一存储区域中存储的物品的信息;
第二存储信息单元386,用于基于图像数据确定门体的开启角度小于或等于第二预设角度后第二存储区域中存储的物品的信息;
第三存储信息单元388,用于将第一存储区域中存储的物品的信息和第二预设角度后第二存储区域中存储的物品的信息确定为存储设备内所存储的物品的信息。
在一个可选的实施例中,视频数据采集模块34包括:
视频识别单元342,用于对视频数据中包括的至少两帧连续图像进行识别,以确定出视频数据中包括的每个物品以及每个物品的坐标信息;
坐标确定单元344,用于基于每个物品的坐标信息确定出坐标发生变化的目标物品;
第一信息确定单元346,用于将目标物品中包括的坐标变化满足第一变化规律的第一目标物品的信息确定为第一物品信息;
第二信息确定单元348,用于将目标物品中包括的坐标变化满足第二变化规律的第二目标物品的信息确定为第二物品信息。
在一个可选的实施例中,信息确定模块28还包括:
第一信息播报单元3810,用于播报第一识别信息,其中,第一识别信息用于标识第一存储区域中存储的物品的信息。
在一个可选的实施例中,图像数据采集模块26包括:
区域识别单元362,用于识别图像数据中包括的第二存储区域;
第二信息播报单元364,用于在识别出第二存储区域之后,播报第二识别信息,其中,第二识别信息用于标识已识别出所述第二存储区域。
图4是根据本发明实施例的一种物品信息确定系统的结构框图,如图4所示,该系统包括:
角度传感器42,用于检测存储设备的门体的开启角度;
主摄像设备44,用于在确定门体的开启角度大于第一预设角度后对存储设备中的第一存储区域进行拍摄,以得到视频数据;
辅摄像设备46,用于在确定门体的开启角度由大于第一预设角度调整为小于或等于第二预设角度后对存储设备中的第二存储区域进行拍摄,以得到图像数据;
处理器48,用于获取视频数据和所述图像数据,并基于视频数据和所述图像数据确定存储设备内所存储的物品的信息。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
下面结合具体实施例对本发明进行说明。
参照图5,视频流核心控制板主要负责图像的实时采集、实时处理、冰箱状态检测、屏端显示以及语音播报。其中,主摄像头(30fps)拍摄用户拿进拿出冰箱的动作,从动作中分解食材,再进行识别,从而达到对用户食材进出冰箱的全流程跟踪和识别;副摄像头(120广角摄像头)在关闭冰箱门至特定角度(60度),拍摄门体处图片,实现门体上物品的识别;角度传感器负责角度的实时检测,辅助副摄像头完成关门拍照。霍尔传感器主要用于检测冰箱门的开关状态,在检测到冰箱门关闭后对角度传感器进行校准,同时通过屏端记录和显示食材的拿进拿出。
如图6所示,食材识别流程如下:
先判断冰箱的两扇门的开设角度是否大于75度(对应步骤s601),当检测到开设角度未大于75度时,则不触发识别,否则触发视频流识别以及“开启置物架识别”的语音播报(对应步骤s602);随后检测冰箱的两扇门的开启角度是否一直大于75度(对应步骤s603),当开启时长大于预设值时,则通过食材坐标变化判断是否有食材进出冰箱(对应步骤s604),并对食材及其方向进行识别、记录以及播报(对应步骤s605);当检测到有一扇门的门体的开启角度小于60度时(对应步骤s606),则触发图像识别,并播报“门体识别完成”(对应步骤s607),随后再判断门体是否全部关闭(对应步骤s608),在门体全部关闭的情况下,对角度检测装置进行校准,并在显示端显示进出冰箱的食材以及门体上现有的食材的信息(对应步骤s609)。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:u盘、只读存储器(read-onlymemory,简称为rom)、随机存取存储器(randomaccessmemory,简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
1.一种物品信息确定方法,其特征在于,包括:
检测存储设备的门体的开启角度;
获取视频数据,其中,所述视频数据为在确定所述门体的开启角度大于第一预设角度后对所述存储设备中的第一存储区域进行拍摄后所得到的;
获取图像数据,其中,所述图像数据为在确定所述门体的开启角度由大于所述第一预设角度调整为小于或等于第二预设角度后对所述存储设备中的第二存储区域进行拍摄后所得到的;
基于所述视频数据和所述图像数据,确定所述存储设备内所存储的物品的信息。
2.根据权利要求1所述的方法,其特征在于,所述第二存储区域为位于所述门体上的用于存储物品的区域,所述第一存储区域为所述存储设备中除所述第二存储区域之外的其他存储区域。
3.根据权利要求1所述的方法,其特征在于,基于所述视频数据和所述图像数据,确定所述存储设备内所存储的物品的信息包括:
基于所述视频数据确定在所述门体的开启角度大于所述第一预设角度后所述第一存储区域的物品调整信息,其中,所述物品调整信息包括放入所述第一存储区域中的第一物品信息和/或从所述第一存储区域中取出的第二物品信息;
基于所述物品调整信息确定所述第一存储区域中存储的物品的信息;
基于所述图像数据确定所述门体的开启角度小于或等于所述第二预设角度后所述第二存储区域中存储的物品的信息;
将所述第一存储区域中存储的物品的信息和所述第二预设角度后所述第二存储区域中存储的物品的信息确定为所述存储设备内所存储的物品的信息。
4.根据权利要求1所述的方法,其特征在于,基于所述视频数据确定在所述门体的开启角度大于所述第一预设角度后所述第一存储区域的物品调整信息包括:
对所述视频数据中包括的至少两帧连续图像进行识别,以确定出所述视频数据中包括的每个物品以及每个物品的坐标信息;
基于每个物品的坐标信息确定出坐标发生变化的目标物品;
将所述目标物品中包括的坐标变化满足第一变化规律的第一目标物品的信息确定为所述第一物品信息;
将所述目标物品中包括的坐标变化满足第二变化规律的第二目标物品的信息确定为所述第二物品信息。
5.根据权利要求3所述的方法,其特征在于,在基于所述物品调整信息确定所述第一存储区域中存储的物品的信息之后,所述方法还包括:
播报第一识别信息,其中,所述第一识别信息用于标识所述第一存储区域中存储的物品的信息。
6.根据权利要求1所述的方法,其特征在于,在获取图像数据之后,所述方法还包括:
识别所述图像数据中包括的第二存储区域;
在识别出所述第二存储区域之后,播报第二识别信息,其中,所述第二识别信息用于标识已识别出所述第二存储区域。
7.一种物品信息确定装置,其特征在于,包括:
角度检测模块,用于检测存储设备的门体的开启角度;
视频数据采集模块,用于获取视频数据,其中,所述视频数据为在确定所述门体的开启角度大于第一预设角度后对所述存储设备中的第一存储区域进行拍摄后所得到的;
图像数据采集模块,用于获取图像数据,其中,所述图像数据为在确定所述门体的开启角度由大于所述第一预设角度调整为小于或等于第二预设角度后对所述存储设备中的第二存储区域进行拍摄后所得到的;
信息确定模块,用于基于所述视频数据和所述图像数据,确定所述存储设备内所存储的物品的信息。
8.一种物品信息确定系统,其特征在于,包括:
角度传感器,用于检测存储设备的门体的开启角度;
主摄像设备,用于在确定所述门体的开启角度大于第一预设角度后对所述存储设备中的第一存储区域进行拍摄,以得到视频数据;
辅摄像设备,用于在确定所述门体的开启角度由大于所述第一预设角度调整为小于或等于第二预设角度后对所述存储设备中的第二存储区域进行拍摄,以得到图像数据;
处理器,用于获取所述视频数据和所述图像数据,并基于所述视频数据和所述图像数据确定所述存储设备内所存储的物品的信息。
9.一种存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
技术总结