本发明涉及图像识别领域，特别是涉及一种用于智能零售货柜商品的检测方法、系统及电子设备。
背景技术：
1、近年来，人工智能在中国的各个领域得到广泛应用，其中，在商品支付领域方面，自动售卖机越来越大众化。然而，对于传统的自动售货机，如重力感应货柜、rfid零售货柜等，在生产成本、消费体验以及设备维护等方面仍存在不少弊端。因此，目前市场上大部分的智能零售货柜采用视觉解决方案，主要分为静态视觉解决方案和动态视觉解决方案。由于静态视觉方法存在采用摄像头数目较多、空间利用率低等问题；虽然动态视觉方案的柜内空间利用率高，但是商品图像在采集过程中易受到各种方式的遮挡等不利因素影响，导致商品检测精度低，所以还需要人工再次对视频进行判断。这不仅影响消费者的消费体验，还耗费大量人力资源。
2、基于深度学习技术快速发展，为商品检测领域提供了新思路和新方法。目前，针对智能零售货柜的商品检测，主要有单阶段和双阶段目标检测算法，单阶段目标检测算法对主干卷积网络提取的特征图直接进行目标定位和分类，而双阶段目标检测算法则是先进行一次目标区域的筛选，再对目标进行定位和分类，这种方法可以过滤掉大量的背景候选框，使得目标检测的精度更高。
3、现有的目标检测器在大商品检测上具有显著检测性能，但由于小商品信息少易被网络忽略，尤其在遮挡情况下，小商品检测仍具有挑战性。大量研究表明，在智能零售货柜的商品检测方面，由于小商品出现被遮挡的情况，导致商品有效特征缺失。此外，还需考虑小商品特征较少导致商品检测精度不高。
技术实现思路
1、本发明的目的是提供一种用于智能零售货柜商品的检测方法、系统及电子设备，能够提高智能零售货柜商品的检测精度。
2、为实现上述目的，本发明提供了如下方案：
3、一种用于智能零售货柜商品的检测方法，所述检测方法包括：
4、获取不同视角同时采集的智能零售货柜商品的多个视频数据，并根据消费物者的手部关节点将各所述视频数据分成多个关键帧；
5、将各所述视频数据中同一时刻的各所述关键帧进行融合和拼接，得到多个图像数据；
6、应用残差网络对各所述图像数据进行特征提取，得到多个多尺度特征图；
7、对各所述多尺度特征图进行回归预测，得到检测结果；所述检测结果为用检测框框出的所述智能零售货柜商品。
8、可选地，所述残差网络包括残差主干网络和残差密集块；所述主干网络由多个残差单元堆叠而成；所述残差单元由卷积层、批量归一化层和线性整流函数组成。
9、可选地，根据消费物者的手部关节点将各所述视频数据分成多个关键帧，具体包括：
10、获取所述消费物者的手部关节点；所述消费物者的手部关节点为从通用手部关节点中预设的五个指尖位置和九个关节点位置；
11、根据所述消费物者的手部关节点，计算所述消费物者的手部中心点位置；
12、根据所述消费物者的手部中心点位置将各所述视频数据分成多个关键帧。
13、可选地，将各所述视频数据中同一时刻的各所述关键帧进行融合和拼接，得到多个图像数据，具体包括：
14、应用重叠滑动窗口技术，将同一时刻的各所述关键帧分为多个图像块；其中，同一时刻的各所述关键帧包括第一关键帧和第二关键帧；
15、根据所述消费物者的手部关节点，将所述第一关键帧和所述第二关键帧均分为细节部分和基础部分；所述细节部分为包括所述消费物者的手部关节点的图像部分；所述基础部分为不包括所述消费物者的手部关节点的图像部分；
16、根据各所述图像块和所述细节部分，确定所述细节部分的图像块；
17、根据各所述图像块和所述基础部分，确定所述基础部分的图像块；
18、应用加权平均策略，对所述第一关键帧和所述第二关键帧的所述细节部分的图像块进行融合，得到融合后的细节部分图像；
19、所述融合后的细节部分图像映射到所述第一关键帧中，得到第一关键的帧映射后的细节部分图像；
20、将各所述视频数据中，所述第一关键的帧映射后的细节部分图像和所述第一关键帧的基础部分的图像块进行拼接，得到多个图像数据。
21、可选地，在执行步骤“对各所述多尺度特征图进行回归预测”之前，所述检测方法还包括：
22、对各所述多尺度特征图进行下采样，得到多个下采样后的特征图；
23、对各所述采样后的特征图进行上采样，得到多个上采样后的特征图，并根据所述多个上采样后的特征图对所述多个多尺度特征图进行更新。
24、一种用于智能零售货柜商品的检测系统，应用上述的用于智能零售货柜商品的检测方法，所述检测系统包括：
25、获取模块，用于获取不同视角同时采集的智能零售货柜商品的多个视频数据，并根据消费物者的手部关节点将各所述视频数据分成多个关键帧；
26、拼接模块，用于将各所述视频数据中同一时刻的各所述关键帧进行融合和拼接，得到多个图像数据；
27、提取模块，用于应用残差网络对各所述图像数据进行特征提取，得到多个多尺度特征图；
28、检测模块，用于对各所述多尺度特征图进行回归预测，得到检测结果；所述检测结果为用检测框框出的所述智能零售货柜商品。
29、一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的用于智能零售货柜商品的检测方法。
30、可选地，所述存储器为可读存储介质。
31、根据本发明提供的具体实施例，本发明公开了以下技术效果：
32、本发明通过获取不同视角同时采集的智能零售货柜商品的多个视频数据，并根据消费物者的手部关节点将各所述视频数据分成多个关键帧，以及将各所述视频数据中同一时刻的各所述关键帧进行融合和拼接，得到多个图像数据，通过将不同视角中小商品的细节特征进行融合，解决单视角下受遮挡小商品特征信息缺失的问题，提高了商品检测精度，同时应用残差网络对各所述图像数据进行特征提取，得到多个多尺度特征图，并对各所述多尺度特征图进行回归预测，得到检测结果，减少了网络参数计算量，与以往现有技术相比，实时性得到提高。
1.一种用于智能零售货柜商品的检测方法，其特征在于，所述检测方法包括：
2.根据权利要求1所述的用于智能零售货柜商品的检测方法，其特征在于，所述残差网络包括残差主干网络和残差密集块；所述主干网络由多个残差单元堆叠而成；所述残差单元由卷积层、批量归一化层和线性整流函数组成。
3.根据权利要求1所述的用于智能零售货柜商品的检测方法，其特征在于，根据消费物者的手部关节点将各所述视频数据分成多个关键帧，具体包括：
4.根据权利要求1所述的用于智能零售货柜商品的检测方法，其特征在于，将各所述视频数据中同一时刻的各所述关键帧进行融合和拼接，得到多个图像数据，具体包括：
5.根据权利要求1所述的用于智能零售货柜商品的检测方法，其特征在于，在执行步骤“对各所述多尺度特征图进行回归预测”之前，所述检测方法还包括：
6.一种用于智能零售货柜商品的检测系统，其特征在于，所述检测系统包括：
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的用于智能零售货柜商品的检测方法。
8.根据权利要求7所述的一种电子设备，其特征在于，所述存储器为可读存储介质。
