本发明涉及一种信息处理装置、信息处理系统、信息处理方法、计算机程序以及建筑机械。
背景技术：
已知一种具备用于拍摄作业装置的摄像机的建筑机械。例如，专利文献1中记载了一种建筑机械，该建筑机械具备：摄像机，其设置在回转体上，用于拍摄作业装置；角度检测部，其用于检测相对角度；以及姿势确定部，其用于确定姿势。该建筑机械根据基于摄像机的图像提取出的各连杆的边缘来检测连杆之间的相对角度，并基于该相对角度来确定作业装置相对于回转体的姿势。
现有技术文献
专利文献
专利文献1：日本特开2017-053627号公报
技术实现要素：
发明要解决的问题
本发明人们对具备由液压等动力进行驱动的动臂、斗杆以及附属构件(attachment)的建筑机械得出以下认识。
某建筑机械利用动力对由动臂和斗杆等构成的臂机构进行驱动，从而使安装于臂机构的铲斗等附属构件动作来进行规定的施工。例如，在对地面进行施工时，期望按照设计图在短时间内高效地进行正确的施工。但是，在使附属构件移动时，如果其移动速度过快，则过冲变大，定位精度降低。反之，如果移动速度过慢，则移动时间变长，作业效率降低。因此，基于提高附属构件的移动精度的观点，需要探测附属构件的移动速度来进行精密的机体控制。
为了探测移动速度，考虑在臂机构以及附属构件的各部设置位置传感器，根据其探测的结果的每单位时间的变化来估计速度。但是，在该结构中，结构因设置传感器及其布线而变复杂。另外，要额外地花费传感器和布线的成本，因此在成本方面也是不利的。基于探测移动速度的观点，不能说专利文献1中记载的建筑机械充分地应对了该课题。这样的课题不限于在上述的建筑机械中产生，在其它种类的作业机械中也可能产生。
本发明是鉴于这样的课题而完成的，其目的之一在于提供一种能够用简单的结构来估计作业部的移动速度的作业机械的信息处理装置。
用于解决问题的方案
为了解决上述课题，本发明的某个方式的信息处理装置具备：存储部，其存储有对应信息，该对应信息是将作业机械的作业部的参照图像的数据和作业机械的作业部的姿势的数据相对应而生成的；获取部，其获取作业机械的作业部的图像的数据，以与参照图像的数据进行比较；以及速度估计部，其基于对应信息以及由获取部获取到的图像的数据，来生成与作业机械的作业部的速度有关的速度信息。
此外，以上的任意的组合、将本发明的结构要素或表现在方法、装置、程序、记录有程序的瞬态性或非瞬态性的存储介质以及系统等之间相互置换而得到的方式，作为本发明的方式也是有效的。
发明的效果
根据本发明，能够提供一种能够用简单的结构来估计作业部的移动速度的作业机械的信息处理装置。
附图说明
图1是概要性地示出具备第一实施方式的信息处理装置的作业机械的侧视图。
图2是概要性地示出图1的信息处理装置的框图。
图3是用于说明图1的作业机械的作业部的姿势的说明图。
图4是示出图1的信息处理装置的学习数据的图。
图5是用于说明图1的信息处理装置的姿势估计处理的说明图。
图6是用于说明图1的信息处理装置的速度估计处理和加速度估计处理的说明图。
图7是示出图1的信息处理装置的姿势信息、速度信息以及加速度信息的一例的图。
图8是概要性地示出图1的信息处理装置的异常探测部的框图。
图9是概要性地示出图1的信息处理装置的外观探测部的框图。
图10是示出图1的信息处理装置的动作的流程图。
图11是示出图1的信息处理装置的动作的流程图。
图12是示出图1的信息处理装置的动作的流程图。
图13是示出图1的信息处理装置的动作的流程图。
图14是概要性地示出使用了第五实施方式的信息处理系统的作业机械的框图。
附图标记说明
10：信息处理装置；12：图像信息获取部；14：环境信息获取部；16：姿势信息获取部；20：控制部；20e：速度估计部；20f：加速度估计部；22：模型生成部；24c：异常判定部；26c：外观判定部；30：存储部；32：模型存储部；40：作业部；42：动臂；44：斗杆；46：铲斗；62：作业机械控制部；100：作业机械；1000：建筑机械。
具体实施方式
下面，基于优选的实施方式，参照各附图来说明本发明。在实施方式及变形例中，对相同或等同的结构要素、构件标注相同的附图标记，并适当地省略重复的说明。另外，为了易于理解，将各附图中的构件的尺寸适当地放大、缩小地示出。另外，在各附图中，省略对在说明实施方式上不重要的一部分构件地进行表示。
另外，包括第一、第二等序数的用语是为了说明多种结构要素而使用的，该用语仅用于将一个结构要素与其它结构要素相区分的目的，结构要素不受该用语限定。
[第一实施方式]
参照附图来对本发明的第一实施方式的作业机械的信息处理装置10的结构进行说明。图1是概要性地示出具备第一实施方式的信息处理装置10的作业机械100的侧视图。图2是概要性地示出信息处理装置10的框图。
信息处理装置10具备图像信息获取部12、环境信息获取部14、姿势信息获取部16、控制部20以及存储部30。信息处理装置10具有机器学习时和非机器学习时的通常的动作时(下面称为“非学习动作时”)。信息处理装置10在机器学习时，能够基于作业机械100的作业部40的各部的学习图像信息和学习姿势信息来生成姿势估计模型。该姿势估计模型例示了对应信息。信息处理装置10在非学习动作时，能够基于实时的图像信息和姿势估计模型来估计作业部40的姿势。作业机械100能够基于由信息处理装置10估计出的作业部40的姿势来控制作业部40的动作。
图像信息获取部12获取作业部40的图像的数据。环境信息获取部14获取与作业机械100的周围环境有关的信息。姿势信息获取部16获取与作业部40的姿势有关的数据(下面称为“姿势的数据”)。控制部20执行与姿势估计模型的生成和作业部40的姿势估计有关的各种数据处理。存储部30用于存储由控制部20参照或更新的数据。首先，对作业机械100的结构进行说明，其它结构在后面叙述。
本实施方式的作业机械100是使铲斗46移动来进行作业的建筑机械，作为所谓的动力铲(powershovel)发挥功能。作业机械100具有下部行驶部36、上部车体部34、臂机构48以及铲斗46。在本实施方式中，臂机构48和铲斗46构成作业部40。下部行驶部36构成为能够通过无限轨道等沿规定方向行驶。上部车体部34搭载于下部行驶部36。上部车体部34和作业部40构成为能够通过回转驱动部60相对于下部行驶部36绕回转轴la回转。回转驱动部60例如能够由回转电动机(未图示)和回转齿轮(未图示)构成。在上部车体部34上设置有操纵室38。
在操纵室38中设置有用于操纵作业部40的操作部54。当从操作部54输入操作时，多个液压阀58与该操作相应地进行打开关闭。与液压阀58的打开关闭相应地，向多个液压缸56送出由液压泵(未图示)供给的工作油。液压缸56包括从臂机构48的基端侧起向前端侧依次配置的液压缸56a、56b、56c。液压缸56a、56b、56c与工作油的送出量相应地进行伸缩。在操纵室38中设置有显示部38d，该显示部38d显示来自后述的异常探测部、外观探测部的信息等。
另外，本实施方式的作业机械100具有作业机械控制部62，该作业机械控制部62基于来自上级的控制系统的指令来控制作业部40的动作。作业机械控制部62在后面叙述。
作为一例，臂机构48的基端部在上部车体部34中设置在操纵室38的右侧。臂机构48例如包括从上部车体部34向前方延伸的动臂42和斗杆44。在臂机构48的前端侧安装有铲斗46。这样，作业机械100能够与操纵者的操纵相应地使作业部40的姿势变化，由此驱动铲斗46来进行目的作业。另外，作业机械100能够使上部车体部34和作业部40回转，由此使铲斗46三维地移动。
图3是说明作业部40的姿势的说明图。液压缸56a、56b、56c能够与液压相应地改变其伸缩长度l1、l2、l3。动臂42构成为通过液压缸56a的伸缩来使前端部以上部车体部34侧的基端部为中心上下地转动。斗杆44构成为通过液压缸56b的伸缩来使前端部以动臂42侧的基端部为中心前后地转动。铲斗46构成为通过液压缸56c的伸缩来使前端部以斗杆44侧的基端部为中心前后或上下地转动。
对于作业部40，能够通过使液压缸56a、56b、56c的伸缩长度l1、l2、l3变化，来使将动臂42、斗杆44以及铲斗46连接的关节部的弯曲角度θ1、θ2、θ3变化。作为一例，角度θ1是动臂42相对于水平面的角度，角度θ2是将动臂42与斗杆44连接的关节部的弯曲角度，角度θ3是将斗杆44与铲斗46连接的关节部的弯曲角度。
作业部40的姿势能够通过动臂42、斗杆44以及铲斗46的位置和相对角度来定义。动臂42、斗杆44以及铲斗46的形状设为固定，能够基于动臂42、斗杆44及铲斗46的各部的大小以及液压缸56a、56b、56c的伸缩长度l1、l2、l3或者弯曲角度θ1、θ2、θ3，通过几何学运算来确定作业部40的姿势。
返回到图2。图2所示的各块在硬件上能够通过以计算机的处理器、cpu、存储器为代表的元件、电子电路、机械装置来实现，在软件上通过计算机程序等来实现，但在此描绘了通过它们的协作来实现的功能块。因而，本领域技术人员能够理解的是，这些功能块能够通过硬件、软件的组合以各种形式来实现。
对图像信息获取部12进行说明。本实施方式的图像信息获取部12具有用于拍摄作业部40的图像传感器。在后述的机器学习时，图像信息获取部12将拍摄作业部40得到的拍摄结果作为图像的数据提供给控制部20。下面，将在机器学习时获取到的图像的数据称为“参照图像的数据gs”。在非学习动作时，图像信息获取部12也将拍摄作业部40得到的拍摄结果作为图像的数据提供给控制部20。下面，将非学习动作时获取到的图像的数据仅称为“图像的数据gj”。图像的数据gj可以是实时的图像的数据。
图像信息获取部12构成为与作业部40一体地回转。具体地说，图像信息获取部12以能够拍摄作业部40的方式配置于操纵室38的室顶。在作业部40进行回转时，图像信息获取部12与作业部40一体地移动，因此即使进行回转，与作业部40之间的相对的位置关系也不会变化。
对姿势信息获取部16进行说明。本实施方式的姿势信息获取部16包括用于获取液压缸56a、56b、56c的伸缩长度l1、l2、l3的行程传感器16a、16b、16c。姿势信息获取部16在机器学习时被安装，在非学习动作时被卸下。在机器学习时，姿势信息获取部16将伸缩长度l1、l2、l3的数据提供给控制部20。
对环境信息获取部14进行说明。在获取图像的数据时，如果天气等周围环境不同，则图像的明亮度和色温也不同，由此成为姿势估计的误差增加的主要原因。因此，在本实施方式中，由环境信息获取部14获取与周围环境有关的信息，根据该获取的结果来校正图像的数据。本实施方式的环境信息获取部14包括用于获取周围的明亮度的照度传感器和用于获取色温的色温传感器。环境信息获取部14将获取结果作为环境信息mp提供给控制部20。在该例中，环境信息获取部14配置于操纵室38的室顶。
对存储部30进行说明。存储部30包括模型存储部32。模型存储部32存储用于估计作业部40的姿势的姿势估计模型，该姿势估计模型是基于参照图像的数据gs和姿势的数据、通过公知的机器学习生成的模型。姿势估计模型也可以说是输入和输出的数据形式被预先决定的函数。向实施方式的姿势估计模型输入图像的数据gj。另外，实施方式的姿势估计模型输出同与该图像数据对应的估计姿势有关的信息。此外，姿势估计模型的生成方法在后面叙述。
对控制部20进行说明。控制部20包括模型生成部22、图像信息接受部20a、姿势信息接受部20b、姿势估计部20c、位置估计部20d、速度估计部20e、加速度估计部20f、个体信息保持部20h、环境信息接受部20g、图像信息校正部20j、背景信息去除部20k以及颜色信息去除部20m。另外，控制部20还包括异常探测部24和外观探测部26。可以将安装有与该多个功能块对应的多个模块的应用程序安装到信息处理装置10的存储装置(例如存储部30)中。信息处理装置10的处理器(例如，cpu)可以通过将该应用程序读出到主存储器中并执行该应用程序来发挥各功能块的功能。
首先，对模型生成部22、图像信息接受部20a、姿势信息接受部20b以及姿势估计部20c进行说明。图像信息接受部20a从图像信息获取部12接受作业部40的摄像结果的输入。特别是，在机器学习时，图像信息接受部20a从图像信息获取部12接收学习用的参照图像的数据gs。另外，在非学习动作时，图像信息接受部20a从图像信息获取部12接收图像的数据gj。
姿势信息接受部20b从姿势信息获取部16接受作业部40的姿势信息的输入。具体地说，在机器学习时，姿势信息接受部20b接收行程传感器16a、16b、16c的伸缩长度l1、l2、l3的数据。在对伸缩长度l1、l2、l3的数据进行统称时，称为姿势的数据ks。
图4是示出信息处理装置10的学习数据的图。在该图中，为了易于理解，将来自图像信息获取部12的参照图像的数据gs与姿势的数据ks一起置换为平面上的图来进行说明。在机器学习时，控制部20将接收到的参照图像的数据gs和姿势的数据ks相对应地存储到存储部30中。在机器学习时，控制部20使作业部40的姿势在可动范围内大幅地变化，每当其变化时，将参照图像的数据gs和姿势的数据ks相对应地存储到存储部30中。将存储到存储部30中的参照图像的数据gs和姿势的数据ks称为学习数据sd。期望学习数据sd覆盖作业部40所能采取的姿势。因而，如图4所示，学习数据sd包含大量的相互对应的参照图像的数据gs和姿势的数据ks。
模型生成部22将学习数据sd的相互对应的参照图像的数据gs和姿势的数据ks用作教师数据，来生成姿势估计模型。本实施方式的模型生成部22将参照图像的数据gs和姿势的数据ks作为教师数据、通过机器学习(监督学习)来生成姿势估计模型。模型生成部22可以使用如支持向量机、神经网络(包括深度学习)以及随机森林等公知的机器学习方法来生成姿势估计模型。模型生成部22将所生成的姿势估计模型保存到模型存储部32中。
在非学习动作时，姿势估计部20c基于图像的数据gj和存储部30的存储信息来估计作业部40的姿势。作为一例，姿势估计部20c可以将图像的数据gj与学习数据sd的参照图像的数据gs进行比较，将其相似程度最高的参照图像的数据gs所对应的姿势的数据ks作为估计结果。在该情况下，由于参照大量的参照图像的数据gs，因此得到结果有可能会花费时间。因此，本实施方式的姿势估计部20c使用由模型生成部22生成的姿势估计模型，根据图像的数据gj来导出估计姿势。
图5是对由模型生成部22生成的姿势估计模型的姿势估计处理进行说明的说明图。该姿势估计模型当被输入图像的数据gj时，输出与该图像数据对应的估计姿势信息ke。本实施方式的估计姿势信息ke包含作业部40的动臂42、斗杆44以及铲斗46的各关节的弯曲角度θ1、θ2、θ3。姿势估计部20c将估计姿势信息ke发送到作业机械100的作业机械控制部62。
接着，对位置估计部20d、速度估计部20e以及加速度估计部20f进行说明。图6是说明速度估计部20e的速度估计处理的说明图。在图6中，用实线表示某时刻t(n)的作业部40的姿势，用虚线表示相比于时刻t(n)而言为过去时刻的时刻t(n-1)的作业部40的姿势。图7示出了各时刻t的位置信息pe、速度信息ve以及加速度信息ae的一例。在该图中，用pe(n)表示时刻t(n)的位置信息pe，用ve(n)表示速度信息ve，用ae(n)表示加速度信息ae。位置信息pe、速度信息ve以及加速度信息ae在后面叙述。
位置估计部20d根据估计姿势信息ke来估计作业部40的规定的部位的位置。虽然对规定的部位没有限定，但在该例中，规定的部位是铲斗46。能够基于动臂42、斗杆44以及铲斗46的形状信息以及估计姿势信息ke(弯曲角度θ1、θ2、θ3)，通过计算来确定铲斗46的位置。此外，动臂42、斗杆44以及铲斗46的形状信息能够预先存储在存储部30中。
将与由位置估计部20d估计出的位置有关的信息称为位置信息pe。位置估计部20d将位置信息pe发送到作业机械控制部62，并且按时间序列存储到存储部30中。作为一例，位置信息pe可以包含伸缩长度l1、l2、l3的数据。位置信息pe可以是二维信息或三维信息。
速度估计部20e基于在具有时间差的多个时刻获取到的多个图像的数据gj以及该时间差来生成速度信息ve。特别是，速度估计部20e根据位置信息pe来估计作业部40的规定的部位(例如铲斗46)的速度，并生成与该速度有关的速度信息ve。能够通过对铲斗46的位置变化进行时间微分来获得铲斗46的速度。例如，针对按时间序列存储到存储部30中的位置信息pe，能够通过将在不同的多个时刻生成并存储的多个位置信息pe之差除以该时刻的时间差dt，来估计铲斗46的速度。该时间差dt可以是图像的数据gj的每帧(成为图像的基础的静止图像的1格(日语：1コマ))的时间差。
作为一例，可以为，时刻t(n)是当前的帧的时刻，时刻t(n-1)是当前的帧的前1帧或前多个帧的时刻。在该情况下，时间差dt是帧率(每1秒钟的帧数(fps))的倒数。将与由速度估计部20e估计出的速度有关的信息称为速度信息ve。在该例中，时刻t(n)的速度信息ve(n)用式(1)来求出。
ve(n)＝(pe(n)-pe(n-1))/dt…(1)
也就是说，速度信息ve是将2个帧各自的2个位置信息pe之差除以帧的时间差来求出的。
速度估计部20e将速度信息ve发送到作业机械控制部62，并且按时间序列存储到存储部30中。速度信息ve可以是二维信息或三维信息。
加速度估计部20f基于多个速度信息ve以及时间差来生成与作业部40的加速度有关的加速度信息ae。特别是，加速度估计部20f根据速度信息ve来估计作业部40的规定的部位(例如铲斗46)的加速度，并生成与该加速度有关的加速度信息ae。能够通过对铲斗46的速度变化进行时间微分来获得铲斗46的加速度。例如，针对按时间序列存储到存储部30中的速度信息ve，能够通过将在不同的时刻生成并存储的多个速度信息ve之差除以该特定时刻的时间差dt，来估计铲斗46的加速度。该时间差dt可以是图像的数据gj的各帧的时间差。将与由加速度估计部20f估计出的加速度有关的信息称为加速度信息ae。在该例中，时刻t(n)的ae(n)用式(2)来求出。
ae(n)＝(ve(n)-ve(n-1))/dt…(2)
也就是说，加速度信息ae是将2个帧各自的2个速度信息ve之差除以帧的时间差来求出的。
加速度估计部20f将加速度信息ae发送到作业机械控制部62，并且按时间序列存储到存储部30中。加速度信息ae可以是二维信息或三维信息。下面，将位置信息pe、速度信息ve以及加速度信息ae统称时称为反馈信息。
返回到图2，对作业机械控制部62进行说明。作业机械控制部62基于来自上级的控制系统的指令信息来控制作业机械100的动作。本实施方式的指令信息包含与规定的部位(铲斗46)的位置有关的目标位置信息ps、与规定的部位(铲斗46)的速度有关的目标速度信息vs以及与规定的部位(铲斗46)的加速度有关的目标加速度信息as。下面，将目标位置信息ps、目标速度信息vs以及目标加速度信息as统称时称为目标信息。
如图2所示，作业机械控制部62具有动作控制部62a。动作控制部62a基于目标信息和反馈信息，通过规定的控制算法来对液压阀58提供控制信号sj，对回转驱动部60提供控制信号sk。动作控制部62a通过控制信号sj控制液压阀58的打开关闭，使液压缸56a、56b、56c伸缩，来控制动臂42、斗杆44以及铲斗46的动作。通过对位置信息pe进行反馈，动作控制部62a能够将规定的部位(铲斗46)控制为期望的位置。另外，动作控制部62a能够通过控制信号sk控制回转驱动部60。
通过对速度信息ve进行反馈，动作控制部62a能够将规定的部位(铲斗46)的速度控制为期望的水平。另外，通过对位置信息pe的微分要素进行反馈，能够抑制位置控制的过冲或振荡(hunting)。另外，通过对加速度信息ae进行反馈，动作控制部62a能够将规定的部位(铲斗46)的加速度控制为期望的水平。另外，通过对速度信息ve的微分要素进行反馈，能够抑制速度控制的过冲或振荡。这样，根据本实施方式，能够实现响应性高且高精度的控制。
接着，对异常探测部24进行说明。异常探测部24根据估计姿势信息ke来探测作业部40的不良状态或故障状态，并将其探测的结果输出到上级控制系统。图8是概要性地示出异常探测部24的框图。如该图所示，本实施方式的异常探测部24具有预想姿势运算部24b、异常判定部24c以及状态输出部24d。预想姿势运算部24b通过运算来决定被预想为对作业部40进行控制后的结果的作业部40的姿势的信息(下面称为“预想姿势信息ka”)。也就是说，预想姿势运算部24b决定作业部40的作为被控制的结果而本应具有的姿势。
在本实施方式中，预想姿势运算部24b基于控制信号sj来模拟液压阀58的开闭动作以及液压缸56a、56b、56c的伸缩长度l1、l2、l3，根据该伸缩长度l1、l2、l3来决定预想姿势信息ka。另外，作为其它例子，也可以为，用液压传感器探测向液压缸56a、56b、56c供给的液压，预想姿势运算部24b基于该液压传感器的探测结果来模拟伸缩长度l1、l2、l3。另外，还可以为，基于该液压传感器的探测结果以及控制信号sj来模拟伸缩长度l1、l2、l3。
异常判定部24c基于控制信号sj以及根据图像的数据gj导出的估计姿势信息ke来判定作业部40的动作异常。特别是，异常判定部24c根据估计姿势信息ke与预想姿势信息ka之差dk，来判定作业部40的不良状态或故障状态。异常判定部24c也可以利用多个阈值对差dk进行划分，并将该划分作为判定结果j24进行输出。例如，异常判定部24c使用第一阈值以及比第一阈值大的第二阈值。可以为，在差dk小于第一阈值的情况下，异常判定部24c判定为正常状态，在差dk为第一阈值以上且小于第二阈值的情况下，异常判定部24c判定为不良状态，在差dk为第二阈值以上的情况下，异常判定部24c判定为故障状态。此外，在本说明书中，将故障的可能性高从而应立即停止动作的状态定义为故障状态，将有可能导致故障从而应尽早检查的状态定义为不良状态。
状态输出部24d将异常判定部24c的判定结果j24呈现给上级控制系统或规定的设备。在该例中，状态输出部24d使异常判定部24c的判定结果j24显示在设置于操纵室38的显示部38d。也可以为，状态输出部24d经由网络等通信单元，使异常判定部24c的判定结果显示于操纵者或管理者所持有的便携终端(未图示)。
接着，对外观探测部26进行说明。在由图像信息获取部12获取到的图像的数据gj中没有显示应该存在的外观形状、例如液压缸56a、56b、56c等结构构件中的任一个脱落等的情况下，外观探测部26判断为作业部40外部损伤。外观探测部26根据估计姿势信息ke来探测作业部40的外观上有无异常，并将其探测的结果输出到上级控制系统。图9是概要性地示出外观探测部26的框图。如该图所示，本实施方式的外观探测部26具有基准图像生成部26b、外观判定部26c以及状态输出部26d。
基准图像生成部26b基于估计姿势信息ke来生成与在该姿势下被认为正常的状态下的作业部40的图像有关的数据(下面，称为“基准图像的数据gh”)。基准图像的数据gh也可以是与正常的初始状态下的作业部40的图像有关的数据。将作业部40的每个部位的图像数据预先存储到存储部30中，基准图像生成部26b能够基于估计姿势信息ke将存储的各部位的图像数据进行合成，来生成基准图像的数据gh。
外观判定部26c基于图像的数据gj和基准图像的数据gh来判定作业部40的外观异常。特别是，外观判定部26c将图像的数据gj与由基准图像生成部26b生成的基准图像的数据gh进行比较，根据其差异程度(下面称为“差异度sh”)来判定作业部40的外观上有无异常。在该例中，在两图像的相似程度高的情况下，差异度sh低，在两图像的相似程度低的情况下，差异度sh高。
外观判定部26c可以利用多个阈值来对差异度sh进行划分，并将该划分作为判定结果j26进行输出。例如，外观判定部26c能够使用第一阈值以及比第一阈值大的第二阈值。可以为，在差异度sh小于第一阈值的情况下，外观判定部26c判定为没有外观异常，在差异度sh为第一阈值以上且小于第二阈值的情况下，外观判定部26c判定为一部分存在外观异常，在差异度sh为第二阈值以上的情况下，外观判定部26c判定为存在外观异常。
状态输出部26d将外观判定部26c的判定结果j26呈现给上级控制系统或规定的设备。在该例中，状态输出部26d使外观判定部26c的判定结果显示在设置于操纵室38的显示部38d。也可以为，状态输出部26d经由网络等通信单元，使外观判定部26c的判定结果显示于操纵者或管理者所持有的便携终端(未图示)。
返回到图2，对图像信息校正部20j、环境信息接受部20g、个体信息保持部20h、背景信息去除部20k以及颜色信息去除部20m进行说明。
本实施方式的图像信息校正部20j根据与获取图像的数据gj时的周围环境有关的信息、作业机械的经过年数或作业机械的个体差异来校正图像的数据gj。另外，环境信息接受部20g和个体信息保持部20h向图像信息校正部20j提供校正信息。
环境信息接受部20g从环境信息获取部14接受获取结果的输入。特别是，环境信息接受部20g从环境信息获取部14接收环境信息mp。图像信息校正部20j基于环境信息mp来校正图像的数据gj的明亮度和色温。图像信息校正部20j对图像的数据gj的明亮度进行校正，使得与参照图像的数据gs的明亮度相同。图像信息校正部20j对图像的数据gj的色温进行校正，使得与参照图像的数据gs的色温相同。根据该结构，能够减少由周围环境引起的估计误差。
作业部40的外观根据各个作业机械100而具有个体差异。该个体差异有可能成为姿势估计中的误差主要原因。因此，本实施方式的个体信息保持部20h保持各个体的个体信息me。个体信息me包含与作业机械100的经过年数、作业部40的损伤、附着物、由变形等引起的外观的个体差异有关的信息。图像信息校正部20j根据个体信息me来校正图像的数据gj。根据该结构，能够减少由个体差异引起的估计误差。
图像的数据gj包含按作业机械100工作的每个现场而不同的背景图像。因此，图像的数据gj中包含的背景图像有可能成为姿势估计中的误差主要原因。因此，本实施方式的背景信息去除部20k从图像的数据gj中去除与背景图像有关的信息。根据该结构，能够减少由背景图像引起的估计误差。
当将参照图像的数据gs和图像的数据gj设为全彩色的图像数据进行存储并进行处理时，存储及处理的数据量变大，在处理速度和存储容量方面是不利的。因此，本实施方式的颜色信息去除部20m从参照图像的数据gs和图像的数据gj中去除颜色信息，来设为灰度(grayscale)的图像数据。根据该结构，存储及处理的数据量变小，在处理速度和存储容量方面是有利的。
对如以上那样构成的信息处理装置10的动作进行说明。图10是示出信息处理装置10的动作的流程图。该图示出在机器学习时通过机器学习来生成姿势估计模型的动作s70。事先对作业机械100安装姿势信息获取部16，在由管理者输入了模型制作的指示的时刻开始进行动作s70。
如果到了模型生成时刻(步骤s71为“是”)，则信息处理装置10的控制部20从图像信息获取部12和姿势信息获取部16接收参照图像的数据gs和姿势的数据ks(步骤s72)。在该步骤中，控制部20使作业部40的姿势在可动范围内大幅地变化，每当其变化时，接收参照图像的数据gs和姿势的数据ks并存储到存储部30中。
背景信息去除部20k从参照图像的数据gs中去除与背景图像有关的信息(步骤s73)。颜色信息去除部20m从参照图像的数据gs中去除颜色信息(步骤s74)。既可以每次对接收到的参照图像的数据gs执行背景图像的去除、颜色信息的去除，也可以对存储部30中存储的参照图像的数据gs执行背景图像的去除、颜色信息的去除。
模型生成部22根据被去除背景图像和颜色信息后的参照图像的数据gs和姿势的数据ks、通过机器学习来生成姿势估计模型，并保存到模型存储部32中(步骤s75)。如果姿势估计模型被保存，则结束动作s70。在动作s70结束后，可以从作业机械100卸下姿势信息获取部16。
如果没有到模型生成时刻(步骤s71为“否”)，则跳过s72～s75。该动作s70只是一例，也可以调换步骤的顺序，或者追加、删除、变更一部分步骤。
图11也是示出信息处理装置10的动作的流程图。该图示出使用姿势估计模型、根据图像的数据gj来估计作业部40的姿势的动作s80。在非学习动作时，在由管理者输入了姿势估计的指示的时刻开始进行动作s80。
如果到了姿势估计的时刻(步骤s81为“是”)，则信息处理装置10的控制部20从图像信息获取部12接收图像的数据gj(步骤s82)。在该步骤中，接收到的图像的数据gj被存储到存储部30中。
背景信息去除部20k从图像的数据gj中去除与背景图像有关的信息(步骤s83)。颜色信息去除部20m从图像的数据gj中去除颜色信息(步骤s84)。
图像信息校正部20j根据保持在个体信息保持部20h中的个体信息me来对图像的数据gj进行校正(步骤s85)。背景图像的去除、颜色信息的去除以及图像的校正是针对存储部30中存储的图像的数据gj来执行的。
姿势估计部20c根据被进行了背景图像的去除、颜色信息的去除以及图像的校正后的图像的数据gj、基于姿势估计模型来估计作业部40的姿势(步骤s86)。在该步骤中，从姿势估计模型输出估计姿势信息ke。
速度估计部20e将从姿势估计模型输出的估计姿势信息ke发送到信息处理装置10的外部(步骤s87)。例如，速度估计部20e将估计姿势信息ke发送到作业机械控制部62。如果发送了估计姿势信息ke，则结束动作s80。重复执行动作s80，直到姿势估计的指示没有为止。
如果没有到姿势估计的时刻(步骤s81为“否”)，则跳过s82～s87。该动作s80只是一例，也可以调换步骤的顺序，或者追加、删除、变更一部分步骤。
图12也是示出信息处理装置10的动作的流程图。该图示出动作s90，在该动作s90中，根据估计姿势信息ke来确定作业部40的位置、速度以及加速度，并将其确定的结果发送到作业机械控制部62。在非学习动作时，在由管理者输入了探测速度和加速度的指示的时刻开始进行动作s90。
如果到了探测速度和加速度的时刻(步骤s91为“是”)，则位置估计部20d根据估计姿势信息ke来生成作业部40的规定的部位(铲斗46)的位置信息pe，并将其发送到作业机械控制部62，并且存储到存储部30中(步骤s92)。
如果存储了位置信息pe，则速度估计部20e根据位置信息pe来生成作业部40的速度信息ve，并将其发送到作业机械控制部62，并且存储到存储部30中(步骤s93)。
如果存储了速度信息ve，则加速度估计部20f根据速度信息ve来生成作业部40的加速度信息ae，并将其发送到作业机械控制部62，并且存储到存储部30中(步骤s94)。如果存储了加速度信息ae，则结束动作s90。重复执行动作s90，直到探测速度和加速度的指示没有为止。
如果没有到探测速度和加速度的时刻(步骤s91为“否”)，则跳过s92～s94。该动作s90只是一例，也可以调换步骤的顺序，或者追加、删除、变更一部分步骤。
图13也是示出信息处理装置10的动作的流程图。该图示出动作s100，在该动作s100中，根据估计姿势信息ke来探测作业部40的不良状态、故障状态或者作业部40的外观上有无异常，并将其探测的结果输出到设置于操纵室38的显示部38d。在非学习动作时由管理者输入了状态探测的指示的时刻开始进行动作s100。
如果到了状态探测的时刻(步骤s101为“是”)，则预想姿势运算部24b从作业机械控制部62的动作控制部62a获取控制信号sj，来决定预想姿势信息ka(步骤s102)。
如果决定了预想姿势信息ka，则异常判定部24c根据估计姿势信息ke和预想姿势信息ka之差dk，来判定作业部40的不良状态或故障状态(步骤s103)。
如果判定了作业部40的状态，则状态输出部24d使异常判定部24c的判定结果显示于显示部38d(步骤s104)。
如果显示了上述的判定结果，则基准图像生成部26b基于姿势的数据ks来生成该姿势下的基准图像的数据gh(步骤s105)。
如果生成了基准图像的数据gh，则外观判定部26c根据基准图像的数据gh与图像的数据gj的差异度sh，来判定作业部40的外观上有无异常(步骤s106)。
如果判定了作业部40的外观状态，则状态输出部26d使外观判定部26c的判定结果显示于显示部38d(步骤s107)。如果显示了上述的判定结果，则结束动作s100。重复执行动作s100，直到状态探测的指示没有为止。
如果没有到状态探测的时刻(步骤s101为“否”)，则跳过s102～s107。该动作s100只是一例，也可以调换步骤的顺序，或者追加、删除、变更一部分步骤。
对如以上那样构成的本实施方式的信息处理装置10的特征进行说明。该信息处理装置10具备：存储部30，其存储有对应信息，该对应信息是将作业部40的参照图像的数据gs和作业部40的姿势的数据ks相对应而生成的；图像信息获取部12，其获取作业部40的图像的数据gj，以与参照图像的数据gs进行比较；以及速度估计部20e，其基于图像的数据gj和对应信息来生成与作业部40的速度有关的速度信息ve。根据该结构，能够根据由图像信息获取部12获取到的图像的数据gj、参照图像的数据gs以及姿势的数据ks，来生成与作业部40的速度有关的速度信息ve。对应信息也可以是上述的姿势估计模型。
也可以为，图像信息获取部12构成为与作业部40一体地回转。在该情况下，由于图像信息获取部12与作业部40的位置关系固定，因此能够容易地生成作业部40的速度信息ve。
也可以为，信息处理装置10还具有姿势估计部20c，该姿势估计部20c基于图像的数据gj和对应信息来估计作业部40的姿势。在该情况下，能够根据图像的数据gj容易地估计作业部40的姿势。
也可以为，存储部30存储姿势估计模型，该姿势估计模型是根据参照图像的数据gs和姿势的数据ks、通过机器学习来生成的。在该情况下，能够利用通过机器学习生成的姿势估计模型。
也可以为，速度估计部20e基于在具有时间差的多个时刻由图像信息获取部12获取到的多个图像的数据gj以及该时间差，来生成速度信息ve。在该情况下，能够通过简单的运算处理来生成速度信息ve。
也可以为，信息处理装置10还具备加速度估计部20f，该加速度估计部20f基于由速度估计部20e生成的多个速度信息ve以及时间差，来生成与作业部40的加速度有关的加速度信息ae。在该情况下，能够通过简单的运算处理来生成加速度信息ae。
也可以为，信息处理装置10还具备异常判定部24c，该异常判定部24c基于由图像信息获取部12获取到的图像的数据gj和用于控制作业部40的动作的控制信号，来判定作业部40的动作异常。在该情况下，即使不使用特别的传感器，也能够根据图像的数据gj和控制信号来探测动作异常。
也可以为，信息处理装置10还具备外观判定部26c，该外观判定部26c基于由图像信息获取部12获取到的图像的数据gj和被认为正常的状态下的作业部40的基准图像的数据gh，来判定作业部40的外观异常。在该情况下，即使不使用特别的传感器，也能够根据图像的数据gj和正常时的图像的数据来探测外观异常。
也可以为，信息处理装置10还具有图像信息校正部20j，该图像信息校正部20j根据与获取图像的数据gj时的周围环境有关的信息、作业机械100的经过年数以及作业机械100的个体差异来对图像的数据gj进行校正。在该情况下，能够对图像的数据gj进行校正来改善姿势的估计精度。
也可以为，信息处理装置10还具有颜色信息去除部20m，该颜色信息去除部20m用于压缩或去除参照图像的数据gs的颜色信息。在该情况下，在存储部30的存储容量和处理速度方面是有利的。
也可以为，信息处理装置10还具有背景信息去除部20k，该背景信息去除部20k用于去除参照图像的数据gs的背景图像。在该情况下，能够抑制由背景图像引起的估计精度的降低。
接着，对本发明的第二～第五实施方式进行说明。在第二～第五实施方式的附图及说明中，对与第一实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与第一实施方式重复的说明，重点说明与第一实施方式不同的结构。
[第二实施方式]
本发明的第二实施方式是一种作业机械的信息处理方法。该信息处理方法包括以下步骤：将对应信息存储于存储部30，该对应信息是将作业机械100的作业部40的参照图像的数据gs和作业部40的姿势的数据ks相对应而生成的(s72～s75)；获取作业部40的图像的数据gj，以与参照图像的数据gs进行比较(s82)；以及基于在具有时间差的多个时刻获取到的多个图像的数据gj、该时间差以及对应信息，来生成速度信息ve(s86)。
也可以为，上述的生成速度信息ve的步骤包括参照姿势估计模型的步骤，该姿势估计模型是根据参照图像的数据gs和姿势的数据ks、通过机器学习来生成的。也就是说，对应信息可以是姿势估计模型。根据第二实施方式的结构，起到与第一实施方式同样的作用效果。
[第三实施方式]
本发明的第三实施方式是一种建筑机械1000。该建筑机械1000具备：作业部40；存储部30，其存储有对应信息，该对应信息是将作业部40的参照图像的数据gs和作业部40的姿势的数据ks相对应而生成的；图像信息获取部12，其获取作业部40的图像的数据gj，以与参照图像的数据gs进行比较；以及速度估计部20e，其基于图像的数据gj和对应信息，来生成与作业部40的速度有关的速度信息ve。对应信息可以是上述的姿势估计模型。
也可以为，建筑机械1000例如是使安装于臂机构48的铲斗46移动来进行建筑作业的机械。也可以在建筑机械1000的臂机构48上安装叉子、锤子、破碎机等各种附属构件来代替铲斗。根据第三实施方式的结构，起到与第一实施方式同样的作用效果。
[第四实施方式]
本发明的第四实施方式是一种计算机程序p100。该计算机程序p100用于使计算机实现以下功能：将对应信息存储于存储部30，该对应信息是将作业部40的参照图像的数据gs和作业部40的姿势的数据ks相对应而生成的；获取作业部40的图像的数据gj，以与参照图像的数据gs进行比较；以及基于在具有时间差的多个时刻获取到的多个图像的数据gj、时间差以及对应信息，来生成作业部40的速度信息ve。对应信息可以是上述的姿势估计模型。
在计算机程序p100中，可以将这些功能设为安装了与控制部20的功能块对应的多个模块的应用程序，安装于信息处理装置10的存储装置(例如存储部30)中。计算机程序p100可以被读出到信息处理装置10的处理器(例如cpu)的主存储器中来执行。根据第四实施方式的结构，起到与第一实施方式同样的作用效果。
[第五实施方式]
本发明的第五实施方式是一种信息处理系统1。图14是概要性地示出使用了本实施方式的信息处理系统1的作业机械100的框图，对应于图2。信息处理系统1在基于作业机械100的作业部40的图像的数据gj来估计与作业部40的速度有关的速度信息ve这一点上与第一实施方式相同。信息处理系统1与第一实施方式的信息处理装置10的不同点在于，信息处理系统1的结构的一部分设置在网络服务器120中。在该例子中，在网络服务器120中设置有估计部120j。
本实施方式的信息处理系统1具备信息处理装置110和网络服务器120。信息处理装置110和网络服务器120经由利用了有线通信或无线通信的通信网络nw相互通信。作为通信网络nw，能够采用因特网等通用网络或专用网络。作为网络服务器120，能够采用也被称为云计算系统的云服务器。
信息处理装置110具有获取部12和控制部20。控制部20具有图像信息接受部20a、图像信息发送部20p以及估计结果接收部20q。获取部12获取作业机械100的作业部40的图像的数据gj。图像信息发送部20p经由通信网络nw向网络服务器120发送由获取部12获取到的图像的数据gj。
网络服务器120具有存储部120m、估计部120j、接收部120q以及发送部120p。估计部120j具有姿势估计部120c、位置估计部120d、速度估计部120e以及加速度估计部120f。存储部120m存储对应信息ci，该对应信息ci是将作业部40的参照图像的数据gs和作业机械100的作业部40的姿势的数据ks相对应而生成的。该例的对应信息ci是根据参照图像的数据gs和姿势的数据ks、通过机器学习来生成的姿势估计模型。预先根据作为基准的作业机械的数据来生成姿势估计模型，并保存到模型存储部120n中。
接收部120q接收图像的数据gj。姿势估计部120c与姿势估计部20c同样地动作，来生成估计姿势信息ke。位置估计部120d与位置估计部20d同样地动作，来生成位置信息pe。速度估计部120e与速度估计部20e同样地动作，来生成速度信息ve。在该例中，速度估计部120e基于对应信息ci(姿势估计模型)和接收到的图像的数据gj，来生成与作业部40的速度有关的速度信息ve。加速度估计部120f与加速度估计部20f同样地动作，来生成加速度信息ae。发送部120p经由通信网络nw将估计姿势信息ke、位置信息pe、速度信息ve以及加速度信息ae发送到信息处理装置110。
信息处理装置110的估计结果接收部20q从网络服务器120接收估计姿势信息ke、位置信息pe、速度信息ve以及加速度信息ae。估计结果接收部20q将估计姿势信息ke、位置信息pe、速度信息ve以及加速度信息ae发送到作业机械控制部62。作业机械控制部62与第一实施方式的作业机械控制部同样地动作，来控制作业机械100的动作。
如以上那样构成的信息处理系统1与第一实施方式的信息处理装置10同样地动作，起到同样的作用和效果。除此以外，由于在网络服务器120中设置有估计部120j，因此能够使用更高级的算法来提高估计精度。另外，能够用一个网络服务器来支持多个作业机械。
以上，详细地说明了本发明的实施方式的例子。上述的实施方式均只是用于示出实施本发明时的具体例。实施方式的内容并不用于限定本发明的技术范围，能够在不脱离权利要求书所规定的发明的思想的范围内进行结构要素的变更、追加、删除等更多的设计变更。在上述的实施方式中，关于能够进行这种设计变更的内容，标注“实施方式的”、“在实施方式中”等表述进行说明，但并不是不允许对没有这样的表述的内容进行设计变更。
[变形例]
下面，对变形例进行说明。在变形例的附图及说明中，对与实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与实施方式重复的说明，重点说明与第一实施方式不同的结构。
在第一实施方式中，示出了速度信息ve、加速度信息ae是与铲斗46的速度、加速度有关的信息的例子，但本发明不限定于此。速度信息ve、加速度信息ae也可以是与斗杆44、动臂42等作业部40的除铲斗46以外的部位的速度、加速度有关的信息。另外，也可以为，速度信息ve、加速度信息ae包含与2处以上的部位或部分的速度、加速度有关的信息。
在第一实施方式中，示出了对速度信息ve、加速度信息ae进行反馈来控制速度、加速度的例子，但本发明不限定于此。例如，也可以为，信息处理装置10根据位置信息pe、速度信息ve以及加速度信息ae中的至少一个，来控制用于避免作业部40与周围的人或物体接触的避免动作。
在第一实施方式中示出了姿势估计模型由各个作业机械100生成并被存储到该作业机械100的模型存储部32中的例子，但本发明不限定于此。也可以为，姿势估计模型由作为基准的作业机械来生成，并预先保存到各个作业机械100的模型存储部32中。另外，也可以在适当的时刻更新姿势估计模型
在第一实施方式的说明中，示出了图像信息获取部12由一个图像传感器构成的例子，但本发明不限定于此。也可以为，图像信息获取部12由多个图像传感器构成。例如，也可以为，图像信息获取部12包括所谓的立体摄像机。
在第一实施方式的说明中，示出了图像信息获取部12设置于操纵室38的室顶的例子，但本发明不限定于此。例如，也可以为，图像信息获取部12配置在操纵室38的侧面或上部车体部34的盖上。另外，还可以为，图像信息获取部12配置在作业部40上。
在第一实施方式的说明中，示出了作业机械100是使铲斗46移动来进行建筑作业的建筑机械的例子，但本发明不限定于此，也能够应用于建筑机械以外的作业机械。
在第一实施方式中，示出了颜色信息去除部20m从参照图像的数据gs和图像的数据gj中完全去除颜色信息的例子，但本发明不限定于此。也可以为，颜色信息去除部20m通过减色等来对参照图像的数据gs和图像的数据gj的颜色信息进行压缩。
在第一实施方式的说明中，示出了将臂机构48设置在操纵室38的右侧的例子，但本发明不限定于此。例如，也可以为，臂机构设置在操纵室的左侧或操纵室的前方。
在第一实施方式的说明中，示出了由操纵者从操纵室38对作业机械100进行操纵的例子，但本发明不限定于此。例如，也可以为，作业机械是被进行自动操纵或远程操纵的机械。
在第五实施方式的说明中，示出了控制部20不包括个体信息保持部20h、环境信息接受部20g、图像信息校正部20j、背景信息去除部20k、颜色信息去除部20m、异常探测部24以及外观探测部26的例子，但本发明不限定于此。例如，也可以为，第五实施方式的控制部20包括个体信息保持部20h、环境信息接受部20g、图像信息校正部20j、背景信息去除部20k、颜色信息去除部20m、异常探测部24或外观探测部26中的一个以上。
上述的变形例起到与第一实施方式同样的作用和效果。
上述的实施方式和变形例的任意的组合，作为本发明的实施方式也是有用的。通过组合而产生的新的实施方式兼具有所组合的实施方式和变形例各自的效果。
1.一种信息处理装置，具备：
存储部，其存储有对应信息，该对应信息是将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应而生成的；
获取部，其获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及
速度估计部，其基于所述对应信息和所述图像的数据，来生成与所述作业机械的作业部的速度有关的速度信息。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述获取部构成为与所述作业机械的作业部一体地回转。
3.根据权利要求1或2所述的信息处理装置，其特征在于，
还具有估计部，该估计部基于所述图像的数据和所述对应信息来估计所述作业机械的作业部的姿势。
4.根据权利要求1至3中的任一项所述的信息处理装置，其特征在于，
所述存储部存储姿势估计模型，该姿势估计模型是根据所述参照图像的数据和所述姿势的数据、通过机器学习来生成的。
5.根据权利要求1至4中的任一项所述的信息处理装置，其特征在于，
所述速度估计部基于在具有时间差的多个时刻由所述获取部获取到的多个图像的数据以及所述时间差，来生成所述速度信息。
6.根据权利要求5所述的信息处理装置，其特征在于，
还具备加速度估计部，该加速度估计部基于由所述速度估计部生成的多个速度信息以及所述时间差，来生成与所述作业机械的作业部的加速度有关的加速度信息。
7.根据权利要求1至6中的任一项所述的信息处理装置，其特征在于，
还具备异常判定部，该异常判定部基于由所述获取部获取到的所述图像的数据和用于控制所述作业机械的作业部的动作的控制信号，来判定所述作业机械的作业部的动作异常。
8.根据权利要求1至7中的任一项所述的信息处理装置，其特征在于，
还具备外观判定部，该外观判定部基于由所述获取部获取到的所述图像的数据和正常状态下的所述作业机械的作业部的图像的数据，来判定所述作业机械的作业部的外观异常。
9.一种信息处理装置，具备：
存储部，其存储有姿势估计模型，该姿势估计模型是根据作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据、通过机器学习来生成的；
获取部，其构成为与所述作业机械的作业部一体地回转，用于获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；
姿势估计部，其基于由所述获取部获取到的所述图像的数据，参照所述姿势估计模型，来估计所述作业机械的作业部的姿势；
位置估计部，其根据与由所述姿势估计部估计出的所述作业机械的作业部的姿势有关的估计姿势信息，来估计所述作业机械的作业部的规定的部位的位置；以及
速度估计部，其根据与由所述位置估计部估计出的所述规定的部位的位置有关的位置信息，来生成与所述作业机械的作业部的速度有关的速度信息。
10.一种信息处理系统，具备：
信息处理装置，其获取并发送作业机械的作业部的图像的数据；以及
网络服务器，其基于从所述信息处理装置接收到的所述图像的数据以及对应信息，来估计与所述作业机械的作业部的速度有关的速度信息，并将该速度信息发送到所述信息处理装置，所述对应信息是将所述作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应而预先生成的。
11.一种信息处理方法，包括以下步骤：
存储将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应而生成的对应信息；
获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及
基于在具有时间差的多个时刻获取到的多个图像的数据、所述时间差以及所述对应信息，来生成速度信息。
12.根据权利要求11所述的信息处理方法，其特征在于，
生成所述速度信息的步骤包括参照姿势估计模型的步骤，该姿势估计模型是根据所述参照图像的数据和所述姿势的数据、通过机器学习来生成的。
13.一种计算机程序，用于使计算机实现以下功能：
存储将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应而生成的对应信息；
获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及
基于在具有时间差的多个时刻获取到的多个图像的数据、所述时间差以及所述对应信息，来生成所述作业机械的作业部的速度信息。
14.一种建筑机械，具备：
作业机械的作业部；
存储部，其存储有对应信息，该对应信息是将所述作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应而生成的；
获取部，其获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及
速度估计部，其基于由所述获取部获取到的所述图像的数据以及所述对应信息，来生成与所述作业机械的作业部的速度有关的速度信息。
技术总结