本发明涉及一种可穿戴式装备及信息智能处理系统，特别是一种基于可穿戴式装备的目标态势信息智能获取系统。
背景技术：
目标相对于观测者的准确距离、方位以及多目标分布等态势信息的采集、感知、获取和呈现在军事和民用场景中均具有广泛的应用需求。例如，①军事领域：野外战、巷战或室内战等战场环境中执行解救人质、斩首行动、渗透侦查等任务时需要实时、准确地掌握敌我力量(包括可见、不可见目标)的分布态势；②民用领域：船舱、矿井等具有阻隔视线和广域通信信号的隔断空间中的人员分布态势。目前，主要是借助手持终端或配备vr/ar眼镜的智能头盔等可穿戴设备及信息智能处理方法来获取目标态势信息。
基于gps/北斗信号的手持终端目标定位和显示技术能够直观、清晰、实时地展示目标的地理位置和观测者与目标之间的相对距离和方位，但是一方面手持终端使用者在获取目标态势信息时需要依靠单手或双手从而不可避免地影响手头上的动作和操作；另一方面，现有手持终端目标定位和显示技术尚未集成ar模块以实现虚实融合功能。
虚实融合功能目前往往通过配备ar眼镜的智能头盔来实现，该技术方案可以不占用双手仅依靠观测者的头颈自然动作借助可穿戴式装备来获取被观测对象的状态信息。虚实融合现有技术通常是将虚拟物体“嵌入”到图像中而不是利用穿透式显示方式和人眼观测到的真实世界融合在一起，针对目标态势信息(包括方位、距离、类别等)的实时、精准感知并穿透式虚实融合呈现技术，特别是对观测者不可见目标的态势信息呈现技术还未见报道。
技术实现要素：
本发明的目的在于提供一种基于可穿戴式设备，并且融合了虚实融合功能的目标态势信息采集系统。
实现本发明目的的技术解决方案为：
一种基于可穿戴式装备的目标态势信息智能获取系统，包括目标态势信息智能获取模组a1和可穿戴装备基础支撑模组a2，所述目标态势信息智能获取模组a1包含信息采集感知模块m1、信息计算处理模块m2、信息融合显示模块m3，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组a2包括头盔本体m4、嵌入式计算单元m5、无线通信终端m6、电源m7，为目标态势信息智能获取模组a1提供结构、算力、通信和能源支撑。
本发明与现有技术相比，具有以下优点：
(1)本发明能够帮助使用者不依赖于手持终端而靠可穿戴式头显实时获取单个或多个目标的信息，从而解放双手并减少动作环节；
(2)本发明能够获取该观测者视野内外的可见和不可见目标的态势信息，可以获取更精准信息以减轻认知负荷，辅助使用者在复杂场景中快速判断决策和迅速执行动作。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的系统总体架构图。
图2是本发明中的基于轻量级集成架构的目标检测与识别方法p1流程图。
图3是本发明中的目标相对距离的自适应计算校准方法p2流程图。
图4是本发明实施例中不可见目标相对于观测者的距离和方位角计算方法示意图。
图5是本发明实施例中可见及不可见目标态势信息呈现示意图。
图6是本发明的目标态势整体信息呈现效果图。
具体实施方式
一种基于可穿戴式装备的目标态势信息智能获取系统，包括目标态势信息智能获取模组a1和可穿戴装备基础支撑模组a2，所述目标态势信息智能获取模组a1包含信息采集感知模块m1、信息计算处理模块m2、信息融合显示模块m3，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组a2包括头盔本体m4、嵌入式计算单元m5、无线通信终端m6、电源m7，为目标态势信息智能获取模组a1提供结构、算力、通信和能源支撑。
所述目标态势信息智能获取模组a1中的采集感知模块m1包含可见光图像感知模块m11、地理位置信号采集模块m12、方位角信号采集模块m13，为信息处理模块m2提供图像、位置坐标和方位角信息；所述可见光图像感知模块m11采用双目摄像头，地理位置信号采集模块m12采集观测者的位置信息以及不可见目标队形的位置信息，方位角信号采集模块m13使用陀螺仪，可见光图像感知模块m11、地理位置信号采集模块m12、方位角信号采集模块m13设置在头盔本体m4上。
所述可见光图像感知模块m11上设置有“眼动”注意力跟踪装置，该装置获取目标区域图像的方法为：
首先，识别眼部图像上的瞳孔中心和角膜反射中心，提取所拍图像中的瞳孔和角膜，把角膜反射中心作为眼睛跟踪相机和眼球相对位置的基点，瞳孔中心位置坐标表示凝视点位置；
然后，用光斑和瞳孔的相对位置确定视线方向；具体为：相对位置通过视线映射函数模型确定视线方向，视线映射函数模型如下：
其中，(px,py)为注视点坐标，(vx,vy)为瞳孔反射光斑向量；
之后，根据视线方向，利用瞳孔角膜反射技术获得观测者注视点中心，利用注视点中心进行区域扩展，得到目标区域图像。
所述的信息计算处理模块m2包括图像预处理模块m21、目标检测与识别模块m22、相对距离和绝对方位角计算模块m23和相对方位角计算模块m24；
所述图像预处理模块m21接收并处理信息采集感知模块m1输出的观测者视野内的可见目标原始图像，并将降噪、清晰化后的优化处理后的图像输入到目标检测与识别模块m22；目标检测与识别模块m21利用基于轻量级集成架构的目标检测与识别方法p1在嵌入式计算单元m5上实时运算并输出目标定位框和类别信息；
所述相对距离和绝对方位角计算模块m23和相对方位角计算模块m24用于接收并处理信息采集感知模块m1输出的观测者的位置信息、不可见目标对象的位置信息和观测者自身头盔方位角信息。
所述相对距离和绝对方位角计算模块m23根据观测者的位置信息和通过无线通信终端m6从其他观测者处获取的不可见目标对象的位置信息计算得到与不可见目标对象的相对距离和绝对方位角；
随后利用相对方位角计算模块m24利用不可见目标相对距离和方位角计算方法并结合陀螺仪m13获取的观测者自身头盔方位角信息换算得到观测者和不可见目标之间的距离和相对方位角；
所述不可见目标相对距离和方位角计算方法p3利用相对距离和绝对方位角计算模块m23得到的不可见目标对象的相对距离和绝对方位角，结合结合陀螺仪m13的方位角信息，通过坐标计算和换算快速算法，实时获取不可见目标相对于观测者的距离和方位角。
所述信息融合显示模块m3包括可见目标态势穿透式虚实融合显示模块m31、不可见目标态势叠加式标注显示模块m32和ar眼镜模块m33；
所述可见目标态势穿透式虚实融合显示模块m31，接收融合信息计算处理模块m2输出的可见目标的定位框、类别和相对距离值的态势信息后输出至ar眼镜模块m33做穿透式虚实融合呈现，并将态势信息共享给不可见目标态势叠加式标注显示模块m32；
所述不可见目标态势叠加式标注显示模块m32，接收信息计算处理模块m2输出的相对观测者的不可见目标的相对距离和方位角信息以及m31输出的可见目标对象态势信息，输出给ar眼镜模块m33以叠加式标注的方式呈现不可见目标态势信息，从而合成可见不可见目标整体态势图；所述ar眼镜模块m33采用光波导方案，增强可见/不可见目标整体态势图的显示效果和观测者的临境感。
所述可见目标态势穿透式虚实融合显示模块m31包含目标定位框与类别显示模块m311，和目标相对观测者距离显示模块m312；所述目标定位框与类别显示模块m311将数据经目标相对距离的自适应计算校准方法p2处理后，将校正后的数据输出至目标相对观测者距离显示模块m312，得到测算的目标对象相对距离值。
所述基于轻量级集成架构的目标检测与识别方法p1提取主干网络与单阶段快速目标检测框架集成而来的神经网络模型，在公开数据集上预训练后迁移学习到特定目标数据集上精调，能够实时、准确地识别和定位目标对象，具体包含如下步骤：
步骤p11：得到获取图像预处理优化后的规格化样本后，构建轻量级特征提取深度学习网络模型，模型包含轻量级深度可分离主干网络mobilenet，所述轻量级深度可分离主干网络mobilenet使用深度可分离卷积方法进行构建；深度可分离卷积方法包括depthwiseconvolution和pointwiseconvolution；深度可分离卷积方法首先采用depthwiseconvolution对不同输入通道分别进行卷积，然后采用pointwiseconvolution将卷积后的输出进行结合对输入的图像采用mobilenet神经网络获得不同尺度的特征图；
步骤p12：采用ssd单阶段目标检测神经网络框架对特征图进行密集采样转化为多个候选检测框和类别置信度；
步骤p13：对于预测框中的对象进行非极大值抑制non-maximumsuppression；
步骤p14：输出目标的定位框和类别信息。
所述基于轻量级集成架构的目标检测与识别方法p1将轻量级特征提取深度学习网络模型融合上下文信息，并结合focalloss损失函数和迁移学习方法进行模型训练，再联合目标跟踪模型，得到小目标检测与跟踪模型，小目标细节图像通过小目标检测与跟踪模型得到新的图像信息；
所述融合上下文信息具体为：对轻量级神经网络目标检测模型加入fpn上下文信息特征融合算法，该算法采用自上而下的路径对不同尺度的特征图像进行融合，将上层的特征金字塔空间上获得语义融合到下层的特征金字塔底部空间；
所述focalloss损失函数公式如下：
fl(pt)＝-αt(1-pt)γlog(pt)
其中，聚焦参数γ＞0，
所述目标跟踪模型是基于卡尔曼滤波算法构建的：首先基于卡尔曼滤波协同算法的建立状态方程，然后将小目标细节图像作为状态方程输入，根据状态方程的输出结果调整状态方程的参数。
所述目标相对距离的自适应计算校准方法p2具体包含以下步骤：
步骤p21：根据深度图信息在目标定位框内按像素加权平均得到目标相对距离值；
步骤p22：判断目标相对距离值是否在有效量程内，若是，则输出当前的目标相对距离值并执行步骤p23，否则执行步骤p25；
步骤p23：选择同类别的目标对象组成标定参照集；
步骤p24：统计计算得出目标定位框高度与距离值的函数关系式，执行步骤p27；
步骤p25：判断目标定位框高度像素值是否小于32，若是，则执行步骤p27，否则执行步骤p26；
步骤p26：此环节不输出相对距离信息，结束p2算法；
步骤p27：利用步骤p24得出的函数关系对超出有效量程的目标的距离值进行校准；
步骤p28：输出目标相对距离值。
下面结合附图与实施例，对本发明作进一步的详细说明。
实施例
本发明的总体架构图如图1所示，一种基于可穿戴式装备的目标态势信息智能获取系统，包括目标态势信息智能获取模组a1和可穿戴装备基础支撑模组a2，所述目标态势信息智能获取模组a1包含信息采集感知模块m1、信息计算处理模块m2、信息融合显示模块m3，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组a2包括头盔本体m4、嵌入式计算单元m5、无线通信终端m6、电源m7，为目标态势信息智能获取模组a1提供结构、算力、通信、能源支撑功能。
结合图4、和图5，两位观测者a、b和三个目标i、j、k的场景，目标i、j在观测者b视野范围内，目标j、k对观测者a可见。下面以观测者a的用户视角通过本发明技术方案来获取并呈现可见目标j、k和不可见目标i的态势信息：
(1)观测者a获取可见目标j、k的态势信息
首先，观测者a佩带的智能头盔m4上的双目摄像头m11可采集到目标j、k的原始图像信息并用双目视觉算法得到像素级深度图。原始图像经图像预处理模块m21降噪、清晰化等优化处理后变为规格化的图像样本输入目标检测与识别模块m22，基于轻量级网络架构的目标检测与识别方法p1的步骤如图2所示：
步骤p11：得到图像预处理优化后的规格化样本后，构建轻量级特征提取深度学习网络模型，模型包含轻量级深度可分离主干网络mobilenet；对输入的图像采用mobilenet神经网络获得不同尺度的特征图；
步骤p12：采用ssd单阶段目标检测神经网络框架对特征图进行密集采样转化为多个候选检测框和类别置信度；
步骤p13：对于预测框中的对象进行非极大值抑制non-maximumsuppression；
步骤p14：输出目标(j、k)的定位框和类别信息。
然后，结合图3，利用目标相对距离的自适应计算校准方法p2获得更精确的目标j、k相对于观测者a的距离值，步骤如下：
步骤p21：先根据深度图在目标j、k的定位框内按像素加权平均得到各自的距离；
步骤p22：判断目标相对距离值是否在有效量程内，本例中目标j的被测距值在m11的有效量程内，本实施例中取≤50m，而目标k超出有效量；则输出目标j的相对距离值并执行步骤p23，而针对目标k则执行步骤p25；
步骤p23：选择与目标j同类别的目标对象组成标定参照集；
步骤p24：采用现有的方法对已有数据进行统计，计算得出目标定位框高度与距离值的函数关系式；
步骤p25：判断目标k定位框高度像素值是否小于32，若是，则执行步骤p27，否则执行步骤p26，本实施例中目标k定位框高度的像素值小于32；
步骤p26：此环节不输出相对距离信息，结束p2算法；
步骤p27:利用步骤p24得出的函数关系式对目标k的距离值校准；
步骤p28：输出目标k的相对距离值。
(2)观测者a获取不可见目标i的态势信息
如图4所示，观测者a在世界坐标系x-y下的坐标(xa,ya)可由地理位置信号采集模块m12获得，对其不可见的目标i在世界坐标系x-y下的坐标(xi,yi)可经通信由观测者b处获得，由两点距离公式可算得目标i相对于观测者a的距离sai和绝对方位角αai。而观测者自身头盔方位坐标系x-y与世界坐标系x-y的夹角βai可由布置在头盔m4上的陀螺仪m13得到，则得目标i相对于观测者a的相对方位角γai＝αai-βai。再将所得到的不可见目标i的相对距离sai和相对方位角γai输出给信息融合显示模块m3。
(3)为观测者a呈现可见目标j、k和不可见目标i的态势信息
如图5、图6所示，对观测者a可见的目标j、k利用ar眼镜m33实现穿透式虚实融合的态势信息呈现效果，在实景目标的定位框附近标注出相对距离、类别等信息；对不可见目标i以叠加式辅助标注的方式呈现；同时，可见/不可见目标的态势信息均能同时显示在整体态势图上。
上述实施例以两位观测者为例说明，三人或多人观测者的情况除了需要更多的通信交互传输态势信息外，并不影响本发明提出的目标态势信息智能获取模组功能架构以及所述方法的有效性。
本发明的技术内容及技术特点已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰。因此，本发明的保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求书所涵盖。
1.一种基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，包括目标态势信息智能获取模组[a1]和可穿戴装备基础支撑模组[a2]，所述目标态势信息智能获取模组[a1]包含信息采集感知模块[m1]、信息计算处理模块[m2]、信息融合显示模块[m3]，为观测者实时呈现视野内的可见目标的定位框、相对距离和类别态势信息，将可见和不可见目标的相对方位和距离的态势信息叠加式标注呈现；所述可穿戴装备基础支撑模组[a2]包括头盔本体[m4]、嵌入式计算单元[m5]、无线通信终端[m6]、电源[m7]，为目标态势信息智能获取模组[a1]提供结构、算力、通信和能源支撑。
2.如权利要求1所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述目标态势信息智能获取模组[a1]中的采集感知模块[m1]包含可见光图像感知模块[m11]、地理位置信号采集模块[m12]、方位角信号采集模块[m13]，为信息处理模块[m2]提供图像、位置坐标和方位角信息；所述可见光图像感知模块[m11]采用双目摄像头，地理位置信号采集模块[m12]采集观测者的位置信息以及不可见目标队形的位置信息，方位角信号采集模块[m13]使用陀螺仪，可见光图像感知模块[m11]、地理位置信号采集模块[m12]、方位角信号采集模块[m13]设置在头盔本体[m4]上。
3.如权利要求2所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述可见光图像感知模块[m11]上设置有“眼动”注意力跟踪装置，该装置获取目标区域图像的方法为：
首先，识别眼部图像上的瞳孔中心和角膜反射中心，提取所拍图像中的瞳孔和角膜，把角膜反射中心作为眼睛跟踪相机和眼球相对位置的基点，瞳孔中心位置坐标表示凝视点位置；
然后，用光斑和瞳孔的相对位置确定视线方向；具体为：相对位置通过视线映射函数模型确定视线方向，视线映射函数模型如下：
其中，(px,py)为注视点坐标，(vx,vy)为瞳孔反射光斑向量；
之后，根据视线方向，利用瞳孔角膜反射技术获得观测者注视点中心，利用注视点中心进行区域扩展，得到目标区域图像。
4.如权利要求1所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述的信息计算处理模块[m2]包括图像预处理模块[m21]、目标检测与识别模块[m22]、相对距离和绝对方位角计算模块[m23]和相对方位角计算模块[m24]；
所述图像预处理模块[m21]接收并处理信息采集感知模块m1输出的观测者视野内的可见目标原始图像，并将降噪、清晰化后的优化处理后的图像输入到目标检测与识别模块[m22]；目标检测与识别模块[m21]利用基于轻量级集成架构的目标检测与识别方法p1在嵌入式计算单元[m5]上实时运算并输出目标定位框和类别信息；
所述相对距离和绝对方位角计算模块[m23]和相对方位角计算模块[m24]用于接收并处理信息采集感知模块[m1]输出的观测者的位置信息、不可见目标对象的位置信息和观测者自身头盔方位角信息。
5.如权利要求3所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述相对距离和绝对方位角计算模块[m23]根据观测者的位置信息和通过无线通信终端m6从其他观测者处获取的不可见目标对象的位置信息计算得到与不可见目标对象的相对距离和绝对方位角；
随后利用相对方位角计算模块[m24]利用不可见目标相对距离和方位角计算方法并结合陀螺仪[m13]获取的观测者自身头盔方位角信息换算得到观测者和不可见目标之间的距离和相对方位角；
所述不可见目标相对距离和方位角计算方法p3利用相对距离和绝对方位角计算模块[m23]得到的不可见目标对象的相对距离和绝对方位角，结合结合陀螺仪[m13]的方位角信息，通过坐标计算和换算快速算法，实时获取不可见目标相对于观测者的距离和方位角。
6.如权利要求1所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述信息融合显示模块[m3]包括可见目标态势穿透式虚实融合显示模块[m31]、不可见目标态势叠加式标注显示模块[m32]和ar眼镜模块[m33]；
所述可见目标态势穿透式虚实融合显示模块[m31]，接收融合信息计算处理模块[m2]输出的可见目标的定位框、类别和相对距离值的态势信息后输出至ar眼镜模块[m33]做穿透式虚实融合呈现，并将态势信息共享给不可见目标态势叠加式标注显示模块[m32]；
所述不可见目标态势叠加式标注显示模块[m32]，接收信息计算处理模块[m2]输出的相对观测者的不可见目标的相对距离和方位角信息以及[m31]输出的可见目标对象态势信息，输出给ar眼镜模块[m33]以叠加式标注的方式呈现不可见目标态势信息，从而合成可见不可见目标整体态势图；所述ar眼镜模块[m33]采用光波导方案，增强可见/不可见目标整体态势图的显示效果和观测者的临境感。
7.如权利要求6所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述可见目标态势穿透式虚实融合显示模块[m31]包含目标定位框与类别显示模块[m311]，和目标相对观测者距离显示模块[m312]；所述目标定位框与类别显示模块[m311]将数据经目标相对距离的自适应计算校准方法p2处理后，将校正后的数据输出至目标相对观测者距离显示模块[m312]，得到测算的目标对象相对距离值。
8.如权利要求4所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述基于轻量级集成架构的目标检测与识别方法p1包含如下步骤：
步骤p11：得到获取图像预处理优化后的规格化样本后，构建轻量级特征提取深度学习网络模型，模型包含轻量级深度可分离主干网络mobilenet，所述轻量级深度可分离主干网络mobilenet使用深度可分离卷积方法进行构建；深度可分离卷积方法包括depthwiseconvolution和pointwiseconvolution；深度可分离卷积方法首先采用depthwiseconvolution对不同输入通道分别进行卷积，然后采用pointwiseconvolution将卷积后的输出进行结合对输入的图像采用mobilenet神经网络获得不同尺度的特征图；
步骤p12：采用ssd单阶段目标检测神经网络框架对特征图进行密集采样转化为多个候选检测框和类别置信度；
步骤p13：对于预测框中的对象进行非极大值抑制non-maximumsuppression；
步骤p14：输出目标的定位框和类别信息。
9.如权利要求4所述的基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述基于轻量级集成架构的目标检测与识别方法p1将轻量级特征提取深度学习网络模型融合上下文信息，并结合focalloss损失函数和迁移学习方法进行模型训练，再联合目标跟踪模型，得到小目标检测与跟踪模型，小目标细节图像通过小目标检测与跟踪模型得到新的图像信息；
所述融合上下文信息具体为：对轻量级神经网络目标检测模型加入fpn上下文信息特征融合算法，该算法采用自上而下的路径对不同尺度的特征图像进行融合，将上层的特征金字塔空间上获得语义融合到下层的特征金字塔底部空间；
所述focalloss损失函数公式如下：
fl(pt)＝-αt(1-pt)γlog(pt)
其中，聚焦参数γ＞0，
所述目标跟踪模型是基于卡尔曼滤波算法构建的：首先基于卡尔曼滤波协同算法的建立状态方程，然后将小目标细节图像作为状态方程输入，根据状态方程的输出结果调整状态方程的参数。
10.如权利要求7所述基于可穿戴式装备的目标态势信息智能获取系统，其特征在于，所述目标相对距离的自适应计算校准方法p2具体包含以下步骤：
步骤p21：根据深度图信息在目标定位框内按像素加权平均得到目标相对距离值；
步骤p22：判断目标相对距离值是否在有效量程内，若是，则输出当前的目标相对距离值并执行步骤p23，否则执行步骤p25；
步骤p23：选择同类别的目标对象组成标定参照集；
步骤p24：统计计算得出目标定位框高度与距离值的函数关系式，执行步骤p27；
步骤p25：判断目标定位框高度像素值是否小于32，若是，则执行步骤p27，否则执行步骤p26；
步骤p26：此环节不输出相对距离信息，结束p2算法；
步骤p27：利用步骤p24得出的函数关系对超出有效量程的目标的距离值进行校准；
步骤p28：输出目标相对距离值。
技术总结