本发明涉及飞行器引导控制领域，特别涉及一种基于目的地运动预测的飞行器引导迁移学习训练算法。
背景技术：
在诸多飞行任务中，需要引导飞行器沿着特定方向到达移动目的地。同样的飞行器在不同的任务中通常需要面对不同移动方式的目的地。如：飞行器降落在不同移动模式的航母上；飞行器在空中加油时达到加油占位；飞行器在空战中达到优势态势位置等。
强化学习执行效率高，使用灵活，在飞行器引导领域有许多研究。如引导小型无人机降落到移动车辆上，引导固定翼飞机沿跑道方向到达机场，引导舰载机到达航母进近点等。对于不同的目的地，移动方式不同，如果每种场景从头训练，一方面需要花费较多的时间，另一方面成功率也无法保证。强化学习与迁移学习结合后，可以用在飞行器引导任务中。对于一款飞行器，训练一个引导智能体，具备引导飞行器飞行至固定目的地的能力。以该智能体为基线智能体，对于新的引导任务，针对不同移动模式的目的地，通过预测目的地运动的方法，利用基线智能体产生的数据进行训练，可以提升智能体训练的速度和飞行器引导成功率。对于执行不同移动方式目的地的飞行引导任务具有实践意义。
技术实现要素：
本发明的目的在于克服现有技术的缺点与不足，提出一种基于目的地运动预测的飞行器引导迁移学习训练算法，在基线智能体的基础上，采用目标运动预测的方法，训练飞行器引导智能体，引导飞行器沿着指定方向到达移动的目的地。
为实现以上目的，本发明采取如下技术方案：
一种基于目的地运动预测的飞行器引导迁移学习训练算法，包括下述步骤：
（1）设置飞行器的运动学和动力学模型，以固定目的地的飞行器引导环境为训练环境，使用强化学习算法训练基线智能体b，当前状态
（2）依据目的地运动特性，设置目的地的移动模型，构建目的地运动的飞行器引导训练环境，设置训练中的智能体选择因子p及该因子更新的方法，初始化引导智能体a，智能体a的输入输出与智能体b相同，开始智能体a的训练；
（3）以片段（episode）为单位，使用引导智能体a执行一个片段，对于片段内每个时间步长t，记录当前状态
（4）生成[0,1]范围内的随机数，包含随机数小于智能体选择因子、随机数大于等于智能体选择因子两种情况，对于随机数小于智能体选择因子的情况，使用智能体b更新四元组，对于随机数大于等于智能体选择因子的情况不更新四元组；
（5）使用强化学习算法进行训练，更新智能体选择因子p。
作为优选的技术方案，步骤（4）中，对于更新四元组的情况，按照如下步骤进行更新：
从起始步长t=0开始，到终止步长t=t为止进行循环，对于循环中的每一个步长t=n，将t=0到t=n中的每一个四元组
从t=0开始到t=n截止，使用基线智能体b，以替换后的状态信息
从起始步长t=0开始，到片段终止步长t=t结束，没有任何一次替换使得飞行器成功到达目的地，记录最后一次执行的四元组
将
对于不更新四元组的情况，对于在线训练强化学习方法，直接按照保存的四元组训练，对于离线训练强化学习方法，将四元组存入经验池中。
作为优选的技术方案，步骤（5）中，按照如下公式更新智能体选择因子p：
本发明相对于现有技术具有如下的优点和效果：
（1）本发明采用迁移学习与强化学习相结合的方法，基于固定目的地训练的基线智能体进行目的地预测并更新训练数据，在不同移动目的地的场景下，提高智能体训练速度，更高效地训练不同任务的飞行器引导智能体。
（2）本发明将基于目的地运动预测的飞行器引导迁移学习训练算法应用在飞行器自动引导系统中，在新的任务中快速训练出引导智能体，并生成指令引导飞行器沿着特定方向到达移动目的地，对飞行器执行新的飞行任务具有实践意义。
附图说明
图1为本实施例的一种基于目的地运动预测的飞行器引导迁移学习训练算法的流程图；
图2为本实施例的一种基于目的地运动预测的飞行器引导迁移学习训练算法的目的地直线移动引导智能体训练过程成功率变化对比图；
图3为本实施例的一种基于目的地运动预测的飞行器引导迁移学习训练算法的目的地直线移动飞行器引导实例航迹图。
具体实施方式
为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
在本实施例中，在目的地直线移动的场景下，引导飞行器飞行，一种基于目的地运动预测的飞行器引导迁移学习训练算法，利用已有训练好的固定目的地飞行器引导智能体作为基线智能体，实现在目的地直线移动的场景下，与从头训练相比，可以更快速的训练引导智能体，引导飞行器沿着特定方向到达移动目的地；如图1所示，该方法包括下述步骤：
（1）设置飞行器的运动学和动力学模型，以固定目的地的飞行器引导环境为训练环境，使用强化学习算法训练基线智能体b，当前状态
在本实施例中，飞机动态模型如下：
其中，
（2）依据目的地运动特性，设置目的地的移动模型，构建目的地运动的飞行器引导训练环境，设置训练中的智能体选择因子p及该因子更新的方法，初始化引导智能体a，智能体a的输入输出与智能体b相同，开始智能体a的训练。
在本实施例中，目的地匀速直线移动；智能体选择因子初始化值为1。
（3）以片段（episode）为单位，使用引导智能体a执行一个片段，对于片段内每个时间步长t，记录当前状态
生成[0,1]范围内的随机数，包含随机数小于智能体选择因子、随机数大于等于智能体选择因子两种情况，对于随机数小于智能体选择因子的情况，使用智能体b更新四元组，对于随机数大于等于智能体选择因子的情况不更新四元组，对于更新四元组的情况，按照如下步骤进行更新：
从起始步长t=0开始，到终止步长t=t为止进行循环，对于循环中的每一个步长t=n，将t=0到t=n中的每一个四元组
从t=0开始到t=n截止，使用基线智能体b，以替换后的状态信息
从起始步长t=0开始，到片段终止步长t=t结束，没有任何一次替换使得飞行器成功到达目的地，记录最后一次执行的四元组
将
对于不更新四元组的情况，对于在线训练强化学习方法，直接按照保存的四元组训练，对于离线训练强化学习方法，将四元组存入经验池中；
在本实施例中，采用近端策略优化深度强化学习方法（ppo）训练引导智能体，引导智能体在飞行器引导训练环境中不断自学习；
在本实施例中，引导智能体训练过程中，引导的成功率不断提升，如图2所示，与从头开始训练相比，使用基于目的地运动预测的飞行器引导迁移学习训练算法可以更快的收敛。（5）使用强化学习方法进行训练，更新智能体选择因子p；
按照如下公式更新智能体选择因子p：
在本实施例中，k的值为0.001，如图3所示，训练完成的引导智能体可生成准确的引导指令，引导飞行器沿特定方向到达移动目的地。
以上所述实施例仅表达了本发明的一种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以权利要求所述为准。
1.一种基于目的地运动预测的飞行器引导迁移学习训练算法，其特征在于，包括以下步骤：
（1）设置飞行器的运动学和动力学模型，以固定目的地的飞行器引导环境为训练环境，使用强化学习方法训练基线智能体b，当前状态
（2）依据目的地运动特性，设置目的地的移动模型，构建目的地运动的飞行器引导训练环境，设置训练中的智能体选择因子p及该因子更新的方法，初始化引导智能体a，智能体a的输入输出与智能体b相同，开始智能体a的训练；
（3）以片段（episode）为单位，使用引导智能体a执行一个片段，对于片段内每个时间步长t，记录当前状态
（4）生成[0,1]范围内的随机数，包含随机数小于智能体选择因子、随机数大于等于智能体选择因子两种情况，对于随机数小于智能体选择因子的情况，使用智能体b更新四元组，对于随机数大于等于智能体选择因子的情况不更新四元组；
（5）使用强化学习方法进行训练，更新智能体选择因子p。
2.根据权利要求1所述的基于目的地运动预测的飞行器引导迁移学习训练算法，其特征在于，步骤（4）中，对于更新四元组的情况，按照如下步骤进行更新：
从起始步长t=0开始，到终止步长t=t为止进行循环，对于循环中的每一个步长t=n，将t=0到t=n中的每一个四元组
从t=0开始到t=n截止，使用基线智能体b，以替换后的状态信息
从起始步长t=0开始，到片段终止步长t=t结束，没有任何一次替换使得飞行器成功到达目的地，记录最后一次执行的四元组
对于不更新四元组的情况，对于在线训练强化学习方法，直接按照保存的四元组训练，对于离线训练强化学习方法，将四元组存入经验池中。
3.根据权利要求1所述的基于目的地运动预测的飞行器引导迁移学习训练算法，其特征在于，步骤（5）中，按照如下公式更新智能体选择因子p：
