本发明涉及采摘机器人领域，更具体的说是涉及一种基于三维点云重构的果园建模及采摘机器人控制方法。
背景技术：
1、在果园生产过程中，采摘是一个非常重要的环节。传统的采摘方式大多需要人工操作，但是人工采摘效率低下，且受季节、天气等因素的影响，成本较高。因此，采摘机器人的研发已成为解决这一问题的有效途径之一。
2、然而，在采摘机器人的实际应用中，自主避碰和采摘能力是关键技术之一。在复杂的果园环境下，采摘机器人需要能够识别和避开障碍物，同时还要保证采摘的准确性和效率，因此，基于多智能体协同的避碰采摘方法成为了当前研究的热点之一。然而，在实际应用中，机器人之间的协同避碰和协同采摘并不容易，因为这涉及到多个机器人之间的复杂协调和协作，需要设计有效的算法和控制策略来实现。为了解决这一问题，近年来提出了基于数字孪生和深度强化学习的反向控制方法。数字孪生是一种将物理系统的虚拟副本与实际系统进行耦合的技术，可以在虚拟环境中对机器人进行模拟和测试。深度强化学习是一种通过智能体与环境进行交互来学习最优策略的方法，可以用于优化机器人的控制策略。
3、数字孪生虚拟果园的构建，需要建立与真实果园的直接映射关系，以保证虚拟果园中采摘机器人的仿真调度算法，能够不失真地反向控制真实的采摘机器人作业，如何快速重构具有直接映射关系的虚拟果园仿真平台是体现数字孪生果园思想面临的挑战。
技术实现思路
1、有鉴于此，发明旨在提供一种基于三维点云重构的果园快速建模与以仿真优化调度策略反向控制采摘机器人采摘作业的方法，该方法首先采用三维点云重构的思想快速搭建虚拟果园仿真系统，在该系统中采用多智能体集群调度和协同作业的思想，开展采摘机器人多机协同作业的调度仿真，协调多台采摘机器人之间的避碰和采摘。本发明引入数字孪生、深度强化学习技术和三维点云重构来优化虚拟采摘机器人的控制策略，反向控制真实机器人的采摘作业性能，有效提高采摘机器人的作业效率和作业质量，保证采摘机器人作业过程中的安全性。
2、为了实现上述目的，本发明采用如下技术方案：
3、一种基于三维点云重构的果园建模及采摘机器人控制方法，包括以下步骤：
4、步骤1、根据采摘机器人的几何特征、物理特性和运动学模型，建立机器人数字孪生模型，获取荔枝果园的三维点云信息，并通过三维点云重构技术，将点云信息转化为可视化的三维地图，构建虚拟果园平台；
5、步骤2、基于虚拟果园平台和机器人数字孪生模型，建立深度强化学习模型；
6、步骤3、将机器人数字孪生模型和深度强化学习模型整合为反向控制系统；
7、步骤4、基于数字孪生的虚拟果园平台，建立面向集群机器人作业的多智能体协同调度系统，在实时采集的果园环境约束条件下，对集群作业算法进行调度仿真，实现多台采摘机器人或运送机器人之间的协同作业控制，实现自主避碰采摘。
8、可选的，在步骤1中，根据采摘机器人的几何特征、物理特性和运动学模型，建立机器人数字孪生模型，包括几何模型和采摘行为模型，模拟采摘机器人的运动状态和采摘行为。
9、可选的，在步骤1中，结合搭载高清摄像机的移动机器人和无人机，获取荔枝果园的三维点云信息，并通过三维点云重构技术，将点云信息转化为可视化的三维地图，实现对果树、果实的三维定位和识别。
10、可选的，在步骤1中，果园数字孪生模型是结合搭载了高清摄影机的移动机器人和无人机，获取荔枝果园的图像信息，借助摄影测量技术和sfm算法，生成荔枝果园的稀疏点云数据，并通过mvs算法产生稠密点云数据并重建果园的三维场景模型。
11、可选的，在步骤2中，所述建立深度强化学习模型包括环境建模、设计网络结构、确定奖励函数、训练模型、模型评估；所述环境建模是指定义虚拟果园的状态空间，包括机器人的位置、果树的位置、障碍物的位置等。定义可供机器人采取的动作，包括移动、选择、采摘；建立机器人需要达到的任务目标；所述设计网络结构是指基于环境建模结果，选择合适的深度强化学习算法如ppo算法，用于实现机器人的决策和行动。
12、可选的，ppo算法的目标函数表示为：
13、
14、其中：lclipθ是ppo的目标函数；表示对时间步t的期望；rtθ是新策略和旧策略的比率，即αt是优势函数的估计，表示状态st采取动作at。
15、可选的，实现自主避碰采摘：通过数字孪生反向控制系统和多智能体协同系统的实时优化，采用多智能体马尔可夫决策过程，用于采摘机器人自主避开障碍物和其他机器人，并在正确的位置采摘水果。
16、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于三维点云重构的果园建模及采摘机器人控制方法，具有以下有益效果：
17、(1)高精度的环境感知：利用搭载高清摄像机的移动机器人和无人机获取果园的三维点云信息，通过三维点云重构技术，将点云信息转化为可视化的三维地图，从而实现对果树、果实的高精度三维定位和识别。这提供了更精确的环境感知，有助于机器人避免碰撞和有效地采摘水果。
18、(2)深度强化学习模型：通过建立深度强化学习模型，机器人可以学习并制定避碰采摘策略。这意味着机器人可以不断改进其行为，以适应不同的果园条件和障碍物布局，最大程度地提高采摘效率并减少碰撞风险。
19、(3)反向控制系统：将数字孪生模型和深度强化学习模型整合为反向控制系统，允许机器人实时感知环境变化，并动态调整和优化采摘策略。这种反馈系统提供了实时的问题解决和决策能力，有助于机器人在不断变化的果园环境中表现出更高的自主性和适应性。
20、(4)多智能体协同：该发明还考虑了果园作业环境中多个采摘机器人或运送机器人同时作业的需求。通过建立多智能体协同调度系统，这些机器人可以协同工作，避免互相干扰和碰撞，从而提高整体的作业效率和效果。
21、(5)自主避碰采摘：使用多智能体马尔可夫决策过程，机器人可以自主避开障碍物和其他机器人，确保在正确的位置采摘水果。这增加了机器人的自主性和安全性，减少了运营风险。
22、(6)本发明的实现具有一定的经济效益和社会效益。随着数字孪生、深度强化学习等新兴技术的不断发展，其在机器人控制和优化中的应用也将越来越广泛。本发明实现可以有效提高机器人的工作效率和精度，降低了人力成本和采摘成本，同时也为园林管理、水果种植等领域带来更加智能化和高效化的解决方案。
1.一种基于三维点云重构的果园建模及采摘机器人控制方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于三维点云重构的果园建模及采摘机器人控制方法，其特征在于，在步骤1中，根据采摘机器人的几何特征、物理特性和运动学模型，建立机器人数字孪生模型，包括几何模型和采摘行为模型，模拟采摘机器人的运动状态和采摘行为。
3.根据权利要求1所述的一种基于三维点云重构的果园建模及采摘机器人控制方法，其特征在于，在步骤1中，结合搭载高清摄像机的移动机器人和无人机，获取荔枝果园的三维点云信息，并通过三维点云重构技术，将点云信息转化为可视化的三维地图，实现对果树、果实的三维定位和识别。
4.根据权利要求1所述的一种基于三维点云重构的果园建模及采摘机器人控制方法，其特征在于，在步骤1中，果园数字孪生模型是结合搭载了高清摄影机的移动机器人和无人机，获取荔枝果园的图像信息，借助摄影测量技术和sfm算法，生成荔枝果园的稀疏点云数据，并通过mvs算法产生稠密点云数据并重建果园的三维场景模型。
5.根据权利要求1所述的一种基于三维点云重构的果园建模及采摘机器人控制方法，其特征在于，在步骤2中，所述建立深度强化学习模型包括环境建模、设计网络结构、确定奖励函数、训练模型、模型评估；所述环境建模是指定义虚拟果园的状态空间，包括机器人的位置、果树的位置、障碍物的位置等。定义可供机器人采取的动作，包括移动、选择、采摘；建立机器人需要达到的任务目标；所述设计网络结构是指基于环境建模结果，选择合适的深度强化学习算法如ppo算法，用于实现机器人的决策和行动。
6.根据权利要求5所述的一种基于三维点云重构的果园建模及采摘机器人控制方法，其特征在于，ppo算法的目标函数表示为：
7.根据权利要求1所述的一种基于三维点云重构的果园建模及采摘机器人控制方法，其特征在于，实现自主避碰采摘：通过数字孪生反向控制系统和多智能体协同系统的实时优化，采用多智能体马尔可夫决策过程，用于采摘机器人自主避开障碍物和其他机器人，并在正确的位置采摘水果。
