本发明涉及数据处理，并且更具体地，涉及一种基于模型强化学习的财税流程自动化辅助操作方法及系统。
背景技术：
1、随着企业数字化转型的不断加快，对企业各类办公的高效化运作越来越作为评判企业数字化程度的标准，而财税相关软件作为企业办公软件的核心，其复杂程度和重复性已经成为困扰企业转型的重要难题，随着数字化业务不断开展、财税软件的不断丰富，财税领域有关的记账公司、财会部门面临不断暴增的申报、填报、录入等日常工作，流程自动化技术(rpa)在一定程度上缓解了这种压力，流程自动化技术实现跨系统、跨平台的自动化操作，可以将财务人员从大量、重复且机械化的工作中解放出来，让其得以从事更具价值和创造性的工作，推动企业财务转型。
2、但是，目前主流的各类流程自动化产品，如uipath studio、autorunner等，均采用通过工具中内嵌的拖拉拽组件将需要的操作组合在一起，最终生成的结果是一段xaml格式的代码，尽管这个过程看起来非常简单，但底层依然是一段段的脚本代码，业务人员如果不深入了解代码的结构和语法，无法制定复杂业务逻辑下的自动化操作，容易出现制作错误。此外，诸多财税业务软件里流程会根据业务需求重组、新建，需要完成复杂多样的操作，定制化的制作诸多自动化流程需要大量人力去制作维护，不利于流程自动化的初衷。
技术实现思路
1、为了解决上述背景技术所述的至少一个问题，本发明提供一种基于模型强化学习的财税流程自动化辅助操作方法及系统。
2、根据本发明的一个方面，提供了一种基于模型强化学习的财税流程自动化辅助操作方法，包括：
3、收集企业的财税软件相关数据，并对财税软件相关数据进行预处理，将财税软件相关数据整理为三类数据，其中第一类数据为提示工程prompt数据，第二类数据为知识库数据，第三类数据为预训练数据；
4、利用整理得到的三类数据开展模型的训练，经过增量预训练、监督微调训练和强化学习训练，形成财税软件脚本大语言模型；
5、根据用户想要执行的rpa操作，调用财税软件脚本大语言模型，生成对应的软件操作脚本，并将软件操作脚本导入rpa工具后执行软件操作。
6、可选地，所述财税软件相关数据包括财税软件数据库、财税软件操作指引、rpa历史xaml脚本和rpa脚本模版。
7、可选地，所述提示工程prompt数据包括rpa脚本、rpa脚本模版和财税软件数据库；所述知识库数据包括约定描述、操作规范和软件使用说明书，用于构造向量化知识库，以便于模型调用知识库信息构造上下文；所述预训练数据包括各类非结构化数据，各类非结构化数据包括财税管理软件的使用说明书、rpa软件使用说明、操作执行规范、培训/指导视频转换的文本文件和常见问题总结。
8、可选地，所述利用整理得到的三类数据开展模型的训练，经过增量预训练、监督微调训练和强化学习训练，形成财税软件脚本大语言模型，包括：
9、将第三类数据交给模型进行增量预训练；
10、在完成增量预训练后，将第一类数据交给模型进行监督微调训练；
11、在完成监督微调训练后，将第二类数据交给模型进行强化学习训练，形成财税软件脚本大语言模型。
12、可选地，所述根据用户想要执行的rpa操作，调用财税软件脚本大语言模型之前，该方法还包括：通过语音或者文字交互的方式，获取用户想要执行的rpa操作。
13、可选地，所述根据用户想要执行的rpa操作，调用财税软件脚本大语言模型，生成对应的软件操作脚本，包括：
14、根据用户想要执行的rpa操作，通过向量知识库进行信息补全，对用户的指令信息进行重构，并将重构后的指令信息发送给财税软件脚本大语言模型；
15、财税软件脚本大语言模型根据重构后的指令信息生成rpa软件可调用的软件操作脚本。
16、根据本发明的又一个方面，提供了一种基于模型强化学习的财税流程自动化辅助操作系统，包括：
17、预处理模块，用于收集企业的财税软件相关数据，并对财税软件相关数据进行预处理，将财税软件相关数据整理为三类数据，其中第一类数据为提示工程prompt数据，第二类数据为知识库数据，第三类数据为预训练数据；
18、训练模块，用于利用整理得到的三类数据开展模型的训练，经过增量预训练、监督微调训练和强化学习训练，形成财税软件脚本大语言模型；
19、rpa调用模块，用于根据用户想要执行的rpa操作，调用财税软件脚本大语言模型，生成对应的软件操作脚本，并将软件操作脚本导入rpa工具后执行软件操作。
20、可选地，所述财税软件相关数据包括财税软件数据库、财税软件操作指引、rpa历史xaml脚本和rpa脚本模版。
21、本发明从财税场景的软件操作流程自动化场景出发，提取大模型所需的各类数据，完成大模型的预训练、微调训练和强化学习训练，实现了便捷式的财税相关软件自动化脚本生成，降低了人员操作带了的复杂性和错误概率，可以更好的适用于软件操作不熟练或者代码知识匮乏的业务人员，同时可以进一步帮助rpa软件进行软件升级，优化交互界面，提升客户满意程度，实现软件智能化和企业财务数字化。
1.一种基于模型强化学习的财税流程自动化辅助操作方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述财税软件相关数据包括财税软件数据库、财税软件操作指引、rpa历史xaml脚本和rpa脚本模版。
3.根据权利要求1所述的方法，其特征在于，所述提示工程prompt数据包括rpa脚本、rpa脚本模版和财税软件数据库；所述知识库数据包括约定描述、操作规范和软件使用说明书，用于构造向量化知识库，以便于模型调用知识库信息构造上下文；所述预训练数据包括各类非结构化数据，各类非结构化数据包括财税管理软件的使用说明书、rpa软件使用说明、操作执行规范、培训/指导视频转换的文本文件和常见问题总结。
4.根据权利要求1所述的方法，其特征在于，所述利用整理得到的三类数据开展模型的训练，经过增量预训练、监督微调训练和强化学习训练，形成财税软件脚本大语言模型，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据用户想要执行的rpa操作，调用财税软件脚本大语言模型之前，还包括：通过语音或者文字交互的方式，获取用户想要执行的rpa操作。
6.根据权利要求1所述的方法，其特征在于，所述根据用户想要执行的rpa操作，调用财税软件脚本大语言模型，生成对应的软件操作脚本，包括：
7.一种基于模型强化学习的财税流程自动化辅助操作系统，其特征在于，包括：
8.根据权利要求7所述的系统，其特征在于，所述财税软件相关数据包括财税软件数据库、财税软件操作指引、rpa历史xaml脚本和rpa脚本模版。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
