本发明涉及智慧交通领域，具体是涉及一种基于深度强化学习的出行方式和出发时间联合选择模型。
背景技术：
1、随着人口增长和城市化，城市出行需求迅速增加，导致全球交通拥堵问题普遍存在。为了应对这一问题，出现了各种交通管理策略，但其成功实施取决于对出行者出行选择的理解和建模方式。出行选择涉及多个维度，如出发时间、出行方式和路线，可以使用离散或连续选择模型进行描述。与传统的一维模型不同，多维模型考虑了不同选择之间的相关性，尤其是出行方式和出发时间的选择。这些选择反映了个体的偏好并影响交通网络的时空需求。为了评估交通政策举措的有效性，需要建立一个同时考虑出行方式和出发时间选择的建模框架。现有的联合出行方式和出发时间选择(jtmdtc)建模研究大多使用离散选择决策方法，在复杂决策过程中可能受到随机效用函数制定的限制，从而可能导致次优结果。
技术实现思路
1、为解决上述技术问题，本发明提供了一种基于深度强化学习的出行方式和出发时间联合选择模型。
2、本发明的技术方案是：
3、一种基于深度强化学习的出行方式和出发时间联合选择模型，包括以下步骤：
4、步骤1)构造马尔可夫决策过程；
5、步骤2)训练深度强化学习模型。
6、所述步骤1)包括：步骤1.1)设置动作空间；步骤1.2)设置状态空间；步骤1.3)设置奖励函数。
7、所述步骤1)包括：
8、步骤1.1)设置动作空间
9、
10、其中，m为交通模式，t为出行时间；
11、步骤1.2)设置状态空间
12、
13、
14、步骤1.3)设置奖励函数
15、
16、
17、
18、
19、
20、
21、其中，是在交通模式m下的总出行成本，是在交通模式m下的总出行时间，δ(ti)是在交通模式m下的总行程延误，是在交通模式m下的其他出行相关成本。
22、所述步骤2)包括：
23、2.1)通过dbscan聚类选择高效的智能体代表；
24、2.2)基于深度q网络训练智能体代表。
25、5、根据权利要求4所述的一种基于深度强化学习的出行方式和出发时间联合选择模型，其特征在于：所述步骤2.1)包括：
26、步骤2.1.1)选择一个未访问的数据点作为起始点，如果起始点邻域内的点数满足阈值，将该起始点标记为核心点，并创建一个新的簇；
27、步骤2.1.2)从核心点开始，通过密度可达性扩展新的簇；检查核心点邻域内的每个数据点，如果数据点邻域内的点数满足阈值，将该数据点标记为核心点，将该数据点添加到当前簇中；如果数据点邻域内的点数不满足阈值，将该数据点标记为非核心点，将该数据点添加到当前簇中；
28、步骤2.1.3)如果数据点不是核心点或非核心点，将该数据点标记为噪声点；
29、步骤2.1.4)重复上述步骤，直到所有数据点都被访问过；
30、步骤2.1.5)在每个簇中选择一个核心点作为智能体代表。
31、所述步骤2.2)包括：
32、步骤2.2.1)初始化重放内存d、神经网络参数w和c；在训练的每个迭代步中，进行步骤2.2.2)至2.2.5)；
33、步骤2.2.2)从环境中观察初始状态s0，并在每个时间步中，进行步骤2.2.3)至2.2.4)；
34、步骤2.2.3)使用ε-greedy策略获取当前动作，并与环境交互获得回报rt；
35、步骤2.2.4)记录环境信息，获取下一状态st+1，存储经验组(st,at,rt,st+1)于重放内存d；
36、步骤2.2.5)随机从d中采样，令
37、
38、判断是否经过c个时间步，如果是，使得v←wt；
39、步骤2.2.6)不断迭代，直至训练结束。
40、所述ε-greedy策略中，
41、本发明的有益效果是：
42、本发明利用深度强化学习(drl)的优势，提出了一种新的jtmdtc模型，以在动态多模式交通网络中最大化个体的出行效用。为了实现计算效率并实现大规模应用，将聚类方法嵌入到建模框架，并通过设计强化学习环境和算法，保证该模型能够在复杂交通环境中为个体提供更好的出行选择与更高的效用。
43、首先，通过利用深度强化学习的方法，该模型能够根据多个因素(如出行方式、出发时间等)做出决策，以最大化个体在多天内的出行效用，能够在考虑实时交通状况和个体偏好的情况下，为不同个体提供接近最优的联合出行方式和出发时间选择。
44、其次，该模型在动态多模式交通网络中进行出行选择的决策，能够应对复杂的交通环境。通过建立马尔可夫决策过程，并利用深度q网络进行决策学习，模型能够根据实时的交通状态和个体的偏好，灵活地调整出行策略，以应对交通拥堵、多种交通模式等挑战。
45、最后，为了适用于多个需要出行决策的个体，将聚类方法与drl集成，以获取代表性的个体进行模型训练。这种计算高效的训练方法可以减少计算资源和时间的消耗，并且在保持模型性能的同时，降低了训练的复杂性。
1.一种基于深度强化学习的出行方式和出发时间联合选择模型，包括以下步骤：
2.根据权利要求1所述的一种基于深度强化学习的出行方式和出发时间联合选择模型，其特征在于：所述步骤1)包括：步骤1.1)设置动作空间；步骤1.2)设置状态空间；步骤1.3)设置奖励函数。
3.根据权利要求2所述的一种基于深度强化学习的出行方式和出发时间联合选择模型，其特征在于：所述步骤1)包括：
4.根据权利要求1或3所述的一种基于深度强化学习的出行方式和出发时间联合选择模型，其特征在于：所述步骤2)包括：
5.根据权利要求4所述的一种基于深度强化学习的出行方式和出发时间联合选择模型，其特征在于：所述步骤2.1)包括：
6.根据权利要求5所述的一种基于深度强化学习的出行方式和出发时间联合选择模型，其特征在于：所述步骤2.2)包括：
7.根据权利要求6所述的一种基于深度强化学习的出行方式和出发时间联合选择模型，其特征在于：所述ε-greedy策略中，
