本发明涉及遥感反演领域,具体地,涉及一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法。
背景技术:
叶面积指数(lai)和生物量是重要的玉米生长参数,能够为玉米生长状况评估、温度胁迫、水分胁迫、病虫害防治、早期估产等提供重要信息,目前被广泛用于田间管理决策和早期估产。传统的获取lai和生物量的方法主要依靠田间采样和人工测量,耗时耗力。而遥感反演法依靠少量实测数据和遥感数据构建反演模型,便能实现大区域测量。目前遥感反演方法有基于光学遥感数据、雷达遥感数据以及光学和雷达数据结合的反演方法。目前光学遥感反演方法由于受到光学遥感影像限制,反演玉米生长参数容易出现饱和现象,并且光学传感器易受云雨影响,难以获得高质量的光学影像,仅依靠光学影像提高生长参数的反演精度较为困难。雷达遥感具有穿透性,能够反映玉米冠层结构特征,有助于克服光学遥感中出现的饱和现象,但雷达遥感影像易受土壤背景和地形因素等影响,导致估算lai和生物量依然存在误差。因此,利用光学和雷达遥感影像结合反演玉米lai和生物量是目前的研究热点,为此,国内外学者针对光学与雷达遥感数据结合反演生长参数的方法进行了初步探索,结果表明二者结合能够为lai和生物量的反演提供更多信息。
依据光学和雷达遥感数据结合方法的不同,光学和雷达数据结合反演生长参数的常用的方法可以归结为4类:(1)根据植被生长参数(如lai、生物量)随生长期的变化特点,分段研究:将lai分为两段,当0<lai<3时,用光学数据反演,当lai>=3时,用雷达数据反演。(2)融合植被指数法:首先分别从光学和雷达数据中提取光学植被指数和雷达植被指数,然后将二者相乘得到包含光学与雷达特征的融合植被指数,然后建立融合植被指数与生长参数之间的反演模型。(3)辅助参数法:利用光学影像提取植被覆盖度,然后将植被覆盖度输入雷达反演模型,反演生长参数。(4)利用数据同化的方法:将光学数据与雷达数据作为输入参数,借助作物生长模型反演生长参数。从第(1)类和第(3)类方法可以看出,光学与雷达数据在生长参数反演过程中并未得到充分利用,第(2)类方法只是用植被指数(仅用了遥感数据的部分波段)做了简单乘法运算,忽略了其他波段信息的应用,第(4)类方法虽然将光学与雷达数据结合作为参数输入生长模型,但是由于农业生态系统的复杂性,生长模型需输入的参数也较为复杂,导致该方法存在很大不确定性。综上,目前关于光学与雷达遥感数据的结合方法研究还不深入,光学和雷达遥感数据依然未实现高效和深度融合,导致该方法反演生长参数的精度依然偏低。
另外,光学和雷达数据结合反演生长参数时,基于统计学习(经验模型)方法构建反演模型占据重要地位,物理模型和半经验模型不便于进行光学和雷达数据的结合。常用的统计学习方法主要有线性和非线性两种方法,而在结合光学和雷达数据的生长参数反演中,基于传统的机器学习算法(如支持向量回归、随机森林)、指数回归等构建的反演模型比基于多元线性回归方法构建的反演模型具有更好反演效果,说明复杂的非线性模型更适用于植被生长参数反演。近年来,深度学习方法依靠其强大的自主学习能力,被证明在对多尺度多层次遥感特征提取及低层次到高层次遥感特征融合方面具有很大优势,但在定量遥感反演中,深度学习方法却较少应用,这主要缘于构建深度学习模型时,需要大量训练样本。而遥感反演中获取的实测样本数据量远远不能满足深度学习的需求。尽管深度学习能够利用多层神经网络学习遥感数据隐含的深层特征,同时被证明在拟合非线性关系中有很大潜力,但受训练样本的限制,目前在遥感反演方面的研究鲜有报道。
技术实现要素:
本发明针对光学和雷达遥感数据结合的玉米lai和生长参数反演研究中存在的反演精度不高的问题,提出了一种基于数据增广和深度学习的玉米lai和生物量的主被动遥感反演方法,通过提出一种数据增广(beta混合方法)来扩充野外实测样本数量,并构建一种门控机制的孪生神经网络模型,从而将具有更好的非线性拟合能力的深度学习方法应用于玉米lai和生物量的主被动反演,提高反演精度。
本发明提供了一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法,包括以下步骤:s1:数据预处理,其包括分别对光学和雷达影像进行预处理得到输入数据,以及对输入数据进行归一化处理;s2:利用beta数据混合方法对有限的实测叶面积指数和生物量数据及其对应遥感数据同时进行混合处理,以建立大量虚拟训练样本来进行数据增广;以及s3:通过基于门控机制的孪生深度网络结合光学与雷达遥感数据构建叶面积指数和生物量反演模型。
可选地,在上述方法中,在步骤s1中,给定输入数据(xo,yo),数据归一化的具体方法为:
其中,xo代表的是数据归一化前的遥感特征,左侧x代表数据归一化处理后的遥感特征,
可选地,在上述方法中,在步骤s2中,beta数据混合方法包括:
使用邻域分布来计算经验邻域风险,其中,邻域分布为:
其中,μ代表邻域分布,n为样本数量,e代表期望,δ(x=xi,y=yi)是狄拉克函数,xi,yi表示从真实数据中随机采样的同分布训练样本,λ服从beta分布,即λ~beta(α,α),α∈(0,∞),邻域分布通过使用服从beta分布的数据进行插值,建立虚拟的数据与标签对:
其中(xi,yi)和(xj,yj)是从训练集中随机抽取的训练样本,λ是插值系数其受参数α的控制;
通过beta数据混合方法得到最小化经验邻域风险,表示为:
其中,rβ(f)为通过beta数据混合方法得到的最小化经验邻域风险,f(·)为预测模型,yi1和yi2是合成
可选地,在上述方法中,在步骤s3中,基于门控机制的孪生深度网络包括融合层和回归层,其中,融合层用于光学和雷达遥感数据的深度融合,以及融合层包括用于提取每个通道互补的有效信息并降低相互干扰的门控制层以及用于实现特征的非线性变换、增加模型的映射能力并完成数据由高维向低维或者由低维向高维的映射的第一全连接层。
可选地,在上述方法中,其特征在于:给定第i个融合层,假设其光学通道输入数据为
其中o表示与光学数据相关的数据或参数;σ(·)表示激活函数;
其中,s表示与雷达数据相关的数据或参数,σ(·)表示激活函数;
根据光学数据和雷达数据的信息选择控制门得到融合层的门控制层的输出,对于雷达信息通道,融合的光学信息是根据光学通道门控制选择的,其输出定义为:
其中⊙表示哈达马乘积,即向量间对应元素相乘,通过对应元素相乘光学信息被有选择的融入雷达通道,并以此更新雷达通道的信息,反之亦然;
最终融合层的输出定义为:
其中
可选地,在上述方法中,回归层首先对融合层融合的光学和雷达信息进行级联处理,组合出回归层的输入数据:
其中l为融合层的最后一层,
紧接着的一个第二全连接层完成光学和雷达数据的进一步融合,同时将高维特征映射到低维,以去除冗杂信息,获得光学与雷达深度融合的特征xf=ffcl(xr)。
可选地,在上述方法中,其中,第一全连接层和第二全连接层具有相同的结构,即:
y=ffcl(x,θ)=σ(w·x b)(11)
其中x为第一全连接层或第二全连接层的输入;y为输出;θ为第一全连接层或第二全连接层的可训练的参数,包含w和b;σ为激活函数;
对于每一个反演参数,使用一个独立的全连接网络进行回归,具体而言:
其中lai,biomasswet以及biomassdry即为反演模型输出的叶面积指数、鲜生物量及干生物量的反演预测值。
可选地,在上述方法中,基于门控机制的孪生深度网络的时间向量,将一年365天按照15天为一时间阶段分成25个时间组,每组使用一个n维的向量表示,形式化地,给定影像成像日期,首先将其转化为时间段的索引i,根据i从向量表
可选地,在上述方法中,对于基于门控机制的孪生深度网络,给定训练样本xopt,xsarylai,
其中lai,biomasswet,biomassdry为反演模型输出的叶面积指数、鲜生物量及干生物量的反演预测值;mse为均方误差,定义为:
公式(14)使用的是经验风险最小化准则,将其与公式(5)结合,即将公式(14)中的lai,biomasswet,biomassdry使用公式(5)中估计λ的方法代替,并将公式(15)带入,得到结合beta混合模型的基于邻域风险最小化的目标函数,得到最终的训练目标函数:
其中tlai(·,·),
本发明的技术方案的有益技术效果是:本发明适用于结合光学和雷达遥感数据的玉米lai和生物量反演,通过门控机制的孪生神经网络(gatedsiamesedeepneuralnetwork,gsdnn)模型实现了光学和雷达遥感特征的深层提取和有效融合,有效克服了仅用光学或雷达遥感数据反演玉米lai和生物量反演精度受限的问题,同时解决了常用的光学和雷达遥感数据结合不充分的问题,弥补了基于经验公式提取的遥感特征对冠层结构表达不足的问题,从而提高了lai和生物量的反演精度。
此外,为了克服野外实测数据不足导致的深度学习模型易过拟合、鲁棒性差的问题,提出了beta混合方法,有效扩充了数据集,提高了gsdnn模型的鲁棒性和反演性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的基于数据增广和深度学习的玉米生长参数主被动遥感反演方法的步骤流程图。
图2是玉米lai和生物量的gsdnn网络结构图。
图3是基于gsdnn的玉米lai和生物量主被动反演模型训练流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的系统的例子。
本发明的基于数据增广和深度学习的玉米lai和生物量的主被动遥感反演方法,具体地是一种基于数据增广和门控机制的孪生神经网络(gatedsiamesedeepneuralnetwork,gsdnn)进行玉米lai和生物量主被动遥感反演的方法。该方法主要包括数据预处理、数据增广、玉米lai和生物量反演模型构建及训练。结合图1对本发明方法进行详细说明,本发方法包括以下步骤:
1.数据预处理
首先分别对光学和雷达影像进行辐射定标、几何校正等预处理,获取光学遥感影像的反射率、植被指数及雷达遥感数据的后向散射系数、极化参数等特征。
然后采用深度学习标准预处理方法,将上一步得到的输入数据进行归一化处理,避免数据中不同维度差异过大引起的优化困难问题。给定输入数据(xo,yo),数据归一化的具体方法为:
其中,xo代表的是归一化前的遥感特征,x代表归一化处理后的遥感特征,
2.数据增广
本发明提出了beta数据混合方法(beta-mixup),对有限的实测lai和生物量数据及其对应遥感数据同时进行混合处理,以建立大量虚拟训练样本(virtualtrainingexamples)。beta数据混合方法,通过深度学习模型预测插值系数,避免了传统方法对数据直接进行的破坏性改变,从而解决传统数据增广方法造成的源与目标间的不一致性问题。
经典的最小化经验邻域风险(empiricalvicinalrisk,evr)可以记为:
其中,m为样本数量,l(·)为损失函数,f(·)为预测模型,
本发明使用了一个经典的邻域分布来计算经验邻域风险,其中,邻域分布为:
其中μ代表邻域分布,n为样本数量,e代表期望,δ(x=xi,y=yi)是狄拉克函数,λ服从beta分布,即λ~beta(α,α),α∈(0,∞)。该邻域分布实质上通过使用服从beta分布的数据进行插值,建立了虚拟的数据与标签对:
其中(xi,yi)和(xj,yj)是从训练集中随机抽取的训练样本;λ是插值系数其受参数α的控制。注意当α→0时,领域风险最小化趋近于经验风险最小化。
线性插值在插值数据间不满足线性规律的条件下依然会面临源与目标间的不一致性问题。虽然较小的λ可以缓解源与目标间的一致性问题,但会降低虚拟数据的多样性,从而增加深度模型记忆有限样本的风险,引起严重的过拟合问题,极大的减弱了模型的泛化能力。针对该问题,本发明提出根据
rβ(f)为通过beta数据混合方法得到的最小化经验邻域风险,其中yi1和yi2是合成
3.构建lai和生物量反演模型(gsdnn)
本发明提出一种基于门控机制的孪生深度网络(gatedsiamesedeepneuralnetwork,gsdnn)结合光学与雷达遥感数据反演玉米lai和生物量。利用门控机制建立孪生深度网络中两个分支(分别对应光学与雷达遥感数据)之间的多个信息交流通道,便于光学与雷达数据融合时的信息交互,从而增强深度神经网络的拟合能力和学习能力,达到提升光学与雷达遥感数据融合能力的目的。同时门控机制的使用对于增加深度学习模型的深度具有积极意义,避免梯度消失和梯度爆炸问题。
(1)gsdnn模型结构
图2给出了gsdnn的整体模型图,其共有两种类型的网络层组成:融合层和回归层。
1)融合层
受长短期记忆模型lstm的启发,该层采用门控机制。每一层拥有独立的光学与雷达影像融合通道,使得模型可以在训练过程中参考对方的信息以及状态,互为条件进行反演。
该层用于光学和雷达遥感数据的深度融合,正如图2所示,gsdnn可以堆叠多个融合层以进行更彻底的信息融合。在光学和雷达影像的融合过程中,降低相互干扰,提取每个通道(共两个通道,分别对应光学影像和雷达影像)的重要信息对于提升反演精度具有重要意义。融合层主要有两部分组成:门控制层(gatedcontrollayer,gcl):用于提取每个通道互补的有效信息,并降低相互干扰;第一全连接层(fullconnectionlayer,fcl):实现特征的非线性变换,增加模型的映射能力,并完成数据由高维向低维或者由低维向高维的映射。
给定第i个融合层,假设其光学通道输入数据为
其中o表示与光学数据相关的数据或参数;σ(·)表示激活函数,本发明采用分段线性函数relu作为激活函数;
其中,s表示与雷达数据相关的数据或参数,σ(·)表示激活函数,
根据光学数据和雷达数据的信息选择控制门,可以得到该融合层的门控制层gcl的输出。具体而言,对于雷达信息通道,融合的光学信息是根据光学通道门控制选择的,其输出定义为:
其中⊙表示哈达马乘积(hadamardproduct),即向量间对应元素相乘。通过公式(8)可以清楚看到,通过对应元素相乘光学信息被有选择的融入雷达通道,并以此更新雷达通道的信息,反之亦然。通过门控机制控制信息的相互流动,gcl层实现了光学信息与雷达信息的融合。
融合层中的第一全连接层是一个非线性变换,增加了网络的深度以及模型的拟合能力,最终融合层的输出定义为:
其中
2)回归层
gsdnn使用多层感知器(multi-layerperceptron,mlp)利用融合层提取的深度特征进行回归,以完成玉米lai和生物量的定量反演。
由于lai和生物量之间的差异性,本发明针对不同的反演参量使用不同的参数进行回归并预测lai和生物量以增加数据的多样化,减弱训练数据较少带来的模型泛化能力弱和过拟合现象。因此,本发明使用多任务学习机制同时进行lai及生物量反演,来代替先前工作中只进行单一参数反演的模式,从而增强模型的泛化能力,提高模型的反演精度。
回归层首先对融合层融合的光学和雷达信息进行级联处理,组合出回归层的输入数据:
其中l为融合层的最后一层,
y=ffcl(x,θ)=σ(w·x b)(11)
其中x为全连接层的输入;y为输出;θ为全连接层可训练的参数,包含w和b;σ为激活函数,本发明使用分段线性函数relu作为激活函数。图2中不同部分(包括同一个融合层)标识的全连接层均具有各自独立的参数。
本发明以共享的深度特征提取层以及光学和雷达数据融合层为基础,对于每一个反演参数,使用一个独立的全连接网络进行回归,具体而言:
其中lai、biomasswet以及biomassdry即为模型输出的lai、鲜生物量及干生物量的反演预测值。
通过gsdnn完成lai及生物量的反演后,需要进行对数据归一化之前的原始值进行估计,具体方法即为公式(1)的逆运算,如公式(13)所示:
其中,
(2)gsdnn模型辅助向量及目标函数
1)时间向量
考虑到农作物生长参数随着生长期的推移具有规律性的变化趋势,本发明引入以半月(15天)为单位的时间信息,作为时间的先验知识,以增强模型反演精度。由于遥感数据成像日期的离散性以及较大的变化范围,简单的以单一维度(或者one-hot编码)的成像日期为特征会引起神经网络训练的偏置。受词向量(wordvector)方法的启发,本发明提出一种时间向量的方来来引入时间信息,即通过对离散时间段进行向量编码的方法,解决上述成像日期引入的难题。将一年365天按照15天为一时间阶段分成25个时间组,每组使用一个n维的向量表示。形式化地,给定影像成像日期,首先将其转化为时间段的索引i,根据i从向量表
2)目标函数(objectivefunction)
给定训练样本
其中lai,biomasswet,biomassdry为由公式(12)得到的模型估计值;mse为均方误差(mean-squareerror,mse),其定义为:
公式(14)使用的是经验风险最小化准则,将其与公式(5)结合,即将公式(14)中的lai,biomasswet,biomassdry使用公式(5)中估计λ的方法代替,并将公式(15)带入,得到结合beta混合模型的基于邻域风险最小化的目标函数,综上所述,得出最终的训练目标函数:
其中tlai(·,·),
(3)gsdnn模型的训练
首先根据公式(9),利用融合层对光学和雷达遥感特征进行有机融合;接着根据公式(12)将融合后的特征输入回归层,得到玉米lai和生物量的初步预测值。然后根据目标函数公式(14)(16)对初步预测值进行修正以完成模型训练。
本发明以位于天津市武清区的试验田获得的数据为基础数据,采用提出的基于数据增广和深度学习的玉米lai和生物量主被动遥感反演方法进行玉米lai和生物量反演。图3为基于gsdnn的玉米lai和生物量主被动反演模型训练流程图,下面结合图3对具体实施方式进行介绍。
1.数据预处理
(1)遥感数据预处理
本发明使用的光学遥感数据为哨兵2号(sentinel-2)和陆地卫星8号(landsat-8)数据,共有6个波段;雷达数据为哨兵1号(sentinel-1)数据,共有2个不同的波段。分别对获取的玉米4个生长期(拔节期、大喇叭口期、开花期、灌浆期)的光学和雷达遥感数据进行预处理,共计158个样本点。得到光学遥感影像的反射率值、并计算5种植被指数(ndvi、rvi、evi、savi、msavi),及雷达遥感影像的后向散射系数及极化参数。研究中以多维特征作为输入特征。具体而言,光学数据共提取59维特征,即
(2)归一化
考虑到实验数据lai和生物量范围相差过大(lai的范围为0.0~6.0,而生物量的范围为16.48~1559.08g/m2),因此需进行归一化处理。根据公式(1)对遥感特征和实测lai和生物量值进行归一化。
2.数据增广
根据beta混合方法,即公式(4)和(5),对现有的遥感数据和野外实测数据进行增广处理,以得到大量虚拟数据,以辅助深度学习模型进行训练。
beta混合方法中,α设置为0.2,混合过程中进行多次随机采样,并合成混合数据。采样次数即为合成数据集大小。具体的,对于每次采样,本发明随机从上面得到了光学特征(59维)以及雷达特征(22维)集的所有样本中选取2个样本,具体的计算方法如公式(4)所示。
3.构建lai和生物量反演模型(gsdnn)
(1)对模型参数进行随机初始化。
如图2的gsdnn网络结构图所示,gsdnn可以有多个融合层和一个回归层组成。具体地,本发明使用3个融合层,分别为光学处理通道,输入维度为59维;雷达数据处理通道,输入维度为22维;光学和雷达数据处理通道,输入维度为81维。各层其他具体网络规模参数定义如下:
1)融合层门控制层隐层大小为300维,全连接层隐层为300维,输出特征维度为300维,3个融合层内部参数大小保持一致;
2)回归层的输入层为最后一个融合层中光学数据处理通道和雷达数据处理通道的级联,因此输入层大小为600维。回归层中lai,鲜生物量及干生物量的独立预测全连接层的隐层大小均为300维,输出为对应的lai,鲜生物量及干生物量的模型预测值,具体为标量,即各1维;
3)时间向量维度n设置为10。
4)本发明使用随机梯度下降法优化gsdnn。具体地,学习率设为0.0001。数据批处理大小(batchsize)设为100,即同时处理100个样本。本发明使用基于python语言的pytorch(https://pytorch.org/)深度学习框架及gpu编程技术完成所有代码编写。代码运行服务器环境为ubuntu18.04,python3.6.8,使用8块geforcertx2080ti进行gpu运算。
5)为降低数据随机性造成的影响,本发明进行100次5折交叉验证,然后在共计500次实验上的结果上计算并回报均值与方差。具体地,每次将数据随机划分为5份,然后循环使用每一份作为测试集。因为深度模型训练依赖于验证集验证收敛情况,本发明从余下的4份中随机选取10%的数据作为验证集,剩下的所有数据作为训练集。
(2)取一批训练数据,输入到gsdnn模型,然后执行模型前向传播(通过1.融合层和2.回归层),输出预测值,具体通过多层融合层公式(6)-(9)以及回归层公式(10)-(13)得到模型的lai和生物量的模型估计值。
(3)通过公式(14)-(16)计算模型损失。
(4)使用验证集(developmentset)进行模型收敛性验证,即,验证是否收敛,如果模型在验证集上损失值不再下降,则认为模型已经收敛,收敛则训练结束,否则转下一步。
(5)使用随机梯度下降法训练模型:通过反向求导计算网络各层参数对应的梯度,使用随机梯度下降法结合学习率更新模型参数。转步骤(3)
4、lai和生物量反演结果
表1,2给出了玉米lai和生物量反演模型的精度评价结果。由于鲜生物量易受天气干旱状况的影响,故实际应用中以干生物量为参考指标。依据表1和2,对实验结果进行如下分析:
首先,由实验结果可以看出:gsdnn相比于mlp,在玉米的lai及生物量的反演中取得了更好的效果。尤其干生物量r2提升了20%(从0.53提升到0.73),预测误差rmse从246.55g/m2下降到181.62g/m2。这是由于gsdnn采用基于门控机制的光学与雷达影像的融合方式,可以更好的传递以及融合知识,从而在数据量相同的情况下取得了更好的效果。其次时间向量的引入,增强了模型对生长时间的感知能力,更容易的拟合以及利用玉米的生长规律,对于生物量的反演具有重要的促进作用。
表1中的mlp beta-mixup以及gsdnn beta-mixup即为结合beta混合方法的实验结果。可以看到使用beta-mixup方法能够提升玉米的lai及生物量反演模型的r2,以及具有更小的预测误差rmse,说明beta-mixup方法能提高玉米lai和生物量的反演精度。由于gsdnn模型的交互方式更加复杂,参数量大,使用beta-mixup方法能够避免模型过拟合收敛于少数的样本,增加模型在参数空间的收敛范围,从而在数据量不足的情况下取得更好的lai及生物量反演精度。特别地,gsdnn与beta混合方法结合后相比于单独使用gsdnn方法,对于lai及鲜/干生物量的反演,r2均有较大的提升,rmse有较大的降低。
由于深度学习训练过程中使用梯度下降法具有一定的随机性,本发明进行100次5折交叉验证并计算均值与标准差。从表1和表2中可以看出:mlp方法和gsdnn模型在结合beta混合方法后对于lai和生物量反演模型的r2和rmse的标准差有较大的下降,例如,对于玉米干生物量的反演,mlp方法的r2的标准差由0.15下降到0.10,rmse的标准差由0.12下降到0.07;gsdnn的r的标准差由0.12下降到0.04,rmse的标准差由34.23下降到18.35。考虑到原始标准差并不大,因此加入beta混合方法后,标准差有显著的下降。这说明beta混合方法可以减小训练中的不稳定性,增强模型的鲁棒性。同时,相比于mlp方法,本发明提出的gsdnn模型在引入beta混合方法和不引入beta混合方法的情况下,都有较低的标准差。这是因为gsdnn模型能实现光学与雷达数据的深度特征提取和融合,可以稳定的提取有效信息并进行玉米的lai和生物量的反演,从而不易受数据随机性以及训练随机性的影响,增强模型的鲁棒性。
值得注意的是,使用少量的数据(158个样本点)训练深度模型并没有出现病态现象(参数异常,无法进行正确预测等)。尽管少量的样本可以训练出合理的模型,但更大数据量可以提高模型的精度和鲁棒性。由表1和2可以看出,使用beta混合方法通过数据增广可以缓解这个问题,提高反演模型精度。
表1基于深度学习的多种模型对比结果(r2)
表2基于深度学习的多种模型对比结果(rmse)
本发明的特征和益处通过参考实施例进行说明。相应地,本发明明确地不应局限于这些说明一些可能的非限制性特征的组合的示例性的实施例,这些特征可单独或者以特征的其它组合的形式存在。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
1.一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法,包括以下步骤:
s1:数据预处理,其包括分别对光学和雷达影像进行预处理得到输入数据,以及对所述输入数据进行归一化处理;
s2:利用beta数据混合方法对有限的实测叶面积指数和生物量数据及其对应遥感数据同时进行混合处理,以建立大量虚拟训练样本来进行数据增广;以及
s3:通过基于门控机制的孪生深度网络结合光学与雷达遥感数据构建叶面积指数和生物量反演模型。
2.根据权利要求1所述的方法,其特征在于:在步骤s1中,给定输入数据(xo,yo),数据归一化的具体方法为:
其中,xo代表的是数据归一化前的遥感特征,左侧x代表数据归一化处理后的遥感特征,
3.根据权利要求1所述的方法,其特征在于:在步骤s2中,所述beta数据混合方法包括:
使用邻域分布来计算经验邻域风险,其中,邻域分布为:
其中,μ代表邻域分布,n为样本数量,e代表期望,δ(x=xi,y=yi)是狄拉克函数,xi,yi表示从真实数据中随机采样的同分布训练样本,λ服从beta分布,即λ~beta(α,α),α∈(0,∞),所述邻域分布通过使用服从beta分布的数据进行插值,建立虚拟的数据与标签对:
其中(xi,yi)和(xj,yj)是从训练集中随机抽取的训练样本,λ是插值系数其受参数α的控制;
通过beta数据混合方法得到最小化经验邻域风险,表示为:
其中,rβ(f)为通过beta数据混合方法得到的最小化经验邻域风险,f(·)为预测模型,yi1和yi2是合成
4.根据权利要求1所述的方法,其特征在于:在步骤s3中,所述基于门控机制的孪生深度网络包括融合层和回归层,其中,所述融合层用于光学和雷达遥感数据的深度融合,以及所述融合层包括用于提取每个通道互补的有效信息并降低相互干扰的门控制层以及用于实现特征的非线性变换、增加模型的映射能力并完成数据由高维向低维或者由低维向高维的映射的第一全连接层。
5.根据权利要求4所述的方法,其特征在于:
给定第i个融合层,假设其光学通道输入数据为
其中o表示与光学数据相关的数据或参数;σ(·)表示激活函数;
其中,s表示与雷达数据相关的数据或参数,σ(·)表示激活函数;
根据光学数据和雷达数据的信息选择控制门得到所述融合层的门控制层的输出,对于雷达信息通道,融合的光学信息是根据光学通道门控制选择的,其输出定义为:
其中⊙表示哈达马乘积,即向量间对应元素相乘,通过对应元素相乘光学信息被有选择的融入雷达通道,并以此更新雷达通道的信息,反之亦然;
最终融合层的输出定义为:
其中
6.根据权利要求4所述的方法,其特征在于:所述回归层首先对融合层融合的光学和雷达信息进行级联处理,组合出回归层的输入数据:
其中l为融合层的最后一层,
紧接着的一个第二全连接层完成光学和雷达数据的进一步融合,同时将高维特征映射到低维,以去除冗杂信息,获得光学与雷达深度融合的特征xf=ffcl(xr)。
7.根据权利要求6所述的方法,其特征在于:其中,所述第一全连接层和所述第二全连接层具有相同的结构,即:
y=ffcl(x,θ)=σ(w·x b)(11)
其中x为所述第一全连接层或所述第二全连接层的输入;y为输出;θ为所述第一全连接层或所述第二全连接层的可训练的参数,包含w和b;σ为激活函数;
对于每一个反演参数,使用一个独立的全连接网络进行回归,具体而言:
其中lai,biomasswet以及biomassdry即为反演模型输出的叶面积指数、鲜生物量及干生物量的反演预测值。
8.根据权利要求1所述的方法,其特征在于:所述基于门控机制的孪生深度网络的时间向量,将一年365天按照15天为一时间阶段分成25个时间组,每组使用一个n维的向量表示,形式化地,给定影像成像日期,首先将其转化为时间段的索引i,根据i从向量表
9.根据权利要求3所述的方法,其特征在于:对于所述基于门控机制的孪生深度网络,给定训练样本xopt,xsarylai,
其中lai,biomasswet,biomassdry为反演模型输出的叶面积指数、鲜生物量及干生物量的反演预测值;mse为均方误差,定义为:
公式(14)使用的是经验风险最小化准则,将其与公式(5)结合,即将公式(14)中的lai,biomasswet,biomassdry使用公式(5)中估计λ的方法代替,并将公式(15)带入,得到结合beta混合模型的基于邻域风险最小化的目标函数,得到最终的训练目标函数:
其中tlai(·,·),