本发明涉及输电线路可听噪声监测，具体涉及一种特高压直流输电线路可听噪声无效数据清洗方法。
背景技术：
1、可听噪声制约着输电线路导线选型、优化设计和工程投资以及环境保护，对于500kv以上电压等级的架空线路来说，可听噪声超越无线电干扰成为了输电线路电磁环境评估的控制因素。准确测量高压输电线路可听噪声数据，以研究特高压输电线路可听噪声产生机理及防止措施，对于线路设计和环境保护具有重要意义。
2、可听噪声的测试工作一般在户外进行，在输电线路可听噪声测试线路周围，通常存在较多的外界干扰噪声源。就以往经验来看，可听噪声连续记录的测量结果表现出明显的波动，原因在于气象条件的变化和电晕产生的可听噪声现象具有随机性质。但在仪器正常且没有外界干扰的情况下，这种波动短期内变化幅度较小，而外界噪声源干扰造成的无效测量值往往偏离正常波动范围。对于小数据量的可听噪声数据而言，通常采用人工的方法对异常数据进行剔除，而目前一般采用声级计对输电线路可听噪声进行自动连续采集，数据量较为庞大，包含大量无效数据，仍依靠人工清洗显得耗时费力。
3、近年来，国内学者通过电晕笼试验研究了特高压直流输电线路正负极导线电晕可听噪声a声级与其各频谱分量间的关系，发现可听噪声a声级与其频谱分量之间存在一些相关性。这为可听噪声无效数据的清洗提供了新思路，然而，这方面技术在可听噪声无效数据清洗方面的应用还未见报道。
4、外界环境中不同噪声源产生的噪声可能集中在某些频率段，由于等效a声级是人耳可听噪声频率范围内各频率能量的加权形式，所以，当有外界环境噪声时，等效a声级可能变化不明显，但在相对应的1/3倍频程分量上会产生较大的尖峰。传统方法在解决特高压直流输电线路可听噪声无效数据检测问题时没有考虑噪声各频程分量的数据特征，因此检测精度较差，还经常出现漏检、误检的情况。
技术实现思路
1、为解决上述技术问题，本发明提供一种特高压直流输电线路可听噪声无效数据清洗方法，与传统的方法相比，该方法无需考虑气象因素也能达到更高的无效数据分类准确率；并且由于考虑到了缺失值的填补，能够为后续的科学研究提供更加完备的数据集。
2、本发明采取的技术方案为：
3、一种特高压直流输电线路可听噪声无效数据清洗方法，包括以下步骤：
4、步骤1：将收集到的可听噪声a声级数据以一定倍频程形式划分为多个频程数据，利用am-lstm-lightgbm模型判定a声级数据有效性，将无效数据直接剔除；
5、步骤2：对步骤1删除无效数据后的a声级数据中存在的缺失值，利用均值插补法进行填补，公式为：
6、
7、其中，xt+i表示要插入的t+i时刻的填充值；xi表示缺失的第i个a声级数据；i表示第i个缺失的数据；xt表示连续缺失数据前一时刻的有效数据；xt+n+1表示连续缺失数据后一个时刻的有效数据；n表示连续缺失数据的个数。
8、步骤3：对未进行无效数据剔除的数据集、步骤1中的基于am-lstm-lightgbm模型对无效数据剔除后的数据集、步骤2中的将无效数据删除并使用均值插补法填补完整的数据集，分别求取l5、l50、l95值。
9、通过分析l5、l50、l95值的变化判断，本发明使用的无效数据的清洗方法是否会影响后续输电线路可听噪声数据分析。
10、所述步骤1中，可听噪声数据为特高压直流输电线路可听噪声数据,分解出的12.5hz～20000hz共33个频段的可听噪声分量，是以1/3倍频程的形式划分的。
11、本发明方法以可听噪声等效a声级及其各频段分量作为输入，挖掘各频段分量的时序特征，能提高无效数据检测精度。
12、所述步骤1中，am-lstm-lightgbm模型包含lstm模型、lightgbm模型和am机制；利用lstm模型提取33维可听噪声序列的特征向量，进而结合am机制和lightgbm模型剔除无效数据；
13、所述am-lstm-lightgbm模型工作流程包括以下步骤：
14、①.数据预处理：对输入的多维噪声时间序列分别进行归一化处理，并且按照相同比例划分训练集与测试集；
15、②.lstm特征提取：将归一化后的多维噪声时间序列用lstm神经网络提取时间特征。
16、③.添加注意力机制am：运用注意力机制对lstm提取到的时间特征选择性的学习，从每个时刻输出的向量中选择性提取部分特征然后做加权求和，以此得到代表性更强的特征向量γ。
17、④.无效数据分类：将am-lstm提取得到的包含可听噪声时序信息的特征向量输入到lightgbm层训练，将无效数据分离。
18、所述步骤1中，lstm神经网络模型的时间窗口长度参数定为16。
19、通过设置10组不同的移动窗口长度来测试移动窗口长度对模型检测效果的影响。时间窗口长度分别为：4、6、8、10、12、14、16、18、20、22。结果发现移动窗口长度为4时，准确率和召回率最低，召回率为评价无效数据检测模型效果的指标。这可能是因为移动窗口长度太短，模型无法学习到有效的时间特征表达。随着移动窗口长度的增加，准确率和召回率都有大幅提高。在移动窗口长度为16时模型达到最高的准确率和召回率，但随着移动窗口长度的继续增加，两个指标不但没有得到明显提升，甚至出现了小幅下降。造成这种现象的原因可能是移动窗口太长造成模型输入信息冗余，导致模型学习能力下降。因此，本发明方法将16作为最佳的移动窗口长度设置。
20、所述步骤2中，均值插补法利用缺失数据的前一个和后一个有效数据运算，能减少直接删除无效数据可能造成的估计量偏差，构造一个完整的数据集。
21、所述步骤3中，l5值、l50值、l95值是指将数据由大到小排列时排在前5％位置，前50％位置，前95％位置的数值。l5值、l50值、l95值是数据的统计值，为的是研究数据的分布特征，通过对比数据清洗前后的统计值变化情况分析数据剔除方法的可靠性。一般情况下，无效数据清洗前后统计值变化不大，即分布特征基本不变，则证明无效数据清洗方法效果好。
22、本发明一种特高压直流输电线路可听噪声无效数据清洗方法，技术效果如下：
23、1)本发明步骤1中，不同外界噪声源产生的噪声可能集中在某些频段，以可听噪声等效a声级及其各1/3倍频程分量作为输入，挖掘各频段分量的时序特征，能提高无效数据检测精度。
24、2)本发明步骤2中，直接删除原始数据中的无效数据会破坏数据的完整性和连续性，会对后续数据分析造成一定的不良影响。为减少直接删除无效数据可能造成的统计值和估计量偏差，并尽可能的构造一个完整的数据集，使用均值插补法对无效数据进行填补。其优点在于比较稳健，不会破坏数据的整体分布，尽可能保证数据的历史规律。
25、3)本发明步骤3中，统计值：l5值、l50值、l95值可以反映数据的分布特性，通过对比数据清洗前后的统计值变化情况分析数据剔除方法的可靠性。无效数据清洗前后统计值变化不大，即分布特征基本不变，则证明无效数据清洗方法效果好。
1.一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于包括以下步骤：
2.根据权利要求1所述一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于：通过分析l5、l50、l95值的变化判断，进行后续输电线路可听噪声数据分析。
3.根据权利要求1所述一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于：所述步骤1中，可听噪声数据为特高压直流输电线路可听噪声数据,分解出的12.5hz～20000hz共33个频段的可听噪声分量，是以1/3倍频程的形式划分的。
4.根据权利要求1所述一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于：所述步骤1中，am-lstm-lightgbm模型包含lstm模型、lightgbm模型和am机制；利用lstm模型提取33维可听噪声序列的特征向量，进而结合am机制和lightgbm模型剔除无效数据。
5.根据权利要求4所述一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于：所述am-lstm-lightgbm模型工作流程包括以下步骤：
6.根据权利要求4所述一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于：所述步骤1中，lstm神经网络模型的时间窗口长度参数定为16。
7.根据权利要求1所述一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于：所述步骤2中，均值插补法利用缺失数据的前一个和后一个有效数据运算，能减少直接删除无效数据可能造成的估计量偏差，构造一个完整的数据集。
8.根据权利要求1所述一种特高压直流输电线路可听噪声无效数据清洗方法，其特征在于：所述步骤3中，l5值、l50值、l95值是指将数据由大到小排列时排在前5％位置，前50％位置，前95％位置的数值。
