本发明涉及电力物联网技术领域，特别是指一种电力物联网终端接入网络的方法及装置。
背景技术：
随着5g技术的快速发展，边缘计算、人工智能、区块链等技术也蓬勃发展。在过去十年中，每个连接设备的传感器数量呈指数级增长，预计未来几年，全球传感器总数将达到近100万亿个。在电力物联网背景下，电力网中无论是配电侧、变电站侧还是输电侧，设备、线路以及网络均通过物联网中的传感器、摄像头等进行实时的监控与管理。
然而，海量物联网设备的出现带来了巨大的挑战，物联网设备如何安全的互联是一个值得思考的问题。物联网设备如传感器与摄像头本身计算能力弱，已有的安全机制并不适用。
技术实现要素：
本发明要解决的技术问题是提供一种电力物联网终端接入网络的方法及装置。可以提高电力物联网终端的效率以及接入成功率。解决电力物联网中海量终端的动态管理问题。
为解决上述技术问题，本发明的技术方案如下：
一种电力物联网终端接入网络的方法，应用于网络设备，所述方法包括：
获取电力物联网终端的服务质量qos需求信息、信道状态信息；
根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略；
根据所述接入策略，确定与电力物联网终端适配的目标网络设备，并使终端接入所述目标网络设备。
可选的，根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略，包括：
根据所述信道状态信息、所述网络设备的算力资源确定网络状态模型s(t)＝{q(t),h(t)}；
其中，q(t)为网络设备的算力资源的集合，q(t)＝[q1(t),...,qk(t)]；q1(t)表示第一时刻的网络设备的算力资源，qk(t)表示第k时刻的网络设备的算力资源；
h(t)为信道状态信息，
根据所述网络设备为终端分配的带宽资源，确定动作序列集合，所述动作序列集合表示为终端提供服务的资源集合；
根据所述网络状态模型以及所述动作序列，更新q表，所述q表示网络状态与可用资源之间的对应关系；
根据所述q表确定所述电力物联网终端接入网络的接入策略。
可选的，根据所述网络设备为终端分配的带宽资源，确定动作序列集合，包括：
设xi,k(t)为终端i在第t时刻接入到第k个网络设备的带宽资源限制，且满足
定义x(t)为终端的带宽资源分配集合，
定义fk(t)为t时刻第k个网络设备给系统分配的计算能力；
定义
可选的，电力物联网终端接入网络的方法，还包括：根据终端的鉴权任务，确定服务器能够接入的终端数据量。
可选的，电力物联网终端接入网络的方法，还包括：对接入所述目标网络设备的终端进行鉴权。
可选的，电力物联网终端接入网络的方法，还包括：对鉴权通过的终端的鉴权密钥以及所述终端的设备信息存储于所述网络设备的白名单中。
可选的，电力物联网终端接入网络的方法，还包括：所述网络设备与其它网络设备进行可信机制的建立，并形成一个可信的网络设备白名单列表。
可选的，电力物联网终端接入网络的方法，还包括：在终端发送切换时，控制终端切换至所述可信的网络设备白名单列表中的网络设备。
本发明的实施例还提供一种电力物联网终端接入网络的方法，应用于电力物联网终端，所述方法包括：
向网络设备发送电力物联网终端的服务质量qos需求信息以及信道状态信息；
获取接入网络的接入策略；
根据所述接入策略接入与电力物联网终端适配的目标网络设备。
本发明的实施例还提供一种电力物联网终端接入网络的装置，应用于网络设备，所述装置包括：
获取模块，用于获取电力物联网终端的服务质量qos需求信息、信道状态信息；
处理模块，用于根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略；根据所述接入策略，确定与电力物联网终端适配的目标网络设备，并使终端接入所述目标网络设备。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，设计了基于强化学习的分布式动态密钥管理策略，针对物联网设备需要传输的数据进行加密，来达到数据保护的目的。在所提机制中，首先基于强化学习理论对接入终端进行分类，基于网络带宽、信道条件等确认哪些物联网设备适合接入哪些网络；其次，物联网设备通过共享密钥方式进行安全认证接入；在接入节点间建立信任关系，处于不同网关下的设备可以与其他设备进行互相通信，无需再次进行密钥的认证；动态更新密钥，实现安全认证。最终实现电力物联网中海量终端的动态和高效管理。
附图说明
图1是电力物联网场景示意图；
图2是本发明的网络侧的电力物联网终端接入网络的方法流程图；
图3是本发明的基于强化学习的物联网终端-网络设备之间的接入策略确定模型示意图；
图4是本发明的接入节点ap之间建立可信机制的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示的电力物联网场景100，针对电力物联网中海量设备的动态管理问题，本发明设计了基于强化学习的分布式动态密钥管理策略，针对物联网设备需要传输的数据进行加密，来达到数据保护的目的。在所提机制中，首先基于强化学习理论对接入终端进行分类，基于网络带宽、信道条件等确认哪些物联网设备适合接入哪些网络；其次，物联网设备通过共享密钥方式进行安全认证接入；第三，在接入节点间建立信任关系，处于不同网关下的设备可以与其他设备进行互相通信，无需再次进行密钥的认证；第四，动态更新密钥。
图2所示，本发明的实施例提出一种电力物联网终端接入网络的方法，应用于网络设备，所述方法包括：
步骤21，获取电力物联网终端的服务质量qos需求信息、信道状态信息；
步骤22，根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略；
步骤23，根据所述接入策略，确定与电力物联网终端适配的目标网络设备，并使终端接入所述目标网络设备。
本发明的实施例，设计了基于强化学习的分布式动态密钥管理策略，针对物联网设备需要传输的数据进行加密，来达到数据保护的目的。在所提机制中，首先基于强化学习理论对接入终端进行分类，基于网络带宽、信道条件等确认哪些物联网设备适合接入哪些网络；其次，物联网设备通过共享密钥方式进行安全认证接入；在接入节点间建立信任关系，处于不同网关下的设备可以与其他设备进行互相通信，无需再次进行密钥的认证；动态更新密钥，实现安全认证。最终实现电力物联网中海量终端的动态和高效管理。
本发明的一可选的实施例中，如图3所示，海量终端接入：引入强化学习机制，通过智能体(即接入点ap或者网络设备)收集物联网设备qos需求以及ap可用带宽资源和信道状况，最终决定物联网设备接入哪些ap进行数据传输。在本机制中，包括输入端、决策端以及输出端三个部分。输入端主要输入ap信道状态、算力资源信息和物联网终端qos信息；决策主要由ap担任的智能体完成，在输入参数的驱动下，智能体进行策略选择，为物联网设备选择合适的ap进行鉴权；决策之后，输出端记录本次策略选择，同时生成一个奖励值，记录在智能体中。
上述步骤22具体可以包括：
步骤221，根据所述信道状态信息、所述网络设备的算力资源确定网络状态模型s(t)＝{q(t),h(t)}；
其中，q(t)为网络设备的算力资源的集合，q(t)＝[q1(t),...,qk(t)]；q1(t)表示第一时刻的网络设备的算力资源，qk(t)表示第k时刻的网络设备的算力资源；
h(t)为信道状态信息，
步骤222，根据所述网络设备为终端分配的带宽资源，确定动作序列集合，所述动作序列集合表示为终端提供服务的资源集合；
步骤223，根据所述网络状态模型以及所述动作序列，更新q表，所述q表示网络状态与可用资源之间的对应关系；
步骤224，根据所述q表确定所述电力物联网终端接入网络的接入策略。
电力物联网中的每个ap均被看作一个智能体，每个智能体一个执行中心以及三种关键要素，即网络状态、动作序列、更新q表。
网络状态s∈s指的是ap当前可用算力情况、信道状态信息以及物联网设备的qos信息，可通过智能体与周围设备通信获得；在任意时刻t网络的状态模型可表示为s(t)＝{q(t),h(t)},即在任意时刻的网络状态都可以由ap的算力、终端的信道状态信息来描述。
本发明的一可选的实施例中，动作序列a∈a指的是动作序列集合，也即分配多少算力资源以及无线资源为用户的鉴权提供服务；根据所述网络设备为终端分配的带宽资源，确定动作序列集合，包括：
设xi,k(t)为终端i在第t时刻接入到第k个网络设备的带宽资源限制，且满足
定义x(t)为终端的带宽资源分配集合，
定义fk(t)为t时刻第k个网络设备给系统分配的计算能力；
定义
在每一时刻，同一个ap智能体可能需要处理多个终端的数据，假设ap对不同终端的任务不加以区分，仅仅在不同的时刻分配计算能力来集中处理所有终端的数据，定义fk(t)为t时刻第k个ap给系统分配的计算能力。定义
执行中心主要用于策略的执行，ap所处的网络状态是存在时变特性的，每个智能体可以根据获取的某一网络状态，从动作序列中选择合适的动作，以一定的概率转移到状态s'，最终选择该状态下最佳策略。动作结束后，智能体接受奖励
为了评估行动的有效性，
考虑到终端的计算时延，每个物联网设备的鉴权任务可以表示为γi＝{li,ai,di}，其中li表示设备i的任务大小，ai和di分别表示该任务的释放时刻和终端任务的期限。针对物联网设备i的数据处理时延优化可表示为：
其中，wi(t)＝{0,1}，wi(t)＝1表示i在t时刻仍然存在任务需要处理，反之则不需要。如果用
其中终端的任务处理时延nk(t)表示这一时刻该服务器接入终端的数目，ck表示服务器计算1比特所需要的周期数。wi(t)的取值如下：
注意，每一时刻终端只能接入相同的接入节点，但是为了适应终端的移动性，在不同的时刻终端可以接入不同的接入节点，因此，
本发明的一可选的实施例中，电力物联网终端接入网络的方法，还可以包括：步骤24，根据终端的鉴权任务，确定服务器能够接入的终端数据量。
本发明的一可选的实施例中，电力物联网终端接入网络的方法，还可以包括：步骤25，对接入所述目标网络设备的终端进行鉴权。
本发明的一可选的实施例中，电力物联网终端接入网络的方法，还可以包括：对鉴权通过的终端的鉴权密钥以及所述终端的设备信息存储于所述网络设备的白名单中。
该实施例中，基于共享密钥的终端接入鉴权：当物联网设备第一次接入网络时，采用共享密钥认证的方式，首先由物联网传感设备基于ecc生成密钥，其次对物联网设备进行鉴权。鉴定安全的设备以及密钥被存入接入节点的白名单中。
本发明的一可选的实施例中，电力物联网终端接入网络的方法，还可以包括：步骤26，所述网络设备与其它网络设备进行可信机制的建立，并形成一个可信的网络设备白名单列表。
该实施例中，具体实现时，如图4所示，网络设备与其它网络设备可信机制建立：ap接入节点自身设置内生安全保障模块、白名单以及可信ap列表，内生安全保障模块中包含了信号处理和日志分析两个子模块。
在内生安全保障模块中，信号处理模块主要用于检测来自于物联网设备的信号，如果信号参数异常，那么则直接抛弃该信号，而不进行上层处理；
日志分析模块实时收集ap本地日志状态信息以及周围ap中的日志状态信息，通过配置匹配分析、svm、hmm模型等对大量日志数据进行分析，当发现异常则进行提示或拒绝与周围ap进行物联网设备名单信息交换，同时在可信ap列表中删除该ap；
白名单维护着各个ap认证安全的物联网设备；
可信ap列表维护者ap认为安全的邻居ap节点，ap之间周期性的交互日志信息以及白名单(已进行认证的物联网设备)信息，如果ap通过日志分析以及信号检测，分析邻居ap是安全的，那么该ap仍保存在可信ap列表中，否则，该ap被删除，ap对应的白名单也将被删除。
本发明的一可选的实施例中，电力物联网终端接入网络的方法，还可以包括：步骤27，在终端发送切换时，控制终端切换至所述可信的网络设备白名单列表中的网络设备。
该实施例中，物联网终端可信切换：考虑当前ap节点资源往往有限，那么当本地ap接入节点由于物联网设备量过大而无法满足某一物联网设备接入需求时，该物联网设备可切换至其他可信ap接入节点，无需进行鉴权，即可完成数据的传输，从而降低了ap鉴权的资源消耗以及物联网设备的数据传输时延。
本发明的上述实施例，设计了基于强化学习的分布式动态密钥管理策略，针对物联网设备需要传输的数据进行加密，来达到数据保护的目的。在所提机制中，首先基于强化学习理论对接入终端进行分类，基于网络带宽、信道条件等确认哪些物联网设备适合接入哪些网络；其次，物联网设备通过共享密钥方式进行安全认证接入；在接入节点间建立信任关系，处于不同网关下的设备可以与其他设备进行互相通信，无需再次进行密钥的认证；动态更新密钥，实现安全认证。最终实现电力物联网中海量终端的动态和高效管理。
本发明的实施例还提供一种电力物联网终端接入网络的方法，应用于电力物联网终端，所述方法包括：
步骤51，向网络设备发送电力物联网终端的服务质量qos需求信息以及信道状态信息；
步骤52，获取接入网络的接入策略；
步骤53，根据所述接入策略接入与电力物联网终端适配的目标网络设备。
需要说明的是，该终端侧的方法是与上述网络设备侧的方法相对应的方法，上述网络设备侧的方法所有实现方式均适用于该终端侧的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种电力物联网终端接入网络的装置，应用于网络设备，所述装置包括：
获取模块，用于获取电力物联网终端的服务质量qos需求信息、信道状态信息；
处理模块，用于根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略；根据所述接入策略，确定与电力物联网终端适配的目标网络设备，并使终端接入所述目标网络设备。
可选的，根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略，包括：
根据所述信道状态信息、所述网络设备的算力资源确定网络状态模型s(t)＝{q(t),h(t)}；
其中，q(t)为网络设备的算力资源的集合，q(t)＝[q1(t),...,qk(t)]；q1(t)表示第一时刻的网络设备的算力资源，qk(t)表示第k时刻的网络设备的算力资源；
h(t)为信道状态信息，
根据所述网络设备为终端分配的带宽资源，确定动作序列集合，所述动作序列集合表示为终端提供服务的资源集合；
根据所述网络状态模型以及所述动作序列，更新q表，所述q表示网络状态与可用资源之间的对应关系；
根据所述q表确定所述电力物联网终端接入网络的接入策略。
可选的，根据所述网络设备为终端分配的带宽资源，确定动作序列集合，包括：
设xi,k(t)为终端i在第t时刻接入到第k个网络设备的带宽资源限制，且满足
定义x(t)为终端的带宽资源分配集合，
定义fk(t)为t时刻第k个网络设备给系统分配的计算能力；
定义
可选的，所述处理模块还用于根据终端的鉴权任务，确定服务器能够接入的终端数据量。
可选的，所述处理模块还用于对接入所述目标网络设备的终端进行鉴权。
可选的，所述处理模块还用于对鉴权通过的终端的鉴权密钥以及所述终端的设备信息存储于所述网络设备的白名单中。
可选的，所述处理模块还用于与其它网络设备进行可信机制的建立，并形成一个可信的网络设备白名单列表。
可选的，所述处理模块还用于在终端发送切换时，控制终端切换至所述可信的网络设备白名单列表中的网络设备。
需要说明的是，该装置是与上述网络侧的方法对应的装置，上述方法中所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种电力物联网终端接入网络的装置，应用于电力物联网终端，所述装置包括：
收发模块，用于向网络设备发送电力物联网终端的服务质量qos需求信息以及信道状态信息；
获取模块，用于获取接入网络的接入策略；
接入模块，用于根据所述接入策略接入与电力物联网终端适配的目标网络设备。
需要说明的是，该装置是与上述终端侧的方法对应的装置，上述终端侧的方法的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种通信设备，该通信设备可以是上述网络设备，也可以是终端，上述网络设备可以是基站或者接入点等智能体，终端可以是任一种物联网终端设备。该通信设备包括：收发机，处理器，存储器，所述存储器上存有所述处理器可执行的程序；所述处理器执行所述程序时实现：上述网络侧的方法或者终端侧的方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
1.一种电力物联网终端接入网络的方法，其特征在于，应用于网络设备，所述方法包括：
获取电力物联网终端的服务质量qos需求信息、信道状态信息；
根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略；
根据所述接入策略，确定与电力物联网终端适配的目标网络设备，并使终端接入所述目标网络设备。
2.根据权利要求1所述的电力物联网终端接入网络的方法，其特征在于，根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略，包括：
根据所述信道状态信息、所述网络设备的算力资源确定网络状态模型s(t)＝{q(t),h(t)}；
其中，q(t)为网络设备的算力资源的集合，q(t)＝[q1(t),...,qk(t)]；q1(t)表示第一时刻的网络设备的算力资源，qk(t)表示第k时刻的网络设备的算力资源；
h(t)为信道状态信息，
根据所述网络设备为终端分配的带宽资源，确定动作序列集合，所述动作序列集合表示为终端提供服务的资源集合；
根据所述网络状态模型以及所述动作序列，更新q表，所述q表示网络状态与可用资源之间的对应关系；
根据所述q表确定所述电力物联网终端接入网络的接入策略。
3.根据权利要求2所述的电力物联网终端接入网络的方法，其特征在于，根据所述网络设备为终端分配的带宽资源，确定动作序列集合，包括：
设xi,k(t)为终端i在第t时刻接入到第k个网络设备的带宽资源限制，且满足
定义x(t)为终端的带宽资源分配集合，
定义fk(t)为t时刻第k个网络设备给系统分配的计算能力；
定义
4.根据权利要求1所述的电力物联网终端接入网络的方法，其特征在于，还包括：
根据终端的鉴权任务，确定服务器能够接入的终端数据量。
5.根据权利要求1所述的电力物联网终端接入网络的方法，其特征在于，还包括：
对接入所述目标网络设备的终端进行鉴权。
6.根据权利要求5所述的电力物联网终端接入网络的方法，其特征在于，还包括：
对鉴权通过的终端的鉴权密钥以及所述终端的设备信息存储于所述网络设备的白名单中。
7.根据权利要求1至6任一项所述的电力物联网终端接入网络的方法，其特征在于，还包括：
所述网络设备与其它网络设备进行可信机制的建立，并形成一个可信的网络设备白名单列表。
8.根据权利要求7所述的电力物联网终端接入网络的方法，其特征在于，还包括：
在终端发送切换时，控制终端切换至所述可信的网络设备白名单列表中的网络设备。
9.一种电力物联网终端接入网络的方法，其特征在于，应用于电力物联网终端，所述方法包括：
向网络设备发送电力物联网终端的服务质量qos需求信息以及信道状态信息；
获取接入网络的接入策略；
根据所述接入策略接入与电力物联网终端适配的目标网络设备。
10.一种电力物联网终端接入网络的装置，其特征在于，应用于网络设备，所述装置包括：
获取模块，用于获取电力物联网终端的服务质量qos需求信息、信道状态信息；
处理模块，用于根据所述qos需求信息、信道状态信息、所述网络设备的算力资源和/或所述网络设备为终端分配的带宽资源，确定所述电力物联网终端接入网络的接入策略；根据所述接入策略，确定与电力物联网终端适配的目标网络设备，并使终端接入所述目标网络设备。
技术总结