本发明涉及人工智能和机器学习计算机神经网络领域，特别涉及基于空间生成式的人工智能计算机神经网络的生成方法。
背景技术：
1、深度学习神经网络(deep learning neural networks)和广度学习神经网络(broad learning neural networks)技术已经在许多领域得到了应用，如图9所示的广度学习神经网络技术由于经构简单，可扩展性强在业务逻辑清晰的场景得到了大量的应用。深度学习神经网络则在nlp中大放光采，nlp是人工智能里的明珠，需要认知智能，能理解会思考，有抽象和推理能力，2017年由vaswani,等人在attention is all you need论文中提出了多头注意力(multi-head-attention)机制解决了深度学习系统多gpu并行训练的问题，在论文中提出了transformer神经网络模型架构，解决了自然语言处理(nlp)任务所需的多种算法。transformer的特点是，它完全摒弃了传统的循环神经网络(rnn)和卷积神经网络(cnn)(如图5所示)，而是采用了自注意力机制(self-attention)，来捕捉文本中的长距离依赖关系，提高了模型的效率和准确性。运用transformer网络，在大力出奇迹的作用下，gpt3横空出世，成功的让人工智能nlp模型具备推理能力、泛化能力并且出现了前所未有的“涌现能力”。基于transformer框架，大量的大语言模型(llms)被开发，并且从单一的nlp向多模态(multimodal)发展。目前transformer已经取得非常多的成果，但是也存在了很多问题，如训练的效率问题、扩展性问题、幻觉问题(如图7，hallucination),同时目前所有的大语言模型的结构都是经过精心设计，每个版本都要重新针对性设计，并且模型固化一经训练无法扩展。
2、如图9，广度网络(也称宽度网络，broad learning system，bls)作为一种新型的扁平式神经网络结构，bls可以在新加入的数据以有效和高效的方式更新系统(输入的增量学习)。bls的设计思路为：首先，利用输入数据映射的特征作为网络的“特征节点”。其次，映射的特征被输入随机生成权重的“增强节点”。最后，所有映射的特征和增强节点直接连接到输出端，对应的网络参数可以通过伪逆确定。如果网络结构需要扩展，bls针对输入数据增量、在宽度上扩展特征节点和增强节点的情况，提出了三种无需重新训练整个网络的快速增量学习算法。由于更新输出层的伪逆时，只需要计算新增加部分的权重即可，增量学习的训练过程节省了大量的时间，因此宽度学习系统可以高效地应用于在线学习。和深度网络相比，宽度学习系统具快速、高效的特点，可以在时间效率和性能上达到非常好的平衡。
3、深度网络存在梯度消失和梯度爆炸问题，梯度消失和梯度爆炸本质是同一种情况。梯度消失即特征权重在多层的网络传递后变得越来越小，最后消失；梯度爆炸即特征权重在多层的网络传递后变得越来越大，最后大到让其它的特征权重消失；梯度消失经常出现的原因：一是使用多层网络；二是采用不合适的损失函数，如sigmoid,相关的解决方案：激活算法、批量归一化(batch normalization)、残差结构等。梯度爆炸一般出现的场景：一是多层网络；二是权值初始化太大，相关的解决方案：梯度裁剪、权值正则化(softmax)等在图片分类识别领域有多种有效的神经网络结构。
4、下面介绍如图4所示的前馈神经网络(fnn)和如图5所示的卷积神经网络(cnn)的优缺点、存在的问题。
5、使用前馈神经网络(fnn)的优点：
6、1、易于理解和实现：fnn的结构相对简单，易于理解和实现。它的层次结构和信息单向传播的特性使得它在许多问题上具有直观性。
7、2、适用于各种问题：fnn在处理各种类型的任务上表现良好，包括分类、回归等。它可以应用于不同领域，如图像处理、自然语言处理、金融预测等。
8、3、并行化处理：fnn中各个神经元之间没有直接的连接，这使得它们的计算可以高度并行化。这在某些硬件上(如gpu)实现加速计算时非常有利。
9、4、非线性建模能力：由于激活函数的引入，fnn具有良好的非线性建模能力，可以处理复杂的非线性关系。
10、fnn的缺点：
11、1、过拟合：当网络变得较大或数据较少时，fnn容易过拟合，即在训练数据上表现良好，但在未见过的数据上表现较差。这通常需要通过正则化、dropout等方法来缓解。
12、2、局部极小值：在训练过程中，fnn优化算法可能陷入局部极小值，而无法达到全局最优解。这可能会影响模型的性能和收敛速度。
13、3、需大量数据和计算资源：对于大型fnn，需要大量的数据来训练，并且训练过程需要大量的计算资源和时间。这在一些资源受限的情况下可能成为挑战。
14、4、特征提取依赖：fnn对特征的表达高度依赖于数据的特征工程。需要对输入数据进行适当的预处理和特征提取，以提高模型的性能。
15、为了解决fnn的缺点，特别是需要特征预处理的缺点，神经网络引入了卷积神经网络(cnn)结构，cnn通过：卷积(特征收集)、填充padding(边缘处理)，和池化(特征提取)、全连接层(特征分类)等神经网络层，逐步实现了图片自动特征分类。
16、cnn的缺点是：
17、1、计算成本高，需要大量数据和计算资源；
18、2、cnn很容易过度拟合，尤其是在小数据集上训练时，模型可能会记住训练数据，无法泛化到新的、未知的数据；
19、3、缺乏可解释性，cnn被认为是“黑匣子”模型，无法解释为什么会做出特定的预测。
20、4、处理的数据限于网格状结构，无法处理不规则形状或非网格状数据结构。
技术实现思路
1、本发明的目的在于克服现有技术的缺点与不足，提供基于空间生成式的人工智能计算机神经网络的生成方法。
2、本发明的目的通过以下的技术方案实现：
3、基于空间生成式的人工智能计算机神经网络的生成方法，包含以下顺序的步骤：
4、s1、构建基于空间关系的计算机神经元结构，计算机神经元结构包含输入端的神经元和输出端的次极神经元；
5、s2、基于次级别神经元生成算法自生成新的次级别神经元；
6、s3、基于反向传播算法、神经元裁剪算法、连接权重损失算法、神经元激活增长算法，在训练中自动通过连接生长和神经元裁剪的方式生成多维空间人工智能神经网络模型。
7、步骤s1中，所述计算机神经元结构不是以层或是块的方式组织，而是以空间关系组织神经元关系；
8、计算机神经元结构存在空间关系，因此输入端的神经元的空间属性与输出端的次极神经元的空间属性至少有2个单位的差异；一个计算机神经元结构存在多个不同空间属性的次级别神经元；
9、计算机神经元结构之间存在三维空间关系，每个计算机神经元结构和相邻的27个次级别神经元有输入关系，神经元和次级别神经元只有空间位置信息，空间体积为0；初始化网络，由定义的激活函数为每个计算机神经元结构分配激活阀值，其它时间连接激活由定义的阀值激活，当计算机神经元结构所有的输入端之和达到计算机神经元结构激活阀值时，计算机神经元结构激活，向输出端的次级别神经元输出信号，最终信号强度为相应连接权重的积；
10、计算机神经元结构的连接方向由输入层向输出层。
11、步骤s2中，所述次级别神经元激活算法的工作过程如下：当神经元的次级别神经元与其它神经元连接权重满足次级别神经元激活算法的条件时，该连接权重自生成新的次级别神经元，设定是否允许神经元自连接，默认次级别神经元与神经元间隔2个空间单位，默认情况下一个神经元的所有下属次级别神经元只与每个不同的其它神经元有一个连接权重，特殊情况可以设定超级神经元，让特别的神经元可以有特别属性；
12、次级别神经元与神经元的区别包括：i、次级别神经元可以生成，并且次级别神经元可以嵌套，即当次级别神经元与其它神经元连接权重满足次级别激活算法条件时，可以再次生成次级别神经元；ii、次级别神经元的未端最少连接1个以上神经元；iii、次级别神经元不能互相连接，即次级别神经元不能连接隶属于其它计算机神经元结构的次级别神元；iii、次级别神经元的空间关系继承于激活时末端的计算机神经元结构；iiii、次级别神经元的存在依赖于最上层的神经元，当上层神经元被裁剪，作为输出端的次级别神经元同时在网络中删除；
13、神经元通过次级别神经元连接其它神经元，相关神经元之间的连接权重为次级别神经元激活时的权重和次级别神经元与其它神经元之间的连接权重之积，即一个神经元向另一个神经元输出权重是通过一层或是多层的次级别神经元的连接权重之积实现连接输出的；
14、次级别神经元和其它神经元连接权重满足次级别神经元激活算法时，激活新一层次级别神经元，次级别神经元可以多次嵌套，最大嵌套深度在神经网络模型初始化时定义；
15、次级别神经元只向相邻的神经元输出连接重；
16、神经元之间的反向网络输出通过自生成的多层次级别神经元实现，通过神经元的激活函数来限制神经元循环和网络梯度爆炸，即每个神经元只有输入信号大于阀值，神经元才输出信号；
17、输入层到输出层的计算顺序是按神经元数分层的，即先算与输入层间隔一个神经元激活的连接权重，再算第2层激活神经元、第3层激活神经元，以些类推直至输出层，次级别神经元不计层级，没有激活的神经元处于累积等待激活状态；神经元与次级别神经元的连接关系没有空间属性。
18、计算机神经元结构的输入端的神经元固定，输出端的次级别神经元生长；或者计算机神经元结构的输出端的次级别神经元固定，输入端的神经元反向生成；或者计算机神经元结构的输入端的神经元、输出端的次级别神经元共同生长。
19、步骤s3中，所述反向传播算法在初始化从输入层到输出层的所有神经元连接权重为随机后，传播连接权重，也可以通过区域或是单独提高(降低)一个或是多个神经元的激活阀值，来实现调节部分功能模块的灵敏度；
20、所述计算机神经元结构经过连接权重反向传播算法、次级别神经元生成激活算法、神经元激活阀值增长算法和权重损失算法，在训练过程逐步失活后，通过神经元裁剪算法计算对于模型的没有价值，则直接从模型中删除，删除连带该神经元的次级别神经元从模型中删除；神经元的裁剪是在训练过程中神经元失活而被裁剪，裁剪是神经元连接生长的结果，不是因为神经元裁剪才导致网络性能优化，即：失活神经元是否从网络中删除不影响网络在训练过程中优化特征传播的性能，删除失活神经元只会减少对结果无用神经元的算力消耗；
21、由于次级别神经元的自发生长性，以及神经元裁剪算法的存在，使得多个各种规模的本网络可以通过人工定义空间连接后，网络自生成式扩展连接；
22、在空间生成式神经网络初始阶段，可以为神经元加上凋零算法，来加速网络结构更快收敛。
23、本发明是一套解决现有计算机神经网络常见的多个问题的技术方案，专利解决的技术问题是人工智能行业里的技术问题，人工智能行业也是人类从事的工作的自然活动，包括不限于模型设计、模型训练、模型优化等，这个技术方案解决的是包括不限于上述人类活动中存在的技术问题。和其它人工智能网络结构设计发明主要不同点在于:
24、1、本发明的创新点在于：本发明是针对神经元的结构和权重连接生长进行创新设计，利用新技术方案解决机器学习行业的模型设计技术难题、新方案同时能够实现在训练过程优化模型最终的推理性能和实现模型的扩展性；
25、2、本发明通过创新构建带有空间属性的神经网络模型，使得网络模型具备自生成的基础，对比其它人工智能神经网络发明，神经元多了空间关系，由于网络在训练中的自主连接生长性，所以在具体应用场景中无需根据业务逻辑提前设计网络模型，例如，在图片识别分类，传统的网络设计有：lenet-5(输入层、卷积层、池化层(次采样)、卷积层、池化层(次采样)、全连接层、输出层，总共5层)图5、alexnet架构有8个可训练层：5个卷积层和3个池化全连接层。本技术方案只需要定义足够量的神经元，具体网络模型是在训练中收敛，无需设计。
26、3、本发明通过为神经元增加次级别神经元作为输出端，并将输出端的次级别神经元定义成可以通过算法自生成嵌套次级别神经元的方式，使得神经元可以在输入端增加激活阀值，同时可以次级别神经元可以通过和生成算法嵌套生成的方式扩展该神经元组合与其它神经元的连接的空间范围，从而达到自生成(连接的生长性)与扩展性，对比深度网络和宽度网络，神经元多了输入和输出端定义，并且神经元可以在空间中生长。
27、4、本发明由于输入输出分开的原因，每个神经元(次级神经元)都可以定义激活阀值和定义输出峰值，不会出现梯度消失和梯度爆炸。
28、5、本发明能够实现分类训练多个功能的网络模型，各个模型收敛后再通过定义网络模型空间相邻或是定义一个输入网络模型、一个输出网络模型和多个训练好的模型空间拼接训练，让多个模型在训练中次级别神元自生成(长成)新的一体化模型，从而实现网络模型的扩展性。
29、6、本发明能够通过自生成的方式实现注意力(重点特征权重化)机制，并且能够支持多模态信息。
30、7、本发明神经元结构的网络模型由于自生成的原理(关键神经元生长、次要的神经元删除)，从而实现优化特征连接神经元层级(减少特征传递所需的神经元数量)精减神经网络，能够实现在训练中不断提高使用推理性能。
31、8、本发明是具体的神经元和权重连接生长设计方案，没有涉及任何抽象的算法和计算机程序，是为了解决技术问题而利用技术手段，并获得技术效果的技术方案。
1.基于空间生成式的人工智能计算机神经网络的生成方法，其特征在于，包含以下顺序的步骤：
2.根据权利要求1所述基于空间生成式的人工智能计算机神经网络的生成方法，其特征在于，步骤s1中，所述计算机神经元结构不是以层或是块的方式组织，而是以空间关系组织神经元关系；
3.根据权利要求1所述基于空间生成式的人工智能计算机神经网络的生成方法，其特征在于，步骤s2中，所述次级别神经元激活算法的工作过程如下：当神经元的次级别神经元与其它神经元连接权重满足次级别神经元激活算法的条件时，该连接权重自生成新的次级别神经元，设定是否允许神经元自连接，默认次级别神经元与神经元间隔2个空间单位，默认情况下一个神经元的所有下属次级别神经元只与每个不同的其它神经元有一个连接权重，特殊情况可以设定超级神经元，让特别的神经元可以有特别属性；
4.根据权利要求1所述基于空间生成式的人工智能计算机神经网络的生成方法，其特征在于，步骤s3中，所述反向传播算法在初始化从输入层到输出层的所有神经元连接权重为随机后，传播连接权重，也可以通过区域或是单独提高或降低一个或是多个神经元的激活阀值，来实现调节部分功能模块的灵敏度；
