本发明涉及多模态黑色素瘤免疫治疗预测领域，且更具体地涉及一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法。
背景技术：
1、黑色素瘤，也称“恶性黑色素瘤”，一种常见且致命的皮肤恶性肿瘤。根据最新全球癌症统计，皮肤癌已被定义为最危险的癌症之一，而黑色素瘤是皮肤癌中致死率最高的一种癌症，约占皮肤癌中死亡率的75%，具有恶性程度高，易局部复发和远处转移，预后差等特点。
2、近年来，随着医疗技术的发展，免疫治疗成了黑色素瘤治疗中最主要的治疗手段之一。根据黑色素瘤的病理分期，对于部分高位黑色素瘤患者使用免疫治疗可以有效延长患者的无复发生存期，尤其是pd-1免疫治疗在临床上产生了广泛的应用，取得了不错的成效。然而，由于黑色素瘤的个体异质性强、病理分类复杂且发病机制不明，pd-1免疫治疗并不能使所有患者都获益，因此早期诊断和准确评估对于改善黑色素瘤患者的预后至关重要。在此背景下，对黑色素瘤患者的pd-1免疫治疗预后进行评估具有重大意义。
3、随着计算机技术得到广泛应用，深度学习神经网络成为了多模态黑色素瘤免疫治疗预测以及医学影像分析领域的热门技术。尽管应用于黑色素瘤识别、分割领域的深度学习模型性能一直在提升，但是对于黑色素瘤免疫治疗的预后评估依旧很少涉及。现有的深度学习预后模型多是基于组织病理图像或基因表达特征等单模态数据，使用的是单一类型的神经网络模型，且不考虑患者诊疗过程中使用到的治疗手段。由于使用了pd-1免疫治疗的完整患者样本数据较少且数据量不均衡，而深度学习模型的训练往往是需要在海量数据上实现，如果使用的训练样本不够，就会导致模型识别准确率低下，目前没有模型能获得较好的黑色素瘤pd-1免疫治疗预后性能。因此，研究如何利用最新的深度学习方法在少量完整样本的前提下获得较好的模型性能不仅仅可推进黑色素瘤预后研究的发展，更是对pd-1免疫治疗临床应用的提升和发展有重大意义。
4、因此，本发明基于深度学习方法中目前比较火热的深度自注意力网络和图卷积网络，结合病理图像数据、患者元数据、患者临床数据及基因表达特征等多模态数据的分析结果，提出了一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法。
技术实现思路
1、针对现有技术的不足，本发明公开了一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，基于深度学习方法中目前比较火热的深度自注意力网络和图卷积网络，结合病理图像数据、患者元数据、患者临床数据及基因表达特征等多模态数据的分析结果；在正式模型训练前，需要先对图像进行染色标准化，将颜色纠正到相同的颜色空间，增强训练模型的鲁棒性；使用卷积神经网络和深度自注意力网络对输入图像进行特征提取并降维到2048维度，然后拼合特征矩阵，使用全连接层对特征矩阵进行分类预测，结合以上二者的计算优势，可以更好的捕获图像信息；通过扩散模型和自然语言编码prompt对缺失的图像信息进行计算机生成，解决了数据量不足的问题，避免了因为样本量不足而导致模型训练不准确的情况；通过多头自注意力模型对患者临床数据进行编码，并根据患者临床数据对预后影响程度赋予重要程度参数，实现非图像信息的提取。这一步骤能够更全面地考虑患者的情况，避免了传统方法中只考虑图像信息而忽略其他因素的缺点；采用encoder-decoder神经网络模式和生信分析对病理切片图进行特征提取，能够更好地提取特征，避免了传统方法中需要手动选择特征的缺点；自动化、智能化程度高。
2、本发明采用以下技术方案：
3、一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，包括以下步骤：
4、步骤一、数据采集、初步筛选和图像标准化处理，通过医学影像管理系统获取肿瘤与癌症基因组图谱中的黑色素瘤患者数据，所述黑色素瘤患者数据包括病理切片图、患者临床数据和rna序列三种数据的病例及黑色素瘤患者数据集，所述黑色素瘤患者数据通过图形处理器gpu初步筛选保留所述病理切片图和患者临床数据，所述病理切片图采用颜色标准化reinhard方法进行染色标准化到特定目标图；
5、步骤二、图像分割处理，通过图像分割模块进行图像语义分割，所述图像分割模块包括卷积神经网络和深度自注意力网络，所述深度自注意力网络通过自注意力全局计算方式捕获所述病理切片图中的高频信息，所述高频信息包括图像强度变化剧烈的像素点，所述卷积神经网络通过局部计算方式进行图像特征提取和数据学习实现所述病理切片图中的低频信息提取，所述低频信息包括图像强度变换平缓的像素点；
6、步骤三、图像增补处理，通过图像数据增补模块进行缺失图像信息的生成，所述图像数据增补模块通过扩散模型和自然语言编码prompt对所述病理切片图中缺失的图像信息进行计算机生成；
7、步骤四、图像再次筛选和降维，通过图形处理器gpu对经过图像分割和数据增补处理的小块所述病理切片图进行再次筛选，并采用t-sne降维方法对小块所述病理切片图进行降维处理；
8、步骤五、图像特征提取，通过图像特征提取模块进行小块所述病理切片图的图像特征提取，所述图像特征提取模块采用encoder-decoder神经网络模式和生信分析对小块所述病理切片图进行特征提取；
9、步骤六、非图像信息提取，通过非图像辅助信息上下文提取模块提取非图像信息特征，所述非图像辅助信息上下文提取模块采用多头自注意力模型对所述患者临床数据进行编码，并根据所述患者临床数据对预后影响程度赋予重要程度参数，所述患者临床数据包括患者的黑色素瘤breslow厚度、有无溃疡情况、黑色素瘤tnm分期、有丝分裂率、淋巴结转移、远处转移、卫星灶、肿瘤原发部位、患者年龄和患者性别；
10、步骤七、多模态黑色素瘤免疫治疗预测，通过预测模块进行黑色素瘤免疫治疗预测评估，所述预测模块通过图神经网络对患者的pd-1预后进行评估，所述图神经网络通过结合所述图像特征提取模块与所述非图像辅助信息上下文提取模块的输出进行评估计算，并基于预设相似性阈值对两个患者间的关系连线进行剪枝操作。
11、作为本发明进一步的技术方案，所述图像分割模块的工作方法包括以下步骤：
12、步骤1、输入所述病理切片图，所述图像分割模块的输入值为切成256×256×3的小块所述病理切片图；
13、步骤2、采用所述卷积神经网络和深度自注意力网络对输入的小块所述病理切片图进行特征提取；
14、步骤3、通过卷积层进行特征压缩，并通过全连接层将所述卷积神经网络和深度自注意力网络提取出的特征矩阵降维形成维度为2048的低维特征矩阵；
15、步骤4、通过拼接操作将所述低维特征矩阵拼合形成维度为4096的高维特征矩阵；
16、步骤5、通过所述全连接层对所述高维特征矩阵进行分类预测；
17、步骤6、通过二值交叉熵损失函数衡量预测结果与真实标签之间的差距，并通过adam参数优化算法对所述卷积神经网络和深度自注意力网络的参数进行更新；
18、步骤7、输出所述病理切片图的病理区域，输出值为小块所述病理切片图对应的病理区域，所述病理区域包括癌区、癌旁区、交接区和背景区。
19、作为本发明进一步的技术方案，所述扩散模型基于真实癌区数据对缺失的癌旁或交接区数据进行机器生成，所述真实癌区数据通过多轮加噪操作获得噪声图，并采用自然语言编码prompt对癌旁或交接区真实数据进行缺失数据插补获得编码特征数据，所述自然语言编码prompt基于生成对抗网络和逐步生长方式模拟数据分布的生成过程，所述编码特征数据通过与所述噪声图进行拼接和降噪处理获得模拟癌旁区或交接区图像，所述模拟癌旁区或交接区图像与真实癌旁区或交接区图像进行比较计算交叉熵损失。
20、作为本发明进一步的技术方案，所述t-sne降维方法包括以下步骤：
21、（1）计算高维空间中数据点之间的相似性矩阵，通过欧几里得距离、曼哈顿距离或余弦相似度计算高维相似性矩阵，并通过高斯核函数对高维空间中的数据进行加权处理获得对称概率分布；
22、（2）通过在低维空间中构建概率分布进行低维空间中的相对距离和高维空间中的相对距离的映射，低维空间中数据点被选择为近邻点的概率公式为：
23、 （1）
24、在公式（1）中，表示低维空间中数据点i和j被选择为近邻点的概率，为低维空间中数据点i的位置，为低维空间中数据点j的位置，表示低维空间中的相对距离最大值，表示低维空间中的相对距离最小值；
25、（3）通过迭代计算最小化高维空间中的概率分布p和低维空间中的概率分布q之间的kl散度，kl散度计算公式为：
26、 （2）
27、在公式（2）中，其中，p和q为概率分布，x为随机变量，和分别表示在分布p和q中出现的概率，为最小化高维空间中的概率分布p和低维空间中的概率分布q之间的kl散度。
28、作为本发明进一步的技术方案，所述步骤五中的图像特征提取的编码部分工作方法为：所述图像特征提取模块采用所述卷积神经网络和深度注意力网络作为编码器，首先通过所述卷积神经网络对癌区、癌旁区和交接区各取10张的小块所述病理切片图进行特征提取，并采用所述t-sne降维方法降维到8192维度，然后在降维后的特征向量上添加位置信息传入所述深度注意力网络进行特征融合；所述步骤五中的图像特征提取的编码部分工作方法为：所述图像特征提取模块通过语言处理模型gpt模型对与患者肿瘤内环境的基因序列进行编码，并通过交叉熵损失计算小块所述病理切片图的融合特征和患者基因序列编码特征之间的损失距离，通过反向传播调整网络参数优化交叉熵损失至最小。
29、作为本发明进一步的技术方案，所述图神经网络通过消息传递机制聚合节点的邻居信息，并更新节点的特征表示，所述消息传递机制通过多轮迭代捕获小块所述病理切片图的远距离信息，所述预测模块的工作方法包括以下步骤：
30、（s1）建立无向图，所述无向图的节点为患者病例，所述无向图的节点特征矩阵为病理图图像特征、患者临床数据特征及患者使用pd-1治疗后的总生存时间，所述无向图的节点间连线为患者相似性；
31、（s2）初始特征表示，采用多头自注意力模型对小块所述病理切片图特征进行相似性提取获得初始邻接矩阵，多头自注意力模型的计算公式为；
32、 （3）
33、在公式（3）中，表示注意力机制，表示多分类激活函数，w为可学习的权重矩阵，q、k和v分别表示查询、键和值的投影矩阵，表示每个头部的维度大小；
34、（s3）通过图卷积操作聚合节点的邻居信息，并采用均方差损失作为损失函数，直至模型收敛，第l+1层的节点特征表示为：
35、 （4）
36、在公式（4）中，表示节点在第+1层的特征向量，表示节点在第,层的特征向量，表示第层的权重矩阵，表示激活函数，表示为邻接矩阵加上自环后得到的新邻接矩阵，表示隶属度矩阵；
37、（s4）对新患者进行pd-1预后评估，根据小块所述病理切片图特征及临床数据特征在所述图神经网络中插入新节点，并计算邻接矩阵，直到模型收敛，通过邻接矩阵计算输出患者使用pd-1治疗后的总生存时间，完成对pd-1预后的评估，邻接矩阵计算公式为：
38、 （5）
39、在公式（5）中，为新患者与插入新节点之外节点的相似性向量，表示插入节点的时刻。
40、作为本发明进一步的技术方案，所述颜色标准化reinhard方法通过将所述病理切片图纠正到相同的颜色空间消除颜色差异对结果的干扰，所述颜色标准化reinhard方法的工作方法包括：
41、s1、选择特定目标图像作为颜色标准化的目标，并对所述特定目标图像进行预处理和标准化；
42、s2、将小块所述病理切片图转化到lab颜色空间，并对lab颜色空间的三个通道进行归一化；
43、s3、计算小块所述病理切片图的均值和标准差，并进行调整；
44、s4、计算颜色空间中的分布密度函数，并将所述分布密度函数映射到所述特定目标图像的分布密度函数；
45、s5、将映射后的颜色值转换回rgb颜色空间获得标准化图像。
46、积极有益效果：
47、本发明公开了一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，基于深度学习方法中目前比较火热的深度自注意力网络和图卷积网络，结合病理图像数据、患者元数据、患者临床数据及基因表达特征等多模态数据的分析结果；在正式模型训练前，需要先对图像进行染色标准化，将颜色纠正到相同的颜色空间，增强训练模型的鲁棒性；使用卷积神经网络和深度自注意力网络对输入图像进行特征提取并降维到2048维度，然后拼合特征矩阵，使用全连接层对特征矩阵进行分类预测，结合以上二者的计算优势，可以更好的捕获图像信息；通过扩散模型和自然语言编码prompt对缺失的图像信息进行计算机生成，解决了数据量不足的问题，避免了因为样本量不足而导致模型训练不准确的情况；通过多头自注意力模型对患者临床数据进行编码，并根据患者临床数据对预后影响程度赋予重要程度参数，实现非图像信息的提取。这一步骤能够更全面地考虑患者的情况，避免了传统方法中只考虑图像信息而忽略其他因素的缺点；采用encoder-decoder神经网络模式和生信分析对病理切片图进行特征提取，能够更好地提取特征，避免了传统方法中需要手动选择特征的缺点；自动化、智能化程度高。
1.一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图像分割模块包括卷积神经网络和深度自注意力网络，所述深度自注意力网络通过自注意力全局计算方式捕获所述病理切片图中的高频信息，所述高频信息包括图像强度变化剧烈的像素点，所述卷积神经网络通过局部计算方式进行图像特征提取和数据学习实现所述病理切片图中的低频信息提取，所述低频信息包括图像强度变换平缓的像素点。
3.根据权利要求2所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图像分割模块的工作方法包括以下步骤：
4.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述扩散模型基于真实癌区数据对缺失的癌旁或交接区数据进行机器生成，所述真实癌区数据通过多轮加噪操作获得噪声图，并采用自然语言编码prompt对癌旁或交接区真实数据进行缺失数据插补获得编码特征数据，所述自然语言编码prompt基于生成对抗网络和逐步生长方式模拟数据分布的生成过程，所述编码特征数据通过与所述噪声图进行拼接和降噪处理获得模拟癌旁区或交接区图像，所述模拟癌旁区或交接区图像与真实癌旁区或交接区图像进行比较计算交叉熵损失。
5.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述t-sne降维方法包括以下步骤：
6.根据权利要求2所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述步骤五中的图像特征提取的编码部分工作方法为：所述图像特征提取模块采用所述卷积神经网络和深度注意力网络作为编码器，首先通过所述卷积神经网络对癌区、癌旁区和交接区各取10张的小块所述病理切片图进行特征提取，并采用所述t-sne降维方法降维到8192维度，然后在降维后的特征向量上添加位置信息传入所述深度注意力网络进行特征融合；所述步骤五中的图像特征提取的编码部分工作方法为：所述图像特征提取模块通过语言处理模型gpt模型对与患者肿瘤内环境的基因序列进行编码，并通过交叉熵损失计算小块所述病理切片图的融合特征和患者基因序列编码特征之间的损失距离，通过反向传播调整网络参数优化交叉熵损失至最小。
7.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图神经网络通过消息传递机制聚合节点的邻居信息，并更新节点的特征表示，所述消息传递机制通过多轮迭代捕获小块所述病理切片图的远距离信息，所述预测模块的工作方法包括以下步骤：
8.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述颜色标准化reinhard方法通过将所述病理切片图纠正到相同的颜色空间消除颜色差异对结果的干扰，所述颜色标准化reinhard方法的工作方法包括：
9.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述非图像辅助信息上下文提取模块采用多头自注意力模型对所述患者临床数据进行编码，并根据所述患者临床数据对预后影响程度赋予重要程度参数，所述患者临床数据包括患者的黑色素瘤breslow厚度、有无溃疡情况、黑色素瘤tnm分期、有丝分裂率、淋巴结转移、远处转移、卫星灶、肿瘤原发部位、患者年龄和患者性别。
