一种基于人工智能的实景三维模型纹理自动填充方法和系统与流程

    专利2026-09-27  14


    本发明涉及实景三维模型领域,特别是一种基于人工智能的实景三维模型纹理自动填充方法和系统。


    背景技术:

    1、随着数字化的不断深入,人工智能已广泛应用于各行各业中,并展现出广阔的发展前景。在实景三维模型的应用过程中,人工智能更多地应用于终端,如地物的分类提取、数据的模拟与预测等,鲜有将人工智能应用于实景三维模型的生产流程。在实景三维模型的生产流程中,模型修整是核心中的核心。当前市面上已有众多模型修整软件,却鲜有将生成式人工智能技术应用贯穿其中。

    2、在模型修整的流程中,必然会因为模型的切割与创建产生“白模”(即没有纹理的模型,因通常默认显示为白色而得名)。现有技术提供了手动选择贴图纹理覆盖的方式进行修复,然而这却无异于把问题抛回给用户。而手动选择贴图现有三种方法:一是使用固定贴图,该方法使用成本最低,效果最差,和原有模型割裂感明显;二是使用遥感影像,该方法成本较低,因遥感影像分辨率低,效果一般;三是航飞正射影像或实景拍摄贴图,该方法成本最高,但效果最好。由此可见,当前模型修正过程中都面临成本高、效果差问题。

    3、鉴于此,本发明提出基于gan生成对抗网络自动化生成纹理或根据用户输入特征连接网络使用ai文生图大模型生成纹理并基于cra算法上采样为高分辨率纹理填充至实景三维模型的方法,在效率和效果之间实现最佳平衡。同时,本发明引入了基于人工智能的生图大模型,可以根据用户文字描述自动绘制出相应纹理。该方法能够实际解决实景三维模型修正过程中的需求,可用于快速、高效、美观地修整实景三维模型。


    技术实现思路

    1、本发明针对上述现有技术存在的问题,本发明提出基于gan生成对抗网络自动化生成纹理或根据用户输入特征连接网络使用ai文生图大模型生成纹理并基于cra算法上采样为高分辨率纹理填充至实景三维模型的方法,在效率和效果之间实现最佳平衡。同时,本发明引入了基于人工智能的生图大模型,可以根据用户文字描述自动绘制出相应纹理。该方法能够实际解决实景三维模型修正过程中的需求,可用于快速、高效、美观地修整实景三维模型。

    2、本发明公开了一种基于人工智能的实景三维模型纹理自动填充方法,包括:

    3、s1:实景三维模型输入;

    4、s2:基于用户输入的纹理生成范围线确定修整部位对应的缓冲区:

    5、s3:根据缓冲区裁剪实景三维模型,以获取缓冲区的纹理图片;

    6、s4:若用户选择系统自动生成纹理,则交由gan生成对抗网络依据缓冲区范围内的纹理来填充修复纹理图片;

    7、若用户选择输入文字描述交由服务器端ai文生图,则获取用户输入对修补画面的描述信息后交由服务器端ai进行生成填充修复后的纹理图片;

    8、s5:对步骤s4得到的纹理图片进行提升清晰度处理;

    9、s6:将纹理图片重新映射回三维模型,并输出实景三维模型。

    10、进一步地,所述的步骤s2,包括:

    11、获取由用户输入的纹理生成范围线,将用户点击模型的显示二维平面转换为模型三维坐标,随后投影至xoy平面,形成对应的范围线;依据范围线外扩一定距离生成缓冲区;外扩距离为用户所选范围线的外接圆半径的1/2。

    12、进一步地,所述的步骤s3,包括:

    13、基于缓冲区和范围线裁剪实景三维模型,使用裁剪后的模型生成该区域的纹理图片。

    14、进一步地,所述的步骤s4中,所述的若用户选择系统自动生成纹理,则交由gan生成对抗网络依据缓冲区范围内的纹理来填充修复纹理图片,包括:

    15、基于gan模型的图片修复框架将范围线作为mask区域,输入步骤s3获取的纹理图片,模型将按照由粗至精顺序自动对纹理图片中的mask区域进行填充修复;

    16、其中,gan模型的图片修复框架包括粗、精两个自编码器网络架构(coarsenetwork、refine network),粗自编码器用于修复图片的大体轮廓;精自编码机用于对图片切成一定数量瓦片,生成瓦片间相似度的注意力矩阵,将待修复的瓦片和mask区域外的瓦片相似度作为权重,将mask区域外的瓦片特征与相似度加权求和后作为待修复mask区域内的瓦片特征,经如此反复修补后,得到清晰的纹理图片。

    17、进一步地,所述的步骤s4中,所述的若用户选择输入文字描述交由服务器端ai文生图,则获取用户输入对修补画面的描述信息后交由服务器端ai进行生成填充修复后的纹理图片,包括:选择已有的ai文生图模型,并使用其开发接口,上传需要处理的纹理图片以及反映补充画面的文字描述,得到由ai填充修复后的纹理图片。

    18、进一步地,所述的步骤s5,包括:

    19、本发明采用cra算法对填充修复后的纹理图片通过残差聚合获得高频残差,再通过对纹理图片修复细节叠加到修复区域,从而提高纹理图片的清晰度。

    20、本发明还公开了一种基于人工智能的实景三维模型纹理自动填充系统,包括:

    21、输入模块,用于实现实景三维模型输入;

    22、缓冲区创建模块,用于基于用户输入的纹理生成范围线确定修整部位对应的缓冲区:

    23、纹理提取模块,用于根据缓冲区裁剪实景三维模型,以获取缓冲区的纹理图片;

    24、gan模型纹理生成模块,用于在用户选择系统自动生成纹理时交由gan生成对抗网络依据缓冲区范围内的纹理来填充修复纹理图片;

    25、ai文生图模型纹理生成模块,用于在用户选择输入文字描述交由服务器端ai文生图时获取用户输入对修补画面的描述信息后交由服务器端ai进行生成填充修复后的纹理图片;

    26、清晰度提升模块,用于对填充修复后的纹理图片进行提升清晰度处理;

    27、重映射模块,用于将纹理图片重新映射回三维模型,并输出实景三维模型。

    28、本发明还公开了一种电子设备,所述电子设备包括相互连接的处理器和存储器;所述存储器用于存储程序指令,所述处理器用于执行所述程序指令以实现如上所述的基于人工智能的实景三维模型纹理自动填充方法。

    29、本发明还公开了一种计算机可读存储介质,其上存储有程序指令,所述程序指令被处理器执行时实现如上所述的基于人工智能的实景三维模型纹理自动填充方法。

    30、本发明至少具有以下有益效果:

    31、相比现有技术,本发明应用人工智能进行实景三维模型的全自动纹理填充,无需付出航飞成本即可获得相似效果,同时相比使用卫星遥感影像或贴图填充效果提升显著,在经济与效果之间实现完美平衡。

    32、本发明可接入ai文生图大模型进行模型纹理的填充,允许用户以文字描述贴图内容并交由ai大模型生成,可方便用户进行实景三维设计,并生成更好的效果图。

    33、本发明的其他有益效果将在具体实施方式部分详细说明。



    技术特征:

    1.一种基于人工智能的实景三维模型纹理自动填充方法,其特征在于,包括:

    2.根据权利要求1所述的基于人工智能的实景三维模型纹理自动填充方法,其特征在于,所述的步骤s2,包括:

    3.根据权利要求2所述的基于人工智能的实景三维模型纹理自动填充方法,其特征在于,所述的步骤s3,包括:

    4.根据权利要求3所述的基于人工智能的实景三维模型纹理自动填充方法,其特征在于,所述的步骤s4中,所述的若用户选择系统自动生成纹理,则交由gan生成对抗网络依据缓冲区范围内的纹理来填充修复纹理图片,包括:

    5.根据权利要求3所述的基于人工智能的实景三维模型纹理自动填充方法,其特征在于,所述的步骤s4中,所述的若用户选择输入文字描述交由服务器端ai文生图,则获取用户输入对修补画面的描述信息后交由服务器端ai进行生成填充修复后的纹理图片,包括:选择已有的ai文生图模型,并使用其开发接口,上传需要处理的纹理图片以及反映补充画面的文字描述,得到由ai填充修复后的纹理图片。

    6.根据权利要求4或5所述的基于人工智能的实景三维模型纹理自动填充方法,其特征在于,所述的步骤s5,包括:

    7.一种基于人工智能的实景三维模型纹理自动填充系统,其特征在于,包括:

    8.一种电子设备,其特征在于,所述电子设备包括相互连接的处理器和存储器;所述存储器用于存储程序指令,所述处理器用于执行所述程序指令以实现如权利要求1至6中任一项所述的基于人工智能的实景三维模型纹理自动填充方法。

    9.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至6中任一项所述的基于人工智能的实景三维模型纹理自动填充方法。


    技术总结
    本发明公开了一种基于人工智能的实景三维模型纹理自动填充方法和系统,该方法包括:实景三维模型输入;基于用户输入的纹理生成范围线确定缓冲区:根据缓冲区裁剪实景三维模型获取纹理图片;交由GAN生成对抗网络依据缓冲区范围内的纹理来填充修复纹理图片,或者,获取用户输入对修补画面的描述信息后交由服务器端AI进行生成填充修复后的纹理图片;对纹理图片进行提升清晰度处理;将纹理图片重新映射回三维模型,并输出。相比现有技术,本发明应用人工智能进行实景三维模型的全自动纹理填充,无需付出航飞成本即可获得相似效果,同时相比使用卫星遥感影像或贴图填充效果提升显著,在经济与效果之间实现完美平衡。

    技术研发人员:王夺,佟德军,许宁,迟博中,李影,王延昭,李建军,魏可峰,王家智,甄莹,张孝帅,林雨薇,于姝,尚铂雯,刘九阳
    受保护的技术使用者:中冶沈勘工程技术有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-102395.html

    最新回复(0)