本申请涉及实时渲染技术领域，特别是涉及基于球谐函数的体积渲染方法、装置、设备和存储介质。
背景技术：
目前，为了实现体积渲染，通常采取的方法是用体积的切片信息或者点云来表达体积信息，并基于光线步进(raymarching)来实现体积的渲染，例如，在模拟云层形状时，一般通过采样3d噪声来模拟云的形状，从而增加云在垂直方向的层次感。然而，由于对每个像素都需要通过非常多次数的raymarching去采样噪声或者生成噪声，以及计算体积的光影，所以从计算的开销而言，代价非常高。
因此，如何在体积渲染时节约计算成本，成为本领域技术人员亟待解决的问题。
技术实现要素：
本申请实施例提供了一种基于球谐函数的体积渲染方法、装置、设备和存储介质，以至少解决相关技术中如何在体积渲染时节约计算成本的问题。
第一方面，本申请实施例提供了一种基于球谐函数的体积渲染方法，包括：选取预设数目的角度值，每个所述角度值对应一个视线方向；在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果；将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为球谐函数系数进行保存；当接收到任意所述视线方向时，根据保存的所述球谐函数系数，读取与该视线方向对应的所述介质密度预积分结果，并根据该介质密度预积分结果得到体积的光影信息；根据所述体积的光影信息，进行渲染。
在其中一些实施例中，所述的选取预设数目的角度值包括：通过蒙特卡洛随机选取预设数目的角度值。
在其中一些实施例中，所述的在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果包括：在每个所述视线方向上进行光线步进，对待渲染物体内部的介质密度进行预积分，并逐步累加从视线射入表面到射出背面中所有的所述介质密度，得到与每个所述视线方向对应的介质密度预积分结果。
在其中一些实施例中，所述的将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为球谐函数系数进行保存包括：将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为两阶的球谐函数系数进行保存。
在其中一些实施例中，所述的将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为两阶的球谐函数系数进行保存包括：根据所述介质密度预积分结果得到体积的光影信息，将该体积的光影信息预烘焙到所述待渲染物体的模型的顶点上或者存到贴图上。
第二方面，本申请实施例提供了一种基于球谐函数的体积渲染装置，包括选取模块、预积分模块、保存模块、读取模块和渲染模块，其中，选取模块用于选取预设数目的角度值，每个所述角度值对应一个视线方向；预积分模块用于在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果；保存模块用于将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为球谐函数系数进行保存；读取模块用于当接收到任意所述视线方向时，根据保存的所述球谐函数系数，读取与该视线方向对应的所述介质密度预积分结果，并根据该介质密度预积分结果得到体积的光影信息；渲染模块用于根据所述体积的光影信息，进行渲染。
在其中一些实施例中，所述的选取预设数目的角度值包括：通过蒙特卡洛随机选取预设数目的角度值。
在其中一些实施例中，所述的在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果包括：在每个所述视线方向上进行光线步进，对待渲染物体内部的介质密度进行预积分，并逐步累加从视线射入表面到射出背面中所有的所述介质密度，得到与每个所述视线方向对应的介质密度预积分结果。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储有计算机程序的存储介质，所述计算机程序被所述处理器执行时实现如上述任一项所述的基于球谐函数的体积渲染方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于球谐函数的体积渲染方法。
根据上述内容，本申请实施例的基于球谐函数的体积渲染方法包括：选取预设数目的角度值，每个角度值对应一个视线方向；在每个视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个视线方向对应的介质密度预积分结果；将各视线方向以及与各视线方向对应的介质密度预积分结果作为球谐函数系数进行保存；当接收到任意视线方向时，根据保存的球谐函数系数，读取与该视线方向对应的介质密度预积分结果，并根据该介质密度预积分结果得到体积的光影信息；根据体积的光影信息，进行渲染。本申请实施例基于视线方向偏移，构建不同视线下的体积渲染结果，并通过球谐函数系数进行保存，从而便于还原接收到的视线方向上的介质密度信息，节约了大量次数的raymarching，降低了计算的开销，从而达到节约计算成本的效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据相关技术的基于raymarching的体积云渲染的效果示意图；
图2是根据相关技术的基于raymarching的体积云渲染的效果示意图；
图3是根据本申请实施例的不同观察角度的表达示意图；
图4是根据本申请实施例的基于球谐函数的体积渲染方法的流程图；
图5是根据本申请实施例的几阶球谐函数的表达示意图；
图6是根据本申请实施例的基于球谐函数的体积渲染的效果示意图；
图7是根据本申请实施例的基于球谐函数的体积渲染的效果示意图；
图8是根据本申请实施例的基于球谐函数的体积渲染装置的结构框图；
图9是根据本申请实施例的电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
图1是根据相关技术的基于raymarching的体积云渲染的效果示意图，图2是根据相关技术的基于raymarching的体积云渲染的效果示意图，请参阅图1和图2所示，在基于raymarching的体积云的渲染时，每个像素进行32次raymarching，而实际帧数却只有15fps。由于raymarching的每一次前进就需要一次采样和计算的开销，越密集的步长就意味着越大的开销，所以对于当前硬件配置而言，计算成本非常高。另外，相关技术中采用体积的切片信息或者点云来表达体积信息，需要基于大量次数的raymarching来实现体积的渲染。因此，如何节约raymarching的次数，也是本申请技术方案所要解决的一个关键问题。
本申请实施例可以通过一个三维模型结合一张3d体积纹理来表达一个待渲染物体的宏观的形状和内部的介质密度信息，从而可以更好的重构体积渲染，优选的，构建不同视角下的体积渲染结果。其中，待渲染物体内部的介质分布可以是均匀的也可以是非均匀的，若是均匀的，那么待渲染物体例如类似玻璃或者蜜蜡的材质。
然而，图3是根据本申请实施例的不同观察角度的表达示意图，如图3所示，观察者从不同的角度去观察物体的时候，眼睛的视线方向从物体表面穿透到物体的另外一面的过程中，看到的物体的介质密度的分布也许是非均匀的，因此，体积渲染时介质密度的分布跟视线的方向有关。
本申请实施例根据每个不同的观察角度即视线方向偏移(viewdirectionbiased)来分析待渲染物体内部的介质分布信息，并进行保存，得到介质分布信息之后，可以便于评估光线在介质内部的各种交互情况，例如散射、吸收等等，以此得到体积的光影信息，可见，体积的光影信息不是一个固定的值，然后，可以基于光影信息进行体积渲染。
图4是根据本申请实施例的基于球谐函数的体积渲染方法的流程图，如图4所示，包括以下步骤：
s100：选取预设数目的角度值，每个角度值对应一个视线方向；
s200：在每个视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个视线方向对应的介质密度预积分结果；
s300：将各视线方向以及与各视线方向对应的介质密度预积分结果作为球谐函数系数进行保存；
s400：当接收到任意视线方向时，根据保存的球谐函数系数，读取与该视线方向对应的介质密度预积分结果，并根据该介质密度预积分结果得到体积的光影信息；
s500：根据体积的光影信息，进行渲染。
根据上述内容，可以根据介质分布信息(即介质密度预积分结果)得到体积的光影信息，因此下文主要针对介质密度预积分结果的计算和保存进行详细说明。
本申请实施例采用球谐函数来保存当前观察视角下的介质分布信息。图5是根据本申请实施例的几阶球谐函数的表达示意图，如图5所示，p表示勒让德多项式；l和m两个参数将这些多项式归为若干组，l是组的编号，取值为[0，6]之间的整数，而m取值为[0，6]之间的整数。球谐函数的意义在于，可以通过几阶不同的球谐函数因子(系数)来表达不同方向下的振幅，它是基于拉普拉斯方程的球坐标系形式解的推导，可以通过球面坐标来表达不同方向的值。在本申请实施例的体积渲染中，通过球谐光照来存储环境的漫反射光照卷积。
作为一个示例，在当前观察的视线方向上进行raymarching，对待渲染物体内部的介质密度进行预积分，并逐步累加从视线射入表面到射出背面中所有的介质密度，得到当前观察的视线方向上的介质密度预积分结果。
可选的，每次raymarching时，将当前观察的视线方向及其对应的介质密度预积分结果作为两阶的球谐函数系数来保存。由于两阶的球谐函数系数对应4个因子(coefficients)，在根据介质密度预积分结果得到体积的光影信息之后，可以很好的将体积的光影信息预烘焙到待渲染物体的模型的顶点上，也可以存到贴图上，上述体积的光影信息也指场景信息，该场景信息包括场景的深度与方向。由于4个系数刚好对应一个float4的值，gpu是以四维向量为基本单位来计算的，4个浮点数所组成的float4向量是gpu内置的最基本类型，所以无论是存到贴图或顶点，数据保存起来都十分方便。另外，在实际开发中，需要对球谐函数系数进行离线保存，因此球谐函数的阶数不同，在保存球谐函数系数时，会有不同的计算处理方式。理论上，球谐函数的阶数越高，渲染结果还原得越精确，但是球谐函数系数也会越多，既增加存储成本又增加计算成本，因此，为了保证渲染结果所还原的精确度同时降低存储成本和计算成本，此处选用两阶的球谐函数系数进行表达。
按照上述内容，将所有的(即预设数目的)视线方向及各视线方向上的介质密度预积分结果进行球谐函数的两阶系数输入，以进行保存。可选的，通过蒙特卡洛随机采样方法结合噪声采样方法，在空间中随机取例如1024个角度值，每个角度值即对应一个视线方向，在每个视线方向上进行raymarching，将会得到这1024个视线方向和对应的采样结果(即介质密度)，在对采样结果做预积分之后，作为球谐函数系数，保存下来。理论上，在360°视角下，每个角度都需要进行raymarching以采样介质密度信息，并将这些介质密度信息保存到球谐函数系数。虽然围绕整个360°空间球面的采样间隔越小，效果越好，但基于如此均匀采样分布的计算量来说，开销非常大。所以，上述的预设数目即1024这个值可以是均衡球谐函数系数和渲染效果的一个均衡值。
基于上述内容，当输入视线方向(即硬件接收到视线方向)时，根据保存的球谐函数系数还原当前接收到的视线方向上的介质密度信息(即介质密度预积分结果)。从而，基于还原的介质密度预积分结果得到体积的光影信息，并根据该体积的光影信息，进行渲染。
图6是根据本申请实施例的基于球谐函数的体积渲染的效果示意图，图7是根据本申请实施例的基于球谐函数的体积渲染的效果示意图，如图6和图7所示，在unity3d中可以运用本申请实施例的基于球谐函数的体积渲染方法，能够省去大量的raymarching的开销，而额外的开销只是保存一部分球谐函数系数的顶点数据，并且是静态的，这部分数据的计算开销小到几乎可以忽略不计。同时，对于不同的视角下，体积渲染的信息都可以通过球谐函数系数进行很精确的还原。所以，本申请实施例的体积渲染方法可以在保障渲染精确度的同时节约计算成本。
本申请实施例提供了一种基于球谐函数的体积渲染装置，图8是根据本申请实施例的基于球谐函数的体积渲染装置的结构框图，如图8所示，该装置包括选取模块1、预积分模块2、保存模块3、读取模块4和渲染模块5，其中，选取模块1用于选取预设数目的角度值，每个角度值对应一个视线方向；优选的，通过蒙特卡洛随机选取预设数目的角度值。预积分模块2用于在每个视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个视线方向对应的介质密度预积分结果；优选的，在每个视线方向上进行光线步进，对待渲染物体内部的介质密度进行预积分，并逐步累加从视线射入表面到射出背面中所有的介质密度，得到与每个视线方向对应的介质密度预积分结果。保存模块3用于将各视线方向以及与各视线方向对应的介质密度预积分结果作为球谐函数系数进行保存。读取模块4用于当接收到任意视线方向时，根据保存的球谐函数系数，读取与该视线方向对应的介质密度预积分结果，并根据该介质密度预积分结果得到体积的光影信息。渲染模块5用于根据体积的光影信息，进行渲染。
本申请实施例还提供一种电子设备，图9是根据本申请实施例的电子设备的结构框图，如图9所示，该电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(non-volatile)存储器。在特定实施例中，存储器82包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory，简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-accessmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory，简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory，简称sdram)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种基于球谐函数的体积渲染方法。
在其中一些实施例中，上述电子设备还可包括通信接口83和总线80。其中，如图9所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(databus)、地址总线(addressbus)、控制总线(controlbus)、扩展总线(expansionbus)、局部总线(localbus)。举例来说而非限制，总线80可包括图形加速接口(acceleratedgraphicsport，简称为agp)或其他图形总线、增强工业标准架构(extendedindustrystandardarchitecture，简称为eisa)总线、前端总线(frontsidebus，简称为fsb)、超传输(hypertransport，简称为ht)互连、工业标准架构(industrystandardarchitecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(lowpincount，简称为lpc)总线、存储器总线、微信道架构(microchannelarchitecture，简称为mca)总线、外围组件互连(peripheralcomponentinterconnect，简称为pci)总线、pci-express(pci-x)总线、串行高级技术附件(serialadvancedtechnologyattachment，简称为sata)总线、视频电子标准协会局部(videoelectronicsstandardsassociationlocalbus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的基于球谐函数的体积渲染方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于球谐函数的体积渲染方法。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
1.一种基于球谐函数的体积渲染方法，其特征在于，包括：
选取预设数目的角度值，每个所述角度值对应一个视线方向；
在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果；
将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为球谐函数系数进行保存；
当接收到任意所述视线方向时，根据保存的所述球谐函数系数，读取与该视线方向对应的所述介质密度预积分结果，并根据该介质密度预积分结果得到体积的光影信息；
根据所述体积的光影信息，进行渲染。
2.根据权利要求1所述的基于球谐函数的体积渲染方法，其特征在于，所述的选取预设数目的角度值包括：
通过蒙特卡洛随机选取预设数目的角度值。
3.根据权利要求1所述的基于球谐函数的体积渲染方法，其特征在于，所述的在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果包括：
在每个所述视线方向上进行光线步进，对待渲染物体内部的介质密度进行预积分，并逐步累加从视线射入表面到射出背面中所有的所述介质密度，得到与每个所述视线方向对应的介质密度预积分结果。
4.根据权利要求1所述的基于球谐函数的体积渲染方法，其特征在于，所述的将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为球谐函数系数进行保存包括：
将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为两阶的球谐函数系数进行保存。
5.根据权利要求4所述的基于球谐函数的体积渲染方法，其特征在于，所述的将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为两阶的球谐函数系数进行保存包括：
根据所述介质密度预积分结果得到体积的光影信息，将该体积的光影信息预烘焙到所述待渲染物体的模型的顶点上或者存到贴图上。
6.一种基于球谐函数的体积渲染装置，其特征在于，包括：
选取模块，用于选取预设数目的角度值，每个所述角度值对应一个视线方向；
预积分模块，用于在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果；
保存模块，用于将各所述视线方向以及与各所述视线方向对应的所述介质密度预积分结果作为球谐函数系数进行保存；
读取模块，用于当接收到任意所述视线方向时，根据保存的所述球谐函数系数，读取与该视线方向对应的所述介质密度预积分结果，并根据该介质密度预积分结果得到体积的光影信息；
渲染模块，用于根据所述体积的光影信息，进行渲染。
7.根据权利要求6所述的基于球谐函数的体积渲染装置，其特征在于，所述的选取预设数目的角度值包括：
通过蒙特卡洛随机选取预设数目的角度值。
8.根据权利要求6所述的基于球谐函数的体积渲染装置，其特征在于，所述的在每个所述视线方向上对待渲染物体内部的介质密度进行预积分，得到与每个所述视线方向对应的介质密度预积分结果包括：
在每个所述视线方向上进行光线步进，对待渲染物体内部的介质密度进行预积分，并逐步累加从视线射入表面到射出背面中所有的所述介质密度，得到与每个所述视线方向对应的介质密度预积分结果。
9.一种电子设备，包括处理器和存储有计算机程序的存储介质，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于球谐函数的体积渲染方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于球谐函数的体积渲染方法。
技术总结