本申请涉及图像合成技术领域，更为具体地，涉及基于室内场景的对象和场景合成方法及系统。
背景技术：
在图像合成的相关研究和技术中，目前主流的方法可分为基于剪切-粘贴方式的图像合成、基于渲染的图像合成和基于对抗学习的图像合成。其中，基于剪切-粘贴的方法较为直接，通过对场景图像的特征学习来选择待合成的物体并进行一定的增强，将其粘贴到目标背景之中，因此这类方法的图像合成过程具有一定的随机性。基于渲染的图像合成方法通常有较好的融合效果，但这类方法需要显式地重建背景图像的几何信息和光照信息。在基于对抗学习的图像合成方面，由于生成器的输入变量是随机的，这类方法往往不容易控制图像合成的过程。因此，目前的图像合成方法虽然能够从几何、外观等方面使得合成对象与场景图像自然融合，但是大都存在两个问题：(1)缺少对室内场景的布局估计工作，忽略了场景中可合成位置的概率分布，因此难以处理多种合成位置的情况；(2)忽略了合成对象的位置与尺度、遮挡之间的关系约束模型(不同的合成位置约束着合成对象的尺度大小和不同的遮挡关系)，因此合成人物与场景物体之间的遮挡关系较为单一。
技术实现要素：
鉴于上述问题，本申请的目的是提供一种基于室内场景的对象和场景合成方法，将对象合成到场景中，包括：
获得对象和场景的原始图像；
构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；
根据对象位置关系约束模型获得对象在场景中的可合成位置；
根据对象尺度关系约束模型获得对象相对于场景的尺度比例；
根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；
将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行渲染，获得对应的对象和场景的合成图像；
其中，所述构建对象位置关系约束模型的步骤包括：
构建语义分割网络，所述语义分割网络的输入是场景的原始图像的rgb图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签；
构建语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括图像场景、墙壁和地面的连接处，墙壁和墙壁的连接处以及墙壁和天花板的连接处，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签；
构建场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签；
根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑。
优选地，包括：
构建对象风格关系约束模型，所述对象风格关系约束模型用于约束对象相对于场景的风格；
根据对象风格关系约束模型调整对象的原始图像的颜色风格，使得对象与场景自然融合；
将颜色风格调整后的对象按照所述尺度比例和遮挡关系在选定的可合成位置渲染，获得对象和场景的合成图像。
进一步，优选地，构建对象风格关系约束模型的步骤包括：
调整对象的亮度和饱和度使得对象与场景风格兼容，包括：将对象和场景在色彩空间中建立图像直方图，通过移动对象的相应统计量的图像直方图，以约束对象与场景的图像直方图的亮度和饱和度的一致性最大；
调整对象的局部对比度和相关色温使得对象与场景风格兼容，包括：通过局部对比度和相关色温结合hsl通道，调整对象的外观，使得对象和场景图像风格兼容。
此外，优选地，所述调整对象的亮度和饱和度使得对象与场景风格兼容的步骤包括：
获得场景的原始图像的rgb图像；
将场景的原始图像的rgb图像转化为hsl颜色空间图像，获得场景对应的亮度直方图和色相-饱和度直方图；
将对象渲染成边缘轮廓规则的二维rgb图像；
将对象的所述rgb图像转化为hsl颜色空间图像，利用掩码提取对象对应的有效像素，获取所述有效像素对应的对象的亮度直方图和色相-饱和度直方图；
调整所述有效像素对应的对象的亮度直方图，使得对象和场景的亮度一致；
调整所述有效像素对应的对象的色相-饱和度直方图，使得对象和场景的饱和度一致。
此外，优选地，所述调整对象的局部对比度和相关色温使得对象与场景风格兼容的步骤包括：
获得场景的原始图像的rgb图像；
将对象渲染成边缘轮廓规则的二维rgb图像；
将场景和对象的所述rgb图像转化为hsl颜色空间图像；
对于场景和掩码提取对象对应的有效像素的hsl颜色空间图像的每一个像素点，通过下式获得每一个像素点的局部对比度
其中，lx为像素亮度，
利用s曲线实现对象对应的有效像素的hsl颜色空间图像的像素级的亮度转换，正向s曲线和反向s曲线分别用来增强和减小局部对比度，使得对象与场景的对比度相匹配；
通过对对象对应的有效像素的hsl颜色空间图像进行相关色温调整，使得对象和场景的相关色温一致。
优选地，所述构建对象位置关系约束模型的步骤还包括：
获得墙壁和地面的连接处及墙壁和天花板的连接处的布局标签对应的边缘节点，包括：将场景布局估计网络的布局输出图像的边缘像素展开为一维向量，将每个边缘区段的中间点像素，作为边缘节点；
获得墙壁和墙壁连接处的布局标签对应的中间节点，包括：利用霍夫变换检测墙壁与墙壁之间的竖直线段，线段的端点为中间节点；
连接边缘节点和中间节点，生成场景的布局结构图。
优选地，所述构建对象尺度关系约束模型的步骤包括：对象的尺度大小以室内场景的墙高为参考，对象与墙壁之间的距离为自变量，对象的尺度为因变量，呈线性变化。
进一步，优选地，所述构建对象尺度关系约束模型的步骤包括：
以墙壁高或/和墙壁宽为参照，通过下式构建对象与场景之间的尺度关系，
sobj＝λswall δ(s-s2)，
其中，swall为墙壁的高或宽，sobj为对象与墙壁的高或宽对应的尺寸，λ为对象的sobj与墙体swall的比例因子，s2为墙壁的高或宽与对象距离最近的一个端点在所述高或宽的维度上的值，s为对象的可合成位置在所述维度上的值，δ为尺度缩放因子。
优选地，所述构建遮挡关系约束模型的步骤包括：
对对象的可合成位置所在布局区域的物体进行掩码提取；
判断对象的可合成位置是否在物体像素之上；
如果可合成位置在物体像素之上，所述物体遮挡对象；
如果可合成位置不在物体像素之上，对象不受物体遮挡。
进一步，优选地，所述对对象的可合成位置所在布局区域的物体进行掩码提取的步骤包括：
掩码提取所述对象的可合成位置所在布局区域的物体区域；
计算所述物体区域的梯度；
逐像素缩小物体掩码，直至到局部梯度最大值处停止，获得物体的掩码边缘，输出物体的掩码。
优选地，所述获得对象和场景的合成图像步骤之后还包括：
将所述合成图像作为初始合成图像，利用掩码提取初始合成图像中的对象，除对象外的初始合成图像为场景图像；
获得场景图像和对象的hsl颜色空间图像；
根据韦伯定律将亮度和饱和度转换为对数域，使用微倒度作为相关色温的单位，获得对象和场景图像的hsl颜色空间图像的亮度、饱和度、局部对比度和相关色温统计量；
通过s曲线调整对象的局部对比度；
调整对象的亮度，使得对象和场景图像的亮度一致；
调整对象的相关色温，使得对象和场景图像的相关色温一致；
调整对象的饱和度，使得对象和场景图像的饱和度一致；
将调整后的对象在场景图像中的可合成位置进行重新渲染，获得调整后的合成图像。
优选地，还包括：
向客户端提供用户交互界面，所述用户交互界面提供多种场景、多种对象、多个可合成位置供客户端选择，并反馈客户端选择的对象在场景中的可合成位置的合理性，所述合理性是指符合对象位置关系约束模型、对象尺度关系约束模型、对象遮挡关系约束模型和对象风格关系约束模型。
优选地，所述构建对象位置关系约束模型的步骤还包括：
根据可合成位置的像素区域，通过下式获得各合成位置的概率
其中，(x,y,0)表示一个可合成位置，s为所有可合成位置组成的像素区域。
根据本发明的另一个方面，提供一种基于室内场景的对象和场景合成系统，将对象合成到场景中，包括：
图像采集模块，获得对象和场景的原始图像；
模型构建模块，构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；
可合成位置获得模块，根据对象位置关系约束模型获得对象在场景中的可合成位置；
尺度比例获得模块，根据对象尺度关系约束模型获得对象相对于场景的尺度比例；
遮挡关系获得模块，根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；
合成模块将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行风格渲染，获得对应的对象和场景的合成图像；
其中，所述模型构建模块包括：
语义分割网络，输入是场景的原始图像的rgb图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签；
语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括图像场景、墙壁和地面的连接处，墙壁和墙壁的连接处以及墙壁和天花板的连接处，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签；
场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签；
可合成位置限定单元，根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑。
本发明所述基于室内场景的对象和场景合成方法及系统，能够在室内场景图像中的不同位置合成对象，可以生成多种遮挡情况的新图像，引入场景理解(对原始场景图像结构和物体信息进行分析，以理解场景的布局和物体的位置关系)工作，通过场景布局估计和语义分割，分析室内场景图像中可合成位置的概率分布，建立合成位置与人物尺度、遮挡关系之间的参数化模型，使合成图像更加多样化。在图像调和部分，分析场景图像和对象的颜色风格信息，调整前景对象的颜色风格以达到与场景图像自然融合的效果，通过调整人物风格与场景图像兼容，使合成图像更加真实。
附图说明
图1是本发明基于室内场景的对象和场景合成方法的示意图；
图2是本发明所述语义分割网络的示意图；
图3是本发明所述语义特征提取网络和场景布局估计网络的示意图；
图4是不同场景经过场景布局估计网络获得的布局标签的示意图；
图5是可合成位置的示意图；
图6是本发明所述对布局估计网络的输出进行优化的示意图；
图7a是对象和场景不合适的尺度缩放因子导致的尺度失真的示意图；
图7b是不同尺度缩放因子合成图像的示意图；
图8是本发明所述构建遮挡关系约束模型的示意图；
图9是本发明所述对对象的可合成位置所在布局区域的物体进行掩码提取的示意图；
图10是本发明所述调整对象的色相和饱和度使得对象与场景风格兼容的一个实施例的示意图；
图11是正向s曲线和反向s曲线的示意图；
图12是基于ui的室内场景的对象和场景合成方法的示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
以下将结合附图对本申请的具体实施例进行详细描述。
图1是本发明基于室内场景的对象和场景合成方法的示意图，如图1所示，所述对象和场景合成方法将对象合成到场景中，包括：
步骤s1，获得对象和场景的原始图像；
步骤s2，构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；
步骤s3，根据对象位置关系约束模型获得对象在场景中的可合成位置；
步骤s4，根据对象尺度关系约束模型获得对象相对于场景的尺度比例；
步骤s5，根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；
步骤s7，将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行风格渲染，获得对应的对象和场景的合成图像；
其中，所述构建对象位置关系约束模型的步骤包括：
构建语义分割网络，所述语义分割网络的输入是场景的原始图像的rgb图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签，如图2所示，使用带有室内物体语义标签的sunrgbd数据训练一个全卷积网络，实现对数据集sunrgbd的37级语义分割，这37个类别可以涵盖大多数通常出现在室内场景中的物体和家具，比如墙壁、天花板、椅子或窗户，以最大限度地描述一个杂乱的场景，所述语义分割网络在原始的resnet-101的基础上增加了一个带有孔洞机制的卷积层。由于这个网络的输入是rgb图像，实际上是取值范围为[0，255]的随机变量x，x由隐含的随机变量y决定，y取语义标签[1，2，3，...，37]的值，对应于37种类别。因此，这个网络描述了后验概率分布p(y|x)；
构建语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括墙壁和地面的连接处，墙壁和墙壁的连接处、墙壁和天花板的连接处以及图像场景(非连接处的区域)，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签，例如，布局标签为：
s＝{bg，wf，ww，wc}
其中，bg，wf，ww，wc分别代表图像场景(background，bg)，墙壁和地面的连接处(wall-flooredge，wf)，墙壁和墙壁的连接处(wall-walledge，ww)以及墙壁和天花板的连接处(wall-ceilingedge，wc)；如图3所示，语义特征提取网络将语义特征中的每个像素作为一个样本，lsun数据集对应的布局标签作为监督项，训练一个37×4的全连接层，以学习到37通道的语义特征和4类边缘标签之间的差距。在这一阶段，y由隐藏的随机变量z确定，z取边缘标签[1，2，3，4]中的值，p(z|y)是房间布局和场景杂乱关系的参数化表示；
构建场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签，如图3所示，将学习到的37×4的全连接层重构为1×1×37×4的卷积层，并且将其添加到第一阶段的语义分割预训练网络里，综合语义分割网络和语义特征提取网络的拓扑结构，组合成了一个像素级的布局估计网络，将语义分割网络权重作为特征提取器，将语义特征提取网络的权重作为分类器，通过下式构建布局估计网络
p(z|y)p(y|x)＝p(z|x)
上述布局估计网络一方面可以在lsun数据集上对此场景布局估计网络进行端到端的微调来进行布局边缘预测；另一方面，它将房间杂乱与场景布局之间的关系巧妙地结合起来。至此，布局边缘预测网络就可以将输入的图像，转化为最后的场景布局的二维表示。所提出的场景布局估计网络在lsun数据集上的表现结果如图4所示；
根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑，例如，人物作为对象，可合成位置的布局区域为地面，由于场景布局中的地面位置必定在图像中的下方，因此可以根据布局二维图，对对象合成的合理位置进行分割，对地面区域随机采样，获取图像合成点(可合成位置)，其示意图如图5所示。
前景是靠近镜头的人或物(靠前的，遮挡其他的)，现有的方法通常是将人物作为前景合成在场景图像中，本申请中，人可以合成到物体之间，可以是前景，也可以被其他物体遮挡。所以本申请中，合成的人物不仅单单作为前景。
在步骤s2中，如图6所示，所述构建对象位置关系约束模型的步骤还包括：对布局估计网络的输出进行优化，得到更加精细化的布局结构线条，以对对象进行更准确的尺度约束，具体地包括：
获得墙壁和地面的连接处及墙壁和天花板的连接处的布局标签对应的边缘节点，包括：将场景布局估计网络的布局输出图像(如图6中左侧的图)的边缘像素展开为一维向量，将每个边缘区段的中间点像素，作为边缘节点；
获得墙壁和墙壁连接处的布局标签对应的中间节点，包括：利用霍夫变换检测墙壁与墙壁之间的竖直线段，线段的端点为中间节点；
连接边缘节点和中间节点，生成场景的布局结构图(如图6中右侧的图)。
优选地，所述构建对象位置关系约束模型的步骤还包括：
根据可合成位置的像素区域，通过下式获得各合成位置的概率
其中，(x，y，0)表示一个可合成位置，s为所有可合成位置组成的像素区域。
在步骤s2中，所述构建对象尺度关系约束模型的步骤包括：
以墙壁高或/和墙壁宽为参照，通过下式构建对象与场景之间的尺度关系，
sobj＝λswall δ(s-s2)
其中，swall为墙壁的高或宽，sobj为对象与墙壁的高或宽对应的尺寸，λ为对象的sobj与墙体swall的比例因子，s2为墙壁的高或宽与对象距离最近的一个端点在所述高或宽的维度上的值，s为对象的可合成位置所述维度上的值，δ为尺度缩放因子。
当人物作为对象，可合成位置的布局区域为地面，所述构建对象尺度关系约束模型的步骤包括：对象的尺度大小以室内场景的墙高为参考，对象与墙壁之间的距离为自变量，对象的尺度为因变量，呈线性变化，也就是说，如图6所示，通过霍夫变换检测出场景中的竖直方向布局线ww，并设定其两端点像素坐标为(x1，y1)和(x2，y2)，设定布局线wf以下的图像区域为f，约束前景对象合成的位置(x，y)∈f，以对象的高度为基准，对尺度进行缩放，假设人物尺度与人物距离成线性关系，即：
hobj＝λhwall δ(y-y2)
其中，hobj为对象的高度，hwall为墙体高度。
在一个优选实施例中，λ根据经验估算，大致取值为0.6，并对不同的δ进行对比实验，如图7a所示，当δ＝0.6时，合成的人物尺度较小；当δ＝1.8时，合成的人物尺度较大。因此，当δ的值过小或过大时，均存在尺度上的不合理性，优选地，当1.0≤δ≤1.4时，合成的前景人物在与场景的尺度关系上有较为真实的表现，如图7b所述，分别为δ＝1.0，δ＝1.2，δ＝1.4时的合成图。
在步骤s2中，如图8所示，所述构建遮挡关系约束模型的步骤包括：
对对象的可合成位置所在布局区域的物体进行掩码提取；
判断对象的可合成位置是否在物体像素之上；
如果可合成位置在物体像素之上，所述物体遮挡对象；
如果可合成位置不在物体像素之上，对象不受物体遮挡。
本发明所述遮挡关系约束模型采用物体掩码覆盖的方式，物体掩码是由场景语义分割获取到的二值图像。
由于语义标签的误差以及网络模型的泛化性能受限，物体的语义分割图无法做到完全准确，尤其是在图像合成的过程中，像素级的误差都会带来严重的失真，即对象与物体的连接处存在较为明显的缝隙，因此，如图9所示，所述对对象的可合成位置所在布局区域的物体进行掩码提取的步骤包括：
掩码提取所述对象的可合成位置所在布局区域的物体区域；
计算所述物体区域的梯度，物体区域中(x，y)处的梯度为：
即物体区域中(x，y)处的梯度为一个向量，则该向量的大小和方向分别为：
其中，
梯度方向可以反映出图像灰度值变化最大的地方，所以物体掩码的像素边缘的梯度值是局部最大的。因此，计算场景图像物体局部区域的像素梯度值，局部梯度最大即为合理的连接处，逐像素缩小物体掩码，直至到局部梯度最大值处停止，获得物体的掩码边缘，输出物体的掩码，说明新的掩码边缘符合场景物体的真实边缘，在进行遮挡关系的处理时，有着更真实的视觉效果。
通过场景理解建立场景图像和对象的关系模型，从而合理的控制对象合成的位置、尺度等几何因素，进而实现具有多种交互关系的图像合成。然而，一幅真实的合成图像不仅要在几何关系上合理，而且对象和场景图像要相互兼容，以达到自然融合的效果，因此上述对象和场景合成方法，还包括：
在步骤s2中还构建对象风格关系约束模型，所述对象风格关系约束模型用于约束对象相对于场景的风格；
步骤s6，根据对象风格关系约束模型调整对象的原始图像的颜色风格，使得前景对象与场景自然融合；
步骤s7，将颜色风格调整后的对象按照所述尺度比例和遮挡关系在选定的可合成位置渲染，获得对象和场景的合成图像。
优选地，所述构建对象风格关系约束模型的步骤包括：
调整对象的亮度和饱和度使得对象与场景风格兼容，包括：将对象和场景在色彩空间中建立图像直方图，通过移动对象的相应统计量的图像直方图，以约束对象与场景的图像直方图的亮度和饱和度的一致性最大；
调整对象的局部对比度和相关色温使得对象与场景风格兼容，包括：通过局部对比度和相关色温结合hsl通道，调整对象的外观，使得对象和原始图像风格兼容。
在一个实施例中，如图10所示，所述调整对象的亮度和饱和度使得对象与场景风格兼容的步骤包括：
获得场景和对象的原始图像的rgb图像；
将rgb图像转化为hsl颜色空间图像，获得对象和场景对应的亮度直方图和色相-饱和度直方图，hsl中h、s、l分别代表色相、饱和度、亮度(hue，saturation，lightness)，(r，g，b)是rgb图像某个像素点的红、绿和蓝通道坐标，具体地：将场景的原始图像的rgb图像转化为hsl颜色空间图像，获得场景对应的亮度直方图和色相-饱和度直方图；将对象渲染成边缘轮廓规则的二维rgb图像，将对象的所述rgb图像转化为hsl颜色空间图像，利用掩码提取对象对应的有效像素，获取所述有效像素对应的对象的亮度直方图和色相-饱和度直方图，为了方便计算，首先将图像的rgb值归一化到[0，1]范围内，因此，r，g，b的值是在0到1之间的实数。设max为r，g，b中的最大值者，min为r，g，b中的最小值者。要找到在hsl空间中的(h，s，l)值，这里的h∈[0，360是色相角，s，l∈[0，1是饱和度和亮度，rgb和hsl模式的转换关系为：
利用对象对应的亮度直方图进行亮度控制和对比度调整，使得对象和场景的亮度和对比度一致；
利用对象对应的色相-饱和度直方图调整饱和度，使得对象和场景的饱和度一致。
在一个实施例中，所述调整对象的局部对比度和相关色温使得对象与场景风格兼容的步骤包括：
获得场景的原始图像的rgb图像；
将对象渲染成边缘轮廓规则的二维rgb图像；
将场景和对象的所述rgb图像转化为hsl颜色空间图像；
对于场景和掩码提取对象对应的有效像素的hsl颜色空间图像的每一个像素点，通过下式获得每一个像素点的局部对比度
其中，lx为像素亮度，
利用s曲线实现对象对应的有效像素的hsl颜色空间图像的像素级的亮度转换，正向s曲线和反向s曲线分别用来增强和减小局部对比度，使得对象与场景的对比度相匹配；
通过对对象对应的有效像素的hsl颜色空间图像进行相关色温调整，使得对象和场景的相关色温一致。
优选地，所述获得对象和场景的合成图像步骤之后还包括：
将所述合成图像作为初始合成图像，利用掩码提取初始合成图像中的对象，除对象外的初始合成图像为场景图像；
获得场景图像和对象的hsl颜色空间图像；
根据韦伯定律将亮度和饱和度转换为对数域，使用微倒度作为相关色温的单位，获得对象和场景图像的hsl颜色空间图像的亮度、饱和度、局部对比度和相关色温统计量，包括：
亮度和饱和度根据韦伯定律转换为对数域，即用log2y表示亮度空间(其中y＝[ε，1.0]，ε＝3.03×10-4用来防止未定义的对数值)；用log2s来表示hsl颜色空间的饱和度通道(s＝[ε，1.0])；用h表示在[0.0，1.0]范围内循环的色相值；
用微倒度(mired)作为相关色温(correlatedcolortemperature，cct)的单位：
其中，k为开尔文温度，自然采光范围在[1500，20000]之间，并用optprop工具计算图像的相关色温；
通过s曲线调整对象的局部对比度，如图11所示，利用s曲线实现像素级的亮度转换，正向s曲线和反向s曲线分别用来增强和减小局部对比度，通过s曲线将像素亮度lin映射为lout，在同一幅图像中，使用同样参数的s曲线。其中，s曲线的起始点为p0＝(0，0)，终止点为p1＝(1，1)，转折点pm为平均亮度值，并且该点将s曲线划分成上下两段子曲线，每段子曲线都是带有3个锚点的贝塞尔曲线(beziercurve)。pm，pu，p1为上段子曲线的3个锚点，pm，pd，p0为下段子曲线的3个锚点，它们分别控制着上下两段子曲线，s曲线的转换程度由pu和pd决定：
pu＝p11 α(p12-p11)，
pd＝p01 α(p02-p01).
其中，α为控制s曲线弯曲方向的参数，当α＜0.5时，即为增加局部对比度的s曲线；当α＞0.5，即为减小局部对比度的反s曲线。α＝0.5则退化为直线。在实验中，将α设定在[0.4，0.6]内，并不断搜索α的取值，以找到合适的曲线，使前景人物与场景图像的对比度相匹配；
将图像的亮度、饱和度、相关色温以及局部对比度作为调整目标，分别计算每个指标的统计量，并记作
通过s曲线调整对象的局部对比度
调整对象的亮度，使得对象和场景图像的亮度一致，
调整对象的相关色温，使得对象和场景图像的相关色温一致，
调整对象的饱和度，使得对象和场景图像的饱和度一致，
将调整后的对象在场景图像中的可合成位置进行重新渲染，获得调整后的合成图像。
上述对象和场景合成方法中，为了防止对比度调整之后，其他的指标会受到影响，将对比度调整步骤放在其他的调整步骤之前。
在一个优选实施例中，如图1和图12所示，还包括：
向客户端提供用户交互界面，所述用户交互界面提供多种场景、多种对象、多个可合成位置供客户端选择，并反馈客户端选择的对象在场景中的可合成位置的合理性，所述合理性是指符合对象位置关系约束模型、对象尺度关系约束模型、对象遮挡关系约束模型和对象风格关系约束模型。
本发明还提供一种基于室内场景的对象和场景合成系统，将对象合成到场景中，包括：
图像采集模块，获得对象和场景的原始图像；
模型构建模块，构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；
可合成位置获得模块，根据对象位置关系约束模型获得对象在场景中的可合成位置；
尺度比例获得模块，根据对象尺度关系约束模型获得对象相对于场景的尺度比例；
遮挡关系获得模块，根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；
合成模块将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行风格渲染，获得对应的对象和场景的合成图像；
其中，所述模型构建模块包括：
语义分割网络，输入是场景的原始图像的rgb图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签；
语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括图像场景、墙壁和地面的连接处，墙壁和墙壁的连接处以及墙壁和天花板的连接处，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签；
场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签；
可合成位置限定单元，根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑。
在一个实施例中，模型构建模块还构建对象风格关系约束模型，所述对象风格关系约束模型用于约束对象相对于场景的风格；基于室内场景的对象和场景合成系统还包括风格融合模块，根据对象风格关系约束模型调整对象的原始图像的颜色风格，使得对象与场景自然融合；合成模块将颜色风格调整后的对象按照所述尺度比例和遮挡关系在选定的可合成位置渲染，获得对象和场景的合成图像。
本发明之基于室内场景的对象和场景合成系统的具体实施方式与上述基于室内场景的对象和场景合成方法具体实施方式大致相同，在此不再赘述。
上述基于室内场景的对象和场景合成方法及系统将场景理解与室内图像合成相结合。通过室内场景布局估计和语义分割，建立室内场景图像的三维结构表示，并计算场景图像中地面区域可合成位置的概率分布，以此作为合成位置的采样依据。在此基础之上，根据不同的合成位置，约束合成人物的尺度大小以及遮挡关系。建立合成人物与场景图像之间的风格关系，通过匹配二者的亮度、饱和度、对比度以及色温等统计量，以调整合成人物的风格与场景图像一致，进而使合成的新图像更加真实。将人物模型与室内场景图像的合成任务界面化。一方面，可以指定待合成位置，根据合成位置概率确定指定位置的合理性，当指定位置合理时，合成相应的新图像；另一方面，提供360°人物模型的渲染视角，并与场景图像完成实时的图像合成。
现有技术比较常用的人物-场景的合成方法能够合成符合场景上下文信息的人物，并且在几何和外观上有较为真实的表现。但是，现有的方法通常是将人物作为前景合成在场景图像中，即人物与场景物体的遮挡关系较为单一，且人物的合成位置也不够多样。因此，通过对室内场景图像的全局和局部理解工作，建立人物可合成位置的概率分布模型，并以场景图像中对应位置的物体像素掩码来实现透视投影中的遮挡现象，这样可以使合成人物与场景物体在不同的位置具有不同的遮挡关系，合成的图像更加真实合理。
在本发明所提供的几个实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
1.一种基于室内场景的对象和场景合成方法，其中，将对象合成到场景中，包括：
获得对象和场景的原始图像；
构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；
根据对象位置关系约束模型获得对象在场景中的可合成位置；
根据对象尺度关系约束模型获得对象相对于场景的尺度比例；
根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；
将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行渲染，获得对应的对象和场景的合成图像；
其中，所述构建对象位置关系约束模型的步骤包括：
构建语义分割网络，所述语义分割网络的输入是场景的原始图像的rgb图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签；
构建语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括图像场景、墙壁和地面的连接处，墙壁和墙壁的连接处以及墙壁和天花板的连接处，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签；
构建场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签；
根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑。
2.根据权利要求1所述的对象和场景合成方法，其中，还包括：
构建对象风格关系约束模型，所述对象风格关系约束模型用于约束对象相对于场景的风格；
根据对象风格关系约束模型调整对象的原始图像的颜色风格，使得对象与场景自然融合；
将颜色风格调整后的对象按照所述尺度比例和遮挡关系在选定的可合成位置渲染，获得对象和场景的合成图像。
3.根据权利要求1所述的对象和场景合成方法，其中，所述构建对象位置关系约束模型的步骤还包括：
获得墙壁和地面的连接处及墙壁和天花板的连接处的布局标签对应的边缘节点，包括：将场景布局估计网络的布局输出图像的边缘像素展开为一维向量，将每个边缘区段的中间点像素，作为边缘节点；
获得墙壁和墙壁连接处的布局标签对应的中间节点，包括：利用霍夫变换检测墙壁与墙壁之间的竖直线段，线段的端点为中间节点；
连接边缘节点和中间节点，生成场景的布局结构图。
4.根据权利要求1所述的对象和场景合成方法，其中，所述构建对象尺度关系约束模型的步骤包括：对象的尺度大小以室内场景的墙高为参考，对象与墙壁之间的距离为自变量，对象的尺度为因变量，呈线性变化。
5.根据权利要求1所述的对象和场景合成方法，其中，所述构建遮挡关系约束模型的步骤包括：
对对象的可合成位置所在布局区域的物体进行掩码提取；
判断对象的可合成位置是否在物体像素之上；
如果可合成位置在物体像素之上，所述物体遮挡对象；
如果可合成位置不在物体像素之上，对象不受物体遮挡。
6.根据权利要求2所述的对象和场景合成方法，其中，所述构建对象风格关系约束模型的步骤包括：
调整对象的亮度和饱和度使得对象与场景风格兼容，包括：将对象和场景在色彩空间中建立图像直方图，通过移动对象的相应统计量的图像直方图，以约束对象与场景的图像直方图的亮度和饱和度的一致性最大；
调整对象的局部对比度和相关色温使得对象与场景风格兼容，包括：通过局部对比度和相关色温结合hsl通道，调整对象的外观，使得对象和场景图像风格兼容。
7.根据权利要求1所述的对象和场景合成方法，其中，所述获得对象和场景的合成图像步骤之后还包括：
将所述合成图像作为初始合成图像，利用掩码提取初始合成图像中的对象，除对象外的初始合成图像为场景图像；
获得场景图像和对象的hsl颜色空间图像；
根据韦伯定律将亮度和饱和度转换为对数域，使用微倒度作为相关色温的单位，获得对象和场景图像的hsl颜色空间图像的亮度、饱和度、局部对比度和相关色温统计量；
通过s曲线调整对象的局部对比度；
调整对象的亮度，使得对象和场景图像的亮度一致；
调整对象的相关色温，使得对象和场景图像的相关色温一致；
调整对象的饱和度，使得对象和场景图像的饱和度一致；
将调整后的对象在场景图像中的可合成位置进行重新渲染，获得调整后的合成图像。
8.根据权利要求1所述的对象和场景合成方法，其中，还包括：
向客户端提供用户交互界面，所述用户交互界面提供多种场景、多种对象、多个可合成位置供客户端选择，并反馈客户端选择的对象在场景中的可合成位置的合理性，所述合理性是指符合对象位置关系约束模型、对象尺度关系约束模型、对象遮挡关系约束模型和对象风格关系约束模型。
9.根据权利要求1所述的对象和场景合成方法，其中，所述构建对象位置关系约束模型的步骤还包括：
根据可合成位置的像素区域，通过下式获得各合成位置的概率
其中，(x,y,0)表示一个可合成位置，s为所有可合成位置组成的像素区域。
10.一种基于室内场景的对象和场景合成系统，其中，将对象合成到场景中，包括：
图像采集模块，获得对象和场景的原始图像；
模型构建模块，构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；
可合成位置获得模块，根据对象位置关系约束模型获得对象在场景中的可合成位置；
尺度比例获得模块，根据对象尺度关系约束模型获得对象相对于场景的尺度比例；
遮挡关系获得模块，根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；
合成模块将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行风格渲染，获得对应的对象和场景的合成图像；
其中，所述模型构建模块包括：
语义分割网络，输入是场景的原始图像的rgb图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签；
语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括图像场景、墙壁和地面的连接处，墙壁和墙壁的连接处以及墙壁和天花板的连接处，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签；
场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签；
可合成位置限定单元，根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑。
技术总结