Deep Convolution Inverse Graphics Network 算法实验数据集

2021-12-15 15:31:12 浏览数 (1)

该数据集为 Deep Convolution Inverse Graphics Network 算法实验数据集。该算法通过生成模型,对图像的平面旋转、光照片画和纹理进行建模。

本文介绍了深度卷积逆向图形网络(DC-IGN),该网络旨在学习可解释的图像表示形式,该图像对于各种变换(例如,对象平面外旋转,光照变化和纹理)是不相关的。DC-IGN模型由多层卷积和反卷积算子组成,并使用随机梯度变化贝叶斯(SGVB)算法(Kingma和Welling)进行训练。我们提出了训练程序,以鼓励图形代码层中的神经元具有语义含义,并迫使每个组分别代表特定的变换(姿势,光线,纹理,形状等)。

给定静态的人脸图像,我们的模型可以重新生成输入图像,该输入图像具有与基础人脸不同的姿势,光照甚至纹理和形状变化。我们提供模型功效的定性和定量结果,以学习3D渲染引擎。此外,我们还将学习到的表示形式用于两个重要的视觉识别任务:

(1)不变脸部识别任务;

(2)将表示形式用作生成建模的摘要统计量。

我们的模型演示在(a)仰角和(b)方位角以及(c)轻神经元上使用不同的3D扫描重新渲染给定的静态图像。

模型架构

深度卷积逆图形网络(DC-IGN)具有编码器和解码器。我们遵循具有多种变体的变体自动编码器(Kingma和Welling)架构。编码器由几层卷积组成,然后是最大池,而解码器则有几层解卷层(使用最近邻居的上采样),然后是卷积。(a)在训练期间,数据(x)通过编码器传递,以产生后验逼近Q(z_i | x),其中z_i由场景潜在变量(例如姿势,光线,纹理或形状)组成。为了学习DC-IGN中的参数,使用以下变分对象函数,使用随机梯度下降来反向传播梯度:-log(P(x | z_i)) KL(Q(z_i | x)|| P(z_i))对于每个z_i。我们可以通过显示带有一组非活动和活动转换(例如,面部旋转,沿某个方向的光扫掠等)的迷你批处理来强制DC-IGN学习纠缠的表示。(b)在测试期间,数据x可以通过编码器传递以获得潜伏z_i。只需操纵适当的图形代码组(z_i),就可以将图像重新渲染到不同的视点,光照条件,形状变化等,这就是操纵现成的3D图形引擎的方式。

感兴趣的同学可以访问帕依提提网站下载使用,https://www.payititi.com/opendatasets/show-26350.html

0 人点赞