大家好，我是阿潘，
顶会顶刊又出了有好多好玩的工作可以耍了
今天来玩一个 Text2Human 仅通过提供关于性别和衣服的文字描述来生成一个人的图像。
代码：https://github.com/yumingj/Text2Human 论文：https://arxiv.org/pdf/2205.15996.pdf 标题：Text2Human: Text-Driven Controllable Human Image Generation
视频demo：
摘要
生成高质量和多样化的人类图像是视觉和图形中一项重要但具有挑战性的任务。然而，现有的生成模型往往在服装形状和纹理的高度多样性下达不到要求。此外，甚至希望生成过程对于外行用户来说是直观可控的。在这项工作中，我们提出了一个文本驱动的可控框架 Text2Human，用于高质量和多样化的人类一代。我们从给定的人体姿势开始通过两个专用步骤合成全身人体图像。 1）对于一些描述衣服形状的文本，首先将给定的人体姿势转换为人体解析图。2）然后通过为系统提供更多关于衣服纹理的属性来生成最终的人体图像。具体来说，为了对服装纹理的多样性进行建模，我们构建了一个分层纹理感知码本，用于存储每种纹理的多尺度神经表示。粗略级别的码本包括纹理的结构表示，而精细级别的码本侧重于纹理的细节。为了利用学习到的分层码本来合成所需的图像，首先使用混合专家的基于扩散的变换器采样器从码本的最粗略级别采样索引，然后用于预测更精细级别的码本索引。解码器将不同级别的预测索引转换为人类图像，并结合分层码本进行学习。混合专家的使用允许生成以细粒度文本输入为条件的图像。对更精细级别指数的预测改进了服装纹理的质量。广泛的定量和定性评估表明，与最先进的方法相比，我们提出的 Text2Human 框架可以生成更加多样化和逼真的人类图像。
Raw Dataset
DeepFashion-MultiModal，具有丰富多模态标注的大规模高质量人体数据集。它具有以下属性：
- 高分辨率人体照片共44096张，全身12701张
- 每个完整的人体图片手动标注了 24 个类别的人类解析标签
- 仔细标注每个完整身体图像的关键点
- 对于每张人类图片，我们提取 DensePose
- 每个图像都用服装形状和纹理属性手动标记
- 对于每张照片，都包含文字说明
Dataset pre-processing
以下组件构成了预处理pipeline：
- 根据人体姿势将人体对齐到在图像中心
- 将衣服颜色和面料标注组合成一个纹理标注
- 整理标注，并应用一些图像过滤
- 将整个数据集分为两组：训练和测试
模型训练
在模型训练期间，从训练解析生成网络开始。然后，训练分层 VQ-VAE 的顶层。（VQ-VAE是Vector Quantized Variational Autoencoder。VQ-VAE是在Neural Discrete Representation Learning中提出的）
https://arxiv.org/abs/1711.00937
此外，用专家混合训练采样器。要训练采样器，首先要训练一个模型来标记解析图。最后，训练索引预测网络。
Results
源码：https://github.com/yumingj/Text2Human ，作者还提供了 UI 界面，仅需要对衣服 和 纹理 进行描述即可生成最终的结果。
另外 huggingface 也提供了一个在线demo：https://huggingface.co/spaces/hysts/Text2Human
下面是我测试的结果
目前还没有太摸清这些描述词如何设置才能生成比较理想的结果，试了几个好像并不是非常完美，大家感兴趣可以去试试哈
今天的分享就到这里，大家喜欢的话，可以多多支持，感谢！
