DALL·E 3 System Card
2023年10月3号，由OpenAI发布
1 Introduction
- DALL-E 3 是一个人工智能系统，它将文本提示作为输入，并生成新图像作为输出。DALL-E 3 建立在 DALL-E 2的基础上，提高了字幕保真度和图像质量。
- DALL-E 3 集成到了 ChatGPT / GPT-4中，流程是：
用户提供相对模糊的图像请求描述 -> GPT4 -> 生成细节提示词 -> DALL-E 3 -> 生成高质量细节图像（降低了用户描述和图像质量的GAP）
1.1 Mitigation Stack
- 数据过滤：暴力等不健康的内容
- 过滤算法：在DALL-E 2基础上，降低了暴力等宽泛过滤阈值。降低这些过滤器的选择性，可以增加我们的训练数据集，减少模型对生成女性的偏差
- 安全措施：
- ChatGPT：会拒绝用户输入的不健康内容
- 提示输入分类器：识别ChatGPT和用户对话中可能侵犯使用政策的信息并拒绝
- 拦截列表：我们根据以前在 DALL-E 2 上的工作、主动风险发现和早期用户的结果，维护了各种类别的文本屏蔽列表
- 提示转化：ChatGPT 可改写已提交的文本，以便更有效地进行提示 DALL-E 3 更有效。该流程还用于确保提示符合我们的准则，包括删除公众人物的名字，以特定属性的人物为基础、并以通用方式书写品牌对象
- 图像输出分类器： 开发了图像分类器，可对 DALL-E 3 生成的图像进行分类。如果这些分类器被激活，可能会在输出之前阻止图像。
2 Deployment Preparation
早起版本中先测试，分析了这些部署所产生的数据，以进一步改进 DALL-E 3 在风险领域的行为，如公众人物世代、人口偏见和sexual内容。我们发现，在试验中，包含人物描写的图片主要倾向于白人、年轻人和女性。为此，我们调整了 ChatGPT 的的用户提示转换，以指定更多样化的人物描述。
- 大量的风险分析以及分类器等缓解措施，降低不健康内容的出现概率
image-20231011115616205
image-20231011115537430
image-20231011115527139
- ......，侵权的不行，那还搞啥，他喵的！
- 比如艺术家风格作品，不行
- 比如公众人物，不行
- 比如不穿衣服，不行
image-20231011115000785
- 描述越详细越好，也就是附加多种属性
image-20231011115254636
- 年龄、性别、人种分布（20-29岁，白种人，女性 占大头）
image-20231011115416813
3 DALL-E 3 体验入口
微软的Bing浏览器可以，但是国内被屏蔽
- https://bing.com/chat
- https://cn.bing.com/create
4 改进总结
- DALL-E 2 原理
- CLIP文本编码器将图像描述映射到表示空间；
- 然后扩散先验从CLIP文本编码映射到相应的CLIP图像编码；
- 最后，修改版的GLIDE生成模型通过反向扩散从表示空间映射到图像空间，生成众多可能图像中的一个
- 海量数据对
image-20231011120509580
- DALL-E 3 改进
- 最大的改进，就是样本质量的提高，其次模型结构微调了（论文未披露），最后就是GPT加持提示词转化精度更高
