Dali代表作《记忆的永恒》和机器人总动员海报。
在博客上,OpenAI也大秀了一把DALL·E的“超强想象力”,随意输入一句话,DALL·E就能生成相应图片,这个图片可能是网络上已经存在的图片,也可能是根据自己的理解“画”出的。
输入文本分别是:穿芭蕾舞裙遛狗的萝卜、牛油果形状的扶手椅、将上部的图片素描化
DALL·E是如何实现先理解文字,再创造图片的呢?
那首先要从理解token开始,语言学中对token的定义是词符,或者标记。对于英语来说,每个字母就是一个token,每一个单词就是一个tokens。
但在NLP中,tokens并不一定代表完整的单词,如re、ug等没有实际意义的字母组合也算一个tokens。
在最早提出Transformer架构的论文《Attention is all you need》里,就提到了BPE(Byte-Pair Encoding)编码方法,简单来说,BPE就是通过分析训练集中每个单词的组成,创建一个基础词汇表,词汇表里涵盖了一定数量最常用的tokens。
模型中tokens的数量是超参数,也就是训练模型中人为规定的。
DALL·E同时包含着BPE编码的文本和图像词汇表,分别涵盖了16384、8192个tokens。
当需要生成图片时,它以单一数据流的形式,接收1280个文本和图像的tokens(文本256个tokens,图像1024个tokens),建立回归模型。
与大多数Transformer模型一样,DALL·E也采用自注意力机制(Self-Attention),分析文本内部的联系。
在DALL·E的64层自注意层中,每层都有一个注意力mask,就是为了使图像的每个tokens都能匹配文本tokens。
OpenAI也表示,更具体的架构和详细训练过程会在之后的博客中公布。
二、普适的DALL·E:从改变物体关系到创造“不存在”比起长篇累牍地描述自己模型的优越性,OpenAI则是用大量实测案例证明了自己。
1、改变单个物体的某个属性
如动图所示,我们可以通过简单地改变按钮选项,将钟改为花盆,再将绿色改为黄色,再将三角形改为正方形。
输入文本:日出时,坐在田野上的水豚的绘画像。
6、不存在的物品
DALL·E还具有将完全不同的物品合成起来的能力,创造一些现实世界不可能出现的物体。
相关文章
猜你喜欢