您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
人工智能 正文
发私信给雷锋字幕组
发送

1

T2F:所述即所见,使用深度学习,文本一键生成人脸

本文作者:雷锋字幕组 2018-07-12 11:53
导语:未来,人人皆能导演电影,谁来主演,写段文本就好啦~

雷锋网按:本文为雷锋字幕组编译的技术博客,原标题 T2F: Text to Face generation using Deep Learning,作者为 Animesh Karnewar。

翻译 | 赵朋飞    整理 |  凡江


T2F:所述即所见,使用深度学习,文本一键生成人脸

由 T2F 基于相应的描述生成的示例图像

项目的代码可以在我的版本库获得:https://github.com/akanimax/T2F


简介

阅读小说时,我经常好奇小说中描述的角色在现实中会是怎样的。从整体想象任务角色是可行的,但要将描述变为更为深刻的细节是相当有挑战的,而且经常不同的人有不同的解释。很多时候,我只能想象到一个非常模糊的面孔,直到故事的结尾。只有书本被翻译成电影时,模糊的面孔才会被细节所填满。例如,我无法想象《列车上的女孩》中 Rachel 的具体长相。但当这部电影播出时,我可以将 Emily Blunt 的脸和 Rachel 联系起来。演员们肯定付出了很多努力才能从剧本中准确获得角色。

T2F:所述即所见,使用深度学习,文本一键生成人脸

图片来源:http://www.finalreel.co.uk/the-girl-on-the-train-release-date-2016/

这个问题激发了我的灵感,激励我去寻找解决问题的办法。之后,我们开始通过研究深度学习文献寻找类似的东西。幸运的是,有大量的从文本中合成图像的研究可供参考。下面是我参考的一些资料。

  1. https://arxiv.org/abs/1605.05396「Generative Adversarial Text to Image Synthesis」

  2. https://arxiv.org/abs/1612.03242「StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks」

  3. https://arxiv.org/abs/1710.10916「StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks」

通过研究文献资料,我提出了一种比 StackGAN++更简单的架构,并且很容易解决问题。在随后的章节,我将解释所做的工作并分享到目前为止获得的初步结果。我也将提到一些代码和训练细节,这些花费了我很多时间才弄清楚。


数据分析

用于创建深度学习模型的数据毫无疑问是最原始的人工制品:正如吴恩达教授在他的 deeplearning.aicourses 上所说「在机器学习领域成功的人并不是哪些拥有优秀算法的人,而是拥有优秀数据的人」。因此,我开始寻找一组有漂亮、丰富和多样的文本描述的脸部数据集。我偶然发现了大量的数据集要么仅仅只有人脸,要么是人脸和 ID(用于识别),要么是含有其他信息的人脸数据,比如眼睛颜色:蓝,脸型:椭圆,头发:金色,等。但这都不是我所需要的。我最终的选择是使用一个早期的项目(从结构化数据中生成自然语言描述),在这个早期的项目中实现了从结构化数据生成自然语言摘要。但这会对已经充满噪声的数据集再增加噪声信息。

随着时间的流逝和研究的进展,提出了 Face2Text:收集一个带注释的图像描述语料库,用于生成丰富的面部描述:这就是我想要的。特别感谢 Albert Gattand Marc Tanti 提供了 Face2Text 数据集的 v1.0 版本。

Face2Text v1.0 版本数据集包含 400 个随机从 LFW(自然环境下已标记的人脸数据)选择的图像的自然语言描述。这些描述被清理干净,去除了那些对图片中人物的不相关的说明。其中一些描述不只描述了脸部特征,也提供了一些图片的隐藏信息。例如,其中一个脸部描述:「照片中的人可能是一个罪犯」。基于这些因素,以及数据集相对较小,我决定使用它证明我的架构。最终,我们可以扩展这个模型,并灌输更大、更多样的数据集。


架构

T2F:所述即所见,使用深度学习,文本一键生成人脸

从文字描述中生成人脸的 T2F 架构

T2F 架构结合了 2 个 stackGAN 架构(之前已提到),使用条件增强的文本编码和 ProGAN(衍生自 GAN),用于合成面部图像。原始的 stackgan++ 架构在不同的空间分辨率下使用了多个 GAN,我发现对于任何给定的分布式匹配问题,都是有点过分了。而 ProGAN 仅使用一个 GAN,通过不断增加分辨率来逐步训练。所以我决定将这两部分结合起来。

为了更好解释网络中的数据流,这里有一些要点:通过 LSTM 网络嵌入(psy_t)将文本描述编码成摘要向量,如框图所示。嵌入被传入条件增强模块(单独线性层)以获取隐向量的文本部分(使用类似于重新参数化技术的 VAE)作为 GAN 输入。隐向量的第二部分是随机高斯噪声。隐向量输入 GAN 的生成模块,而嵌入被输入到鉴别器最后一层用于条件增强匹配。对 GAN 的训练正如 ProGAN 论文中提到的一样;即一层一层地增加空间分辨率。新层是使用 fade-in 技术引入的,以避免破坏以前的学习。


实现和其他细节

该架构是使用 PyTorch 框架在 python 中实现的。我之前使用 tensorflow 和 keras,所以这次我想尝试一下 PyTorch。我非常喜欢使用 python 本地调试器来调试网络架构;这是 eager execution 策略的优势。TensorFlow 目前也包含一个 eager execution 模式。不管怎样,这不是一个关于哪个框架更好的辩论,我只是想强调一下这个体系结构的代码是用 PyTorch 写的。你可以在我的 github repo 上找到代码实现和如何执行的笔记,https://github.com/akanimax/T2F

我发现这个架构的很多部分是可以重用的。特别是 ProGAN(有条件或无条件的)。因此,我将他们作为 PyTorch 模块扩展单独编写,也可以用于其他数据集。您只需要指定 GAN 的深度和最新/特性大小,模型就会产生适当的架构。对于任何您可能想要的数据集,GAN 都可以逐步接受训练。

训练细节

我使用不同的超参数训练了相当多的版本。如前一节所述,与训练有关的细节如下:

  1. 因为,在鉴别器中没有 batch-norm 或 layer-norm 操作,WGAN-GP 损失(用于训练)可能会激增。为此,我使用了 lamda=0.001 的漂移惩罚。

  2. 为了控制从编码文本中产生的潜在的流形,我们需要使用 KL 散度(在 CA 的输出和标准正态分布之间)在生成器的损失中。

  3. 为了使生成的图像更好地符合输入文本的分布,使用匹配鉴别器的 WGAN 变体是有帮助的。

  4. 对于较低层次的层,需要的 fade-in 时间比在底层的时间要多。为了解决这个问题,我使用了一个百分比(确切地说,是 85%),在训练的时候,它会在新层上增加。

  5. 我发现,与较低分辨率的样本相比,更高分辨率(32 x 32 和 64 x 64)生成的样本具有更多的背景噪声。我认为这是由于数据量不足导致(只有 400 张图片)。

  6. 对于渐进训练,在较低的分辨率下花费更多的时间(更多的时间),并为更高的分辨率减少适当的时间。

下面的gif显示了生成器的训练时间延迟。该gif是使用 GAN 在不同空间分辨率下训练过程中产生的图像创建的。

T2F:所述即所见,使用深度学习,文本一键生成人脸

T2F 训练时间延迟


结论

从初步结果中,我可以断言 T2F 是一个可行的项目,有一些非常有趣的应用。例如,T2F 可以帮助从描述中识别出罪犯/受害者。基本上,我们需要一些领先的方面来激发想象力的应用。我将致力于扩展这个项目,并在 Flicker8K 数据集、Coco 标题数据集等方面对其进行基准测试。欢迎提出建议。

GAN 的逐步增长是一种非凡的技术,可以更快、更稳定地训练 GAN。这可以与其他论文的新颖的贡献相结合。应用约束 GAN 训练的技巧,我们还可以在许多领域使用 GAN。

原文链接:https://medium.com/@animeshsk3/t2f-text-to-face-generation-using-deep-learning-b3b6ba5a5a93

T2F:所述即所见,使用深度学习,文本一键生成人脸

雷锋网(公众号:雷锋网)雷锋网

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
最新文章
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介