您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给skura
发送

2

涂鸦秒变真实风景,NVIDIA GauGAN让你也可以拥有天才之笔!

本文作者:skura 2019-03-19 18:21
导语:NVIDIA 技术团队利用生成对抗网络创建高度逼真场景

雷锋网 AI 科技评论按,一个新手画家可能会用画笔在画布上画画,目的是创作一幅壮美的日落景观图——崎岖的、白雪覆盖的山峰倒映在清澈的湖泊中——但最终画出来的只不过是一些看起来更像多色墨水点的东西。

涂鸦秒变真实风景,NVIDIA GauGAN让你也可以拥有天才之笔!

但是,由 Nvidia Research 开发的深度学习模型却恰恰相反:它可以轻松地将粗糙的涂鸦变成照片级的写实杰作。该工具利用生成的对抗网络(GANs)将语意分割图转换为逼真的图像。

这款使用该模型的交互式应用程序,轻轻松松地就达到了后印象派画家的水平,它被命名为 GauGAN。

涂鸦秒变真实风景,NVIDIA GauGAN让你也可以拥有天才之笔!

后印象派画家 Paul Gauguin 画了几幅自画像,包括这幅自 1885 年起就收藏在 Kimbell 艺术博物馆的作品(照片来自 Wikimedia Commons)。

GauGAN 可以为从建筑师、城市规划者到景观设计师和游戏开发商的每个人提供一个强大的工具来创建虚拟世界。有了一个能够理解现实世界的人工智能,这些专业人员可以更好地设计出想要的原型,并快速改变它们。

NVIDIA 应用深度学习研究院副总裁 Bryan Catanzaro 说:「用简单的草图进行头脑风暴设计要容易得多,而且这项技术能够将草图转换成高度逼真的图像。」

Catanzaro 将 GauGAN 背后的技术比作「智能画笔」,它可以在粗略的语意分割图(即显示场景中对象位置的高级轮廓)中填充细节。

GauGAN 使用户可以画出语意分割图,并合成自己需要的场景,其中,这些分割图都需要相应的标签,如天空、大海或者雪。

经过 100 万张图片的训练,深度学习模型通过结果来填充景观:在池塘中画画,附近的元素如树木和岩石将在水中映射。将一个段标签从「草地」换成「雪」,整个图像将变为冬季场景,原来枝繁叶茂的树木则变成了不毛之地。

Catanzaro 说:「这就像一幅彩色的图画,描绘了一棵树在哪里,太阳在哪里,天空在哪里。」然后,神经网络能够根据对真实图像的了解,填充所有细节和纹理,以及反射、阴影和颜色。

由于 GANs 是由一对网络——生成器和对抗器组成的,因此,尽管缺乏对真实世界的了解,但它仍然可以生成让人满意的图像。生成器创建图像并呈现给对抗器。对抗器在真实图像上训练后,反馈给生成器如何逐素提高合成图像的真实性。

经过对真实图像的训练后,对抗器知道真实的池塘和湖泊是包含反射的——因此生成器学会了创造令人惊叹的逼真图像。

该工具还允许用户添加样式过滤器,更改生成的图像以适应特定画家的风格,或将日间场景更改为日落场景。

Catanzaro 说:「这项技术不仅仅是将其他图像拼接在一起或者剪切和粘贴纹理,它实际上是合成新的图像,这和艺术家创造新东西的方法非常相似。」

虽然 GauGAN 应用程序专注于陆地、海洋和天空等自然元素,但底层的神经网络也有能力填充其他景观特征,包括建筑物、道路和人等。

关于 GauGAN 的研究论文已被 6 月的 CVPR 会议评为 Oral 论文——而获得这一殊荣的论文不到提交论文总数的 5%。

在此之前,雷锋网也报导过一篇 ICCV 2017 论文,关于用端到端网络生成非常逼真的高分辨率图像的文章,文中的方法却并没有用到 GANs。查看这篇文章可以点击:如此逼真的高清图像居然是端到端网络生成的?GANs 自叹不如 | ICCV 2017

via:https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/?ncid=so-twi-gj-78527

雷锋网

雷峰网版权文章,未经授权禁止转载。详情见转载须知

涂鸦秒变真实风景,NVIDIA GauGAN让你也可以拥有天才之笔!

分享:
相关文章
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说