您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
AR/VR 正文
发私信给奕欣
发送

0

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

本文作者:奕欣 2016-12-06 21:41
导语:我们所能做的,是把亲手设计的产品首度应用在符合自己价值观的地方,并且不遗余力地帮助公众理解和接受。

SIGGRAPH Asia 大会已经进行到第二天,包括 VR、计算机视觉处理等多个领域的展览也于今天正式开幕。如果说昨天还只是前菜的话,那么今天主菜就要新鲜出炉了。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

来自谷歌 DayDream 团队的 Paul Debevec 1996 年在 UC 伯克利大学取得博士学位,在动画制作及计算机图像领域有着丰富经验,可以称得上是电影节的技术泰斗,他在今年六月加盟谷歌 DayDream 团队。

今天早上,Debevec 做了名为《如何把高拟真的虚拟人物应用于电影、游戏及 VR》的主题演讲。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

从当年玩着 64 KB 的电脑到高中摄影社助理,Debevec 对计算机图像产生了很浓的兴趣。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

1996 年在 UC 伯克利大学取得计算机科学博士学位后,他着手采用高分辨率计算机生成虚拟图像,并于 1997 年首次在他自己导演的电影短片《The Campanile Movie》中展示,而《黑客帝国》中驰名的「子弹时间」(bullet time)也是基于这种技术改进而成。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

我们在影院中也已经能看到不少基于 CG 技术的科幻动作形象:《侏罗纪公园》的恐龙、《阿凡达》的 XX、《火星救援》里穿着宇航服的马特达蒙,甚至是《速度与激情 7》里「死而复生」的保罗,都是计算机的杰作……随着技术的进步,人物的数字化已经成为了电影制作的一种必然趋势。但是,由于光照会在人脸上形成阴影,如果简单粗暴地将实地拍摄好的人脸「照搬」到电影场景中,逼真程度就会大打折扣。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

Debevec 在会上介绍了他在 2000 年设计研发的一种方法——基于图像的光照技术(Image-Based Lighting),简单说来,就是采用真实光源来测量 CG 对象的一种方式。一开始 Debevec 的方法是用单个摄像机反复多次环绕拍摄人脸,再利用拍摄所获得的数据,利用构建好的反射函数生成三维图像。这个图像在算法作用下,可以应用于任何的场景,人脸也能够反映出目标场景下的阴影变化情况。不过后来增加到多个摄像头环绕同时拍摄,这样效果更能接近真实情况。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

为了营造更好的灯光效果及建模精度,Debevec 首先对多光谱照明进行了改进(Multispectral Lighting Reproduction)。一开始他采用的是一款含有 18 个 LED 灯(8 红、5 绿、5 蓝)的 MR 灯,但后来改用了只含有六个 LED 灯,但含有更多原始颜色的光源,为的是更好地在自然环境下覆盖几乎所有可能想象的颜色。经过几次改良后,最终变成了现在下图的样子。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

除了从设备上下功夫外,软件的要求也同样不能落下。实际上,动态化的人物面部表情捕捉比起静态的人物而言更加困难。其中最为典型的一个例子便是 2008 年的「数字化的 Emily」(Digital Emily),Debevec 采用上述所说的技术,让演员 Emily O'Brien 在一个布满 165 个 LED 灯和摄像机的大圆球内拍摄了一组动态的面部表情照片。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

第一行表示的是四个球面光照在不同级别亮度下,Emily 所拍摄的照片;

第二行表示的是加上高光之后的脸部变化。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

每个照明方向都会拍摄下数以百计的表情图片,研究者们根据这些数据模拟出了一个数字化的 Emily。看看成果,是不是非常逼真呢?

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

根据同样的原理,《阿凡达》中的女主、迪士尼《奇幻森林》里的人熊共舞,也是用这样的技术实现的。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

在《乌龙特工》(Central Intelligence)中,只需要拍摄下道恩强森所有的面部表情,就能把他俊朗的脸安在高中时代胖胖憨厚,一身肥肉的 Bob Stone 身上了。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

Debevec 还提到,奥巴马也同样在美国白宫用这类技术拍摄了自己的多角度,并凭此制造出了他的半身像。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

此外,这项技术还能把虚拟人物带到教室中去,让学生向二战幸存者进行提问和互动。

谷歌Paul Debevec:如何打造堪比真人的虚拟形象?(附PPT)|SIGGRAPH Asia 2016

诸如此类的应用不计其数,那么它的真正意义又在哪里呢?在演讲的最后,Debevec 解开了我们心中的谜题:

  • 对于演员来说,技术实际上并不会让演技变得无关紧要,相反它会是一种锦上添花的事物,能让演员挑战更多的角色,此外,游戏和虚拟现实行业通过这种技术,能够推动自动化技术的诞生。

  • 而对于像好莱坞这样的内容制作方而言,原本需要大量人力劳力去完成的实景拍摄,现在可以直接坐在电脑前完成。

  • 对于图形学研究者来说,目前利用多摄像头拍摄来制造虚拟化人物的方式还很昂贵,并且依然对技术的要求有着不少要求,Debevec 希望相关的研究人员能够降低成本,让这项技术成为普适性更强的东西。

  • 而最后一点则是技术对于真相的意义。此前为了测试学生的数字化技术水平,老师会让学生们将处理过的照片放上网络,看看是否能蒙骗过网民的眼睛。这当然只是一种戏谑的玩法,但人们如何能在真假难辨的信息中去伪存真,技术又应该承担怎样的角色呢?

「我们在座的每个人都应该时刻提醒自己,自己正在创造的工具是有多么强大。技术能够用来教化、用来启迪、用来娱乐,但它也同样可以被用来欺骗、用来压制、用来篡改真相。我们所能做的,是把亲手设计的产品首度应用在符合自己价值观的地方,并且不遗余力地帮助公众理解和接受。

雷锋网(公众号:雷锋网)小编在会后与 Debevec 进行了简短的交流。

雷锋网:您在今年 6 月加入了谷歌团队,继 DayDream 之后,现在主要负责的是哪方面的内容,是否会和您的老本行有联系?

Debevec: 我还是很期待能做些和制作电影有关系的工作的,不过现在主要还是集中于开发新产品,比如和相机有关的一些内容。

雷锋网:您在演讲中主要介绍的是基于图像的光照技术,而 SIGGRAPH 的本次会议覆盖了很多虚拟现实的技术,那么您认为这两者可以实现怎样的结合?

Debevec :我认为基于图像的光照技术更多地会应用于 AR 领域。如果你想以一种更清晰的方式看到面前的某个事物,这类技术会是 AR 所需要的。又或者,你可以采用光照技术进行远程沟通,就像我在演讲中提到的二战访谈一样。目前有不少厂商正在研究全息影像这样的技术,它们必然需要一个好的光照技术以强化真实感。

雷锋网:您可以算得上是计算机图像在电影领域应用的泰斗,那么您认为 VR 视频的市场是怎样的?

Debevec:目前有不少厂商做出了这样的尝试,希望从硬件上为 VR 视频提供内容,如 Facebook 的 Surround 360 全景相机。 但是,除非你有 VR 头盔,否则很难将它拍摄下来的内容呈现给观众。不过,也有像 Google Cardboard 这样的简单硬件,想让用户用更少的价钱,比如 10 美元,就能更近地接触 VR 相关的内容。而就像我所在的 Google DayDream 头显团队,也正在努力让用户以一种可接受的方式购买 VR 产品。虽然目前的步伐迈得很小,但我觉得这是一个好的开始,毕竟 3D 效果比一张平面图片而言,已经算得上是一个质的飞跃了。

相关文章:

朋克学术大牛上演“换头术”,原来深度学习还能这样玩!(附论文下载)|SIGGRAPH ASIA 2016

能跟人类对话还不够,机器人还得会用表情、手势表达情绪|SIGGRAPH ASIA 2016

重磅!独家解密腾讯AR开放平台“QAR”!| SIGGRAPH Asia 2016

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说