智能投顾高级特训班——从入门到就业
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
AI开发 正文
发私信给AI研习社
发送

0

用深度学习快速人脸建模

本文作者:AI研习社 编辑:贾智龙 2017-05-25 11:03
导语:我们的模型可以迅速生成对应的三维人脸模型,并且可以同时拟合面部轮廓和细节表情。

本篇论文发表于 SIGGRAPH 2017,并入选 Technical Papers Preview Trailer。为便于非专业人士阅读,以下介绍尽量不夹带英文和公式,也尽量精简扼要。

关键词:Face Modeling, Face Database, Deep Learning, Face Caricatures, Gestures, Sketch-Based Modeling

论文链接:DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling

简介

脸部建模一直是计算机图像和视觉领域的热门话题,包括卡通人物建模、人脸艺术设计、人脸实时重构等等,尤其是交互式人脸建模。我们构建了一个快速的、交互的、基于深度学习的人脸建模框架。通过简单勾勒人脸图画(caricature),我们的模型可以迅速生成对应的三维人脸模型,并且可以同时拟合面部轮廓和细节表情。同时我们也提供了多种方式进行快速的模型修改。实验证明我们的结果具有高精度和快速度。

框架

非常推荐大家通过视频了解我们的框架:

Youtube: DeepSketch2Face(SIGGRAPH2017) Youtube

腾讯视频: DeepSketch2Face(SIGGRAPH2017) 腾讯视频

框架的流程如图所示:

用深度学习快速人脸建模

初始绘制模式(Initial Sketching Mode)

我们采用了卷积神经网络(CNN)来学习二维绘画的人脸特征。如图所示,输入是 256 乘 256 大小的绘画图片,通过卷积层提取特征,结合每个像素点的双线性插值编码,利用不同的全连接层,最终输出一个 50 维的人脸向量和一个 16 维的表情向量。我们预设了 50 个人脸基底和 16 个表情基底,最终输出的模型则是向量和基底的点乘。我们可以做到近乎实时的渲染,即用户每勾勒一笔线条,迅速输出对应的拟合三维模型。(对于卷积层,我们采用了较老的 AlexNet。我们也试验了 Resnet 等更新的网络结构,在精度上没有特别显著的提升;同时考虑到实时绘制的速度要求,我们选择了这样一个折衷方案。)

用深度学习快速人脸建模

以下是一些真实渲染结果:

用深度学习快速人脸建模

连续绘制模式(Follow-up Sketching Mode)

利用同样的卷积神经网络以及区域变形技术(Laplacian deformation),我们给用户提供了简易修改的绘制方案。对于不精于从空白纸张绘制肖像的用户,或者不想生成复杂人脸形状的用户,可跳跃第一步直接进行连续绘制。在连续绘制模式下,由单向工程(二维 -> 三维)转变为双向工程 (二维 <-> 三维):用户可直接从当前生成或预设的三维模型得到一个二维的人脸轮廓,并基于这个人脸轮廓进行修改、删除、变形等操作;类似于第一步,这个二维轮廓可以生成相应的三维模型。

下图是一个典型的通过连续绘制模式生成的模型:

用深度学习快速人脸建模

精细修改模式(Gesture-based Refinement)

我们提供了基于手势的精细修改模式。如图所示,用户可以通过相应的手势,选取图像的区域进行变形,如面颊凸起,眉毛修改、面部轮廓修改等等。用户的手势也是通过一个简单的卷积神经网络学习,输入是用户绘画的手势,输出是对应的操作。

用深度学习快速人脸建模

其他

平均来讲,基于我们的框架,新手绘制一个人脸模型只需要 5~7 分钟,熟练后甚至在一两分钟内就画出一个逼真的人脸模型。我们支持多种模型格式输出,以便对接其他平台。用户在实时操作过程中可以无障碍地进行撤销和恢复操作。用户操作窗口本身也支持各种常见的渲染操作,如放大缩小旋转移动贴图等等。同时,我们也提供了一个用于人脸建模的数据库,包含极大量的人脸模型,及其不同的表情和夸张程度(levels of exaggeration)

用深度学习快速人脸建模

结尾

有了这个软件,再也不用担心不会建模了!更多关于模型的细节和数学公式,请参考原论文。

----------------------------------

更新:鉴于大家的需求,我们会陆续上传 demo 文件和数据库资料(预计八月),需要的童鞋们可以先 star 我们的 repo: irsisyphus/deepsketch2face

雷锋网按:本文原作者irsisyphus,香港大学计算机系大三学生,论文第二作者。更多内容及个人简历请关注我的个人网站,欢迎各种工作 / PHD 内推。本文原载于知乎专栏,雷锋网(公众号:雷锋网)对文章做出了不改变原意的调整。

“12小时零基础入门深度学习班”开课啦!

想要挑战AlphaGo却不懂深度学习?

雷锋网AI慕课学院专门打造了《12小时零基础入门深度学习》,fastai中文社区最活跃的四位贡献者亲授,硅谷教学模式带你实操9个深度学习项目!即使零编程基础,也能在这里找到适合你的学习路径!

课程链接:http://www.leiphone.com/special/mooc/01.html

雷锋网版权文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
最新文章
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介