您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
业界 正文
发私信给肖漫
发送

0

微软 AI 新技术:让你的头像照片动起来,并有感情地“讲话”

本文作者:肖漫 2019-10-09 18:15
导语:微软研究团队宣称,其技术能够提升传声头像动画的逼真度。

语音播放文章内容

由深声科技提供技术支持

越来越多的研究表明,只要有足够多的语料库,人类的面部动作和语音行为是能够同步的。两年前,卡内基·梅隆大学的研究人员曾发表了一篇论文,叙述了一种将一个人的面部动作转移至另一个人的方法。

而就在今年六月份的时候,三星的应用科学家就介绍了一种端对端的模型,能够将人头部特写中的眉毛、嘴巴、睫毛和脸颊生成动画。仅仅几周后,Udacity 展示了一个可以从音频旁白中自动生成站立演讲视频的系统。

基于前面的研究和工作,微软研究团队在本周提出了一项技术。他们宣称,这一技术能够提升传声头像动画的逼真度。在此之前,头部动画的生成需要清晰,相对无噪声的音频以及中性的音调。而现在,研究人员表示,他们的技术能够将音频序列分解成语音内容和背景噪声等因素,由此可以使用有噪声和“有感情色彩”的数据样本。

微软 AI 新技术:让你的头像照片动起来,并有感情地“讲话”

雷锋网注:图片来源于 Microsoft

众所周知,语音是具有差异性的。不同的人在不同的环境下使用同一个词,其持续性、振动幅度、语调等等都各不相同。除了语音内容方面,语音自身还承载着丰富的信息,它能够揭示人的情绪状态,身份(性别、年龄、种族)和个性等。

事实上,微软研究人员提出的技术是基于学习潜在显示的变自编码器(雷锋网按:variational autoencode,VAE)。VAE 能够将输入的音频分解成不同的表现形式,包括编码内容、表情以及其它变化的因素,在输入音频的基础上,从分布中采样一些内容表示序列,该序列连同输入的人脸图像一同被馈送到视频生成器进行面部动画处理。

为了训练和测试 VAE,研究人员选取了三个数据集,分别如下:

  • GRID:这是一个视听语料库,每个语料库包含了 34 位说话者的 1000 份录音;

  • CREMA-D:包含了 7442 个影视片段,来自 91 位不同种族演员;

  • LRS3:包含了超过 10 万个 TED 视频中的口语句子的数据库。

研究人员将 GRID 和 CREMA-D 的数据输入到模型中,让其识别语音和情感表征,然后使用一对定量指标——峰值信噪比(PSNR)和结构相似度指数(SSIM)——来评估视频生成的质量。

该研究团队表示,就表现而言,他们的方法和其它清晰的、中性的口语表达方法在所有指标上都是一样的。并且他们注意到,这种方法不仅能够在整个情绪光谱上持续表现,还能够兼容所有目前最先进的传声头像方法。

值得一提的是,其变种特异性的可学先验方法还能够扩展到其它语音因素,例如身份和性别,这些因素能够作为未来工作的一部分探索。通过对噪音和情绪音频样本进行测试,研究人员验证了其模型,表明了在音频变化的情况下,该方法是优于目前已有的技术水平的。

雷锋网注:本文编译自 KYLE WIGGERS 发表于 venturebeat 上的文章。

微软研究成果:https://arxiv.org/pdf/1910.00726.pdf

雷峰网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

资深编辑

关注智能硬件、IoT、机器人 | 微信:Elena_Xiao1025
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说