您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
AR/VR 正文
发私信给刘芳平
发送

2

森声科技张瑞博:让 VR 音频成为 VR 内容的标配

本文作者:刘芳平 2017-01-09 14:52
导语:目前在国内推出 VR 音频设备的就森声和时代拓灵两家公司,我们两家公司实际上肩负着推动 VR 音频在中国和亚洲发展的重担。

森声科技张瑞博:让 VR 音频成为 VR 内容的标配

Lifelike 录音耳机

在雷锋网北京办公室,来访的张瑞博在接受正式采访前,先拿出一对耳机,让雷锋网编辑试一下他们的产品。

并不是用耳机去听一段音频,而是先插上然后随便拍一段视频,过程中他在雷锋网编辑周围跺脚,并在耳边说悄悄话。结束后再戴着耳朵看回放,到他在雷锋网编辑身后跺脚那段时,编辑情不自禁地回头看了一眼,因为感觉后面真的有人在跺脚。

这就是3D音频,普通视频录制方法同样可以录到跺脚的声音,但它不会让你听的时候察觉到声音的方向。

森声科技张瑞博:让 VR 音频成为 VR 内容的标配

张瑞博是森声科技的创始人兼CEO,他给雷锋网编辑演示的这款产品是公司新推出的 VR 录音耳机 Lifelike, 目前已成功完成众筹。除了这款消费级产品外,他们还有一款专业级的 VR 录音设备 Sound Pano。

Lifelike 可以录制带有方向的 3D 音频,但并不适合 360 度全景视频,因为在全景视频中你会前后上下左右看,而全景的音频也需要随着你看的画面而变化,例如当你听到后面有人说话,转头回来,声音就应该听起来变成了前面有人说话,但 Lifelike 录的声音是固定的,在你后面就会一直在你后面。

这类耳机技术方面并不复杂,在左右两个耳机各有一个麦克风,使用者把耳机戴上之后,两边的麦克风就能录到声音到达耳朵时的变化,这样生成的 3D 音频文件能重现真实环境的效果,增加临场感。

它的主要用途包括 ASMR,当然也可以用作一般用途来增强视频的音频体验。不过,Lifelike 只有两个麦克风,要录制 360 度的 3D 音频,需要用到配备更多麦克风的 VR 音频录制设备。

专业级与消费级 VR 音频产品

Lifelike 之外的 Sound Pano 才是森声针对专业级 VR 音频录制的产品,也就是可以与全景视频结合,根据用户头部转动提供相应的 3D 音频的设备。

森声科技张瑞博:让 VR 音频成为 VR 内容的标配

Sound Pano

据介绍,Sound Pano 可以实现 8向 16轨 48K 26bit 无损数据采集,精准捕捉声源的方向、距离和运动轨迹。具有立体声场感知效果,能还原真实的声场关系。其定制化软件还具备 VR 音频轨迹系统,支持32 个音源对象同屏幕实时运算声场,并拥有自主开发的 HRTF 算法。

这款售价高达 3万元的产品,与市面上一、两千的全景声录制设备自然是有非常大区别。据张瑞博介绍,Sound Pano 使用的是 QB 方案,而普通消费级 VR 音频录制产品通常使用的是 FOA 方案,两者在录制过程从头到尾都明显不同。

其实 VR 音频就是要重现场景中的声场,让戴上 VR 头盔身处其中的用户感受到就在现场一样的声音,所以 VR 音频录制设备会模拟人的两只耳朵来听取环境中的声音,就像前文提到的 Lifelike 那样。QB 和 FOA 方案的产品也是如此,不同的是两者的方法和效果。

FOA 方案非常小巧,最基础的方案只要 4 个麦克风就能组成,所以通常可以集成到全景相机中,它通过这 4 个麦克风来获得 4 个方向的声音,然后通过 HRTF 算法合成 360 度各个方向的声音。QB 方案多半体积比较大,因为它涉及到模拟人两个耳朵之间的宽度问题,对采集的相位、响度等有要求,所以很难做小。另外,从售价可以看出,两者在成本上也有很大差距。

当然,两者的声音效果也会有很大差别,张瑞博表示,FOA 方案在声场解相度、感觉上面相比 QB 方案有比较大的距离。

雷锋网编辑也体验了两种方案制作的 VR 音频,可以很明显地发现,QB 方案的声音在还原场景真实声音方面更加优秀。

森声科技张瑞博:让 VR 音频成为 VR 内容的标配

但 QB 和 FOA 两种方案并不是竞争关系,而是有明显不同的市场定位,前者配合的是售价动辄数十万元的专业级全景相机,制作专业级的 VR 影视内容;后者更多应用于 UGC 领域,为消费级全景相机拍摄的内容增强体验。

让 VR 音频成为 VR 内容的标配

VR 讲求沉浸感,而达到沉浸感除了视觉上努力重现真实场景(或是创造一个以假乱真的世界)外,听觉也是沉浸感的一个重要组成部分。

高质量的VR视频需要做到音画同步,当用户在一个 360 度空间中环顾四周,他听到的声音也应该有所不同,特别是在空间较小的场景中。

除了增强沉浸感外,张瑞博表示,VR 音频还能成为导演引导用户视线的工具。由于 VR 没有了导演视角,用户可以在 360 度的场景中四处观看,而许多 VR 影片是有分场景的。一些导演为了引导用户会使用视觉提示,但其实用声音来进行引导会更加自然,就像雷锋网编辑体验时听到背后有人跺脚而猛然回头一样。

对于未来,张瑞博希望 VR 音频可以成为 VR 内容的标配。目前在 VR 游戏上 VR 音频已经被大量采用。由于游戏是纯 CG 制作,物体在空间里的位置可以很精确地知道,因而在整合声音和画面上要容易得多。相比之下,VR 影视内容则需要专业的 VR 音频录制设备来实现声音的方位感和更好沉浸感。

要让 VR 音频成为标配,除了推出专业级和消费级的录制设备外,森声也需要让自家的音频 SDK 得到各个内容平台(播放器)的支持。据张瑞博透露,第一个支持的内容平台是橙子VR,公司也在与优酷VR、暴风魔镜等平台在商谈。

雷峰网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

编辑

微信:liu_fangping
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说