您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
业界 正文
发私信给木子
发送

0

为了让你拍出更美的视频,他们费尽了“芯”机

本文作者:木子 2021-08-16 17:51
导语:当下最受欢迎的手机App是什么?相信十个人中有九个都会回答“短视频”。

当下最受欢迎的手机App是什么?相信十个人中有九个都会回答“短视频”。

随着5G网络逐步落地,网络传输速度不再是瓶颈,加之手机拍摄素质不断提升,大众越来越热衷于通过视频的形式来进行自我表达。

为了让用户更好地展现个性与审美,快手等短视频平台陆续上线了花样繁多的滤镜及特效功能,使得“老铁”们无论在繁华都市还是田间地头,都能创作出充满趣味和生命张力的短视频作品。

比如一秒变装童话在逃公主:

为了让你拍出更美的视频,他们费尽了“芯”机

如果你热衷于看肥皂剧,也能轻松化身霸道总裁或玛丽苏女主。更厉害的是,在快手上使用“娃娃脸”特效,还可以一键回到幼儿时期。当然,展望自己中老年时期的模样也不在话下,轻松帮你秒速穿越“我的一生”。

滤镜背后的“灵魂画师”需要一颗AI之“芯”

不过,这些好玩又有趣的特效背后,其实深藏着AI科技的功与名,全球领先的移动平台厂商高通也没少操“芯”。就拿快手上广受好评的“手绘滤镜”来说,它能够持续将用户拍摄视频的每一帧画面转换成唯美的手绘作品。

这一滤镜特效的实现大致可以分成几个步骤:首先,用户拍摄视频时,ISP会处理视频并发送给快手App。快手App会对视频的每一帧进行预处理,并进行人脸侦测和剪切等;然后再发送到高度定制化、类似于UNET的神经处理网络(即机器学习算法),该神经处理网络将生成与输入帧相融合的手绘特效。之后,再通过化妆和美颜算法对整体图像质量进行优化,就得到美美的特效预览啦。

为了让你拍出更美的视频,他们费尽了“芯”机

以上每一个步骤都需要借助精密巧妙的算法来实现,而其中最关键的就是生成手绘特效的神经处理网络。作为AI算法的一种,它和传统软件中算法的最大不同就在于,它可以通过不断学习来提升自己的能力。你不妨把它想象成一个学霸,可以通过不断“刷题”来提升成绩,而且刷的题型越多,成绩就越出色。AI算法也热衷于“刷题”,它训练自己的题库便是海量的图像和视频数据。

作为短视频赛道上的领头羊,快手拥有庞大的用户基数。根据快手大数据研究院发布的《2021快手内容生态半年报》,快手应用平均月活用户已经高达5.198亿。同时,快手不久前发布的《2021快手创作者生态报告》显示,2020年,超25%的快手应用平均月活用户为内容创作者。据此估算,快手平台上聚集的内容创作者数量已经超过2亿,而这背后是数量更加惊人的视频数据。这些数据就像水流一样源源不断地浇灌着快手的算法之花,使其愈发娇艳。

对AI略有了解的读者都知道,算法、数据和算力被誉为驱动AI发展的三大引擎,缺了其中任何一个,AI产业这艘巨轮都跑不起来。落到“手绘滤镜”这样一个具体的功能上亦是如此。尽管有了出色的算法和丰富的数据,但要让用户获得完美流畅的使用体验,中间仍缺少一个必要环节,那就是强大的AI算力。

快手发现,虽然“AI艺术家”能够创作出引人入胜的手绘作品,但在速度方面却难以满足需求,实际使用时会出现帧率下降的情况。

“手绘滤镜”算法默认是在CPU上运行,而CPU是一个通用计算单元,并非运行AI工作负载的最佳选择。在这种情况下,App提供商通常会选择在云端进行复杂的AI处理,然而云端又会受到网络覆盖的影响,导致额外的时延和其他变化。几经探索,快手终于找到了一个完美的解决方案——搭载高通AI引擎的骁龙移动平台。

软件、硬件两手抓,两手都要硬

高通的骁龙移动平台大家已经耳熟能详了,比如最新的骁龙888、骁龙780G等等,但什么是高通AI引擎呢?高通AI引擎其实是人工智能引擎(Atificial Intelligence Engine)的简称,它并非一枚全新的芯片,而是可以内置在骁龙移动平台中的一套涵盖完整软硬件的AI解决方案。

那么,高通AI引擎具体都包含哪些关键组件呢?首先,硬件方面,高通AI引擎采用异构运算,内部包含Hexagon 处理器、Adreno GPU 和 Kryo CPU 的人工智能优化组合。其中,Hexagon 处理器擅长处理涉及向量数学的应用工作负载;Adreno GPU擅长处理精度较高的数据运算,比如图像和视频等等;Kryo CPU则更加擅长对常规数据的运算与处理。

如果你对这些专业词汇感到陌生,没关系,你可以把它们想象成一个工厂里的三条生产线,分别擅长生产不同的产品。在异构运算的条件,工厂接到生产任务后会首先分析该任务究竟是哪条生产线更擅长的,并进行相应的分配,从而让整个工厂处于最高的生产效率。

同时在软件层面,高通AI引擎包含了骁龙神经处理 SDK、Android NN 和 Hexagon NN。软件配套组件的主要作用在于让开发者和OEM厂商可以更加容易地应用高通AI人工智能引擎,以便在最短的产品研发周期中,第一时间推出自家定制化、个性化的AI智能终端产品。对于开发者与OEM厂商而言,一套解决方案最为重要的除了强大的功能外,易用性则是第二考虑因素。很显然,高通AI人工智能引擎很好地兼顾了这两点。

除了在产品设计之初就将易用性刻入高通AI引擎的基因,高通还和下游厂商进行了大量的共创工作,以帮助后者最大限度发挥高通AI引擎的巨大潜力。比如,为了给快手的“手绘滤镜”功能提供算力支撑,高通技术公司和快手从骁龙765移动平台推出时就展开合作。骁龙765首次释放了CPU的工作负载,并通过Hexagon处理器来完成相应工作,这使得手绘滤镜的帧率(FPS)提升了56%,并且功耗降低32%(降低显示功率),从而带来无缝的视频拍摄体验。

而且,高通技术公司和快手工程师通力合作,针对快手对于未来移动平台在性能、功耗、扩展性和兼容性方面的需求进行分析。高通神经网络处理SDK能够以软件的方式提供支持,而Hexagon处理器则是作为AI加速器提供支持。并且,双方针对量化开展的联合工作对于此次合作的成功发挥了关键作用,因为其能够在提升性能和能效的同时,确保处理的精确度。

基于此,高通还正在推动双方合作更进一步,确保快手所需的各种特性能够面向最新一代骁龙778G平台及时进行优化,满足骁龙778G终端的商用需求。

高通AI引擎的发展史也是手机AI的普及史

随着“家族”不断壮大,高通AI引擎的性能也在不断提升。在骁龙888移动平台中,高通最新推出了第六代高通AI引擎。作为一整套处理器协作系统,这代AI引擎包含了重新设计的Hexagon 780处理器,不仅使标量、张量和向量加速器之间的物理距离几乎消失,还在这三个不同的加速器之间添加了一个共享内存,实现了更快和更高效的数据移动和共享。在某些用例下,数据交互时效实现了千倍提升。不仅如此,加速器本身也实现了提升,其中标量加速器性能提升50%,张量加速器的矩阵处理速度提升了2倍。基于全新的架构设计,Hexagon每瓦特性能较前代平台提升高达3倍,并实现了每秒26万亿次运算(26 TOPS)的惊人算力。骁龙888 Plus支持的第6代高通AI引擎已经实现高达32TOPS的算力。

基于强大的算力,高通AI引擎正在为越来越多的终端应用提供可靠支撑。除了前面提到的视频滤镜还包括AI刷脸、拍照翻译、3D Animoji等等。不过,对于绝大多数用户而言,高通AI引擎带来的最直观变化还是拍照体验的提升。得益于专属AI处理和加速,国产安卓旗舰在无需堆叠硬件传感器的前提下,通过软件算法等就能实现更加出色的拍照效果。

除了视觉方面的应用,高通AI引擎也在帮助手机中的“虚拟助理”不断提升语音交互能力。比如vivo手机的虚拟助理Jovi背后,是就是高通AI引擎作为心脏在不断供血。

高通AI引擎能力不断提升的过程,正是手机AI不断拓展其应用边界的过程。不夸张地说,高通AI引擎的发展史也是手机AI的普及史。

雷锋网雷锋网雷锋网

雷峰网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说