您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
智慧安防 正文
发私信给余快
发送

0

从低功耗视频到智能 AI,合肥君正的拼搏与突破

本文作者:余快 2021-04-09 09:58
导语:死磕低功耗和启动时间的五年。

从低功耗视频到智能 AI,合肥君正的拼搏与突破

如今百花齐放的消费类摄像头市场,此前只见国外品牌独美。

Arlo的前身Vuezone在2012年以“纯无线摄像头”的概念(1基站+N摄像头)开创了低功耗的产品模式,Ring主打配备摄像头的智能WiFi门铃,在2014年被亚马逊收购,纳入其智能家居生态。

当消费类摄像头在欧美市场风生水起时,国内市场萌芽未现,技术气候未成。

但合肥君正隐约感觉到,中国消费类摄像头,尤其是低功耗的电池类摄像头将撑起一片天。确定了电池类方向的合肥君正,逐步开始了从硬件到软件、从产品到平台的全方位的低功耗攻坚战。

2019年北美线上最受消费者喜欢的摄像头类产品中,电池类门铃及低功耗摄像头已占四成以上。

从低功耗视频到智能 AI,合肥君正的拼搏与突破

技术逐渐攻克,产品持续改进,加之刚需特性,各类低功耗产品出圈,从线上走进一个个寻常百姓家。
蛰伏已久的中国队也梯度进场,之中Anker和Wyze的光芒在2020年格外璀璨。

而他们的幕后英雄合肥君正,不仅市场预判得到验证,埋首低功耗的上千个日夜也未曾辜负。

从新奇物种到寻常可得,转变似乎在不知不觉之间,但推动这一切的企业们,却将时间拆分成无数个呕心沥血的日子,在那些日子里,他们是如何一步步从黑暗走向光明的?

雷锋网AI掘金志就此与合肥君正消费类产品线总监李雅崑进行了一次谈话,以探寻背后的故事。

苦练低功耗摄像头的内力

“预判容易,投入很难,”李雅崑表示,“尽管这一趋势现已被印证,但当时而言,投入周期很长、投入量很大,也难以保证产出,况且,我们接触的客户似乎兴趣不大。”

电池类摄像头的功耗高低,直接影响了产品的核心:体验。

而这,也是合肥君正一直以来的宗旨,因而尽管前路迷雾一片,他们坚定了深耕低功耗的决心。

绝世武功的修炼,通常离不开基本功。

好在君正的低功耗基本功已然十分扎实。

对产品功耗的影响,主要来自于两个方面,一个是SOC的内部功耗,另一个是SOC之外的周边器件功耗。SOC内部的功耗与CPU的设计相关,CPU核心技术算得上君正的杀手锏之一。

君正是全球范围内少数几个掌握CPU核心自主设计技术的厂商之一。

此外ISP(图像处理器)、VPU(视频编码器)、AIE(AI引擎)这几个核心IP模块也都是由君正自主独立设计研发。

正如北京君正副总经理黄磊曾对AI掘金志所言,视频领域的真枪实弹,要靠核心技术,自研是必选项。

也正是由于君正自研核心技术,才能对SOC内部细节做到精确的功耗优化。

如果说电脑是机器、显卡、CPU内存、南北桥等器件,SoC上,这些器件都存在于芯片内部,各个模块的配合是非常庞大的工作。

SOC的内部通过时钟信号来驱动每一拍工作,好比人的心跳一样,而芯片内部的低功耗优化是一项要求极高的设计工作,贯穿在每一个IP模块的每一拍细节之中。

“最简单的做法,每次心跳的时候你都干就完了,但是那样功耗大,我们就精细到每一次心跳的时候,谁休息谁干活。”

十几年的浸润,君正已经将低功耗融入骨血之中,在功耗,性能,成本等方面优势明显。

在ISP图像处理上,图像处理器Tiziano,保证了安防摄像头级的成像效果。

君正的自研Radix系列 VPU,针对H.265格式复杂度的增加和4K实时编码运算量的增加,重新设计了硬件架构,精细设计的开关控制等降低动态功耗,并通过复杂度选择,对编码关键路径进行算法优化和硬件优化等途径,提供低功耗、高性能、高压缩率的视频编解码能力。

在AIE,即AI计算引擎上,AIE架构层面兼顾计算效能与灵活性,低比特量化技术则进一步强化了君正AIE的低功耗与低带宽AI计算能力。

从低功耗视频到智能 AI,合肥君正的拼搏与突破

这种孜孜不倦的愚公自研精神,外化效益是,同等工艺下,君正SOC功耗比友商方案低25%-50%。

而芯片外部的功耗优化,则是一门机器精细的工艺,也是多维层面的战役。

需要软硬件结合,涉及到芯片设计、操作系统层、软件架构层等;需要针对各种场景对运行功耗和待机功耗等做优化,平衡计算各种场景下CPU的运算能力,更好地调度每个单元的工作,从而将功耗降到最低。

“比如调硬件,在PCB板上,电路板密密麻麻的一大片,每一个器件都有供电,有的还不止一个供电,要把每一路电的电阻断开,去接万用表,去测评它的能力。”

与软件调试不同,硬件调试是一件枯燥且耗费精力、时间的环节。

虽说硬件层面的结果是一个待机时间,但这一个环节,就是一项大工程。

比如平均功耗,瞬间响应的功耗如何降低,降低到一定水平之后,如何保证稳定。这个过程需要精确地控制每一个毫安、每一个部件。

“拿一个板子,飞线,飞好线,然后到测试的地方,把夹子打开,夹上电流表或电源,跑起来,测技术数据。”李雅崑回忆起测试场景,“每一路挨个测一遍,这一轮完了,拿下来改一下程序,优化完了之后再测,不同的场景,不同的分辨率,每一路的功耗,逐一测试,基本就是排列组合了。”

合肥君正就这样,一步一个脚印,从芯片的设计到电路板的调试,把芯片内部、外部、PCP在内所有的东西都校准到最精确的位置,最后得到一个300毫瓦的数据。

当抬起头来,他们才发现,不知不觉中他们已经站在功耗层面的头部了。

泽拉图平台:一群80后工程师的情怀

启动时间,是电池类摄像头必须迈过的一座大山。

而百毫秒级的启动速度正是合肥君正引以为傲的功勋章。这勋章得益于合肥君正的泽拉图(Zeratul)平台——基于Linux生态的快速启动技术。

当下,极少数具有简单处理器的Linux快速启动技术。泽拉图平台,从启动到拿到第一帧稳定图像用时不到300ms。

站立于启动时间高峰的合肥君正,身上的风霜也肉眼可见。

“泽拉图这个名字是我起的,”李雅崑眉眼带笑,“他是《星际争霸》中的一个角色,你可能会觉得有点随意,不过代表了我们80、90后工程师的情怀。”

这群80、90工程师、程序员,也将他们的青春倾注在这个平台上。泽拉图的核心宗旨,是在合肥君正搭建好各种底层细节的平台之上,品牌商的产品能更好研发并落地。

在那之前,合肥君正面临两大主流操作系统RTOS和Linux的抉择。

RTOS系统小巧,能实现几百毫秒的启动,但标准化不高,软件生态欠缺。

Linux系统生态强大,应用模式简单,标准化程度高,但启动时间慢。

合肥君正一开始尝试RTOS,但越到后面路途越发艰难。摄像头本质上具备连通性,与云端、手机端通信,做视频编解码,做安全加密,但RTOS的独一无二性,让这些软件都需重新适配,工作量巨大。

“产品的音视频业务程序将有两倍的工作,甚至我想支持一个新的WiFi都很难,驱动要重头写。”

权衡之下,他们选择了Linux系统。Linux强大的生态让他们在开发难度、扩展性上如虎添翼,为更好的融入AI大潮再添一把火。

这同时也意味着他们必须要解决系统启动时间的问题。

为什么要死磕启动时间?

一是信息的完整性。摄像头待机时,主控芯片CPU处于断电状态,人出现后快速启动并识别,是一个硬性指标。比如PIR(人体红外传感器)触发后,如果是百毫秒级启动,视频可以显示人从进入画面到离开画面的全过程,如果是1秒启动,只能捕捉到人从画面中间到结束的过程,如果是2秒,只能捕捉到一个后腿。

二是用户体验。如果启动时间慢,用户远程查看手机体验不佳。

与市面上的摄像头十几秒的启动时间相比,当初Alro、Ring的秒内快速启动简直是对前者的降维打击,也让他们一举成为市场标杆。

“虽然都是摄像头,但不同类别在技术和产品方面区别很大,我们开设了专项方案开发低功耗产品。”

他们拆解Alro、Ring的产品,把每一个零件,每一个流程都一一理解、剖析,待机时间、运行机制.....每个部分反复测验。

在理解的基础上,他们给自己设置了一个目标:秒启。

先以3秒为目标,再以1秒为里程,逐渐往上攀爬。

前期的积累得到回报,他们很快实现3秒启动。

如果从十几秒到3秒的路是枕席过师,那么3秒到1秒的路就是羊肠九曲,1秒再往后便是阡陌纵横。

在实现1秒启动后,他们在传输、唤醒、触发等的每一个细节深究。

1秒之内,逐渐攻破了900毫秒,到2017年底,达到600毫秒。

而后随着T21、T30、T31芯片的迭代,软件技术的成熟,合肥君正又从600毫秒翻过400毫秒的大山,最后达到200毫秒的山头。短短几句话,概括了他们几年来从十几秒到200毫秒的历程。

从低功耗视频到智能 AI,合肥君正的拼搏与突破

200毫秒已实属优秀,甚至超过不少欧美品牌的水平,他们并未满足于此,而是提出更高的要求——力图200毫秒以内拿到稳定的图像。

这是个无限接近极限的目标。在当下传感器初始化标准耗费时间约100毫秒的背景下,要想使得拿到图像的时间控制在200毫秒以内,需要在以帧为单位的量级上下功夫。

而“稳定的图像”意味着,在图像出现后,在100毫秒以内对颜色、亮度进行校准、让每一帧的图像更好。

“几毫秒、第一帧的颜色亮暗程度不同,越往后走越细,有些细节不会体现在参数和报告上,但在产品落地的时候,就有问题,你必须去搞定,有点像磨手机壳的感觉。”李雅崑如此类比。

对速度的无限追求,对用户体验的极致提升,或许是他们坚持下去的动力。

这如螺蛳壳内的精雕细琢之路,荆棘载途,他们却甘之如饴。

启动速度之外的图像收敛(出图像时间),是另一个极为关键的环节。

“只有启动时间快,你的出图时间才能快,但是图像的收敛稳定时间又是另外一件事。”

翻译下就是,启动速度和出图时间,是一个纬度的两个方面:启动时间快是基础,图像收敛是效果。

视频刚开始录像时,前几帧的图像并不是一个恒定的速度,不同产品的图像可能在最开始的几帧亮度不一。

与启动时间快慢类似,图像收敛如果效果不佳,即启动后画面太暗或太亮都将难以捕捉到最开始的信息。

如此,不仅用户体验感下降,也可能丢失某些关键信息。

在启动层面,要将启动阶段内的诸多工作集中在第一时间,进行操作系统的解压、系统的引导,驱动的初始化,图像的初始化,是一项毫秒量级的工作。

“我们也是每个细节跟客户抠,比如某个模块初始化是20毫秒,某个30毫秒,同时还需要加入硬件的加速,软件、系统的高效调度。”

在图像收敛层面,市场大多数摄像头帧数为25帧/秒,一般情况下,摄像头可以20帧左右(即不到一秒)收敛。

“但如果现在开灯,摄像头启动时按照20帧的速度收敛,就太快了,300毫秒到1秒没的画面还是黑的,那就没有意义了。”

图像亮度调节涉及到算法。合肥君正根据具体场景,以及外置传感器的参数,一张一张图像地打磨,将时间细化到600毫秒400毫秒200毫秒,从第一帧抠起,到第二帧,第三帧精确到位,输出正常的图像。

“比如一开始从接近20帧收敛,然后逐渐调节,15帧、10帧、5帧、3帧,直到达到极致。”

配置加速启动的硬件,环节理解的软件到位后,并行度达到极致,而后他们通过一系列精密的调试和设计,最终达到操作系统的快速启动。

一旦突破了启动时间的瓶颈,在这条汹涌的河上搭建起一座桥,桥后的路犹如一马平川。

在操作系统的核心之下,合肥君正同时提供了可以落地的 Wi-Fi对接技术、基站对接技术、PIR基础、MCU技术。

得益于Linux方案,君正泽拉图与常规类摄像头可以共用大部分底层技术及API接口,对于产品方案商相当于维护同一套底层系统,而非两个完全不同的产品形态。 

合肥君正之所为,无非一个目的,降低产品在SOC底层方案的门槛,让产品商能够把精力、物力、财力放在产品特性及用户体验本身上。每一次理解、设计、调试,过程繁琐,但合肥君正走得踏实,走得坚决。

几轮春夏秋冬中,合肥君正不断突破瓶颈,打磨巩固,以至于基于Linux的快速启动技术,逐渐成为合肥君正泽拉图的核心技术。

“我们的核心技术,就是在单核的、简单的处理器上,让Linux在一秒甚至100毫秒以内启动,只有这样这个产品才是成立的。”

目前,Zeratul Linux的启动速度及出图效果已经达到甚至超过RTOS——200多ms得到稳定图像,对强光、弱光、夜市等各场景的适应性都显著增强。

在市场的历练场上

除了快启和功耗,合肥君正在Wi-Fi方案上颇下了一番功夫。

对于Wi-Fi的随机性、网络拥挤、路由器兼容等问题,在实验室反复测试,而后结合方案商、品牌商等多方合作,在不同场景、不同条件下测试,力求均达到稳定状态。

如今,他们的Wi-Fi方案适配广泛,适应不同规格不同追求的产品方案。

“这是必过的一关,芯片做得很好,功耗很低,启动时间很快,Wi-Fi方案不成熟,产品照样不能落地。”

从决定投入Wi-Fi低功耗技术,一直到现在,合肥君正都在坚持对Wi-Fi生态的优化,现已进入到稳定期。有人揶揄,如今Wi-Fi市场技术稳定,这些芯片厂商何苦自己如此大费周章。

“如果我给客户一个主控芯片,一个Wi-Fi芯片,虽然搭配起来能解决若干问题,但是他不知道怎么做,我们积累的经验就发挥出来,”李雅崑平静而坦诚,“如果我把这份工作推给Wi-Fi厂商,Wi-Fi的问题找他们,主控的问题你来找我,那这个客户大概率还是做不出来。”揶

揄之话确有其理,只是商场较量并非泾渭分明,核心业务高墙要造,底下输水管道要通,而成败,可能就在一个又一个看似不相关,可有可无的项目里。

诞生近四年来,泽拉图经历了从经典T20到最新一代T40的几代SoC迭代,配合多个产品落地,方案稳定成熟。已有WYZE、360、Eufy、Toucan等多个国内外品牌基于君正泽拉图平台产品的成功出货。另外一些国内外大品牌相关产品在design in阶段。

李雅崑表示,“泽拉图平台下一步的技术和市场目标是融入端级AI技术,与低功耗技术在产品端深入配合,希望可以进一步优化体验,扩大市场,给消费者带来更好的产品。”

君正为此推出了人形、人脸、宠物、哭声、车型、笑脸、周界等消费类摄像头应用较多的检测和识别深度学习算法,赋能端级AI。

遇山开山,遇河渡河

在北美市场,House的家庭结构使得家庭摄像头具备一定的刚需,市场也因此最先爆发。

近年来Wyze、Eufy等品牌的低功耗产品在海外逐渐打开局面,并迅速取得良好的口碑。

国内市场,家门口的安全是家庭安防的第一道关,在后疫情时代,低功耗摄像头将加快进入消费者视野。

同时从2017年左右开始,360、鹿客、萤石、小米等领先品牌先后发布电池门铃和猫眼,2020年运营商正式将门铃纳入集采产品,国内的电池低功耗产品市场也正加速发展。

免去了复杂的布线,繁琐的设置,以及高额的维护成本,随着更多品牌的加入,电池类纯无线摄像头越来越受欢迎。

而这,是时代发展的产物。

技术上,低功耗和快速启动技术的发展,低功耗摄像头在分辨率、待机时间、误报率等等技术规格上都不断提升。

方案和产品上的各项难题逐渐被攻克,在ID设计,品牌市场推广方面,也在逐步提高。

这些都使得在体验、易用至上的C端市场,消费类摄像头的规模将越加壮大。Strategy Analytics相关研究报告预测,到2023年,全球消费级摄像头销量将激增至超过1.11亿台,在消费类摄像头的支出将达130亿美元。

在未来,品牌消费类摄像头,有线版摄像头和纯无线电池类摄像头将相互补充,各有应用。

高端摄像头市场,电池类摄像头和AI摄像头可能成为新趋势。

而合肥君正搭载泽拉图的T40芯片,将在高端消费类摄像头中展露头角。使用了双核Xburst2及增强RISCV协处理器的T40,启动速度、性能、功耗、首帧效果上进一步提升。

专业级硬件NPU加持下,T40可提供更智能的误报过滤方案,减少待机时间影响。

高端电池类产品的衍生需求4K和双摄,也是T40的看家本领,它还支持高中低多种规格的LCD屏幕接口。

眼下,在电池类摄像头,合肥君正已经拿下了市场50%以上的份额,未来将继续向前进发。

无论是从无到有,还是从有到优,合肥君正从来慎重抉择,而后便全力以赴,遇山开山,遇河渡河,不急不躁。而技术日精月进、落地稳扎稳打的合肥君正,也一直在路上。雷锋网雷锋网雷锋网(公众号:雷锋网)

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说