您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
AI+ 正文
发私信给刘路遥
发送

0

打响大模型「平民化」第一枪,云天励飞推出“深目”AI 模盒

本文作者:刘路遥 2024-03-28 20:46
导语:面向长尾场景,“深目”AI模盒是如何做到零学习成本、秒速训练的?

过去一年,大模型如燎原之火,迅速席卷了人工智能领域的每一个角落,以其规模和深度,重新定义人工智能的边界。

这场技术的盛宴中,AI的新老玩家们都渴望利用崭新的AI之钥,打开人工智能应用更辽阔的未来之门。

然而,伴随这一颠覆性机遇的到来,行业也面临大型模型发展早期的挑战,即模型层与应用层整合之间的鸿沟:以大模型为核心的AI技术应用,虽具有切实降本增效的前景,但大多数企业难以负担训练专属大模型的成本。

由于大量长尾场景缺乏高性价比的解决方案,AI普惠化也更多停留在口号层面。

一边是AI企业面临技术转化困难、商业化挑战,一边是中小企业客户需求未得到充分满足,在这样的背景下,云天励飞提出大模型“平民化”的目标,推出“深目”AI模盒,旨在将大模型变成人人可用的产品,从而解决人工智能落地的最后一公里难题。

解决最后一公里问题包含两个核心,如何通过技术上的创新生产出一款低成本的产品,以及如何在数据缺乏的情况下,仍能保证算法的精度。

大模型通往落地的一个公式

GPT-4发布已一周年,AI领域在过去一年的成果已然超越过去十年的积累。

在云天励飞AI大模型产品发布会上,CEO陈宁博士表示:未来3年,全球80%的企业都将运行在大模型之上。

经过上一波人工智能浪潮的洗礼,在人脸识别、车牌识别等头部算法问题上,已经形成了较为成熟的解决方案。但是,大量低频的长尾算法并没有得到很好的解决,成为制约人工智能赋能千行百业的问题所在。

大模型出现以前,对于AI公司来说,每个小模型的长尾算法与头部算法在投入成本和周期上相当,都需要强大的算力、高效的算法支持及大量的算法工程师,投入产出比极不匹配,绝大多数企业也都不会为如此高昂的成本买单。

大模型出现后,技术底座焕然一新,带来了高性价比解决各类长尾问题的机会。

但在雷峰网看来,积极拥抱和布局大模型,并没有想象中那么容易。

本质上,大模型由算力、算法、数据三者共同构成,谁能更好地整合三方面能力,提供更低成本、更高效率的产品,才是竞争的关键点。

因此,大模型的技术转化能力,实际是对AI公司综合实力的考验,能够脱颖而出的企业属于少数。

云天励飞在“算法芯片化”的核心能力下,基于自研多模态大模型和自研芯片的深度融合,做到了将大模型塞进一个小盒子中。

这个小盒子不仅具有物理上的紧凑性,用单手就可以托举起;还具有技术上的紧凑性,实现了模型的精简和高效化。据介绍,“深目”AI模盒可以做到“3个90%”——覆盖场景超过90%、算法精度超过90%,使用成本降低90%。

要做到这一点,需要直面一系列的技术挑战,包括如何在边缘侧完成大模型高性能的推理、高效的训练,如何在内存、计算精度都受限的情况下提升精度等。

那么,云天励飞是如何将大模型塞进千元级的小盒子中的?

“能够实现3个90%,离不开云天励飞的核心能力——算法芯片化。”陈宁博士说。

围绕“算法芯片化”,云天励飞用时一年,进行了两大技术攻关:一是自研多模态大模型“云天天书”,二是自研大模型推理芯片DeepEdge10。

“深目”AI模盒的算力基础,来源于去年云天励飞推出的14nm Chiplet 大模型推理芯片DeepEdge10。

这款芯片采用自主可控的国产工艺,内含国产 RISC-V 核,支持大模型推理部署。依托其创新的D2D Chiplet 架构打造的推理卡,已适配并可承载SAM CV 大模型、Llama2等百亿级大模型运算,可广泛应用于 AloT 边缘视频、移动机器人等场景。

云天励飞首席科学家肖嵘博士进一步补充道:“芯片设计时,考虑到模型参数上升会带来效果上的改进,我们设计了Chiplet;其次改进了算法,用低成本的INT8和FP16替代FP16和FP32,只把模型1%的计算放在FP32上,使运行成本大幅下降;模型训练的基础、模型的结构也做了颠覆性改变,空间占用更小。”

这些技术突破,使得云天励飞可以通过算法和芯片一体化设计,将芯片设计成本做得很低。

“深目”AI模盒的大模型能力,则来源于云天励飞自主研发的多模态大横型“云天天书”。

云天天书大模型包含语言大模型、多模态大模型等不同系列,在C-Eval、CMMLU等权威测试中多次获得第一名,并于去年正式通过中央网信办备案。云天天书1.0版本于2023年初正式推出,已完成3个版本的迭代,预计今年6月将迭代4.0版本。

以云天天书为底座,云天励飞与生态合作伙伴完成预训练长尾算法,再将预训练算法提供给广大中小企业用户。

由于大模型具备泛化和算法边缘侧在线学习能力,部署算法后,大模型还能够根据现实应用场景情况,在线学习、优化算法,不断提升算法精度,帮助客户在边缘端完成算法微调,训练出可实战应用的算法。

简单理解,云天励飞不仅将大模型塞进了盒子中,并且还能在限定条件下,根据实际情况用少量数据做微调,最终实现效果的提升。

对于云天励飞来说,这款“压缩”了大模型和芯片能力的全新产品,是通过算法芯片化能力平台,实现大模型“硬件化”的一次重要尝试。

在边缘计算的趋势下,未来云天励飞将继续朝着内存更小、算力更小、性价比更高的方向不断改进和更新产品。

让长尾场景客户轻松使用AI

大模型赋能的数据处理产品之所以备受瞩目,在于它们具备人类般的思维能力,以及媲美人类的逻辑推理能力。

但对于使用者来说,重要的不是技术层面深目盒子积累了多么深厚的底蕴,而是应用层面产品是否足够简单易用。

雷峰网(公众号:雷峰网)认为,一款能直击客户痛点问题的大模型产品,一定是技术创新与产品体验双轮驱动的产物。

“深目”AI模盒正是这样一款零学习成本,真正做到长尾算法秒速训练的产品。

城市治理是一个典型的碎片化场景,由于各个城市的需求不一样,因此可能存在上百种场景算法,很难寻求一种放之四海而皆准的解决方案,一劳永逸地解决所有场景问题。

不仅如此,以往针对具体场景的微调,都需要将数据收集好,重新带回实验室,经过清洗、标注、训练、发布全流程后,再返回现场部署,周期十分漫长。

云天励飞通过将这一过程拆解为两个步骤,将原来几个月的落地周期压缩到了一两周。

第一步,训练边缘大模型。目前云天励飞与生态合作伙伴,已在算法训练平台上搭建了覆盖14个大类、100+个小类、千余种算法的预训练算法仓库;

第二步,在“深目”AI模盒上引入微调,实现边缘端的自学习、自进化。

这意味着,用户也只需通过两步极简的交互,就能获得一个高性价比的、聪明的专属大模型。

第一步,直接调用云天励飞的预训练算法,利用平台基础数据集,完成算法的初步训练;

第二步,上传自身场景图片,直接在现场完成算法的微调和升级,快速训练出高精度算法。

长尾场景最大的痛点在于样本数据少,但一旦用户使用了云天励飞的“深目”AI模盒,这个问题便能迎刃而解。

针对数据少的情况,云天励飞副总裁罗忆用城市治理中的店外经营和游摊小贩场景举例,“只需要上传五张场景照片,进行简单标注,就能将初步训练的算法精度从76%提升到95%。”

针对数据几乎空白的情况,如加油站场景的吸烟识别,可以用AIGC生成在该环境抽烟的人,这样既能填补训练数据的空白,又能规避隐私安全等问题。

除此之外,在云天励飞的算法训练平台上,借助大模型的泛化能力,还能解决识别对象标准不统一带来的算法训练难题。

不过,想要用少量数据产生很好的效果,还有一个重要的大前提,即培育一个良好的生态。

站在数据角度,当下国内的互联网数据、文本数据、视频数据已几乎被挖掘殆尽,与此同时行业数据又不公开,想要获取高质量数据,AI公司就需要团结行业伙伴、高校院所和头部企业,前者提供技术,后者提供数据,共创行业大模型。

站在渠道角度,云天励飞虽然提供了一个技术平台,但仅凭一家企业,是无法解决整个AI行业落地过程中,各种各样的技术、商业模式、市场等方方面面挑战的。

“我们认为多模态大模型在边缘的训推一体,尤其算法芯片的深入融合方向一定不会错,共创行业模型赋能行业长尾场景一定是未来的趋势,今天是云天励飞生态构建的一个重大开端。”陈宁博士说。

AI技术终将解码物理世界

在云天励飞CEO陈宁看来,无论通信、互联网、电子信息等技术,都经历了方案化、运营化和产品化三个阶段,AI也不例外。

与此同时,AI方案化、AI运营化和AI产品化,也是云天励飞的三个核心业务板块。

AI方案化,指AI企业通过项目制满足不同行业客户的需求。

在2022年底之前,这种趋势在G端和B端呈现出了蓬勃发展的迹象,各种行业解决方案层出不穷。

自2014年成立至今,云天励飞已经沉淀了智慧安防、智慧交通、城市治理、人居生活四大基础领域的成熟行业解决方案,并在过去两年探索了智慧教育、低空经济等创新领域。

AI运营化,指将已开发的AI解决方案投入实际项目中,不断积累行业认知和数据,持续进行优化改进,形成具备越来越强泛化能力的AI平台。

随着AI技术成熟和市场接受度提升,两年前市场开始走向AI运营化,开启了商业模式的创新。

云天励飞基于在大量行业的落地经验,已形成智能算力运营、数据运营和新能源运营平台。

AI产品化,指将AI技术或解决方案转化为标准化、通用化的产品或服务,通过物理实体赋能,满足更广泛的市场需求。

从成立之初自研AI芯片,到去年与华为昇腾联合推出天舟大模型训推一体机,再到如今推出面向边缘训推场景的“深目”AI模盒,以及通过资本纽带进军智能穿戴市场,云天励飞一直在致力于做物理世界的“解码者”,并在日复一日的坚持中,构建起日益完善的大模型产品体系。

陈宁博士表示,“多模态大模型将推动AI从方案化,走向运营化,最终走向标准化的智能硬件。在AI产品化方面,最重要的是推出面向C端的产品,如终极形态的人形机器人,将成为标准化的智能硬件之一。”

在云天励飞的布局中,标准化的智能硬件分为端、边、云三个不同的计算节点和产品形态。

终端和云端更多是整合生态,在终端设备上,通过生态构建,并购了一家可穿戴设备方案供应商;云端设备上,全面拥抱华为昇腾,在天舟大模型训推一体机后,联合探索各类场景;边缘设备上,则是端到端的开发打磨的一系列深目AI模盒,解决过往十年细分场景精度不够、成本太高、周期太长、数据量太大等一系列痛点问题。

当人工智能技术能够解决应用到实际场景中的最后一公里难题时,AI将不再仅仅是虚拟世界中的工具,而是真正成为了物理世界的生产力。

结语

过去一年,创业者们都在思考如何利用大模型这一颠覆性机会构建新的护城河,生成式AI的局限性,使得大模型与产业的结合,成为一个需要不断验证和改进的过程。

这个过程,恰如云天励飞十年间对“深目”产品的更新迭代。

CV小模型时代,名为”深目”的人工智能产品,引领了AI产业化应用的浪潮,揭开了“AI+公共安全”市场的新纪元。

大模型时代,名为“深目”AI模盒的边缘训推一体产品,基于大模型技术演进和芯片深度融合的联合设计,已经拥有了焕然一新的技术底座。

从“深目”到“深目”,从“方案化”到“产品化”,从“CV小模型创业”到“大模型创业”,云天励飞向着AI普惠的目标,再次出发了。

雷峰网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说