您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给王悦
发送

0

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

本文作者:王悦 2024-07-06 10:59
导语:在非共识阶段打「先手」。


2020 年,1750 亿参数规模的 GPT-3 问世。彼时,完整训练 1750 亿参数的模型需要 3.14E11(TFLOPS)的每秒浮点运算量。如果使用英伟达 80GB A100 GPU(16位浮点算力有 312 TFLOPS,但在分布式环境中很难达到峰值),按照每张显卡 1.5 刀每小时的租赁价格来算,则需要使用一千张 A100 、花费81.6 万刀、用 22 天才能完成整个训练过程。

2024 年,大模型只需使用 2B 的参数规模即可达到和 2020 年的 GPT-3 一样的性能表现。

这一现象,类似于半导体领域中的「摩尔定律」——集成电路上可容纳的晶体管数目约每隔两年便会增加一倍,芯片性能因此持续提升。芯片制程带来终端算力持续增强,模型制程带来模型知识密度持续增强,两者交汇揭示端侧智能巨大潜力。

面壁此前推出的端侧多模态大模型—— MiniCPM-Llama3-V 2.5 ,实现了「以最小参数,撬动最强性能」的最佳平衡点。

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

而大模型行业也有自己的摩尔定律,纵观 OpenAI 的 GPT 系列大模型和各类开源大模型,会发现大家都在“默契”地按照如此轨迹演化。

基于这一发现,面壁智能提出了面壁定律——大模型的知识密度平均每 8 个月提升一倍。

其中,知识密度=模型能力 / 推理算力能耗。

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

当前,大模型架构-算法-数据等多重因素交织的技术⽅案仍在⾼速迭代,模型制程仍有极大的改进空间,实现知识密度的极致提升。

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

面壁定律图

正如面壁定律所揭示的知识密度发展趋势,面壁持续贯彻高效Scaliing,通过模型沙盒,在小模型中寻找最优数据和超参配置再外推至大模型,推出了知识密度极高的 MiniCPM 小钢炮旗舰端侧大模型系列,主要包括以小博大的 MiniCPM 2.4B + 1.2B 的基座模型、 可对标 GPT-4V 的 MiniCPM -V 端侧多模态模型以及最小 128K 长文本模型和高性能 MOE 模型。

数据表明,相比 GPT-3,参数规模小的多的 MiniCPM2.4B 具备同等性能, 整体知识密度提高了约86倍。

面壁高效大模型还在持续进化中。在今年的世界人工智能大会(WAIC 2024)上,面壁发布了高效稀疏模型 MiniCPM-S 和助力开发者打造 SuperAPP 的全栈式工坊 MobileCPM。

MiniCPM-S 不仅完美承接过去面壁智能一系列高效端侧大模型工作,更体现面壁在坚定地按照其所提出的高效 Scaling 路径持续发力,同时又一次验证并加速了面壁定律。

从最初出圈的 AI Infra 到 小钢炮端侧大模型,面壁智能无一不是在非共识阶段就打出「先手」,走在 AGI 技术研究的前沿,预测大模型发展趋势,成为大模型行业发展风向标。


一、 MiniCPM-S:2.8倍推理速度提升,FFN 模块 84% 成本降低

在以 LLaMA2 7B 为代表的主流开源大模型中,就存在稀疏激活现象。LLaMA2 FFN 模块稀疏度为 70% 左右,每个词元(token) 保留输出数值较大的 30% 神经元参与计算即可让下游任务表现不发生显著下降。稀疏度越高,每个 词元激活的神经元越少,模型推理所需的计算量就越少。

与采用稠密计算的模型相比,采用稀疏计算的模型对给定的词元输出的「激活值」有很多为0、或者非零但对结果影响很小,这些激活值所对应的神经元可称为处于「未激活」状态,在推理时跳过这些未激活的神经元,可实现显著加速。

然而,现有主流大模型在稀疏激活上面临两个困境:一方面,稀疏模型大都基于 Swish、GELU 等无法输出大量零元素的激活函数,需要进行激活阈值搜索方可界定神经元的激活与否,其稀疏激活特性利用起来较为复杂,且在推理时强制跳过阈值下的非零神经元容易造成性能损失;另一方面,其稀疏度仍相对有限,如 LLaMA2 停留在 70% 左右。

对此,面壁的 MiniCPM-S 提出了 ProSparse 的稀疏激活解决方案:

首先,将激活函数从 Swish 重新替换为 ReLU(最初的Transformer即采用ReLU激活),使激活值自然地存在大量零元素,跳过这些零激活值的神经元严格无损。

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

然后,通过渐进式的、带约束的稀疏感知训练,提升稀疏度。

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

结果显示,性能持平,且将神经元激活比例降至约 10%。

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

论⽂地址:https://arxiv.org/pdf/2402.13516.pdf

模型地址:https://huggingface.co/openbmb/MiniCPM-S-1B-llama-format

PowerInfer 

可运⾏ GGUF 地址:https://huggingface.co/openbmb/MiniCPM-S-1B-sft-gguf

基于此,面壁推出 MiniCPM-S 高效稀疏激活模型。具体而言,这一模型有三大特点:

Sparse:高度稀疏。MiniCPM-S 的 FFN 模块具有极高的稀疏度,平均可达到 87.89%,FFN FLOPS 下降 84%,大模型能耗与推理成本显著降低。

Speed:高效推理。相比采用稠密计算模式的模型,能使用更少计算量进行更快速的推理, 在纯 CPU 环境下推理时,结合Powerinfer推理框架,decode 速度提升 2.8 倍。

Strong:强大性能。虽然计算量变少,但无损于下游任务性能,其中,神经元激活比例降至12.1% ,知识密度相比稠密模型提升 2.57 倍、相比Mistral-7B 提升 12.1 倍。

可以说, MiniCPM-S 又一次验证了过去基于面壁定律发布的 MiniCPM 1.2B 和 MiniCPM 2.4B ,并且在时间上进行了加速,高效 Scaling Law 仍在持续演化。


二、MobileCPM:降低开发者门槛,一键集成端侧大模型到APP

随着大模型赛道的进一步演进,一个共识是:基座大模型只属于资源充足的少数玩家,普通创业者的机会更多是在上层应用。基于此,涌现了诸多AI 原生应用和 Agent 产品,以及与其相对应的能够起到强大支撑能力的 APP 开发工具和平台。

目前市面上的大模型 APP 开发平台的共性是易用、精度高、易部署、安全可靠等特点,而其中能做到提供端侧大模型接口的则少之又少。然而,除了共性的「一键集成、开箱即用」优势,面壁智能基于团队本身强大的高效端侧模型能力推出了 MobileCPM ,如此一来即无需云端 GPU ,实现真正的零推理成本,100 万 tokens 只需要 0 元。

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

可以说,MobileCPM 拉开基于端侧模式 APP 探索的帷幕,再次降低了开发者开发大模型应用的门槛,并且增加了端侧大模型应用这一选项,真正改变了过去C端产品云端服务成本⾼昂的商业模式,为⼤模型产品创新提供了新可能。

具体来看,MobileCPM 可以提供三种模式:

基础模式:包含了丰富的适配端侧⼤模型 APP 的 SDK 套件,开发者基于此即可⾃由灵活地搭建⼤模型 APP,但在这个过程中,底座模型和智能体仍需要开发者⾃⾏开发和接⼊;

精装模式:在基础模式基础上,提供 1.2B 参数的⾯壁新⼀代⾼效稀疏⼤模型 MiniCPM-S,并且MobileCPM 还支持任意端侧模型的集成,开发者可以根据具体需求选择替换其它端侧模型,并可以通过增加或修改prompt的方式定制多种API,满足不同业务场景需求。

全包配件模式:在精装模式的基础上预装丰富的 intent,并提供保姆式教程,开发者也可使用自定义 intent,减少开发时间,⼤幅提升应⽤的丰富性。

于开发者而言,无需 GPU,只需使用 MobileCPM 即可在手机本地部署大模型,在很大程度上消除了隐私问题的担忧。并且,也不要求顶配手机,五年内发布的手机运行起来均无压力,端侧毫秒级响应,iphone 15 实测下,推理速度轻松可达 30 tokens/s,相当于人类语速的18~30倍。

更重要的是,MobileCPM 已经全⾯⽀持 iOS系统,立时可用,Android 版本也即将开启公测,预计即将正式发布。

MobileCPM 开源地址:https://github.com/OpenBMB/MobileCPM

MobileCPM 这一破坏式创新可以让任何开发者都能一键集成产品,实现大模型与 APP 的无缝对接。


三、面壁与 AGI 千里江山图

实际上,摩尔定律不仅意味着性能的提升和能耗、成本的下降,还意味着整个行业需要不停奔跑才能留在原地,在变相地推动行业去吃苦钻研、迭代技术。

大模型时代的面壁定律亦是如此,在本就乾坤未定的 AGI 发展格局中,从更深层次来看,这一规律也拉出一条行业基本线。也就是说,一定会有先行者率先站出来进行技术的革新,指出并试验出一条技术迭代的可行路径,而后将其开放出来供行业使用、共同进步。

面壁智能就扮演了这样的角色。

早在面壁智能成立之前,高效的基因就刻在团队的基因里。而经过一年多的探索与实践,从 MiniCPM-2B 到 MiniCPM-S,从不输 OpenAI 的 Scaling Law 曲线到面壁定律,「高效」在这一团队也中不断生出新的定义,被赋予新的内涵。雷峰网雷峰网(公众号:雷峰网)雷峰网

当下,面壁团队会将面壁定律视作高效大模型的第一性原理,后续将会一直用实际成果一次次验证它。面壁智能联合创始人&CEO 李大海公开表示,在 2026 年年底,面壁就可以做到 GPT-4 水平的端侧模型。

除了技术层面的进步,商业化落地也是团队极其看重的事情,一直在以积攒 know-how 的方式去广泛、高效地探索大模型落地的各种途径。现已服务过大 B 企业,也尝试过 2B2C,涉及领域包括金融、营销、法律、内容。

在 WAIC 2024 上,面壁智能首席科学家刘知远还透露了关于穿戴设备、智能硬件等更多端侧 AI 的场景和应用,这些也预示着端侧 AI 生态的序幕即将拉开。

之所以将重点聚焦到端侧,一方面是因为端侧是落地起来更具象化、更现实的途径;另一方面也是因为面壁一直在做离用户最近的事情。

李大海曾说道,现在的 AGI 赛道就像一个千里江山图在徐徐展开,它代表了「生态里不同企业需要紧密合作」的现状。当下,面壁在这幅图中的位置逐渐清晰。

现在可以放心大胆地说:高效大模型,就看面壁智能!


雷峰网原创文章,未经授权禁止转载。详情见转载须知

WAIC 最具技术想象力成果发布:新架构面壁小钢炮又一次验证并加速了面壁定律

分享:
相关文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说