0
作者 | 王悦
编辑 | 陈彩娴
11月6日，李开复带队创办的 AI 2.0 公司零一万物，开源发布了Yi系列模型，包含 34B 和 6B 两个版本。
令人惊艳的是，从参数量和性能上来看，Yi-34B 相当于只用了不及 LLaMA2-70B一半、Falcon-180B五分之一的参数量，碾压 了LLaMA2-70B 和 Falcon-180B 等众多大尺寸模型。凭借这一表现，跻身目前世界范围内开源最强基础模型之列。
根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单，Yi-34B 预训练模取得了多项 SOTA 国际最佳性能指标认可，成为全球开源大模型「双料冠军」。这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。
Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜（2023年11月5日）
雷峰网获悉，「Yi 」系列大模型，命名来自「一」的拼音。「Yi 」中的「Y」上下颠倒，巧妙形同汉字的「人」，结合 AI 里的 i ，代表Human + AI ，强调以人为本的精神，为人类创造巨大的价值。
零一万物创始人及CEO李开复博士表示：「零一万物坚定进军全球第一梯队目标，从招的第一个人，写的第一行kl代码，设计的第一个模型开始，就一直抱着成为‘World's No.1’的初衷和决心。」
从「AI 1.0」迈向「AI 2.0」，李开复说话算数，一步步向目前迈进。
一、零一万物大模型 Yi 首次曝光
作为国产大模型， Yi-34B 不得不说的的优势之一就是更「懂」中文。对比大模型标杆GPT-4，在CMMLU、E-Eval、Gaokao 三个主要的中文指标上，Yi-34B 也具有绝对优势，能够更好地适配国内市场需求。
从更为全面的评估看，在全球大模型各项评测中最关键的 「MMLU」（Massive Multitask Language Understanding 大规模多任务语言理解）、BBH等反映模型综合能力的评测集上，Yi-34B 同样表现突出，在通用能力、知识推理、阅读理解等多项指标评比中全部胜出，与 Hugging Face 评测高度一致。
各评测集得分：Yi 模型 v.s. 其他开源模型
在语言模型中，上下文窗口是大模型综合运算能力的关键指标之一，对于理解和生成与特定上下文相关的文本至关重要，拥有更长窗口的语言模型可以处理更丰富的知识库信息，生成更连贯、准确的文本。
据雷峰网了解，此次开源的 Yi-34B 模型，将发布全球最长、可支持 200K 超长上下文窗口（context window）版本，可以处理约40万汉字超长文本输入。理解超过 1000 页的 PDF 文档，让很多依赖于向量数据库构建外部知识库的场景，都可以用上下文窗口来进行替代。
相比之下，OpenAI 的 GPT-4 上下文窗口只有 32K，文字处理量约 2.5 万字。今年三月，硅谷知名 AI 2.0 创业公司Anthropic 的 Claude2-100K 将上下文窗口扩展到了 100K 规模，零一万物直接加倍，并且是第一家将超长上下文窗口在开源社区开放的大模型公司。
上下文窗口规模扩充从计算、内存和通信的角度存在各种挑战，零一万物能做到这个程度也并非一蹴而就。受限于计算复杂度、数据完备度等问题，大多数发布的大型语言模型仅支持几千 tokens 的上下文长度。
为了解决这个限制，零一万物技术团队实施了一系列优化，包括：计算通信重叠、序列并行、通信压缩等。通过这些能力增强，实现了在大规模模型训练中近 100 倍的能力提升。
其实，Yi 系列模型之所以能取得如此亮眼的成绩，背后的 AI Infra 是功不可没的，其通过「高精度」系统、弹性训和接力训等全栈式解决方案，确保训练高效、安全地进行。
凭借强大的 AI Infra 支撑，零一万物团队能实现超越行业水平的训练效果，Yi-34B 模型训练成本实测下降40%，实际训练完成达标时间与预测的时间误差不到一小时，进一步模拟上到千亿规模训练成本可下降多达 50%。
截至目前，零一万物 Infra 能力实现故障预测准确率超过90%，故障提前发现率达到 99.9%，不需要人工参与的故障自愈率超过 95%，
无论是人前耀眼的成绩还是背后基础能力的攻坚，也都离不开零一万物潜心数月练就的大模型 「科学训模」方法论。
大模型效果依赖于更多、更高质量的数据，零一万物在数据处理管线上可谓「不惜成本」。
数据处理管线和加大规模预测的训练能力建设，把以往的大模型训练碰运气的「炼丹」过程变得极度细致和科学化，不仅保证了目前发布 Yi-34B、Yi-6B 模型的高性能，也为未来更大规模模型的训练压缩了时间和成本，
经过几个月大量的建模和实验，零一万物自研出一套「规模化训练实验平台」，用来指导模型的设计和优化。数据配比、超参搜索、模型结构实验都可以在小规模实验平台上进行，对 34B 模型每个节点的预测误差都可以控制在0.5%以内。
在 Yi 开源模型的全球首发日，零一万物 CEO 李开复也宣布，在完成 Yi-34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。「零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好，我们的动作会越来越快」。
二、从「AI 1.0」到「AI 2.0」
零一万物的首次成果公布，体现的不仅是技术的进步，还有商业的可能性。
今年 3 月，李开复作了一场关于 AI 从 1.0 时代跨到 2.0 时代的演讲。随后，零一万物在李开复所设想的 AI 2.0 框架下成立，招揽了前百度安全副总裁马杰、前微软副总裁祁瑞峰等等技术大咖，阵容豪华，引起业内的广泛关注。
过去十年，深度学习催生了一批优秀的 AI 公司，随后经过多年的发展，在过去两年曾进入短暂的低谷期，一度传出 AI 泡沫、AI 寒冬的说法。其中的根源就在于：上一代 AI 公司尽管基于崭新的技术立足，但在商业化上的步伐却比预期慢。
而从去年 8 月 Stable Diffusion 掀起 AIGC 热潮以来，加上去年11月底 ChatGPT 发布，全球 AI 突然看到了新的机会。这个新的机遇，被李开复称为「AI 2.0」。
ChatGPT 之后，AI 时代的进步在技术上体现为通用人工智能（AGI）雏形初显，在商业应用上则被李开复形容为平台级的趋势爆发。
所谓「平台」，包含一个大的目标，即要大幅降低开发 AI 应用的成本。如同电与电网的区别，电是一项伟大的发明，但如果没有电网，就不会出现微波炉、电烤箱、电动车等新的发明。换言之，AI 2.0 之于 AI 1.0 的区别，就在于将 AI 技术变成平台，将定制变成通用，将点变成面。
过去十年的商业实践验证了 AI 1.0 时代的瓶颈。在 AI 1.0 时代，数据越多、结果越好，但同时也因为需要大量的标注数据，成本巨大。此外，AI 1.0 时代的应用在各个领域是相互割裂的，诞生了一连串的「孤岛应用」，无法形成有效的平台。
但 AI 2.0 时代的技术基石是自监督，可以让 AI 模型不进行数据标注也能学习。虽然同样需要将大量的、跨领域的数据拿来学习，但学习后形成一个基础模型（即大模型）后再去做知识的迁移，AI 即相当于一个世界模型。经过多年的训练与积累，基础模型更成熟，基于基础模型再做平台应用，即可打破 AI 应用的孤岛现象，边际效益与日俱增。
换言之，AI 2.0 时代有三大优势：一是减少人工标注；二是模型规模大，具备世界知识；三是能够以极低的成本对基础模型进行微调训练，即可适应不同领域的任务。所以，在 AI 2.0 时代，每个领域都有机会将原有的应用重构一遍，用更短的时间生产出更高质量的数字内容，而且千人千面、精准优化信息流，做出更伟大的商业模式。
一方面，降低训练成本是减少 AI 应用开发成本、催生一系列爆款应用的前提；另一方面，长文本处理是商业应用的一道拦路虎。如果长文本处理的技术瓶颈能突破，许多更高难度的应用也会被一一破解，如处理超长篇幅的法务合同、交叉对比多篇学术论文、基于长篇剧本进行角色扮演、通过多篇财报进行市场分析等等。
因此，「长文本处理」在下半年成为大模型赛道的兵家必争之地。从 Anthropic AI 对 OpenAI 发起挑战后，国内多家大模型厂商也陆续推出长文本处理里程碑。如月之暗面的 Kimi Chat 支持 20 万字输入，百川智能的 Baichuan2-192k 支持 35 万字输入，零一万物的 Yi-34B 迅速扩展到 40 万字。
此次零一万物团队开源大模型 Yi-34B 与 Yi-6B，在长文本领域可以做到最长 200k 上下文窗口、40 万字的文本处理，也与李开复此前谈的 AI 2.0 思想相一致。同时，据零一万物介绍，他们还依托基础的计算设施与算法优化等 Infra 能力，将训练成本下降了 40%。
上传到 Hugging Face 不过两天后，Yi-34B 的下载量就超过了 1000 次，获得了接近 150 个点赞。
长文本处理的技术突破，不仅是表面上关于 Token 数的数据变更，更重要的是其体现了人工智能领域整体对 AI 2.0 时代所蕴含的商业潜力的认同与乐观。正是因为对大模型为代表的新一代 AI 技术的信心，才有如此多优秀的技术人才涌入该赛道，在极短的时间内快速突破了长文本等技术问题的局限。
据雷峰网(公众号：雷峰网)了解，如今长文本处理已逐渐被热情的 AI 技术人才攻破，目前业内流行的技术方法包括：最简单粗暴的堆显存，或滑动窗口、降采样等，或在 Attention-mask 中做动态内插。这些方法的效果很好，缺点是计算开销大。但在各大云计算厂商的加持下，算力壁垒也被逐渐打了下来。
可以看见，AI 进入一个新的时代毫无疑问已是行业共识。AI 2.0 代表一个新的商业愿景，道阻路长，玩家众多，但后来者零一万物也已成为其中最有潜力的团队之一，期待零一万物接下来的表现。
OpenAI 首届开发者大会召开在即，AI 科技评论持续关注，欢迎同样关注的朋友添加作者微信 s1060788086 一起交流。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
