2020最佳AI新基建年度榜
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能开发者 正文
发私信给skura
发送

0

华为宣布开源 MindSpore,4 月将进行公测

本文作者:skura 2020-03-28 13:00
导语:今天,MindSpore 正式开源!

最近,国内开源界发生了不少大事,继清华开源了计图,旷视开源天元之后,3 月 28 日,在华为开发者大会 2020(Cloud)第二天,华为宣布全场景 AI 计算框架 MindSpore 在码云正式开源。

MindSpore 发布于 2019 年 8 月。华为公司轮值董事长徐直军表示,MindSpore 的推出,标志着华为全栈全场景 AI 解决方案(Portfolio)的构建,也标志着华为 AI 战略的执行进入了新的阶段。

    MindSpore开源并不意外,早在去年,华为就透露今年春天将开源MindSpore的消息。

     三大特性

    AI 的研究和生产之间存在巨大的鸿沟。

    一方面,在学术界,AI 相关的研究持续升温,各种模型算法、诉求层出不穷;另一方面,工业界的 AI 模型应用层出不穷。各种不同的场景,如平安城市、智慧交通、生物医疗等,都需要非常大的数据集和完备的功能,以适应特定的需求。

    现有的框架大多数开发门槛高,全场景能力不足,异构性差。而使用 MindSpore 架构就不用担心这些问题。

    华为宣布开源 MindSpore,4 月将进行公测

    华为 MindSpore 首席科学家陈雷表示,它有以下三个特性:

    • 开发态友好:AI算法即代码

    通过自动微分、自动运行、自动调优,使代码量减少20%,同时效率提升50%;

    • 运行态高效:面向昇芯片优化

    通过图算子编译加速以及神经网络并行,协同生成芯片的算力,实现1.6倍性能优势

    • 部署态灵活:全场景按需协同

    通过自适应的部署技术,实现IoT设备到云灵活部署,它的模型可大可小。

    自动并行,降低开发门槛

    在 AI 训练过程中,分布式训练非常重要。开发者不仅要设计算法逻辑,还需要分析数据量,参数量、网络拓扑,模型切分策略等,设计一个性能较好的并行训练策略。更糟糕的是,这些并行序列的优化细节与算法业务无关,却需要算法科学家进行大量的工作。

    随着算法和模型越来越大,混合运行尤其重要,为此 MindSpore 实现了自动并行功能。只需要一行代码就能自动混合并行,无需关注系统细节,而且保证性能。

    华为宣布开源 MindSpore,4 月将进行公测

    举个例子,当分类数逐渐增加到 1 千~3 万左右时,自动并行跟手工并行策略性能持平;但是当分类数增加到 6 万~13 万左右时,自动并行的性能就完全超过了手工并行策略;当分类数超过 26 万时,手工并行已经法无执行,而自动并行则不受影响。

    同时,MindSpore 用一行代码完成了 PPT 调试和运行的切换,既方便了用户调试,又能保证运行使用性能。

    黑盒模型的调试也不用担心。MindSpore 的可视化工具可以实现训练过程可视化、数据可视化、模型溯源、模型对比等功能。

    在软硬件协同加速方面,MindSpore 团队也做了很多工作。

    在框架层,团队采取了 Pipeline 并行和跨层内存复用的方法来进行加速。数据流曲线是指在数据处理和模型训练过程中进行内部计算,利用训练的时间去覆盖数据处理时间,保证生成芯片一直处于计算状态,提高了芯片的利用率。

    在软硬协同方面,MindSpore 将整张计算中下沉到芯片,使得所有的计算都在芯片上运行,这样充分发挥了昇腾的算力。

    4 月将进行公测

    今年 1 月,华为已经同步完成了 HMS4.0 ML Kit 商用发布。在即将到来的 4 月,MindSpore 将在 ModelArts 实现公测。届时,大家就可以体验 MindSpore了。在端侧,MindSpore 将在 HMS ML Kit 的智慧服务中提供 10 多种功能。

    据陈雷透露,MindSpore 团队在近一年会根据用户的反馈和诉求,持续调整计划的优先级。团队将提供更多的预置模型,补齐 API 和算法库,不断优化性能和软件架构,完善可视化调整、调试、调优安全和相关的工具。

    华为宣布开源 MindSpore,4 月将进行公测

    在本次开源后,华为将致力于构建碰蓬勃发展的生态。主要从开发者扶植、高校科研合作、开源社区合作三个方面着手。

    • 开发者扶植:线上免费体验资源、全年举办最少 10 场线下沙龙、举办 MindSpore 开发者大会;

    • 高校科研合作:专项基金课题开放(包括 AI+HPC、下一代框架),MindSpore 教学扶植计划;

    • 开源社区:招募 Committer 参与社区项目。

    传送门:

    雷锋网雷锋网雷锋网(公众号:雷锋网)

    雷锋网版权文章,未经授权禁止转载。详情见转载须知

    华为宣布开源 MindSpore,4 月将进行公测

    分享:
    相关文章

    文章点评:

    表情
    当月热门文章
    最新文章
    请填写申请人资料
    姓名
    电话
    邮箱
    微信号
    作品链接
    个人简介
    为了您的账户安全,请验证邮箱
    您的邮箱还未验证,完成可获20积分哟!
    请验证您的邮箱
    立即验证
    完善账号信息
    您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
    立即设置 以后再说