您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给黄鑫
发送

0

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

本文作者:黄鑫 2016-08-19 17:40
导语:在上篇中我们主要在讨论硬件上的一些问题和方案,在下篇中,让我们来看看一些算法上的改进。

雷锋网按:在上篇文章中,我们看到了深度学习对计算量的迫切程度。以及介绍了一款Intel为此设计的处理器:代号为KNL(Knights Landing)的高性能CPU Xeon Phi。在下篇我们将为大家展示一些深度学习语言开发者们针对这些需求和新硬件做出的调整和改进。

在上文的末尾提到了著名的开源学习框架Caffe。不过,来自伯克利大学的原始版本的Caffe语言在处理的数据规模太大时需要的时间太长了,并且默认情况下并不支持多节点、并行文件系统。因此不是很擅长超大规模的深度学习运算。不过由于Caffe是开源的,因此理论上任何人都能对其进行自己需要的改进。Caffe的多种功能事实上都有很好的被改进以支持集群并行计算的潜力。而浪潮集团在原版Caffe的基础上加以改进,开发出了第一代支持在KNL上进行丛集并行计算的Caffe版本。支持英特尔的Luster存储器、OPA网络和KNL丛集。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

浪潮集团将这个改进版的Caffe框架命名为Caffe架构,下图是关于Caffe-MPI在KNL上进行运算时的结构的一些解释。可以看到,其计算流程采用MPI主从模式,使用多个KNL处理器组成节点网络,主节点使用一个KNL,而从节点可以视需求由N个KNL构成,因为使用了专为HPC设计的Lustre文件系统,因此数据吞吐量并不会限制到计算和训练。OPA架构也保证了网络通信的顺畅。软件系统方面,支持Linux/Intel MKL和Mvapich2 。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

设计框架中的主节点为MPI单进程+多Pthread线程,从节点为MPI多进程,图中展示了整个网络训练的框图。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

设计中对KNL的最多72个核心可以进行充分利用,主进程可以同时处理三个线程:并行读取和发送数据、权重计算和参数更新、网络间的参数沟通。下图中给出了图示。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

MPI结构中的从进程的主要处理流程是:从主进程中接收训练数据、发送权重数据、接收新的网络数据、进行前向、后向计算。从节点网络中每一个KNL核代表了一个MPI网络中的从节点。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

下图中的信息表示,改进版的在KNL丛集上运行的Caffe-MPI架构对原版Caffe进行了多项优化。最终的效果表现是原版的3.78倍。增加KNL处理器的总数时的性能扩展效率高达94.5%

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

而FPGA是另一项在深度学习领域极有潜力的硬件。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

目前浪潮、Altera和科大讯飞在在线识别领域对FPGA的应用起到了很好的成效。结果表明,FPGA组成的系统在各项指标上都显著优于传统CPU组成的系统。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

结论是,对于离线学习来说,基于KNL处理器搭建的MPI-Caffe架构可以很好的完成任务。而在线语音平台等在线认知项目则很适合使用FPGA来搭建系统。

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

雷峰网原创文章,未经授权禁止转载。详情见转载须知

英特尔IDF PPT揭秘: 高性能计算和深度学习发展的趋势(下)

分享:
相关文章
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说