安妮 编译整理
量子位 出品 | 公众号 QbitAI
在昨天Hot Chips 2017大会上,微软发布了基于FPGA的低延迟深度学习加速平台。据微软官方博客显示,当使用英特尔Stratix 10 FPGA时,Brainwave可在无批处理的情况下支持每秒39.5万亿次浮点运算。
产品概念这已经不是微软第一次提出Brainwave的概念,过去几年中微软一直尝试用FPGA提升必应(Bing)与Azure的性能与效率。微软希望赋予开发人员FPGA处理能力,帮助他们运行复杂的任务。因此,这套深度学习加速平台应运而生。
微软在官方博客上公布了Brainwave的三个层面:
高性能分布式系统架构
集成至FPGA上的深度神经网络(DNN)引擎
可低摩擦部署训练模型的编译器和runtime
△ Brainwave用英特尔FPGA进行演示
性能详解第一层面
Brainwave利用了大量微软在过去几年里部署的FPGA架构。通过将高性能FPGA链接到数据中心网络,微软让DNN支持硬件微服务。其中DNN可被映射到一个远程的FPGA池,由一个loop中没有软件的服务器调用。
这种系统架构既降低了延迟,并且CPU无需处理传入的请求,允许非常高的吞吐量,所以FPGA处理请求的速度和网络传输速度一样快。
第二层面
Brainwave使用了集成至商用FPGA上的强大的“软”DNN处理单元(DPU)。
不论科技巨头还是初创公司,很多公司正在构建“硬化”的DPU。尽管其中有些芯片峰值性能很强,但必须在设计时就选好操作符和数据类型,这限制了它们的灵活性。
微软的解决办法不同,它提供了跨系列的数据类型,可在合成时间内决策。该设计将ASIC数字信号处理模块、FPGA和合成逻辑三者结合,提供了更庞大、数量上更优化的功能单元。
第三层面
此外,Brainwave内置一个支持各种流行的深度学习框架的软件栈,目前Microsoft Cognitive Toolkit(CNTK)、Tensorflow均已兼容,微软计划支持更多框架。
在这里,微软定义了一种基于图的中间表示,先将模型转换为受欢迎的框架,然后再编译到高性能的基础架构中。
后续发展微软在官方博客中表示,他们将尽快通过Azure向外部开发者提供FPGA,让用户通过微软的服务间接访问。
据外媒ZDNet报道,微软并不是唯一一家在云数据中心朝FPGA发展的公司,亚马逊和谷歌都在使用定制芯片处理AI任务。
最后,量子位还有一份Brainwave官方版52页PPT及介绍文档,可在量子位微信公众号会话界面回复“170823”领取。
— 完 —
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI
վ'ᴗ' ի 追踪AI技术和产品新动态
相关资讯
最新热门应用
币客交易所app官网安卓
其它软件77.27M
下载zb交易平台官网app
其它软件223.89MB
下载币咖交易所链接
其它软件49.32M
下载atom交易所中文版免费手机版
其它软件223.89MB
下载尚亚交易所app手机版
其它软件225.08MB
下载欧联交易所app官网
其它软件34.34MB
下载bit交易所
其它软件105.39M
下载比特交易所app苹果版
其它软件287.34 MB
下载中币交易所最新版本
其它软件223.89MB
下载非小号交易所
其它软件47.76 MB
下载