微软披露新AI系统细节——用来加速其云计算服务

微软在今年Hot Chips上透露该系统相关技术细节

该实时AI系统将用于加速微软云计算服务

该系统芯片采用英特尔制造的 Stratix 10 FPGA

8月22日，在硅谷的 Hot Chips 2017 大会上，微软透露了新实时 AI 系统的相关技术细节，该系统代号为 Project Brainwave。这款新AI系统未来将并入到微软云计算服务Microsoft Azure 和 Bing 当中，以加快处理速度。

Project Brainwave 的负责人为微软高级工程师 Doug Burger，致力于开发云计算的加速构架。目前官网暂未给出该项目的时间线，不过从披露的细节看，该项目是基于 Doug Burger 六年前开展的 Project Catapult。

2010年，Doug Burger 向当时微软的CEO史蒂夫·鲍尔默描绘了未来机器学习和Web服务的庞大规模，要提供这些服务，现在的服务器CPU的摩尔定律已入暮年，必须建立一个全新的框架。于是，2011年，微软展开 Project Catapult，目的就是用FPGA构架代替传统CPU中的冯氏结构，这让微软成为第一家在公共云基础设施中部署FPGA的提供商。

2016年，开展了五年的Project Catapult让微软的几乎所有数据中心的服务器都配备了 FPGA 加速板。

今年，Project Brainwave 便是基于此前部署的 FPGA 构架，在今年硅谷的 Hot Chips 大会上，该项目首次亮相，Doug Burger 仅向大家透露了该项目的相关技术细节，主要有三点：

第一，该项目使用FPGA架构。这种被称之为“现场可编程门阵列（Field Programmabe Gate Array）”的架构比起传统使用冯·诺依曼结构的CPU、GPU的优点在于无指令，无需共享内存，在处理数据时的延迟更低、吞吐量更大。这次的系统便是以FPGA为基础，把FPGA直接连接到微软的数据中心，其 DNN可以映射到FPGA池，然后FPGA来响应外部提出的需求。

第二，该项目使用深度神经网络DNN处理单元（DPU）。Project Brainwave 的 DPU 可以根据FPGA上的ASIC数字信号进行缩放的。而不是固定运算符和数据类型的，虽然具有高峰值性能，但同时限制了其灵活性。而可缩放的设计，提供了更大量更优化的功能单元，不仅允许高度客制化、窄精度的数据型态，可提高性能又不损失模型的精准性，而且还可以支持新的算法。

第三，Project Brainwave纳入了一款支持多个流行深度学习框架的软件栈（software stack）。目前已经可以支持微软自家的 Cognitive Toolkit 以及Google 的 Tensorflow，未来还将支持更多深度学习框架。

在微软的演示中，该系统维持了每毫秒 39.5 万亿次的浮点运算，其运行的 GRU 规模是ResNet-50（2015年大规模视觉识别挑战赛排名第一的深度网络）的五倍大小，无需批量处理，并且实现了记录设置性能。综合看下来，其性能也是数一数二的，微软预计未来这个速度还将会得到提升。

该AI系统由 Stratix 10 FPGA 作为核心芯片。这款芯片由英特尔 2015 年以 167 亿美元收购的 Altera 制造，Altera 是一家专门制作 FPGA 芯片的公司。此前新城商业报道过 NASA 使用的深度学习系统也是由英特尔收购的企业提供，这次又为行业巨头微软提供芯片，可见英特尔的布局还是非常成功的。

微软的下一步的商业计划就是将这个实时AI系统并入在 Microsoft Azure 和 Bing 上，以超低延迟处理请求。微软的客户就能通过这两个接口直接访问该AI系统，进行复杂的数据运算或是创造深度学习软件。