这颗视觉神经网络协处理器, 将成为微软下一代HoloLens的神秘武器

三年前 HoloLens 刚刚曝光的时候，这款微软开发的混合现实 (Mixed Reality) 头显设备，能够以 60Hz 的刷新率，将画面与佩戴者通过设备透镜看到的真实世界叠加在一起，带来前所未有的人机视觉交互体验，被人们惊讶地称为“黑科技”。

在夏威夷正在召开的国际计算机视觉和模式识别大会 (CVPR 2017) 上，微软首次宣布了下一代 HoloLens 的重要硬件配置：2 代 HPU 处理器 (HoloLens Processing Unit) 将搭载一颗协处理器，专门用于在本地运行各种深度学习——特别是计算机视觉范畴所广泛使用的深度神经网络 (DNN) 架构。

HoloLens 科学主管马克·波利菲 (Marc Pollefeys) 在公司博客里指出，HoloLens 单机运行，不外接电源和数据，其 HPU 需要对 HoloLens 搭载的各种摄像头、传感器和手势追踪数据进行处理计算，对本地计算能力带来了非常大的需求。而下一代 HoloLens 需要借助深度神经网络计算来实现更强的计算机视觉能力，此时通用多核处理器（比如酷睿处理器或 HPU）就显得心有余而力不足了：在本地运行一个已经训练好的神经网络，通常会占用处理器的所有核心的绝大部分，导致没有足额算力去处理其他任务，比如运行操作系统等等，这会导致系统崩溃，硬件死机等结果。

而新协处理器的任务是帮 HPU 分担神经网络计算的任务，从而解放 HPU 去处理其他计算任务——从感觉上有点像苹果 iOS 设备的 M 系列协处理器所承担的环境和感知计算的任务，能够低功耗处理运动传感器传回的数据。

根据微软并不充分的资料，我们可以确认协处理器的核心功能就是低功耗、低延迟运行各类深度神经网络。微软全球执行副总裁沈向洋在 CVPR 2017 上介绍，协处理器可以运行非常广泛的神经网络类型，且完全可编程，能够在本地富有弹性地运行深度神经网络。

听上去协处理器由微软定制开发，不过“可编程”这个用语很难不让人联想到 FPGA，也即“可编程逻辑门阵列”，一种自定义程度较高，可以现场重新编程改变处理器运行逻辑的新处理器技术。FPGA 市场领导者之一的 Altera 已经被英特尔收购，而考虑到微软和英特尔长久的合作关系，该公司在第一代发售版 HoloLens 中已经使用了英特尔 Cherry Trail 架构 32 位处理器，这枚新协处理器的技术提供商可能也是英特尔。

猜测仍然只是猜测，意外的情况也有可能出现。不过另一件有趣的事是，同样在 CVPR 2017 上一家名为 Movidius（也已被英特尔收购）的爱尔兰公司正式推出的神经网络计算棒 Neural Compute Stick，其技术用途和优势和微软宣布的协处理器几乎完全一致：NCS 的常规运行功耗低于 1W，能提供超过 80-150GFLOPS（十亿次浮点计算）的惊人算力，通过 USB 外接到设备上，用于分担计算机视觉方面的计算，基于的是 Movidius 自研的 Myriad 2 视觉处理器（Visual Processing Unit） 。

之前 Movidius 内部知情人士告诉我，正在和一家业界巨头共同开发基于 Myriad 2 的芯片，听起来像是微软本次宣布的协处理器。对于协处理器开发合作伙伴的猜测，微软方面表示不予置评。

除了微软和英特尔，英伟达也在今年推出了一种名叫 Volta 架构的芯片，和英特尔的 FPGA 对抗；Google 则抢先了一步，早在一两年前就开始在其数据中心中使用自研的 TPU (TensorFlow Processing Unity)，补足甚至取代 CPU 和 GPGPU。

这些公司的策略各有不同，但主要有两个方向，一个是在低功耗上本地运行优化的神经网络（Movidius、微软协处理器），另一个是在没有严格功率限制的前提下进一步推进算力（TPU、Volta）。另外也有一些小型初创企业采取的方向是为垂直行业定制专门的芯片。不管怎样，专门为了训练或推理（运行）神经网络而定制芯片，已经成为了前沿科技公司共同领导的趋势，以至于“显卡”不再是人工智能相关计算的首选设备。