HoloLens Hpu芯片有什么不同

众所周知，微软的HoloLens设备加入了HPU芯片，这个芯片跟普通的GPU到底有什么不同。

HoloLens与HPU

如今，实现战斗力探测的AI + AR技术已经不再为赛亚人所独有，地球人也拥有了这项技术!

例如，微软的HoloLens在已公布的AI + AR设备中可谓佼佼者，凭借微软的金字招牌以及酷炫的演示动画吸引了无数科技爱好者的眼球。

目前，用于AI/AR的处理器架构该如何设计仍然处于探索阶段，Intel想借机推自己基于CPU的方案，Nvidia想利用GPU弯道超车，而Qualcomm也拼接Snapdragon平台在一边虎视眈眈。

在今年的商用芯片峰会HotChips上，微软公布了应用在HoloLens中的处理器芯片(HoloLens Processing Unit, HPU)。

HPU的架构和CPU以及GPU都不相同，可谓是开创了AI / AR领域芯片的新范式。

我们采访了UCLA从事人工智能芯片和硬件研究的Li Du,Yuan Du以及Yilei Li博士，接下来将详细分析HPU芯片架构并展望未来AI/AR芯片设计中的范式转换。

HoloLens 可以实现众多 AI/AR 应用

微软公布的HoloLens系统架构如下图所示。就在绝大多数移动设备的处理器都基于ARM结构的今天。

HoloLens的主处理器使用的仍然是Intel的Cherry Trail SoC(包括CPU与集成的 GPU)，让人感叹维持了二十余年的Wintel联盟坚不可破。

微软最新公布的 HPU 也可以在图上看到，HPU严格来说是一款协处理器，其作用是协助主处理器加速运算一些专门的运算(如用于CV的矩阵运算，用于CNN的卷积运算等)。

在 UCLA 有多年异构运算与互联研究经验的Yuan Du博士表示，「由于CPU必须要考虑通用性而无法对一些AR/VR运算进行优化。

因此在应用场景中会大量遇到的专门运算如果都交给CPU做会使系统的整体性能变得很差，于是我们需要设计一款专用的加速器来协助加速这些运算，微软在这里的加速器就是HPU。

HPU通过PCIe高速接口与主处理器所在的SoC通信，不过PCIe的功耗其实是比较大的，未来可望会用上更先进的互联技术。」

微软公布的HPU处理能力达到每秒1T(10^12)次像素运算，功耗则小于4W。

HPU能够融合来自5个摄像头、一个深度传感器以及运动传感器的输入信息，将信息压缩并传送到主处理器。

此外HPU还能实现AI手势识别。据说微软曾评估了来自于各大厂商的商用芯片，却没有找到任何一款产品能满足系统算法对性能的要求。

这款微软自己开发的HPU是采用台积电28nm工艺，内含24颗可重配置的Tensilica字信号处理器(DSP)核心以及高达8MB的Cache除此以外，还有专用加速器用于给各类专门任务加速。

HoloLens 系统架构，HPU 与显示设备紧密耦合并且和主处理器 Intel Cherry Trail SoC 由高速 PCIe 接口互联