这就是理想的AI芯片吗？-轻识

大数据文摘出品

来源：IEEE

编译：张大笔茹

理想的神经网络芯片是什么样的？

工程师们认为最重要的部分是在芯片本身上拥有大量存储空间。这是因为即使与AI计算本身相比，数据传输（从主内存到处理器芯片）通常消耗最多的能量且产生大部分系统延迟。

Cerebras Systems公司通过制造一台几乎完全由包含18 GB内存的大型芯片组成的计算机（内存墙）来解决这些问题。但是法国，硅谷和新加坡的研究人员提出了另一种方法。

这款使用在硅逻辑之上构建的3D堆栈中有电阻RAM存储器的处理器叫做Illusion，它可以花费很少的精力或时间来获取数据。就其本身而言甚至还不够，因为神经网络的规模越来越大，无法容纳在一个芯片中。因此，该方案还需要多个这样的混合处理器和一种算法，既可以智能地在处理器之间分割网络，也可以知道何时在闲置状态下迅速关闭处理器。

在测试中，八芯片版本的Illusion的能耗和等待时间仅为具有所需的内存和处理功能的“梦想”处理器的3-4％。

该研究团队（其中包括来自法国CEA-Leti研究实验室，Facebook，新加坡南洋理工大学，圣何塞州立大学和斯坦福大学的研究人员）受到了神经网络规模不断扩大这一事实的推动。斯坦福大学电气工程和计算机科学教授苏哈什·米特拉（Subhasish Mitra）表示：“从某种意义上讲，这种梦想的芯片永远无法使用，因为它是一个不断发展的目标。神经网络变得越来越快，其速度超过了摩尔定律所能保持的水平。”

因此，他们想设计一种即使它实际上是由多个混合处理器组成的，也会产生一个带有大量片上存储器的单个处理器的错觉（因此称为项目名称）的系统。这样，幻觉就可以轻松扩展以适应不断增长的神经网络。

Mishra解释说，这样的系统需要三个特征。首先是芯片上的大量内存，可以快速访问而几乎不消耗能量。于是他们想到了集成3D的RRAM。斯坦福大学电气工程学教授，项目的合作者Philip Wong表示，选择了RRAM地因为它是密集的，3D集成的，可以在掉电状态下快速访问，且在断电时也不会丢失数据的系统。

但是RRAM确实有一个缺点。像Flash存储器一样，它被覆盖过多次后就会磨损。在Flash中，软件会跟踪每个存储单元块发生了多少次覆盖，并尝试保持该数量，甚至覆盖芯片中的所有单元。斯坦福大学理论计算机科学家玛丽·沃特斯（Mary Wootters）带领团队努力为RRAM发明类似的东西。结果称为Distributed Endurer，这增加了确保写入时的磨损甚至跨越多个芯片的负担。

即使使用Endurer，混合RRAM和处理器芯片，强大的神经网络（例如当今使用的自然语言处理器）仍然太大而无法容纳在一个芯片中。但是使用多个混合芯片意味着在它们之间传递消息，这样会消耗能量并浪费时间。

Illusion团队的解决方案是其技术的第二部分，即以使消息传递最小化的方式来切断神经网络。神经网络本质上是一组计算发生的节点以及连接它们的边。每个网络将具有某些节点或节点的整个层，它们具有大量的连接。

但是网络中也会有阻塞点-在节点之间必须传递很少消息的地方。在这些阻塞点上划分大型神经网络，并将每个部分映射到单独的芯片上，可确保从一个芯片到另一个芯片的数据传输量最少。Mitra表示，Illusion映射算法“自动识别切割神经网络的理想位置，以最小化这些消息。”

但是像这样切碎的东西有其自身的后果。不可避免地，一种芯片会先于另一种芯片来完成其业务，这会拖延系统并浪费功率。其他尝试运行大型神经网络的多芯片系统专注于使所有芯片持续繁忙的方式划分网络，但这是以在它们之间传输更多数据为代价的。

相反，在第三项创新中，Illusion团队决定设计混合处理器及其控制算法，以便可以快速关闭和打开芯片。当芯片等待工作时，它不会消耗任何功率。Mishra表示，CEA-Leti的3D RRAM技术是制造3D SoC的关键，该SoC可以在几个时钟周期内完全关闭并重新启动而不会丢失数据。

该团队构建了八芯片版本的Illusion，并在三个深度神经网络上进行了测试。这些网络的规模远不及目前对当今计算机系统造成压力的网络的规模，因为每个Illusion原型仅为神经网络数据保留了4 KB的RRAM。他们测试过的“梦想芯片”实际上是一个模仿了完整神经网络执行的幻觉芯片。

8片Illusion系统能够在理想芯片能耗的3.5％内和其执行时间的2.5％内运行神经网络。Mitra指出，该系统可以很好地扩展。总共有4 GB RRAM的64芯片Illusion的仿真与理想情况非常接近。

斯坦福大学研究生罗伯特·拉德韦（Robert Radway）表示：“我们已经在开发一种功能更强大的新原型机，与原型相比，下一代芯片将具有更大数量级的内存和计算能力。”他是本周在《自然电子》杂志上描述Illusio论文的第一作者。

虽然第一代经过了推理的测试，但下一代将用于训练它们，这是一项艰巨的任务。

“总的来说，我们认为Illusion对未来技术具有深远的影响，它为技术创新开辟了广阔的设计空间，并为未来的系统创造了新的扩展途径。” Radway表示。