知乎 | 有哪些当时很有潜力但是最终没有流行的深度学习算法?
共 4493字，需浏览 9分钟
·
2021-11-24 03:42
来源：机器学习实验室 本文约2500字，建议阅读5分钟
本文带你了解有潜力但是没流行的深度学习方法。
问题链接：
https://www.zhihu.com/question/490517834
SNN使用离散的脉冲序列(0和1)进行消息传递，而ANN使用实值；因此ANN具有更高的运算效率。 SNN分为时间驱动和事件驱动两种。前者利用时间步长仿真信号，后者根据只有在接收或发射脉冲信号时才处于活跃状态；而大部分的ANN架构无法获取时间维度信息（除了RNN类的模型），并且每个神经元永远处于激活状态，因此SNN具有更少的能量消耗。 SNN使用脉冲序列进行通讯，与人脑的消息传播机制更像，因此SNN比ANN更像神经网络。 SNN可以运行在专用的神经形态硬件上，例如Intel Loihi[2]，Brainchip Akida[3]等；而ANN主要应用在GPU上进行加速。已有文献证明，基于SNN 架构的芯片能量效率比基于Field Programmable Gate Array(FPGA）实现的卷积神经网络的能量效率高出两个数量级。
SNN使用离散脉冲序列，其中脉冲发射函数Heaviside step函数具有不可微的性质，因此难以像目前的ANN一样使用梯度下降算法优化。虽然目前有一些替代梯度的方法，但是在效果上还是和ANN有点差距。 目前的神经形态硬件没有流行。目前主流的计算硬件都是GPU，在GPU上，0-1的脉冲序列都被当成实值进行矩阵运算，无法看出SNN与ANN的差距。
参考文献：
[1] Maass W. Networks of spiking neurons: the third generation of neural network models[J]. Neural networks, 1997, 10(9):1659-1671.
[2] Mike Davies, Narayan Srinivasa, Tsung-Han Lin, Gautham Chinya, YongqiangCao, Sri Harsha Choday, Georgios Dimou, Prasad Joshi, Nabil Imam, Shweta Jain,et al. 2018. Loihi: A neuromorphic manycore processor with on-chip learning.Ieee Micro38, 1 (2018), 82–99.
[3] Anup Vanarse, Adam Osseiran, Alexander Rassau, and Peter van der Made. 2019.A hardware-deployable neuromorphic solution for encoding and classificationof electronic nose data.Sensors19, 22 (2019), 4831.
[4] Cao Y, Chen Y, Khosla D. Spiking deep convolutional neural networks for energy-efficient object recognition[J]. International Journal of Computer Vision, 2015, 113(1):54-66.
对平移和旋转的 invariance(CNN的设计希望有invariance，虽然CNN不是完全的invariance)，其实是丢弃了“坐标框架”，Hinton认为这是CNN不能反映“坐标框架”的重要原因。CNN 前面非 Pooling 的部分是 equivariance 的。
理解capsule本身就有难度，而且使用了机器学习的一些算法，深度学习当道的年代，机器学习算法就算是高门槛了。 capsule本身有很多细节没想清楚，比如原始的capsule是引入聚类的思想来对特征进行抽象，那有没有其他更合适的方法呢，capsule还存在许多没有解决的问题。 Transformer中的self-attention能够建模pixel之间的相对关系，跟capsule的某些理念不谋而合，而且Transformer整体框架上要比capsule简洁易懂。