NVDLA英伟达标准化推断加速框架

NVDLA ，即 NVIDIA Deep Learning Accelerator ，是英伟达开源的一个开放框架，以促进设计深度学习推断加速的标准方法。 通过其模块化架构，NVDLA 具有可扩展性和高度可配置性，旨在简化集成性和可移植性（灵活性）。

简单来说，NVDLA 硬件提供了一个简单、灵活和鲁棒的推断加速解决方案。硬件支持各种 IoT 设备，以 Open NVDLA 协议开源。

NVDLA 硬件主要由以下几个模块组成：

• 卷积核心（Convolution Core）：即一种最优化的高性能卷积引擎。

• 一维数据处理器（Single Data Processor）：激活函数的奇点检索引擎。

• 二维数据处理器（Planar Data Processor）：用于池化的平面均值引擎。

• 通道数据处理器（Channel Data Processor）：高级归一化函数的多通道均值引擎。

• 专用内存与数据形状重塑引擎（Dedicated Memory and Data Reshape Engines）：张量形状重塑和复制操作的内存到内存转换加速。