高性能！超轻量！AI编译器MegCC最新版本来了！新增Benchmark等工具，有奖征文活动同步启动-轻识

最新版 MegCC 新鲜出炉，新工具，新体验，本次版本针对用户使用体验以及模型推理性能进行全面提升，主要的提升包括：

1.新增 Benchmark 工具，用于用于快速 Benchmark 常用模型的推理性能并可视化；

2.新增 Kernel C 代码导出工具，方便用户定制化获取算子 Kernel，方便迁移与复用；

3.优化 NN Kernel 性能, 保持推理 SDK 性能先进；

4.支持第三方 NPU loader，方便 NPU 相关应用迁移。

下面展开介绍下最新版 MegCC 的新功能以及新特点：

MegCC Benchmark

新版 MegCC 支持了基础的 Benchmark 模块用于测试各类模型的推理性能，获取推理时各个 Kernel 的性能数据，分析模型性能瓶颈。

目前 Benchmark 支持的模型有：effecientnetb0、resnet18、resnet50、vgg11、vgg16、shufflenetv2、mobilenetv2，模型主要的格式为 ONNX 格式，通过 MgeConvert 转换为 MegEngine 的格式作为 MegCC 对 ONNX 格式的间接支持，有关 MgeCovnert 的更多内容请参考：
https://github.com/MegEngine/mgeconvert；

2.新增的 Benchmark 可以支持模型中各个 Kernel 的性能数据的获取，Bechmark 新增了Kernel 性能可视化的功能，用于模型性能瓶颈分析；

3.Benchmark 支持了模型推理数据可视化的功能，用于纵览不同设备上的模型推理性能。

MegCC Kernel 导出工具 - Kernel_exporter

MegCC 新增了 Kernel C 代码导出的工具 Kernel_exporter，用户可以通过设置所需 Kenrel 的属性，导出所需 Kernel 的 C 代码，便于进一步的移植与复用。

1.Kernel 导出工具目前有两种用法，一种是使用默认参数导出 Kernel，一种是用户交互式给定部分关键参数导出定制化的 Kernel。

默认参数用法：

./kernel_exporter --arch <arch_type> --kernel <kernel_type> --use_default_attr

交互式用法：

./kernel_exporter --arch <arch_type> --kernel <kernel_type>

arch_type 和 kernel_type 的具体参数，可以通过 --help 查看, 目前支持的 Kernel 包括：

ArgSortKernel           ArgmaxKernel                BatchMatmulKernel       CVTransposeKernelConcatKernel            ConvBackDataKernel          ConvKernel              CvtColorKernelElemwiseKernel          ElemwiseMultiKernel         FlipKernel              IndexingMultiAxisKernelIndexingOneHotKernel    MatrixInvKernel             MatrixMulKernel         PoolingKernelPowCKernel              ReduceKernel                RelayoutKernel          ResizeKernelRoiCopyKernel           RotateKernel                TopK                    TypeCvtKernelWarpAffineKernel        WarpPerspectiveKernel

2. 导出的 Kernel C 代码会在工具使用的当前目录下面。

性能优化

a. 在初版的基础上，MegCC 对现有的 Kernel 进行了一系列优化，主要包括：

1.支持编译时多个 elemwise fuse 的功能，fuse 后的 elemwise 性能更优；

2.支持 General Instrinsic MAX、MIN 的 Kernel 实现，有效提升有大量 MAX、MIN 算子模型的推理性能；

3.使用汇编优化 arm64 的 sigmoid，降低 sigmoid 对模型推理性能的束缚；

4.新增 conv3x3 winograd 优化，大大提升了推理时 3x3 卷积的计算性能；

5.新增了部分 Kernel 启发式选择算子的功能，用于保证有多个Kernel 可用时，选择到合适的 Kernel。

b. 优化后的模型性能：

MegCC 新版本主要对推理基础功能进行完善优化，提供 Benchmark， Kernel_exporter 等周边工具，方便用户获取推理性能以及推理模型中的 Kenrel 代码，持续优化 Kernel 性能，感兴趣的小伙伴赶快来试用啦！

附：

更多 MegEngine 信息获取，您可以：查看文档、和 GitHub 项目，或加入 MegEngine 用户交流 QQ 群：1029741705。欢迎参与 MegEngine 社区贡献，成为 Awesome MegEngineer，荣誉证书、定制礼品享不停。