PaddleSlim压缩图像领域模型

联合创作 · 2023-09-26 05:25

PaddleSlim 是 PaddlePaddle 框架的一个子模块,主要用于压缩图像领域模型。在 PaddleSlim 中,不仅实现了目前主流的网络剪枝、量化、蒸馏三种压缩策略,还实现了超参数搜索和小模型网络结构搜索功能。在后续版本中,会添加更多的压缩策略,以及完善对 NLP 领域模型的支持。

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

功能

  • 模型剪裁
    • 支持通道均匀模型剪裁(uniform pruning)
    • 基于敏感度的模型剪裁
    • 基于进化算法的自动模型剪裁三种方式
  • 量化训练
    • 在线量化训练(training aware)
    • 离线量化(post training)
    • 支持对权重全局量化和Channel-Wise量化
  • 知识蒸馏
    • 支持单进程知识蒸馏
    • 支持多进程分布式知识蒸馏
  • 神经网络结构自动搜索(NAS)
    • 支持One-Shot网络结构自动搜索(Ont-Shot-NAS)
    • 支持基于进化算法的轻量神经网络结构自动搜索(Light-NAS)
    • 支持 FLOPS / 硬件延时约束
    • 支持多平台模型延时评估
浏览 6
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报