港中文-商汤OpenMMLab开源全景图!
共 4087字,需浏览 9分钟
·
2020-08-10 16:39
点击上方“AI算法与图像处理”,选择加"星标"或“置顶”
重磅干货,第一时间送达
来源:OpenCV中文网
OpenMMLab 为香港中文大学-商汤科技联合实验室 MMLab 开源的算法平台,不到两年时间,已经包含众多 SOTA 计算机视觉算法。
OpenMMLab 在Github上不是一个单独项目,除了大家所熟知的 Github 上万 star 目标检测库 MMDetection,还有其他方向的代码库和数据集,非常值得从事计算机视觉研发的朋友关注。
近期 OpenMMLab 进行了密集更新,新增了多个库,官方称涉及超过 10 个研究方向,开放超过 100 种算法和 600 种预训练模型,目前Github总星标超过 1.7 万。是CV方向系统性较强、社区活跃的开源平台。
这些库大部分都基于深度学习 PyTorch 框架,算法紧跟前沿,方便易用,文档较为丰富,无论对于研究还是工程开发的朋友都很值得了解。
项目主页:
http://openmmlab.org/
本文带领大家细数各个代码库,相信总有一款适合你!
MMCV
MMDetection
MMDetection是基于PyTorch的开源目标检测工具箱。是OpenMMLab最知名的开源库,几乎是研究目标检测必备!
主要特点:
模块化设计
支持开箱即用的多方法
高效率
SOTA
demo:
Github | https://github.com/open-mmlab/mmdetection
主持的主干网:
ResNet
ResNeXt
VGG
HRNet
RegNet
Res2Net
支持的算法:
RPN
Fast R-CNN
Faster R-CNN
Mask R-CNN
Cascade R-CNN
Cascade Mask R-CNN
SSD
RetinaNet
GHM
Mask Scoring R-CNN
Double-Head R-CNN
Hybrid Task Cascade
Libra R-CNN
Guided Anchoring
FCOS
RepPoints
Foveabox
FreeAnchor
NAS-FPN
ATSS
FSAF
PAFPN
Dynamic R-CNN
PointRend
CARAFE
DCNv2
Group Normalization
Weight Standardization
OHEM
Soft-NMS
Generalized Attention
GCNet
Mixed Precision (FP16) Training
InstaBoost
GRoIE
DetectoRS
Generalized Focal Loss
论文盘点 | CVPR 2020 -目标检测篇
MMDetection3D
从CVPR2020 中也可以看出3D目标检测研究异常火热,该库是专门用于3D目标检测的开源库。
主要特点:
支持开箱即用的多模态/单模态检测器
支持开箱即用的室内/室外检测器
与2D目标检测自然融合
高效率
demo:
MMSegmentation
MMSegmentation是一个基于PyTorch的开源语义分割工具箱.
主要特点:
统一基准
模块化设计
支持开箱即用的多方法
高效率
demo:
Github | https://github.com/open-mmlab/mmsegmentation
支持的骨干网:
ResNet
ResNeXt
HRNet
支持的算法:
FCN
PSPNet
DeepLabV3
PSANet
DeepLabV3+
UPerNet
NonLocal Net
EncNet
CCNet
DANet
GCNet
ANN
OCRNet
论文盘点 | CVPR 2020 -语义分割篇
MMClassification
MMClassification是基于PyTorch的开源图像分类工具箱。
主要特点:
各种骨干与预训练模型
Bag of training tricks
大规模训练配置
高效率与可扩展性
Github | https://github.com/open-mmlab/mmclassification
支持的骨干网:
ResNet
ResNeXt
SE-ResNet
SE-ResNeXt
RegNet
ShuffleNetV1
ShuffleNetV2
MobileNetV2
MobileNetV3
MMPose
MMPose是一个基于PyTorch的开源姿势估计工具箱。
demo:
MMAction
MMAction是一个基于PyTorch开放源代码的工具箱,用于动作理解。
主要特点:
可以解决以下任务:
从剪辑视频中进行动作识别
未剪辑视频中的时序动作检测(也称为动作定位)
未剪辑视频中的时空动作检测。
支持各种数据集
支持多动作理解框架
模块化设计
Github | https://github.com/open-mmlab/mmaction
论文盘点 | CVPR 2020 -动作识别篇
MMAction2
MMAction2是一个基于PyTorch开放源代码的工具箱,用于动作理解。
主要特点:
模块化设计
支持多种数据集
支持多重动作理解框架
完善的测试和记录
MMAction2比MMAction支持的算法更多,速度更快,开发者也更活跃。
demo:
Github | https://github.com/open-mmlab/mmaction2
支持的动作识别算法:
TSN
TSM
R(2+1)D
I3D
SlowOnly
SlowFast
支持的动作定位算法:
BMN
BSN
论文盘点 | CVPR 2020 -动作识别篇
MMSkeleton
MMSkeleton
用于人体姿势估计,基于骨架的动作识别和动作合成。
特点:
高扩展性
多任务
demo:
Github | https://github.com/open-mmlab/mmskeleton
论文盘点 | CVPR 2020 -动作识别篇
论文盘点 | CVPR 2020 -人体姿态估计与动作捕捉篇
MMFashion
MMFashion是一个基于PyTorch的开源视觉时尚分析工具箱。
特点:
灵活:模块化设计,易于扩展
友好:外行用户的现成模型
全面:支持各种时装分析任务
demo:
Github | https://github.com/open-mmlab/mmfashion
支持应用:
服饰属性预测
服饰识别与检索
服饰特征点检测
服饰解析和分割
服饰搭配推荐
相关解读 | 当时尚遇上AI!港中文MMLab开源MMFashion工具箱
相关解读 | 研究CV、研究美,MMFashion开源库升级~
MMEditing
模块化设计 在编辑中支持多任务 SOTA
OpenPCDet
OpenPCDet 是一个清晰,简单,自成体系的开源项目,用于基于LiDAR的3D目标检测。
设计模式:
Github | https://github.com/open-mmlab/OpenPCDet
支持一阶段和两阶段的3D目标检测框架、多机多卡分布式训练和测试、ATSS等。
论文盘点 | CVPR 2020 -目标检测篇
OpenUnReID
多机多卡分布式训练和测试
支持数据集、骨干网、损失函数高度灵活的结合
高速的基于GPU的伪标签生成和k-reciprocal重排序方法
即插即用的适用任何骨干网的批规范化方法:BatchNorms、sync BN
强大的基线实现
目前目标重识别领域无监督学习和域适应的众多SOTA算法
支持算法:
OpenSelfSup
OpenSelfSup是基于PyTorch的无监督表示学习工具箱
方法众多 灵活可扩展 高效 算法比较评测简单
包含算法:
其中BYOL刚出来没多久!
下载1 在「AI算法与图像处理」公众号后台回复:yolov4,即可下载 YOLOv4 trick相关论文 下载2 在「AI算法与图像处理」公众号后台回复:DL三件套,即可下载包括经典好书 个人微信(如果没有备注不拉群!) 请注明:地区+学校/企业+研究方向+昵称