大家好！ OpenMMLab 期刊如约而至，快来看看10月的新版本发布情况吧！
MM系列多个算法库焕新上线
向上滑动阅览
1. MMCV
新功能
- 添加 11 个 detection3d 相关的 CUDA 算子
- FileClient 支持更多的文件接口
- 支持将 checkpoint 上传至多个后端
- 添加 deform conv 的 onnxruntime 支持
Bug 修复
- 修复 deform conv 权重初始化问题
- 修复 correlation 算子的单元测试在非 CUDA 环境的报错问题
- 修复 deprecated_api_warning 隐藏的问题
- 修复在 container 中不能获取 hostname 问题
- 修复 MultiScaleDeformableAttention 在 CPU 设备上的推理报错问题
- 修复 furthest_sample_point 访问非法内存问题
- 降低 ms_deformable_attn 单元测试占用的显存
- 修复 non-ascii 编码导致的 config 解析错误问题
代码及文档改进
- 切换 CI 中的 Nvidia CUDA 镜像为 PyTorch 提供的 CUDA 镜像
- CI 中添加 PyTorch1.10 的单元测试
- pre-commit 添加 codespell hook，用于检查代码中的单词拼写错误
- scandir 辅助函数添加 case_sensitive 用于判断是否忽视文件后缀的大小写
- 添加多篇中文文档，包括 CNN、ONNX、TensorRT、从源码编译 mmcv-full、如何贡献代码
感谢 @bofen97 @Fu0511 @Eugene Liu @zhicheng 对 MMCV 的贡献。
2. MMAction2
新功能
- 支持 TorchServe
- 添加视频结构化 demo
- 支持使用 3D 骨架点进行动作识别
- 添加 PoseC3D 在 UCF, HMDB 上的 benchmark
文档丰富
- 添加了 projects.md，展示使用 mmaction2 进行开发的项目
- 补充了剩余中文文档
- 添加利用自定义数据集进行骨骼动作识别的教程
感谢 @bit-scientist 在这个版本中的贡献~
3. MMDetection
新功能
- 支持实例分割模型 QueryInst
- 支持 infinite sampler，加速 IterBasedRunner 训练
Bug 修复
- 修复 fcn_mask_head 的权重初始化问题
- 修复 RPN 可视化的类型错误
- 修复 MMDetection Tutorial 中 colab 链接失效的问题
- 确保 scale_factor 和 bbox 的 device 以及数据类型保持一致
- 解耦 sampling 策略和损失函数
- 修复 RandomAffine 中 bbox 坐标问题
- 修复 convfc head 中 cls/reg 层的初始化问题
- 修复 auto_augment 中 image_shape 错误的问题
- 修复二阶段模型中没有 kwargs 参数的问题
代码改进
- 统一 stuff head 和 panoptic head 的接口
- 优化 Readme，全新的 readme 终于上线，欢迎大家围观～
- pre-commit 中增加 codespell hook，可用于英语语法检查
- 修复 sampler 的单元测试
- YOLACT 增加 forward_dummy 函数用于计算 flops
- 调整顺序并美化文档
感谢@Boyden, @onnkeat, @st9007a, @vealocia, @yhcao6, @DapangpangX, @yellowdolphin, @cclauss, @pingguokiller, @collinzrj, @AndreaPi 为此次新版本的贡献。
4. MMDetection3D
Bug 修复
- 更新 Dockerfile 中的 mmdetection 和 mmsegmentation 版本
- 修复中文文档中的链接
代码改进
- 更新 Group-Free-3D 和 FCOS3D 的引用格式
- 更新常见问题解答中关于 pycocotools 不兼容性的解决方案
- 新增 KITTI 和 Lyft 数据集教程中文文档
- 新增转换器用于更新 H3DNet 模型不兼容的键值
5. MMSegmentation
新功能
- 支持从 timm 中导入 backbone
- 支持用户定义 hook
- pre-commit 中增加 codespell hook，可用于英语语法检查
- 新增 FastFCN 在 ADE20K 上的 benchmark
Bug 修复
- 修复 python 3.9 CI 问题
- 修复从文件读取类名的问题
改进
- 减小单元测试输入的大小以及通道数
感谢 @ShoupingShan 、@HarborYuan 、@lkm2835 @gszh 为本版本做的贡献。
6. MMClassification
新功能
- 新增了 T2T-ViT 和 Res2Net 两个 backbone 和预训练模型
- 新增了对 ImageNet 21k 数据集的支持
- 新增了一个可视化数据预处理效果的小工具，参考教程使用~
- 新增了对 Seesaw loss 的支持
Bug修复
- 修复了使用 IterBaseRunner 时可能遇到的几个问题
代码及文档改进
- 全新的中英文 Colab 教程，在文档顶部即可浏览
- 文档中增加了每个算法的单独页面，下载模型不用去翻文件啦
感谢 @tansor，@youqingxiaozhua，@okotaku 在这个版本中的贡献~
7. MMPose
新功能
- 支持动物姿态数据集AP-10K（NeurIPS’19）
- 支持 TorchServe 部署
- 增加 HRNetv2 在 300W 和 COFW 数据集上的预训练模型
Bug 修复
- 修复部分 config 中的旧式设置写法
- 修复 bottom-up 方法使用 UDP 时 heatmap 和 tagmap 尺寸未对齐问题
- 修复 CI 中 python3.9 的安装问题
代码改进
- 支持 bottom-up 中使用任意长宽（非正方形）输入
- 为部分 demo 脚本提供了 online 视频/图像资源
- 使用 Docker 镜像加速 CI
- 增加了 codespell hook 进行代码拼写检查
感谢 @Annbless，@AlexTheBad 在这个版本中的贡献~
8. MMGeneration
新功能
- 为 SNGAN，SAGAN，BigGAN 增加了新的实验结果
- 重构了 Translation Model
代码改进
- 增加了 PyTorch 1.9 的支持
- 使用了新的文档主题
9. MMEditing
新功能
- 增加了 GLEAN 的盲人脸超分模型
- 增添了 REAL-ESRGAN 模型
- 支持了 EMA Hook
- 支持了 DF2K_OST 数据集
- 增加了 MATLAB-like bicubic 插值方法
- 支持在训练过程中做随机的退化
