“亲爱的观众朋友们,我想死你们啦!”
在今年年初的发布稿中,我们提到 MMTracking 将会长期更新与维护,但是在半年的时间里,我们并没有进行太大的更新变动,作为 开发鸽子 开发者 的一员,具体原因请大家听本鸽子狡辩,啊不对,听我解释
. . . . . .
emmm,算了,找不到借口,编不出理由。
但是这不重要~
重要的是打今儿起, MMTracking 将会持续更新啦,这次一定哦~。
OK,言归正传,开始我们的正文:
本文内容
太长不看
MMTracking 的特点与优势
V0.7.0 版本带来的新特性
即将与大家见面的
最后
最后的最后
0. 太长不看
真真儿,MMTracking 要开始进行长期的更新与维护啦(这次一定)。
在已经支持的视频目标检测、多目标跟踪、单目标跟踪 3 种任务,以及提供的 8 类算法的基础上,不断的增加新的 SOTA 算法,同时支持更加细粒度的视频目标感知任务与算法。欢迎大家在 GitHub 上三键三连(Watch Star Fork)。PS:讲道理 GitHub 不应该出个一键三连的功能吗?
此外,我们每周都会推出一篇 MMTracking 的食用指南,帮助大家更好的上手已有的 3 种任务与算法。
【项目地址】:
https://github.com/open-mmlab/mmtracking
1. MMTracking 的特点与优势
MMTracking 是首个开源的一体化视频目标感知平台,它将多个视频里的感知子任务融合到统一框架下,比如视频目标检测、多目标跟踪、单目标跟踪任务,填补了这些领域内基准开源平台的空白,同时希望能够推动不同子领域之间的融合、互促与发展。
MMTracking 延续了 OpenMMLab 系列的模块化风格,同时通过与 OpenMMLab 其它平台(比如 MMDetection)交互的方式, 充分利用其它平台的成果与优势,在继承复用其它平台大量功能的同时,取长补短,极大的简化了代码框架。
MMTracking 提供了简洁的用户接口,以及完善的中文英文文档,同时释放了高效、强大的基准模型,部分实现超出官方版本(比如视频目标检测中的 SELSA、多目标跟踪中的 Tracktor、单目标跟踪中的 SiameseRPN ),在部分学术数据集(比如 ImageNet VID)达到 SOTA 水平。
更多详细介绍烦请移步今年年初的发布稿。
发布稿链接: https://zhuanlan.zhihu.com/p/341283833
2. V0.7.0 版本带来的新特性
在 MMTracking V0.5.0 刚刚发布的时候,我们支持了以下算法:
视频目标检测(VID)算法:
- DFF (CVPR 2017)
- FGFA (ICCV 2017)
- SELSA (ICCV 2019)
多目标跟踪(MOT)算法:
- SORT (ICIP 2016)
- DeepSORT (ICIP 2017)
- Tracktor (ICCV 2019)
单目标跟踪(SOT)算法:
- SiameseRPN (CVPR 2019)
经过发布之后这半年来断断续续的更新,以及 8 月份较为密集的更新,我们发布了 MMTracking V0.7.0,该版本主要新增了以下特性:
Codebase
- 重构、完善了英文用户文档、中文用户文档,用鲜明的例子告诉大家如何推理、测试、训练 VID、MOT、SOT 的模型
- 支持所有算法的 FP16 训练与测试
VID
- 支持新的视频目标检测算法 Temporal RoI Align (AAAI 2021), 同时为所有视频目标检测算法提供了使用 ResNeXt-101 为 backbone 的预训练模型,该方法以 84.1 mAP@50 的性能在 ImageNet VID 数据集上达到了 SOTA 水平
MOT
- 提供 Tracktor 在 MOT15、MOT16、MOT20 上的结果,在更加复杂的 MOT20 数据集的主要评估指标 MOTA 上,比官方版本高出 5.3 个点
- 支持在 MOT 数据集训练 ReID model
- 支持在 MOT 数据集进行错误(FP、FN、IDS)可视化分析
SOT
- 支持更多的 SOT 数据集:LaSOT、UAV123、TrackingNet,其它主流数据集也即将支持
3. 即将与大家见面的
在之后不到一个月的时间里,我们每周(敲重点)都会推出一篇 MMTracking 的食用指南(都给我吃!),手把手的帮助大家更好的上手已经支持的 3 种任务
同时在现有支持任务的基础上,我们将逐步增加更多的 SOTA 算法,以提供更好的使用体验。
此外 MMTracking 目前只涉及视频里物体的定位与跟踪任务,这与我们“视频目标感知平台”的定位还有一定距离,我们希望提供更加细粒度的感知方式,因此在 9 月或 10 月我们将会支持新的任务与算法(在做了在做了)。
欢迎大家点赞、试用、反馈、PR。
4. 最后
作为 MM 系列的成员, MMTracking 将持续更新,力图早日成长为一个完善的视频目标感知平台,而社区的声音能够帮助我们更好地了解到大家的需求,所以如果大家在使用的过程中遇到什么问题、想法、建议,或者有想支持的新数据集、新方法、新任务,欢迎在评论区里发言。请记住我们的 repo 是您永远的家!