AdaptivePose++:开辟多人姿态估计新思路,速度快、精度高

2022-11-28 16:56:04 浏览数 (1)

传统的多人姿态估计主要有top-down 和 bottom-up两大技术路线,top-down先检测人体实例,在进行人脸关键点定位,bottom-up则先定位人体关键点,再将关键点“归集”到不同的人体实例。

以上过程均包含两个阶段,所以导致计算成本高、存在冗余计算。

为了解决上述问题,来自北邮、鹏城实验室等单位的学者提出将人体部位表示为自适应点集,并引入一种细粒度的身体表示方法,这种表示能够充分编码各种姿势信息,并在单次前向传递中有效地建模人体实例与相应关键点之间的关系。

代码地址:

https://github.com/buptxyb666/AdaptivePose

论文地址:

https://arxiv.org/pdf/2210.04014.pdf

传统人体部位表示方法与该文方法比较:

自适应点集人体表示方法可视化:

通过提出的新的人体表示方法,构建了一个紧凑的单阶段多人姿势回归网络AdaptivePose。在推理过程中单步解码操作即可计算出多人的姿势,无需复杂的后处理。

算法主要流程图:

在将 AdaptivePose 用于 2D/3D 多人姿势估计任务的实验中, 证明了有效性,在准确性和速度方面 于 MS COCO 和 CrowdPose 数据集上都实现了SOTA,在MuCo-3DHP 和 MuPoTS-3D 的出色表现也进一步证明了在 3D 场景上的有效性和通用性。

在COCO数据集上推理时间与精度的表现:

速度快,精度高:

在CrowdPose数据集上的结果示例:

在3D人体姿态估计数据集上的结果示例:

一个好的算法不仅仅是达到了STOA,而是给更多研究者开辟了一条路,相信这种多人姿态估计领域的新的人体表示方法,将会帮助更多研究者化繁为简,推动技术进步。

开源地址:

https://github.com/buptxyb666/AdaptivePose

0 人点赞