更为精细的DW openpose
OpenPose代表了第一个在单张图像上联合检测人体、手部、面部和足部关键点(共 135 个关键点)的实时多人系统。
全身(身体、脚部、面部和手部)2D 姿势估计
测试 OpenPose:(左)悉尼视频中的 Crazy Uptown Funk 快闪族。(中和右)作者吉内斯·伊达尔戈(Ginés Hidalgo)和托马斯·西蒙(Tomas Simon)测试面部和手部
全身 3D 姿态重建和估计
运行时分析
我们展示了 3 个可用的姿态估计库(相同的硬件和条件)之间的推理时间比较:OpenPose、Alpha-Pose(快速 Pytorch 版本)和 Mask R-CNN。OpenPose 的运行时间是恒定的,而 Alpha-Pose 和 Mask R-CNN 的运行时间随人数线性增长。更多细节在这里。
特征
主要功能:
- 2D实时多人关键点检测:
- 15、18 或 25 个关键点身体/脚部关键点估计,包括 6 个脚部关键点。运行时与检测到的人数不变。
- 2x21 关键点手部关键点估计。运行时间取决于检测到的人数。请参阅 OpenPose Training,了解运行时不变的替代方案。
- 70 个关键点人脸关键点估计。运行时间取决于检测到的人数。请参阅 OpenPose Training,了解运行时不变的替代方案。
- 3D实时单人关键点检测:
- 来自多个单个视图的 3D 三角测量。
- 处理Flir热像仪的同步。
- 兼容 Flir/Point Grey 相机。
- 校准工具箱:估计畸变、固有和外在相机参数。
- 单人跟踪,可进一步加速或视觉平滑。
输入:图像、视频、网络摄像头、Flir/Point Grey、IP 摄像头,并支持添加您自己的自定义输入源(例如,深度摄像头)。
输出:基本图像 关键点显示/保存(PNG、JPG、AVI等),关键点保存(JSON、XML、YML等),KEY点作为数组类,并支持添加自己的自定义输出代码(例如,一些花哨的UI)。
操作系统: Ubuntu (20, 18, 16, 14), Windows (10, 8), Mac OSX, Nvidia TX2.
硬件兼容性:CUDA (Nvidia GPU)、OpenCL (AMD GPU) 和非 GPU(仅限 CPU)版本。
替代使用方法:
- 内置功能的命令行演示。
- 用于自定义功能的 C API 和 Python API。例如,添加自定义输入、预处理、后处理和输出步骤。
有关更多详细信息,请查看已发布的主要功能和发行说明文档。
模型对比
DWPose for CN
对比 openPose
安装
目前还没有直接在Contronet中直接使用的案例,虽然他是基于CN的
体验网址
代码语言:javascript复制DWPose cloab体验地址https://colab.research.google.com/github/camenduru/DWPose-colab/blob/main/DWPose_colab.ipynbhttps://colab.research.google.com/github/camenduru/ControlNet-v1-1-nightly-colab/blob/main/ControlNet-v1-1-nightly-dw-openpose.ipynb
AI时代设计工具
AI布局
AI设计系统
AI魔法框
开放内测
我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!