AI绘画专栏之statble diffusion SDXL 1.0 更加精细的OpenPose DW Openpose(23)

2023-11-14 12:08:02 浏览数 (2)

更为精细的DW openpose

OpenPose代表了第一个在单张图像上联合检测人体、手部、面部和足部关键点(共 135 个关键点)的实时多人系统

全身(身体、脚部、面部和手部)2D 姿势估计

测试 OpenPose:(左)悉尼视频中的 Crazy Uptown Funk 快闪族。(中和右)作者吉内斯·伊达尔戈(Ginés Hidalgo)和托马斯·西蒙(Tomas Simon)测试面部和手部

全身 3D 姿态重建和估计

运行时分析

我们展示了 3 个可用的姿态估计库(相同的硬件和条件)之间的推理时间比较:OpenPose、Alpha-Pose(快速 Pytorch 版本)和 Mask R-CNN。OpenPose 的运行时间是恒定的,而 Alpha-Pose 和 Mask R-CNN 的运行时间随人数线性增长。更多细节在这里

特征

主要功能

  • 2D实时多人关键点检测
    • 15、18 或 25 个关键点身体/脚部关键点估计,包括 6 个脚部关键点运行时与检测到的人数不变
    • 2x21 关键点手部关键点估计运行时间取决于检测到的人数。请参阅 OpenPose Training,了解运行时不变的替代方案。
    • 70 个关键点人脸关键点估计运行时间取决于检测到的人数。请参阅 OpenPose Training,了解运行时不变的替代方案。
  • 3D实时单人关键点检测
    • 来自多个单个视图的 3D 三角测量。
    • 处理Flir热像仪的同步。
    • 兼容 Flir/Point Grey 相机。
  • 校准工具箱:估计畸变、固有和外在相机参数。
  • 单人跟踪,可进一步加速或视觉平滑。

输入:图像、视频、网络摄像头、Flir/Point Grey、IP 摄像头,并支持添加您自己的自定义输入源(例如,深度摄像头)。

输出:基本图像 关键点显示/保存(PNG、JPG、AVI等),关键点保存(JSON、XML、YML等),KEY点作为数组类,并支持添加自己的自定义输出代码(例如,一些花哨的UI)。

操作系统: Ubuntu (20, 18, 16, 14), Windows (10, 8), Mac OSX, Nvidia TX2.

硬件兼容性:CUDA (Nvidia GPU)、OpenCL (AMD GPU) 和非 GPU(仅限 CPU)版本。

替代使用方法:

  • 内置功能的命令行演示
  • 用于自定义功能的 C API 和 Python API。例如,添加自定义输入、预处理、后处理和输出步骤。

有关更多详细信息,请查看已发布的主要功能发行说明文档。

模型对比

DWPose for CN

对比 openPose

安装

目前还没有直接在Contronet中直接使用的案例,虽然他是基于CN的

体验网址

代码语言:javascript复制
DWPose cloab体验地址https://colab.research.google.com/github/camenduru/DWPose-colab/blob/main/DWPose_colab.ipynbhttps://colab.research.google.com/github/camenduru/ControlNet-v1-1-nightly-colab/blob/main/ControlNet-v1-1-nightly-dw-openpose.ipynb

AI时代设计工具

AI布局

AI设计系统

AI魔法框

开放内测

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

0 人点赞