MMPose 全身姿态估计入门：一条命令跑出 133 点人体关键点

MMPose 全身姿态估计入门一条命令跑出 133 点人体关键点【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmposeMMPose 是 OpenMMLab 开源的姿态估计工具箱其中 COCO-WholeBody 相关模块可以把一张图里的每个人标注出 133 个关键点身体 17 个关节、面部 68 个点、双手 42 个指关节、足部 6 个点。这套全身姿态估计能力适合做健身动作分析、手势交互、虚拟角色驱动等应用的开发者和算法工程师开箱即用也可继续微调。先搞懂133 个关键点是怎么分配的很多姿态估计方案只标注 17 个身体关节。但做手势识别时你需要手指做表情迁移时需要面部做步态分析时又需要足部。MMPose 的 COCO-WholeBody 数据格式把这些需求合进一套标注里关键点定义可以直接在 configs/base/datasets/coco_wholebody.py 中查到。部位关键点数说明身体17鼻、眼、耳、肩、肘、腕、髋、膝、踝足部6左右脚的大脚趾、小脚趾、脚跟面部68覆盖眼睛、眉毛、鼻子、嘴部轮廓双手42每只手 21 点含 20 个指关节 1 个手掌根点为什么需要全身关键点而不只是 17 点身体关节举两个真实场景健身/舞蹈评分只有关节点无法判断手掌是否摊平脚尖是否绷直手指和足部点能补齐动作细节projects/just_dance就是用全身关键点计算舞蹈动作相似度的完整例子。虚拟角色驱动动画制作中面部 68 点支撑表情手部 42 点支撑精细手势缺任何一组都会让角色穿帮。分开训练多个小模型也能做到这些但要自己拼接检测、裁剪、坐标变换和结果融合。MMPose 用一个模型输出全部 133 点省掉了工程拼装成本。如何 3 分钟跑通全身姿态估计第 1 步安装git clone https://gitcode.com/GitHub_Trending/mm/mmpose cd mmpose pip install -r requirements.txt pip install -v -e .第 2 步跑推理 demoMMPose 提供统一推理接口 Inferencer--pose2d wholebody会自动加载预训练的全身姿态模型和配套的人体检测器权重首次运行自动下载python demo/inferencer_demo.py tests/data/crowdpose --pose2d wholebody --vis-out-dir vis_results第 3 步查看结果打开vis_results目录每张图片上叠加了骨骼线、手部和面部关键点。输入可以是单张图片、视频或整个文件夹都走同一条命令。如果只想对单图做快速验证也可以用demo/image_demo.py直接传入图片路径、配置文件和权重路径用法见 demo/docs/en/2d_wholebody_pose_demo.md。核心能力拆解1. Top-down 两段式流程先找人再标姿态全身姿态估计默认走 top-down 路线人体检测器先框出每个人姿态模型再逐个框输出 133 点。想自己配检测器时用 demo/topdown_demo_with_mmdet.py 可以手动指定 MMDetection 的检测模型例如 demo/mmdetection_cfg/rtmdet_m_640-8xb32_coco-person.py灵活替换检测前端。2. 实时性能CPU 上也能跑官方报告的参考数据RTMPose-m 在 Intel i7-11700 CPU 上 90 FPSGTX 1660 Ti GPU 上 430 FPS17 点身体任务全身任务中 RTMPose-l 达到 130 FPS。对多数离线批处理场景完全够用实时摄像头场景需要自己评估目标硬件。3. 模型谱系齐全同一任务多种范式全身姿态配置集中在 configs/wholebody_2d_keypoint/包含三类实现rtmpose/实时取向SimCC 定位输入 256x192 到 384x288 可选topdown_heatmap/精度取向HRNet、ResNet、VIPNAS 等骨干 热图解码dwpose/蒸馏方案用大模型教小模型适合低算力部署。选型对比全身姿态模型怎么选以下为 COCO-WholeBody v1.0 验证集官方指标配套人体检测器在 COCO val2017 上 human AP 56.4来源 configs/wholebody_2d_keypoint/rtmpose/README.md模型输入分辨率Whole APWhole AR适用场景RTMPose-m256x1920.5820.674低算力设备、批量处理RTMPose-l256x1920.6110.700精度与速度的均衡点RTMPose-l384x2880.6480.730追求精度、GPU 推理配置入口configs/wholebody_2d_keypoint/rtmpose/coco-wholebody/rtmpose-m_8xb64-270e_coco-wholebody-256x192.pyconfigs/wholebody_2d_keypoint/rtmpose/coco-wholebody/rtmpose-l_8xb32-270e_coco-wholebody-384x288.pyconfigs/wholebody_2d_keypoint/rtmpose/cocktail14/rtmw-l_8xb1024-270e_cocktail14-256x192.py3D 人体网格数据集 Cocktail14 上的变体经验法则先跑 256x192 的 RTMPose-m 看效果手部或面部点不够准时再升到 384x288 的 RTMPose-l。落地建议云端批量处理直接 Inferencer 命令处理文件夹输入输出可视化图或 JSON 结果无需写额外代码。容器化服务仓库自带 docker/serve/Dockerfile配合 docker/serve/config.properties 可打包成推理服务镜像。边缘/移动端优先选dwpose/下的蒸馏小模型如 configs/wholebody_2d_keypoint/dwpose/coco-wholebody/s2_dis/dwpose_s-ss_coco-ubody-256x192.py再用 ONNX/TensorRT 转 INT8。微调自有场景用 Label Studio 标注后跑 tools/dataset_converters/labelstudio2coco.py 转成 COCO-WholeBody 格式再用python tools/train.py 你的配置训练配置模板直接抄上面选到的 rtmpose 文件改数据路径即可。下一步从 2D 全身往哪走2D 转 3Dprojects/rtmpose3d基于全身 2D 关键点估计 3D 姿态是自然延伸视频时序平滑Inferencer 支持视频输入配合--tracking-thr参数可做跨帧跟踪虚拟人/游戏数据Cocktail143D 人体网格和 UBody 相关配置已就绪适合角色动画管线换物种/换任务同一套数据格式可扩展到动物、虚拟人等数据集如 configs/base/datasets/h3wb.py 这类 133 点变体。MMPose 的全身姿态估计把身体 脸 手 脚统一成一次前向输出配合现成的实时模型和部署工具链从 demo 到生产链路都比较短。先跑通 3 分钟体验那一节再按选型表挑模型是最快的上手路径。【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考