SkeletonNet：完整的人体三维位姿重建方法

从单幅图像中估计人体的三维姿态是计算机视觉中的一个重要问题。它不仅可以在人体重建和行为监控方面发挥作用，还可以为机器人控制和远程执行提供潜在的解决方案。卷积网络可以有效地从图像中检测出人体的关键点，得到准确的2D关节位置。然而，直接从2D关节位置学习包括关节位置和骨骼旋转角度在内的3D姿态是非常困难的，并且需要解决高度非线性的映射问题。最近，日本工业技术研究所的研究人员提出了一种新方法，通过结合骨骼结构的回归和基于三维姿态表达的交叉热图回归，实现了端到端的三维人体姿态预测。它不仅可以从单幅RGB图像中预测关节位置，还可以精确地得到与关节相连的骨骼角度。此外，研究人员丰富了现有的MPII数据集，并进行了有效的3D标注。

三维姿态预测的挑战

近年来，人体姿态估计取得了很大进展，但OpenPose等模型只能生成2D关节信息，生成3D关节信息面临一系列挑战。首先，需要准确有效地表达三维关节位姿，这关系到最终预测的准确性。先前的方法使用热图(体积和2D热图深度)来实现精确的3D姿态预测。但是，目前卷积网络在预测三维节理方面还没有取得很好的效果。另外，从应用角度来说，人们希望同时获得关节的位置和角度，即骨骼各部分在空间中的位置和姿态。第二，缺乏用于3D人体姿态估计任务的良好且充足的数据集。与2D数据相比，三维关节姿态标注更加复杂和耗时。虽然可以使用动作捕捉系统(MoCap)和RGB摄像头同时进行记录，但其获得的场景是有限的。比如人体3.6M数据集只包含10种物体的周围场景，导致模型无法完全训练。

新方法

人体的骨架结构具有自然的连续性和固定的结构空间，可以作为三维姿态估计的约束条件。在机器人学和生物力学领域，研究人员经常使用正运动学和逆运动学的研究方法，并在统计模型和人体骨骼(骨骼的相对长度、关节运动空间和对称性等)的约束下。)，从MoCap的2D关键点计算3D姿态。在这项工作中，研究人员提出了骨骼模型，并结合骨骼结构和关节三维位置的热图表示，实现了三维人体关节姿态的高精度估计。该模型主要由骨骼旋转网络组成，负责从输入图像中获取初始解。基于此，卷积热图回归用于恢复更精确的结果。该模型的架构如下图所示：

骨骼旋转回归仪。首先，骨骼旋转回归机的任务是从输入图像中预测人体的全局选择信息和每个骨骼相对于整体的局部旋转信息。由于人体骨骼结构的特点，人体的全局姿态特征具有一系列离散的模式。例如，坐姿、站姿和卧姿都可以用离散的全局模式来表示，因此研究人员使用分类器的原理来预测全局姿态。此外，各关节的运动空间在一定范围内是连续的，这意味着回归模型可以很好地模拟关节的局部角度预测。

正交(克施密特正交化层)。在分类器得到各关节的全局姿态RotG和局部旋转RotB后，通过相乘可以得到关节姿态的初始解。但是这个时候，就出现了一个问题。如果这两个矩阵不正交，生成的姿态将在比例和形状上失真。为了解决这一问题，研究人员在结果中添加了克施密特正交层，以转换之前获得的矩阵。将变换后的选择矩阵相乘得到各个关节的有效初始位姿，通过初始位置向量和角度关系计算出关节的绝对位置。交叉热图回归器。为了得到更准确的结果，研究人员提出了交叉热图的方法来优化最终预测的各个关节的三维位姿。这个十字热图是由xy和zy方向的热图叠加而成，两个平面就足以描述三维空间中关节的信息。将关节的三维位置投影到二维坐标中，通过一系列可微运算得到各个关节的交叉热图，通过回归优化最终关节位置。最终网络的损耗函数如下：

表示全局选择、每个骨骼的旋转、最终旋转、位置和交叉热图损失。

数据集

为了充分训练网络，研究人员对MPII数据进行了3D标记，通过PMP(投影匹配追踪)等方法获得了原始数据集中关节的3D位置，并用标记工具标记了3D姿态。最终获得10291幅标记图像。

结果

在重建误差、旋转和MPJPE(每个关节的平均位置误差)方面获得了良好的结果。与今年87.97毫米的cvpr结果相比，本文的MPJPE达到69.9毫米

在下图中可以清楚的看到，使用了Gram正交矩阵和十字热点图对结果进行了改进，其中正交化使得生成结果的尺度和形状更加合理，而热点图回归则大大提高了模型预测的准确性。

研究人员希望在未来继续探索基于图像的人体监测的应用，包括从单幅图像中检测人体形状、重量、接触力甚至关节扭矩。