什么是3D对象跟踪？

大多数对象跟踪应用程序都是 2d 的。但现实世界是 3d 的，无论您是跟踪汽车、人、**导弹，还是进行增强现实，您都需要使用 3d。

3d对象跟踪是指随着时间的推移定位并跟踪对象在空间中的位置和方向。它涉及检测图像序列（或点云）中的对象，然后**其在后续帧中的位置。

3d对象跟踪的目标是持续估计对象的位置和方向，即使存在遮挡、相机运动和照明条件变化的情况下也是要跟踪。

我们大多数人都习惯于 2d 对象检测，这是从图像中**感兴趣对象（例如汽车、行人、自行车等）周围的边界框坐标的任务。尽管 2d 对象检测可能是整个计算机视觉领域中最流行的技术，但当您想在现实世界中使用它时，它还存在很多不足。

3d 中第一个发生变化的元素是边界框：

这一部分可能会让多个人感到困惑，但 3d 盒子确实与 2d 盒子不同。我们不只是**图像帧中的 4 个像素值，而是在相机帧中**诸如精确的 xyz 位置（带有深度）、盒子的长度和深度以及偏航、俯仰和滚动角度。

2d 与 3d 对象检测，请注意我们需要**和跟踪多少参数！

为了简化问题，我们总是可以假设某些值是恒定的，例如俯仰和横滚（并考虑在旧金山等城市没有“俯仰速率”），但 3d 边界框本质上是面向的。

来自 kitti 数据集的示例，我们在其中看到此图像，请注意后添加的箭头方向：

与 2d 不同，每个 3d 边界框都需要一个“偏航”方向参数。

在 2d 中，您不必**这些方向，并且边界框要简单得多。但如果您正在进行 3d 对象跟踪，则需要处理 3d 框。

接下来，让我们看看如何生成这些边框。

如果我们使用相机，3d 对象检测可以基于单个图像，也可以基于立体视觉设置。您可以通过我的文章了解有关立体视觉的更多信息。通常，使用的算法涉及将图像发送到直接输出框的模型。

无论是单声道还是立体，许多物体检测器都以 3d 形式存在，并且大多数公司已经在摄像机上使用 3d 物体检测。

基于相机的 3d 检测器的技术清单：使用深度学习和几何进行 3d 边界框估计m3d-rpn：用于对象检测的单目 3d 区域提议网络fcos3d：全卷积单阶段单目 3d 物体检测

使用 lidar 时，我们将使用 point-rcnn 等算法，该算法从点云输出 3d 框。

例如，这是一种称为 3d cascade r-cnn 的算法，可从 lidar 进行 3d 对象检测。

lidar 检测算法的清单：**od (2018)、frustum pointnet (2018)、pointrcnn (2019)、iou (2020)、pv-rcnn (2021)、cas-a (2022)。