如何从嵌入 iphone 肖像图片的深度数据中计算距离值？答案

【问题标题】：How to compute distance values from the depth data embedded into iphone portrait pictures?如何从嵌入 iphone 肖像图片的深度数据中计算距离值？
【发布时间】：2021-07-20 20:48:33
【问题描述】：

我正在开发一个从深度数据重建点云的应用程序。我尝试使用一些智能手机拍摄的人像图像中嵌入的深度数据。

到目前为止，我在 Google 相机应用照片方面取得了进展。它具有详细记录的深度格式 (https://developer.android.com/training/camera2/Dynamic-depth-v1.0.pdf)。

我还可以通过将 ios 肖像图片上传到https://www.photopea.com/ 或使用 exiftool 来提取与深度相关的数据。这是嵌入数据的预览：

很遗憾，我无法确定编码到该嵌入图像的实际距离值。

xmp 元数据中似乎存在编码相关信息，例如

Stored Format = 'L008' // one component 8 bit
Native Format = 'hdis' // half precision floating point disparity
Depth Data Version = 125537 // varies
Int min value = 0
Int max value = 255
Float Min Value // for example 1.23
Float Max Value // for example 2.12

我尝试插入图像数据值并将其用作视差，就像谷歌相机一样

distance_to_camera = constant * 1.0 / (Float_Max_Value * pixel / 255 + Float_Min_Value * (1 - pixel / 255))

但它会导致点云严重失真。我认为这可能是不正确的深度数据解释。

【问题讨论】：

标签： ios iphone computer-vision point-clouds depth

【解决方案1】：

如果您仅在深度图上获取点云，那么您不需要实际的相机-物体距离。您可以使用一些可视化库直接生成点云。我推荐Vedo。

然后，如果您需要该距离信息，则需要获取您的相机参数。查看OpenCV's tutorial about camera calibration。

【讨论】：

看来嵌入数据并不能直接代表深度。我已经生成了密集的云可视化，发现它非常扭曲。我尝试将嵌入的深度数据直接用作 Z 坐标，也用作逆 Z（视差，如图像元所暗示的）。我也尝试在“浮点最小值”和“浮点最大值”之间插入深度值/差异。

【解决方案2】：

似乎有多种类型的图像被拍摄到 Apple 设备上。

前置摄像头 (TrueDepth) 拍摄的图像在嵌入的深度 XMP 元数据中具有“准确度：绝对”标记。这些图片的差异（~ 1 / 距离）可以计算为值“浮动最小值”和“浮动最大值”之间的线性插值，如问题中所建议的那样。

后置（双）摄像头拍摄的图像在深度 XMP 元数据中具有“准确度：相对”标记。使用上述方法计算的视差有一个偏移，导致深度失真。我无法通过可用图像元数据的条款来补偿这种转变。

我有不同已知距离的 iphone 图像数据集，看起来这种变化与 XMP 中的任何参数都无关。

这是来自 AVFoundation SDK 的引用

深度数据图的准确性高度依赖于相机用于生成它的校准数据。如果相机的焦距抓拍时无法准确确定，缩放误差在 z（深度）平面中将被介绍。如果相机的光学在捕获时无法精确确定中心，主点将引入误差，导致视差中的偏移误差估计。 AVDepthDataAccuracy 常量报告地图的准确性相对于其报告单位的值。如果报告准确性为 AVDepthDataAccuracyRelative，地图内的值为相对于彼此可用（即，更大的深度值是比较小的深度值更远），但不能准确传达现实世界的距离。具有相对精度的视差图可能仍用于可靠地确定两个之间的差异差异同一地图中的点。

【讨论】：