【发布时间】:2017-08-31 14:55:16
【问题描述】:
大约一年前,我对构建自己的准系统增强现实 (AR) 库很感兴趣。我的目标是能够拍摄一些东西(真的任何东西)的视频,然后能够在视频中放置增强(实际上并不存在的 3D 对象)。例如,我可能会拍摄我客厅的视频,然后通过这个 AR 库/工具,我可以添加一个坐在我咖啡桌上的怪物的 3D 化身。所以,我对这个主题或计算机视觉一无所知,我决定采用以下策略:
- 使用 3D 重建工具/技术(Structure from Motion,或 SfM)为视频中的所有内容构建 3D 模型(例如我客厅的 3D 模型)
- 分析平面的 3D 模型(准确地说是 3D 点云)
- 添加我自己的逻辑来确定将哪些对象(3D 模型,例如 Blender 文件等)放置在视频 3D 模型的哪个区域(例如,站在咖啡桌上的怪物)
- 最难的部分:在视频的每一帧中推断摄像机的方向,然后根据摄像机指向的对象确定如何正确定位增强(例如怪物),然后“合并”增强的 3D 模型进入主视频 3D 模型。这意味着当相机在我的客厅里移动时,怪物似乎仍然站在我咖啡桌上的同一个地方。我从来没有想出一个好的解决方案,但我想如果我能进入第四步,我会找到一些解决方案。
经过几个艰难的星期(计算机视觉很难!)我得到了以下工具管道,效果好坏参半:
- 我能够将视频的样本帧(例如,在我的客厅里走动时拍摄的视频)输入 OpenMVG 并生成它的稀疏点云 PLY 文件/模型
- 然后我能够将该 PLY 文件输入到 MVE 并生成它的密集点云(同样是 PLY 文件)
- 然后我将密集点云和原始帧输入mvs-texturing 以生成我的视频的纹理 3D 模型
大约 30% 的时间,这条管道运行得非常好!这是我家门前的模型。你可以看到我的 3D 前院、我儿子的 3D 剧场,甚至可以看到门窗!
大约 70% 的情况下,流水线会因无法辨认的错误而失败,或者产生的东西看起来像一幅抽象画。此外,即使涉及自动化脚本,该工具也需要大约 30 分钟才能生成最终的 3D 纹理模型……太慢了。
好吧,看起来Google ARCode 和Apple ARKit 打败了我!这些框架可以从您的智能手机获取实时视频,并完全完成我一年前试图完成的工作:实时 3D AR。与 Pokemon Go 非常非常相似(但更高级和互动)。拍摄你客厅的视频,瞧,一个动画怪物正坐在你的咖啡桌上,你可以与它互动。非常非常非常酷的东西。
我的问题
我很嫉妒!当然,谷歌和苹果可以雇佣一些最优秀的 CV/3D 侦察人员,但我还是很嫉妒!!!我很好奇是否有任何核心 AR/CV/3D 侦察专家要么具有内幕知识,要么对 AR 领域非常了解,以至于他们可以谈论幕后正在发生什么样的工具/管道/技术这里使用 ARCode 或 ARKit。因为我几乎打破了我的大脑试图自己解决这个问题,但我失败了。
- 我的策略(如上文所述)是大致准确的,还是偏离基础的? (再次:视频的 3D 侦察 -> 表面分析 -> 逐帧相机分析,模型合并)?
- 这里有哪些工具/库/技术在起作用?
- 他们如何实时完成这项工作,而如果我的 3D 侦察工作有效,则需要 30 多分钟才能处理和生成?
提前致谢!
【问题讨论】:
-
我发现了这些系列文章,作者为非技术专家介绍了 ARKit/ARCore:medium.com/super-ventures-blog/…(文章中的附加链接)。
标签: computer-vision augmented-reality arkit 3d-reconstruction structure-from-motion