从几张照片中获取 3d 模型

Question

我想从已经拍摄的几张照片（例如，从电影中）获得一个 3d 模型（即使它不完美）。我会得到电影中某个地方的一些帧，然后我想得到 3d 模型。

我搜索了一些工具，发现 Smoothie 3D 可以帮助您从照片创建模型，但它适用于例如松鼠，但如果房间内有两个演员并且他们正在移动，我想把房间和演员一样放在 3d 中，但在分开的模型中，这样我就可以为房间内的演员制作动画。

我也尝试过 photoscan，但如果演员在移动，它就不能很好地工作，因为它不知道应该得到什么模型（房间、演员的一种形状等）。

我正在考虑一些脚本来从所有帧中删除人物，然后获取房间的 3d 模型，然后以某种方式获取演员的 3d 模型（我不知道如何）。

有没有人知道更好的管道或工具可以解决这个问题？ 或者是否有任何深度学习算法可以让房间忽略移动的演员，而演员也一样？

Answer 1

你可以试试这个管道:)

1. 使用hog descriptor 删除人员。
2. 在视频帧上查找key-points。
3. Triangulate获取3d和弦的关键点
4. ... (very deep learning involved)
5. 利润

Answer 2

1. 要从照片（或胶片）中获得 3D，至少需要两张在不同位置获取的照片
2. 移除两个演员：如果唯一移动的对象是演员（相机不移动），则可以使用背景减除技术轻松移除演员。