3D Body Model --- 史上最全总结

3D Body Model

https://blog.csdn.net/HeavenerWen
https://github.com/wencoast

1. Polygon mesh 多边形网格

Wikipedia Polygon Mesh

A polygon mesh is a collection of vertices, edges and faces that defines the shape of a polyhedral (多面体) object in 3D computer graphics and solid modeling.

The faces usually consist of triangles (triangle mesh 三角形网格), quadrilaterals (quads四边形), or other simple convex (凸) polygons (n-gons), since this simplifies rendering (用多边形可以简化渲染), but may also be more generally composed of concave (凹) polygons, or even polygons with holes (带孔多边形).

说白了就是点线面的集合，这个集合定义了3D计算机图形中的多面体对象的形状。

这是计算机图形学，尤其是3D Computer Graphics和Geometric Modeling的一个大的子分支 large sub-field.

Regular sampling assures that each triangle of the mesh has the same area 在哪呢怎么看, 哪里有triangle在石棺上?

面积相同，意味着在后续的使用中被给予the same weight.

采样数目太少，under-fitting.
采样数目太多，over-fitting.

上述两种情况，反而lead to worse performance.

1.1 Vertex

The plural form of vertex(单数) is vertices（复数）.

A vertex (复数) (plural vertices 单数) in computer graphics is a data structure that describes certain attributes, like the position of a point in 2D or 3D space, or multiple points on a surface.

然后这些顶点（vertex）会根据$Z_M$ZM​坐标被分成20个垂直条带。

$\rho_i$ρi​

是每个顶点vertex都有的属性，即the vertex reliability. 什么是顶点可靠性？

1.1.1 向量的方向

The directions of the vectors $n_i$ni​(n需要加粗) orthogonal to the sarcophgus surface are also computed on each vertex $v_i$vi​.

正交于表面模型的向量的方向，也就是法向量的方向. 每个顶点处法向量的方向是根据每个顶点(vertex)计算出来的。

但我很好奇，怎么通过一个点的三维坐标计算那点处法向量方向呢？

2. 什么是Visual hull?

A visual hull is a geometric entity created by shape-from-silhouette 3D reconstruction technique introduced by A. Laurentini.

是几何entity， 是什么几何entity呢？ 是由从轮廓到形状的3D重构技术创建的几何实体！

利用silhouette去创建3D hull.

3. 什么是3D Body Model?

The model is composed of two parts: a geometry template and an appearance signature.

The geometric template is fixed for every person and based on a scale factor only

3.1 什么是3D Body Model里用的坐标系？

The coordinates $(X_i,Y_i,Z_i)$(Xi​,Yi​,Zi​)

related to the reference coordinate system $(O_M, X_M, Y_M, Z_M)$(OM​,XM​,YM​,ZM​) constitutes the final geometric template. $O_M$OM​ 指的是坐标原点的坐标。

用$(X_i,Y_i,Z_i)$(Xi​,Yi​,Zi​)来描述3D Body Model其一的关键组分即geometry template, 怎么描述的呢？

Geometric Template

• 每个顶点（vertex）指的就是：$(X_i,Y_i,Z_i)$(Xi​,Yi​,Zi​), 然后所有的$v_i$vi​就构成了Geometric Template.
• 查了一下，确实是20个不同颜色的条带。

Appearance Signature

• 每个人有$K$K个shot吧，都取第$l$l个shot, 也就是$I_l^p$Ilp​, 对每个人的这个shot计算a specific appearance signature.

• 不同于计算机图形学方法中为each triangle提供a bitmap texture的方法， 这里是为each vertex指定一个visual descriptor $\Gamma_i^p$Γip​ 注意： 是给每个顶点，而不是给每个shot一个视觉描述符。也就是说这个描述符是非常细微的，而不是笼统的或者全局的。注意： 这个描述符吧， 是在3D body model下的3D position下的visual appearance的描述符，而不是对 2D image的描述符。The descriptor $\Gamma_i^p$Γip​ contains the visual appearance of the person in the 3D position defined by the vertex $v_i$vi​. 也就是说，是在3D Body Model 3D positon下即Fig.5 (b)下每个顶点会得到一个descriptor.
  根据每个顶点获取的descriptor, 会涵盖上a set of color and gradient histograms(应该是存在某种计算公式，但现在的话，特征的描述都是卷积特征了.) 其实用的就是颜色和梯度的信息。 分别是RGB颜色直方图， HSV颜色直方图，方向梯度直方图。疑问，如果是CNN的话， 怎么算这个descriptor?

  不是只用颜色，可以使模型更加泛化并且避免过拟合。

  最后的最后呢，对于每一个人，通过引入这个SARC3D模型吧，就会为每个人生成一个描述符$\Gamma^p$Γp ，针对每个人的就不叫描述符了，而是叫做signature.

• Finally, the set of vertex-wise descriptors will make up the person signature $\Gamma^p$Γp

怎么还有一个坐标系呢？另一个坐标系如下：

世界参照坐标系 World Reference Coordinate System:

其实和Model Reference Coordinate System一样的， 只是annotation不一样。

对上图的说明，图中(a)中的图像平面，相机光学中心，和世界坐标系$O_W$OW​的关系是定义好的。也就是相片在World Reference Coordinate System下的表示已经有了，再去找到到Model Coordinate System下的变换(ratation and translation)就可以把图像从世界坐标系投到Model Reference System下面了。

4.几种典型的3D Body Model

• SARC3D

4.1 SARC3D