《基于数字散斑和时空相关的三维形貌测量》2018
摘要 ：数字散斑相关方法具有非周期性和离散性，不需要相位展开过程，在三维形状测量中具有显著的优势。 本文结合数字散斑相关中的空间相关和时间相关方法，提出了一种时空数字散斑相关方法，提高了三维形貌测量的精度，有效地减少了记录散斑图像的数量，恢复了相应的三维形貌同时。实验中，用时空数字散斑相关法重建复杂物体的三维形状只需要5帧所需的散斑图像，其精度与用20帧散斑图像进行时间相关法时的结果相同。
关键词 :三维形状测量;数字散斑投影;时空相关性
1. Introduction
数字散斑相关法(DSCM)是一种光学三维测量方法。该方法以散斑的灰度值作为被测物体三维信息的载体。DSCM的实质是通过研究物体变形前后的数字灰度场分布，得到位移和应变的全域分布。该方法与传统的三维形状测量方法相比，具有非接触全场测量、结构简单、白光照明、环境要求低、测量范围可调、数据采集简单、自动化实现容易、无相位展开过程等优点。
上世纪80年代初，I. Yamaguchi[1]、W. H. Peters、W. f . Ranson[2]分别独立提出了DSCM技术。1982年，I. Yamaguchi首次使用DSCM测量二维定常层流。W. H. Peters和W. F. Ranson使用dscm确定了同年刚体的动力学参数(角速度和线速度)。在2001年和2002年，关长金将小波去噪算法和二维离散正交小波引入数字散斑相关运算过程，以消除高频噪声的影响，提高运算速度，位移场测量精度提高到0.01~0.005像素[3,4]。DSCM在三维形状测量领域的应用也取得了一些进展。1990年，Kahn Jetter Z.L.和T.C.Chu[5]将DSCM与立体视觉原理相结合，完成了弯曲悬臂梁的变形试验、平面和椭圆环的位移试验。2001年，戴宏军和苏先宇[6,7]提出了数字散斑时间序列相关方法。在进一步的工作中，采用多相关峰优化方法提高了[8]方法的测量精度，采用快速局部搜索算法加快了计算速度。2010年，潘冰提出了一种平均灰度梯度[9]，用于实际散斑图的质量评估。在2014，俊鹏雪完成了数字散斑时间序列相关测量的系统校准，辅助摄像机确定了被测物体的水平世界坐标[10 ]。2015年，薛俊鹏采用基于彩色散斑图投影的数字散斑相关法，实现了人脸的高速三维测量[11]。
这些学者对DSCM的研究大多可以分为空间相关和时间相关。它们都有各自的优点和缺点。基于立体视觉的数字散斑空间相关方法精度较低，但该方法只需由左右摄像头同时拍摄一对图像即可完成测量过程，适用于动态对象的测量。时间相关法测量精度高，但测量过程需要几十幅图像，适用于静态(准静态)物体的测量。本文提出了一种新的时空数字散斑相关方法，将时空相关方法与空间相关方法相结合。该方法提高了空间测量的精度，有效地减少了时间相关的次数。
本文安排如下，第2节阐述了空间相关、时间相关的原理和新的时空数字散斑相关方法。第三部分给出了三种数字散斑相关方法的实验结果，并比较了它们的精度。第四部分是本文的结论。
2. 三种数字散斑相关方法的原理
模拟人眼对目标的观察，利用立体视觉系统的两个摄像头从不同方向获取目标的二维图像。通过对两幅二维图像的这些信息进行匹配，得到视差图，并根据两架相机的参数及其位置关系进行标定，重建被观测物体的三维形状。
立体视觉系统的几何模型如图1所示。M是被测物体上的任意一点，是相机左右成像平面上的像点。如果已知的图像坐标，则根据系统相关结果可以计算出M的视差。然后根据M的世界坐标重建被测物体的三维形状，但是当被测表面没有纹理或特征点时，对应的点很难匹配。为了解决这一问题，将数字散斑投影方法引入到立体视觉系统中，对被测物体进行空间或时间域的编码，并帮助同音点的匹配，即数字散斑相关测量。
2.1 、数字散斑空间相关原理
在数字散斑空间相关方法中，投影随机数字散斑图的灰度值是被测物体高度分布的一个载体。分别对从左右图像中选取的两幅子图像进行相关计算。数字散斑空间相关原理如图2所示。p是左散斑图中子图像A（大小为（2m+1）×（2m+1）像素）的中心，从右散斑图中选择相同大小的子图像B。根据概率统计原理计算了A和B两个子图像的相关值。零归一化互相关(ZNCC)[7]是计算相关值C的常用算法，如下式所示
式(1)中，分别为左右散斑图的灰度值，为两幅子图像的平均灰度值。当相关值C = 1时，完全相关;当相关值C = 0时，则完全不相关。
当相关值达到最大值(或最小值)时，将A和B标记为匹配区域，通过相关函数的峰值确定B的中心位置。他们的视差信息最终将被用来重建被测物体的三维形状。简而言之，数字散斑空间相关法实现了视差的提取，通过二维空间域的相关操作，逐个找到对应的匹配点，重构出物体的三维形状。
2.2、数字散斑时间相关原理
从数字散斑空间相关原理出发，发现匹配点是通过匹配二维空间中的左右散斑图来定位的。它的明显优点是只需要一对数字散斑图就可以恢复三维形状信息。但其重建精度较低。因此，一些学者提出了数字散斑时间相关方法来提高数字散斑处理[12]的精度。该方法通过沿时间轴进行相关计算得到匹配点。
数字散斑时间相关原理如图3所示，投影仪将一系列时变散斑模式投射到被测物体表面，在时域对形状进行编码。是摄像机1得到的图像中的任一点，是摄像机2得到的任一点。用ZNCC公式计算这两个点的相关值。如果该值是最大值，则这两个点是相互匹配的点。
2.3、数字散斑的时空相关原理
在上述两种数字散斑相关方法中，空间相关方法只需要一个散斑图就可以重建出物体的三维形状，但精度较低。时间相关法具有较高的精度，但需要更多的散斑图。为了提高空间测量的精度，减少时间相关方法中散斑模式的像数，时空相关操作是有益的，并已在数字散斑处理中得到应用。数字散斑时空相关法原理如图4所示。
在被测物体表面投影一系列时变散斑图，立体视觉系统中的两台摄像机同步拍摄散斑图。以左图像中的一个匹配点为中心，形成具有宽度、长度和在时间轴上的时间域上的深度的区域。选择与相机2相同大小的散斑体积，对周围的散斑体积进行时空相关运算。
与时空相关方法相比，时空相关方法的改进主要体现在权重因子上。这个权因子有它的标准化性质。在我们的研究工作中，。
在进行时空相关性和搜索相关曲线的最大值之后，可以得到左右散斑图案的匹配点，然后根据立体视觉系统的标定的外部参数和内部参数计算视差图，从而得到三维形状。可以重建对象。
3. 实验结果
为了验证原理，已经建立了实验装置，如图5所示。使用的相机是德国IDS UI-1240SE-M-GL，分辨率为1280×1024像素，配12毫米焦距镜头。该投影仪采用基于DMD的DLP4500芯片，分辨率为1280×800像素。为了形成变化的散斑图案，投影仪在线性平移平台的驱动下，沿着立体视觉的基线以1毫米的间隔移动。因此，数十帧数字散斑被投影到被测物体表面，并由两台摄像机同步记录。在第一次实验中，以花瓣模型的浮雕作为测量对象。图6显示了两台相机在某一时间同步拍摄的一对散斑图案。
每台摄像机共记录了20帧散斑图。在数字空间相关方法中，散斑的窗口大小为9×9像素，每个相机只使用一个帧模式进行空间相关，视差图如图7a所示。在数字时间相关方法中，散斑的窗口大小也是9×9像素，使用每个相机的全部20帧模式(N = 20)进行时间相关，视差图如图7b所示。在数字时空相关方法中，散斑的窗口大小也是9×9像素，每个相机仅使用5帧模式(s_ t = 5)进行时空相关，视差图如图7c所示。
在图7中。用白色标注的无效值是由三角剖分的固有阴影和区域不匹配的影响造成的。在图7a中，花瓣模型边缘的无效点是花瓣高度突变引起的不匹配。空间相关窗口使花瓣模型的高频信息平滑。从图7b中可以看出，花瓣模型更加详细，边缘的视差信息优于空间相关法，错配产生的无效点数量较少。第三种方法是数字散斑时空相关，只需要5帧散斑图就可以重建花瓣模型的三维形状，并且与数字散斑空间相关操作的结果相比，花边缘的视差信息更加详细。
为了评价三种相关方法的精度，本实验测量了步长为20mm的精密加工标准阶梯类工件和高精度陶瓷平面。图8为被测阶梯状工件的散斑图。图9显示了三种方法的结果。图10为三种方法测量的阶梯状工件截面高度分布。
空间相关法测得的大多数点的平均台阶高度为19.78mm，时间相关法测得的平均台阶高度为19.85mm，时空相关法测得的平均台阶高度为19.81mm。
对于高精度陶瓷平面的测试，三种方法在X、y方向的相关窗口为7×7像素。在时域上，时域相关方法全部涉及到20帧散斑图，而时空相关方法只使用了5帧散斑图来恢复相应的三维形状。图10为三种散斑相关方法恢复的平面与拟合平面的高差分布。三种方法的标准差分别为0.069 mm、0.041 mm和0.068 mm。
从第二次实验的结果可以看出，时空相关方法的准确性介于时空相关和空间相关之间。但其所需的散斑图数目比时间相关法要少。因此，时空相关方法简单有效。
此外，我们还进一步分析了时空相关法中散斑图像数量与重建结果准确性之间的关系。表1列出了使用不同数量的散斑图像重建标准平面结果的标准差。从表中可以看出，随着散斑图像数量的增加，测量精度呈增长趋势。但是这种增长不是线性变化的，当散斑图的数量达到一定的数值时，精度的增长是缓慢的，也就是说，虽然图像的数量继续增加，但精度的好处不再明显增加。在实际测量中，时空相关的散斑图像数量与物体的复杂性有关。当物体表面相对简单时，可以减少散斑图像的数量。但对于复杂形状的测量，重建精度对散斑图像的数目很敏感。
4. 结论
本文在现有数字散斑相关测量空间相关和时间相关两种方法的基础上，提出了一种新的数字散斑相关测量方法。该方法将两种方法结合起来进行时空关联，重建被测物体的三维形状。通过实际实验对比三种相关方法的重建精度，结果表明，空间相关只需要一帧图像进行进一步的重建，适合测量动态对象，但精度较低。时间相关法需要同步获取几十种散斑图，其精度高于空间相关法，适用于静态(或准静态)物体的测量。本文提出的时空相关方法简单有效，可以输出密集的视差图来恢复被测物体的三维形状。在保证重建精度的前提下，有效地将该方法所需的散斑数目从几十个减少到4个或5个。