这部分是我看了奥比中兴一次技术宣讲写的笔记，主要内容就是立体匹配算法的综述，这一篇下来应该来说对立体匹配算法的方方面面都有一个初步的认识了吧.
视频链接：https://mp.weixin.qq.com/s/VGNIxCSGMFR7ZyJ-K6GBrA
文章目录
立体匹配的难点
- 颜色/亮度差异和噪声
- 反光区域
- 倾斜面
- 透视变形
- 弱纹理区域
- 重复纹理
- 透明物体
- 遮挡或者深度不连续
立体匹配算法分类
局部方法
- 局部滤波（Box Filter，Bilateral Filter，Guided Filter）
- MST 最小生成树
- Full Image Filter全图滤波
全局方法
- 图割（Graph Cut）
- 置信度传播（Belief Propagation）
半全局方法
- Semi-Global Matching(SGM)
立体匹配流程
直接在极线上进行块匹配存在冗余计算的问题，如图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UU6d8Vmy-1595505098746)(https://cdn.jsdelivr.net/gh/QYHcrossover/blog-imgbed/blogimg/20200722154124.gif)]
改进的方法是引入代价空间，通过代价聚合来方便计算
立体匹配的四个步骤：匹配代价计算、代价聚合、视差计算、视差优化/后处理
匹配代价计算
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5TMQ4vOk-1595505098752)(https://cdn.jsdelivr.net/gh/QYHcrossover/blog-imgbed/blogimg/20200722154513.png)]
- 代价函数用于计算左、右图中两个像素之间的匹配代价（cost）
- cost越大，表示这两个像素为对应点的可能性越低。
常用代价计算方式：
-
AD/BT 灰度之间作差
-
AD+Gradient 加上梯度信息
-
Census 灰度与周围像素比大小，最后计算Hamming distance
-
NCC
-
AD+Census
-
CNN（MC-CNN）
代价空间 Cost Volume
代价空间的意义就是为了以后做代价聚合，本质上是为了减少计算吧；一并能把所有的d对应的cost算出来；感觉和卷积的意义是一样的
代价聚合
Box Filtering
Box Filtering就是均值滤波，运算快；但是太简单精度差
Bilateral filter
- 同时利用了空间和颜色的信息
- 具有保持边缘的特性
- 窗口可以开的更大，匹配更稳定
Semi-Global Matching
视差计算
Winner-Take-All (WTA)
挑cost最小的视差d
Disparity propagation (PatchMatch)
基本思想：对于许多场景，很多区域都可以近似地用同一个平面来建模。为了找到每个区域的平面参数，对每个像素赋予一个随机的平面参数（随机初始化）。希望每个区域至少有一个像素的初始平面是接近真实平面的。然后，通过传播算法把正确的平面参数传递给这个区域的其他像素。
非常有意思的算法!
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tCk3E7oB-1595505098770)(https://cdn.jsdelivr.net/gh/QYHcrossover/blog-imgbed/blogimg/20200722162540.gif)]
视差优化/后处理
-
左右一致性检测（LRC）
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ovzfWSld-1595505098772)(https://cdn.jsdelivr.net/gh/QYHcrossover/blog-imgbed/blogimg/20200722163045.png)]
-
the minimum/the second minimum cost
-
Speckle Filter
剔除视差图中小面积的区域
-
亚像素插值
-
中值滤波
-
空洞填充
-
加权中值滤波
端到端网络
Disp-Net (2016)
分为收缩和扩张两部分，全卷积适应任何大小的输入
- GC-Net(2017)
- iRestNet (2018)
- PSM-Net(2018)
- Stereo-Net (2018)
- GA-Net(2019)
- EdgeStereo (2020)
立体视觉方法评测网站
…(img-6jbidLRI-1595505098778)]
- GC-Net(2017)
- iRestNet (2018)
- PSM-Net(2018)
- Stereo-Net (2018)
- GA-Net(2019)
- EdgeStereo (2020)