AutoDispNet: Improving Disparity Estimation With AutoML
本文使用现有的AutoML扩展其在Disp上面估计的能力
摘要
计算机视觉领域的许多研究工作正致力于优化现有的网络体系结构，以在基准上获得更多的百分点。最近的AutoML能使我们从这一努力中解脱出来。然而，它们主要是为相对较小规模的分类任务而设计的。在这项工作中，我们展示了如何使用和扩展现有的AutoML，以有效地优化大规模的U-NET-类编码器解码器架构，特别是，我们利用基于梯度的神经架构搜索和贝叶斯优化的超参数搜索。结果优化不需要大规模计算集群。我们给出的视差估计结果明显优于手动优化的基线，达到了最先进的性能。
问题
当前的AutoML不适应现有的Encode-Decode 结构，在这之前有人提出过改进方法核心思想是有一个大规模网络构建所有选择和并决策选取整个网络最优。这可以归结为一个连续优化问题，再加上常规的网络训练，就产生了一个双层优化问题。最近有人用一个高效黑箱优化器为搜索空间的信息抽样建立了一个有效的贝叶斯优化变量。
超参数搜索
BOHO介绍：通常优化稠密预测任务超参数需要很大计算消耗，本文使用最先进的超参数预测方法，BOHB含有贝叶斯，一种多武装匪徒战略，动态地分配更多的资源给有希望的配置。BoHB使用廉价的方法来评估目标函数f(·，b）的近似值f((b))，即所谓的预算B [Bmin，BMAX ]决定近似的强度。对于b=bmax，在我们的应用程序中，我们使用训练迭代次数作为预算，以早期切断对性能不佳的超参数的评估，类似于基于学习曲线预测的方法。
当hyperand随机选择配置进行更精确的评估时，bohb用贝叶斯优化代替了这个选择。具体地说，它使用多变量核密度估计器（kde）来模拟最佳和最差性能配置的密度，并使用这些kde在超参数空间中选择有希望的点进行下一步评估。
BOHO缺点：BOHO从头开始评估不同的体系结构，而不是利用权重共享，从而将大规模视觉体系结构的神经体系结构搜索的计算负担增加到一个限制范围。
Search space构建
Continuous relaxation
搜索结构
构建网络
稠密预测任务包括使用解码器将编码器中的特征表示映射到更大空间分辨率的预测。因此，要应用dartsfor进行视差估计，需要扩展架构搜索空间，使其能够支持上采样变换。搜索空间的这种扩展应该足够严格，以包含共同的深度学习最佳实践，同时具有足够的灵活性来进行新的上采样转换。本文，我们将描述我们的搜索空间，然后展示一个搜索网络，它允许我们学习编码器-解码器网络的架构单元。
可视化效果
结果
超参数优化程序.autodispnet-c epe在bohb优化程序的整个过程中，在不同预算的所有样本配置的飞行中。黑线显示了作为时间函数的最佳性能配置（现任）。注意X轴上的值是相对于BoHB启动时间完成的时间，而不是每个网络的训练时间。
学习过程
## 效果