【论文笔记】 Towards End-to-End Lane Detection: an Instance SegmentationApproach

论文链接：https://arxiv.org/abs/1802.05591?context=cs

代码https://github.com/MaybeShewill-CV/lanenet-lane-detection

  这篇论文是做车道线检测的，之前的检测方法都限制于检测预定义的固定数量的车道线，本文将车道线检测问题看做一个实例分割问题，并实现了端到端的训练，速度是50fps。还一个亮点是考虑到地面坡度的问题，使用曲线拟合的方法来增大精确度。
　　车道线检测思路是：将车道线检测任务分成两个分支，车道检测分支与车道嵌入分支。车道分割分支就是将图片分为车道与背景。车道嵌入分支就是将分割出的车道进一步分解成不同的实例instance。流程图如下图所示

　　
A.车道线端到端检测网络 LaneNet，包括二值分割以及聚类进行实例分割
二值分割：将车道线对应像素连在一起，这样做的话即使车道线被汽车遮挡或者车道线不明显（如 虚线或者褪色）等情况，车道线仍能被检测出来。用的是标准的交叉熵损失函数。因为前景背景数量高度不平衡，应用了bounded inverse class weighting。【29: ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation】
实例分割：使用基于距离度量学习的one-shot学习方法【5：Semantic Instance Segmentation with a Discriminative Loss Function】。通过使用这种聚类方式，instance embedding 分支训练出为每根车道线像素训练出pixel embedding。相同线的像素embedding距离小，不同线的像素embedding距离大。
Loss function设计为：

Lvar$L_{var}$为方差损失，降低类内距离
在embedding后的空间中，每条线有的聚类中心uc，对于每条线上的每一点xi，计算其与uc的阈值δv范围的L2 loss:[||uc−xi||−δv]2$在embedding后的空间中，每条线有的聚类中心u_c，对于每条线上的每一点x_i，计算其与u_c的阈值{\delta }_v范围的L2loss:[||u_c-x_i||-{\delta }_v{]}^2$
Ldist$L_{dist}$为距离损失，增大类间距离
对于每两根车道线计算L2 loss
聚类：通过设定阈值不断迭代进行聚类。为了避免选中outlier，使用mean shift。
**网络结构：**LaneNet基于ENet的encoder-decoder架构。

B 曲线拟合 H-Net

通常情况下，车道像素被投影成“鸟瞰图”表示，使用一个固定的转换矩阵。然而，由于变换参数对所有图像都是固定的，所以当遇到非地面时，例如在斜坡上，这会引起一些问题。为了缓解这个问题，我们训练一个网络，称为H-Network，它可以估算输入图像上的“理想”透视变换的参数。
曲线拟合：曲线拟合车道线P时，一般会用转移矩阵H将车道线投影为鸟瞰图。

H=⎡⎣⎢⎢a00bdfce1⎤⎦⎥⎥$$H=\left[\begin{array}{ccc}a& b& c\\ 0& d& e\\ 0& f& 1\end{array}\right]$$

这里的0是为了让水平线经过映射后仍然保持水平。
　　先使用H映射得到p′i=[xi,yi,1]T∈P′$p_i^{{}^{\prime }}=[x_i,y_i,1{]}^T\in P^{{}^{\prime }}$, 且p′i=Hpi$p_i^{{}^{\prime }}=H{p}_i$，对于映射的P′$P^{{}^{\prime }}$使用最小二乘法拟合一个多项式f(y′)$f(y^{{}^{\prime }})$，也就是曲线函数。然后再根据y方向坐标，计算出拟合后的x坐标
　　简单来说，先根据转移矩阵H将车道线坐标映射到鸟瞰图上，对于鸟瞰图上的坐标拟合一条曲线，然后以y坐标映射前后保持不变，pi=[−,yi,1]T映射得到[−,y′i,1]T,拟合得到的x′∗i=f(y′i)，将新的鸟瞰图上的点p′∗i=[x′∗i,y′i,1]T再映射回原图得到p∗i=[x∗i,yi,1]T，损失函数即为x∗与x的偏差$p_i=[-,y_i,1{]}^T映射得到[-,y_i^{{}^{\prime }},1{]}^T,拟合得到的x_i^{{}^{\prime }\ast }=f(y_i^{{}^{\prime }})，将新的鸟瞰图上的点p_i^{{}^{\prime }\ast }=[x_i^{{}^{\prime }\ast },y_i^{{}^{\prime }},1{]}^T再映射回原图得到p_i^{\ast }=[x_i^{\ast },y_i,1{]}^T，损失函数即为x^{\ast }与x的偏差$

Loss=1N∑i=1,N(x∗i−xi)2$$Loss=\frac{1}{N}\sum _{i=1,N}(x_i^{\ast }-x_i{)}^2$$

结果

参考

https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247484611&idx=1&sn=273851087cc6ea2cf92fdb7e3658f8b5&chksm=f9a2764cced5ff5a3673cd7d18674725c6e4aa6c6db59952b062082a789262e7e60377dc0755&mpshare=1&scene=1&srcid=0612oBg7J15vjYAsvgOwV232&pass_ticket=SM3Zjd8RlcWvcbAGAu3F2ZnAVZItCVv3DON%2BVf82wNQtwq3ewMkXeUZQnbAcUviF#rd

https://blog.csdn.net/c20081052/article/details/80622722