RGB_IR多模态融合文章MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-Spect

MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-Spectral Scenes

code pytorch

摘要

本文研究了基于新的RGB-Thermal数据集的自动驾驶车辆街景图像的语义分割，本文还对此进行了介绍。对自动驾驶车辆的兴趣日益增加，使得语义分割适应于自动驾驶系统。然而，最近关于语义分割的研究主要基于在夜间和恶劣天气条件下能见度差时获取的RGB图像。此外，大多数这些方法仅侧重于提高性能而忽略时间消耗。上述问题促使我们提出一种用于多光谱图像分割的新的卷积神经网络结构，其能够在实时操作期间保持分割精度。我们通过创建RGB-Thermal数据集来对我们的方法进行基准测试，其中组合了热图像和RGB图像。我们通过添加热红外信息表明分割精度显着提高。

提出的多光谱融合网络（MFNet）架构的插图。 多光谱图像在传递到网络之前被分成RGB图像和IR图像，之后该过程分别编码每个步骤。 RGB和IR编码器的输出在解码步骤中融合。 通过使用快捷方式将编码器中较低层的信息添加到解码器的较高层中。 可以以端到端的方式训练该模型。 迷你初始和快捷方块的详细信息如图2所示。

2019.4.14

RedNet: Residual Encoder-Decoder Network for indoor RGB-D Semantic Segmentation ( arXiv:1806.01054)

CODE pytorch0.4

RDFNet: RGB-D Multi-level Residual Feature Fusion for Indoor Semantic Segmentation

Multi-modal scene categorization using multi-tasks learning