CVPR 2023 | 任意模态语义分割来了！-程序员宅基地

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

后台回复【分割综述】获取语义分割、实例分割、全景分割、弱监督分割等超全学习资料！

论文思路：

多模态融合可以使语义分割更加鲁棒。然而，融合任意(arbitrary)数量的模态仍然有待探索。为了深入研究这个问题，本文创建了DELIVER 任意模态(arbitrary-modal)分割基准，包括深度、LiDAR、多视图、事件和RGB。除此之外，此数据集还提供了四种恶劣天气条件和五种传感器故障情况，以利用模态互补性并解决部分故障。为了使这成为可能，本文提出了任意交叉模态(arbitrary cross-modal)分割模型CMNEXT。它包含了一个Self-Query Hub (SQ-Hub)，旨在从任何模态中提取有效信息，以便随后与RGB表示进行融合，并且每个额外模态只增加了微不足道的参数(~ 0.01M)。为了从辅助模态中高效、灵活地获取判别线索（harvest discriminative cues），本文引入了简单的Parallel Pooling Mixer(PPX)。通过在总共六个基准上的广泛实验，本文的CMNEXT在DELIVER、KITTI-360、MFNet、NYU Depth V2、UrbanLF和MCubeS数据集上实现了最先进的性能，允许从1扩展到81个模态。在新收集的DELIVER上，四模态CMNEXT在mIoU中达到66.30%，与单模态基线相比有+9.10%的增益.

主要贡献：

本文为任意模态语义分割（Arbitrary-Modal Semantic Segmentation）(AMSS)创建了新的基准DELIVER，包含四种模态，四种恶劣天气条件，五种传感器故障模式。

本文回顾和比较了不同的多模态融合范式，并提出了采用非对称架构的Hub2Fuse范式来实现AMSS。

提出的了通用的任意跨模态融合模型（arbitrary cross-modal fusion model）CMNeXt，该模型具有用于选择信息特征的Self-Query Hub(SQ-Hub)和用于获取判别线索的Parallel Pooling Mixer(PPX)。

本文通过融合多达80个模态来研究AMSS，并注意到CMNeXt在6个数据集上实现了最先进的性能。

网络设计：

图4。Hub2Fuse范例和非对称分支中的CMNeXt架构，例如在RGB分支中有Multi-Head Self-AttentionMHSA)[80]块，在相应分支中有本文的Parallel Pooling Mixer(PPX)块。在hub阶段中，Self-Query Hub从补充模态中选择信息特征。在fusion阶段，使用特征校正模块(feature correction module, FRM)和特征融合模块(feature fusion module, FFM)[49]进行特征融合。在各阶段之间，通过添加融合特征恢复各模态的特征。四阶段融合的特征被提交到分割头进行最终的预测。

实验结果：

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称

本文链接：https://blog.csdn.net/CV_Autobot/article/details/129742837

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

基于STM32串口通信的ESP8266WiFi模块使用_cipmux and cipserver must be 0-程序员宅基地

文章浏览阅读8.8w次，点赞196次，收藏1.9k次。掌握esp8266的使用可以实现真正的万物物联。esp8266wifi通信对于MCU而言归结到底还是串口或spi通信。因此，掌握RS232通信协议、SPI通信协议以及esp8266的配置就可以基本搞定WiFi模块的使用。参考文章：[1] ESP8266WiFi模块AT指令入门指南[2] ESP8266 WIFI串口通信模块使用详解（实例：附STM32详细代码）[3] STM32串口接收..._cipmux and cipserver must be 0

win7系统远程桌面无法连接到服务器,win7系统远程连接提示“由于以下原因无法连接”的解决方法...-程序员宅基地

文章浏览阅读1.4k次。很多小伙伴都遇到过win7系统远程连接提示“由于以下原因无法连接”的困惑吧，一些朋友看过网上零散的win7系统远程连接提示“由于以下原因无法连接”的处理方法，并没有完完全全明白win7系统远程连接提示“由于以下原因无法连接”是如何解决的，今天小编准备了简单的解决办法，只需要按照　1)未启用对服务器的远程访问 2)远程计算机已关闭的顺序即可轻松解决，具体的win7系统远程连接提示“由于以下原因无法连..._win7 无法远程到服务器

vue_element-admin整合SpringBoot实现登录_vue-element-admin 整合springboot登录-程序员宅基地

文章浏览阅读3.4k次。SpringBoot实现vue-admin-template登录接口vue-admin-templatevue-admin-template是一个简化版的vue-element-admin的模板，适合vue用来做项目的搭建，虽然官方文档以及花裤衩前端大佬在博客中已经将大部分的疑难杂症解决了，但当完全自己搭建的时候才发现多折腾vue-admin-template登录接口请求详解要想搞懂一个接口，最好的方式就是1.去看接口的定义声明的参数2.发送请求查看返回的数据格式开始1.先配置跨域等基_vue-element-admin 整合springboot登录

百度离线地图瓦片下载_百度瓦片地图下载-程序员宅基地

文章浏览阅读2.2k次。瓦片简介百度离线地图是由多层级的多张瓦片组成的，存放在titles文件夹下，层级越高，瓦片越多，显示的地图越详细下载的瓦片有png和jpg等格式，我下载的png格式没法用，后面全改成jpg格式就可以了将下载的瓦片按照下载级别放到对应的文件夹下瓦片获取从别的博主那找了两种获取方式1、链接: http://www.xiaoguo123.com/p/baidumap_offline_v2/.从这个链接里边的网盘下载，按照博主的介绍一步步做，一定要看使用前必读，需要按照用前必读改一下百度的密钥这个瓦_百度瓦片地图下载

调Q技术的基本原理-程序员宅基地

文章浏览阅读1.7w次，点赞19次，收藏68次。几分钟复习一下调Q技术~ 基本原理及常见方法详解。复习面试必备！_调q

维护网络服务器安全的七个小技巧-服务器安全资源网-程序员宅基地

文章浏览阅读127次。技巧一:从基本做起***开始对你的网络发起***的时候，他们首先会检查是否存在一般的安全漏洞。因此，当你服务器上的数据都存在一个FAT的磁盘分区的时候，即使安装上世界上所有的安全软件也不会对你有多大帮助的。因此，你需要从基本做起。将服务器上所有包含了敏感数据的磁盘分区都转换成NTFS格式的。同时，可以为Exchange Server安装反病毒软件，将被感染的邮件在到达用户以前..._简述你利用互联网进行资源检索时遇到的问题或是小技巧，列举并上传至活动心得

随便推点

MT7628无法连接_mt7628有些mac地址导致ap无法被连接-程序员宅基地

文章浏览阅读2.8k次。MT7628驱动版本：4.0.13现象：手机或者pad无法连接MT7628 APlog：[ 3633.276000] Qidx(0), not enough space in MgmtRing, MgmtRingFullCount=957![ 3633.288000] Qidx(0), not enough space in MgmtRing, MgmtRingFullCount=_mt7628有些mac地址导致ap无法被连接

NoSQL学习笔记 – Dynamo-程序员宅基地

文章浏览阅读146次。要想入门NoSQL，先读圣经Dynamo。 Amazon的这篇论文《Dynamo: Amazon's Highly Available Key-value Store》网上随处可以下得到，据说搞NoSQL的人都是从这里爬出去的。短短16页，不大好看，但非常精彩。不好看不是说写的不好，而是里面提到了很多分布式系统的概念和算法，要引经据典不容易弄懂（好吧，其实是个人基础太差）..._dynamo的物理架构

基于maven的spring-struts2-mybatis（注解版）环境搭建对spring中常用注解进行详细说明包含图片上传 ajax发送异步请求 select标签详细案例_spring-struts maven-程序员宅基地

文章浏览阅读264次。引言所用版本：jdk1.8 tomcat7.88 所用数据库：mysql所用技术：maven-spring4.3.2-struts2-mybatis-ajax 基于注解版//主要实现两张表增删改查包含图片上传 ajax发送异步请求主要对 select标签有详细案例本案例中用到的常用注解总结如下：1.实体类上：@Component此注解表示创建简单对象默认构建的简单对..._spring-struts maven

IPP库的安装以及源码分析方法_图像处理ipp库源码-程序员宅基地

文章浏览阅读4.2k次，点赞5次，收藏23次。目录第一部分 IPP环境搭建（基于win10的WSL）1.1 WSL的几种安装方法1.1.1 开启wsl支持1.1.2 （可选）使用Windows store直接安装（1）下载（2）安装1.1.3 （可选）使用LxRunOffline自定义安装wsl1. 安装LxRunOffline2. 下载wsl离线文件3. 解压wsl offline文件4. 安装wsl5. 打开wsl6. wsl初始化1.2 （可选）使用VScode连接wsl1.2.1 插件下载1.2.2 连接wsl1.3 在ubuntu上安装IPP_图像处理ipp库源码

电脑分辨率是什么_再烂的电脑也能剪视频！5组让Pr不卡的小技巧-程序员宅基地

文章浏览阅读639次。[PConline 技巧]现在做自媒体的朋友越来越多，这其中就要用到视频剪辑软件——Premiere。提起PR，用过的人都知道，除了超级难学之外，它对电脑的要求也很高。尤其当我们剪辑4K这样的高分辨率素材时，常常会让电脑卡得怀疑人生。如何才能让PR不卡呢？嗯……最简单的办法就是升级电脑了。此外我们也可以通过一些简单的设置，让PR稍微流畅一点！1. 降低回放分辨率如果你的视频预览卡顿，首先应该考虑的..._pr视频卡顿怎么变流畅

android程序移植到ios,苹果推出免费Android移植应用Move to iOS-程序员宅基地

文章浏览阅读1.4k次。【天极网IT新闻频道】【Yesky新闻频道消息】今日凌晨，苹果不仅正式发布了新一代操作系统iOS 9，还发布了一款应用移植工具Move to iOS。据悉，这款应用可以帮助用户将应用由Android迁移到iOS，同时这也是苹果开发的首款Android应用。据了解，Move to iOS是一款免费应用，只支持Android 4.0及更高的Android版本。苹果推出免费安卓应用移植工具Move t..._安卓开发的应用转换为苹果