百度自动驾驶部门
代码未开源
注意力机制在视觉重定位任务中的应用,端到端网络,可用于明显外观变化的场景,cm级精度,优于基于激光雷达的定位方法。
本文使用CNN以及注意力机制训练描述子与关键点,与数据库图像做匹配然后解算相机位姿。
此外,本文即将发布一个定位数据集,有轨迹真值,时间戳同步。
基于激光雷达的定位方法:
Structure based: 用地标、线段、路标等与定位地图进行匹配。(2016年之前)
Low-level Feature based: 基于显著性的特征点匹配等,以及D2Net(也是用注意力机制训练了描述子和关键点),但是没有用端到端架构针对特定任务做优化。
其他还有DeLS-3D等。
本文假设有一个先验位姿,来自于LIO或者是GPS或者WIFI系统,因此任务变为根据位姿先验预测一个3 Dof的offset ( Δ x , Δ y , Δ ψ ) (\Delta x, \Delta y, \Delta \psi) (Δx,Δy,Δψ)
分为三部分:网络训练,地图生成,在线定位
主要有三种不同的模块:
local feature embedding (LFE)
提取稠密的描述子,以及对应的注意力得分,描述子应当对外观变化和亮度变化鲁棒,注意力得分应当避开干扰和噪声。
attentive keypoint selection (AKS):
从得到的特征中选择部分显著的关键点,保存在地图中
weighted feature matching (WFM):
在先验位姿附近采样候选位姿,进行匹配,评估matching cost。
类似于特征金字塔的网络结构+ skip connections保证底层的特征传递 + residual blocks,图中卷积层的参数为(channel, kernal, stride)
decoder使用了上采样 + skip connections(二者element-wise average)恢复分辨率, 输出为不同分辨率下的特征图。
然后输入到descriptors head以及 heatmap head中,得到D维的描述子向量和heatmap, heatmap中的元素是[0,1]之间的标量, 用于选择关键点以及特征匹配。D= 8,这里的描述子和heatmap也是多分辨率的形式。
不同的关键点选择策略对性能有不小的影响, 因此使用AKS来做
AKS中使用最远点采样(FPS)或者是加权最远点采样(WFPS),权值来自于heatmap
在training阶段,随机选择K个候选点送入GPU,然后用FPS从中选择关键点。
在map generation 阶段,随机选择K个候选点送入GPU,然后用WFPS从中选择关键点。因为此时已经有了训练好的网络来输出heatmap
将lidar点投影到2D图像上不能保证每一个像素都有点,因此仅选择有3D点的2D点作为选择关键点的候选点集。
传统的方法使用PnP + ransac的方法从2D-3D匹配中解算相机位姿,但是RANSAC不可导。
《L3-Net: Towards learning based Li-DAR localization for autonomous driving》中提出了一种根据pose offset以及两幅图像的匹配对以及描述子,利用differentiable 3D cost volume来评估匹配损失的方法。
本文基于L3-Net的做法, 将注意力权重加入到其中。
与L3-Net类似, 首先构建cost volume:Ns ×nx ×ny ×nψ ,其中Ns是3D关键点的数目,后面三个是需要预测的位姿空间。即以预测的pose为中心,将其附近的位姿空间分割成均匀的三维网格(分别对应pose offset的三个维度),这个网格中的节点相当于采样得到的候选位姿。根据这些候选位姿将选择的地图图像中的3D点投影到查询图像中,然后计算描述子的距离,得到一个cost标量。最后得到descriptor cost map, 用3D卷积处理得到结果 P ( p , Δ T ) P(p, \Delta T) P(p,ΔT),其中p代表单个3D关键点, Δ T \Delta T ΔT表示一个位姿假设。
在L3Net中,作者通过在Ns的维度的reduce average operation 将 Ns ×nx ×ny ×nψ的 matching cost volume边缘化成了nx ×ny ×nψ。这里作者希望可以使用heatmap中的 attention weights进行边缘化,因此在模型训练阶段使用weighted average operation代替了原来的平均操作(因为训练阶段AKS模块中使用的是FPS),而在线定位时用reduce average operation.
接下来估计位姿的offset,这部分与L3-Net完全相同。
Absolute Loss: 用于约束位姿offset量的预测
Loss 1 = α ⋅ ( ∣ Δ x ^ − Δ x ∗ ∣ + ∣ Δ y ^ − Δ y ∗ ∣ + ∣ Δ ψ ^ − Δ ψ ∗ ∣ ) \operatorname{Loss}_{1}=\alpha \cdot\left(\left|\Delta \hat{x}-\Delta x^{*}\right|+\left|\Delta \hat{y}-\Delta y^{*}\right|+\left|\Delta \hat{\psi}-\Delta \psi^{*}\right|\right) Loss1=α⋅(∣Δx^−Δx∗∣+∣Δy^−Δy∗∣+∣∣∣Δψ^−Δψ∗∣∣∣)
Concentration Loss: 对经常出现的位姿偏移量进行加权
L o s s 2 = β ⋅ ( σ x + σ y + σ ψ ) 其 中 σ z = ∑ i P ( Δ z i ) ⋅ ∣ Δ z i − Δ z ∗ ∣ , z ∈ { x , y , ψ } , P ( Δ z i ) 表 示 概 率 分 布 的 集 中 度 , Loss_2=\beta \cdot\left(\sigma_{x}+\sigma_{y}+\sigma_{\psi}\right)\\ 其中\sigma_{z}=\sum_{i} P\left(\Delta z_{i}\right) \cdot\left|\Delta z_{i}-\Delta z^{*}\right|, z\in\{x,y,\psi\}, P(\Delta z_i)表示概率分布的集中度, Loss2=β⋅(σx+σy+σψ)其中σz=i∑P(Δzi)⋅∣Δzi−Δz∗∣,z∈{
x,y,ψ},P(Δzi)表示概率分布的集中度,
相当于对经常出现的offset 量进行了加权。
Similarity Loss:对2D–3D匹配对的描述子的距离进行惩罚
Loss 3 = ∑ p max ( P ^ ( p ) − C , 0 ) 这 里 P ^ ( p ) 代 表 的 是 3 D 关 键 点 p 经 过 真 值 位 姿 变 换 后 与 查 询 图 像 的 的 m a t c h i n g c o s t , C = 1.0 \operatorname{Loss}_{3}=\sum_{p} \max (\hat{P}(p)-C, 0)\\ 这里\hat P(p)代表的是3D关键点p经过真值位姿变换后与查询图像的的matching \ cost, C= 1.0 Loss3=p∑max(P^(p)−C,0)这里P^(p)代表的是3D关键点p经过真值位姿变换后与查询图像的的matching cost,C=1.0
需要RGB数据与激光数据对齐的、在同一场景中反复采集、且长期采集的数据集,然而现有的数据集均不能满足要求,因此论文还构建了数据集Apollo-DaoxiangLake,采集了9遍,时间长度为14周,覆盖了一天的不同时刻以及不同的天气状况。
实验中使用 GNSS/IMU获得先验位姿。
对比的方法包括Structure-based(地图中包含了线段、地标等几何结构的)方法以及feature-based(HF-net以及变种)方法。
这里为了公平起见,对HF-Net做了改造:
结果表明,本文提出的基于视觉的重定位方法的精度与激光雷达的定位方法相似。使用了三个相机试图的版本则达到了SOTA。
此外:HF-Net中使用了SIFT后性能明显下降。
单视图、3视图定位分别需要27ms以及50ms, 定位地图大小为10MB/Km.( GTX 1080 Ti GPU, Core i7-9700K CPU, and 16GB Memory.)
作者提到未来的工作将探索构建一个完整的基于视觉的定位系统,该系统可能包括基于车道和基于特征的方法,并需要里程计的帮助(这里应该是用里程计的先验代替GNSS/IMU)
最后,如果里程计也是端到端的,是不是就可以训出一个完全端到端的slam系统了?
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf