点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨李城

编辑丨计算机视觉工坊

点击进入—>3D视觉工坊学习交流群

3D视觉的核心问题是恢复场景结构、相机位姿、和相机参数，而解决方式有两种，一种是off-line的sfm(structure from motion)，一种on-line的slam(simultaneous localization and mapping)。Slam 与sfm的区别在于，大多数slam系统是需要提前标定相机，而sfm 则不需要提前标定(通常所说的三维重建和slam的区别，严格意义上应该是sfm 和slam的区别)。

Sfm 可以分为以下几类：Global SfM、Incremental SfM、Hybrid SfM、Distributed SfM，这里主要讲解Global SfM和ncremental SfM(主要集中在global sfm)。

一、Global SfM workflow:

Global sfm 的内容包括rotation averaging 和anslation averaging。

Rotation averaging

观测值：一组相机pose的相对rotation

目标：计算相机的绝对旋转

优化：L2范数，采用L2范数的原因有两个：1）估计一个好的旋转初始值 2）收敛快

理论基础：

translation averaging

观测值:同rotation averaging 一样，观测值是两一组pose之间的相对translation

目标：计算相机的绝对旋转

优化：L1范数，原因是L1 范数对噪声鲁邦

理论基础：

Translation averaging 在global sfm 中计算困难，原因如下：

1、 两视图之间的运动不能恢复尺度(tvec 是从本质矩阵中恢复出来的，但是本质矩阵的秩是5，不包含尺度，所以global sfm 是属于三焦张量问题，即是至少tack 3帧才能进行运算。同时，global sfm 容易出现退化现象，当相机都处于同一条线上时候，对于无人机图像来说，这个时候轨迹就会出现bending map。

解决bending map 的手段有三点：

（1）提前对相机标定

（2）以无人机为例，飞行航线不要在恒定高度上飞行

（3）融合其他传感器，如gps 位置约束等

退化的case 如下：

     以上分别为侧面图和俯视图

以上结果是fusion low-cost gps的效果，但是依旧可以看出有弯曲的现象(不融合的效果特别差)

飞行方式改变，fusion low-cost gps，退化现象消失，如下：

从侧面图和俯视图可以看出，当飞行方式发生改变，global sfm 退化现象消失。

2、 global sfm translation averaging第二个的痛点是对噪声敏感，其不像Incremental sfm，不断的ransac 和local ba 来减少bad EGs的影响。

如何去改善global sfm 的鲁棒性：

1）如果rotation 是已知的（不够精确)，提供global rotation初始值给global sfm pipeline ，利用这些初始值在BA中增加relative rotation constraint

2）如果位置已知，sfm 增加位置约束，即最小化先验位置和估计的位置之间的gap，位置约束可以替代slam回环(如果是low cost gps ,位置约束不能保证精度，但可以起到一个control strcture 的作用(AR 常用)—参考vins-fusion思想 ，这个openmvg 中已经实现位置约束。

二、Incremental SfM workflow:

增量sfm这里不准备太多的叙述，需要注意的是初始化选择像对的基准：

1. enough matching

2. big baseline

三、global sfm和incremental sfm 优缺点和应用场景

应用场景：

1.当考虑速度不考虑精度的时候，并且当图像overlap 比较大的时候，用global sfm 可以达到理想效果，因为有更多的数据去average（Feature track based translation averaging）

2.如果考虑精度，选择Incremental sfm ，但是在大场景下，incremental sfm会随着图像的增多，速度越来越慢，同时由于误差的累计，会出现drfit ，这种情况下可以采用Distributed SfM。

参考文献 ：

1.Rotation Averaging and Strong Duality[J].Anders Eriksson

2.Global Structure-from-Motion and Its Application[R]

3.Linear Global Translation Estimation with Feature Tracks[J].Zhaopeng Cui

本文仅做学术分享，如有侵权，请联系删文。

点击进入—>3D视觉工坊学习交流群

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+实践]

9.单目深度估计方法：算法梳理与代码实现

10.自动驾驶中的深度学习模型部署实战

11.相机模型与标定(单目+双目+鱼眼）

12.重磅！四旋翼飞行器：算法与实战

13.ROS2从入门到精通：理论与实战

14.国内首个3D缺陷检测教程：理论、源码与实战

15.基于Open3D的点云处理入门与实战教程

16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进

重磅！粉丝学习交流群已成立

交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。

扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，微信号：dddvisiona

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看，3天内无条件退款

高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~