1. 第一作者:Song Zhang
2. 发表年份:2023
3. 发表期刊:Complex & Intelligent Systems
4. 关键词:MVS、三维重建、深度可分离卷积、通道注意力
5. 探索动机:基于深度学习的MVS方法很难平衡效率和有效性。
6. 工作目标:如何在保持效果的情况下显著减少计算量是研究的主要问题。
7. 核心思想:We propose the DSCMVSNet, a novel coarse-to-fine and end-to-end framework for more efficient and more accurate depth estimation in MVS.
- We propose a 3D UNet-shape network and firstly use the depthwise separable convolution for 3D cost volume regularization, which can effectively improve the model efficiency with performance maintained.
- We propose a 3D-Attention module to enhance the ability in cost volume regularization to fully aggregate the valuable information of cost volume and alleviate the problem of feature mismatching.
- We proposed an effective and efficient feature transfer module to upsample the LR depth map to obtain the HR depth map to achieve higher quality reconstruction.
8. 实验结果:
The proposed method outperforms the state-of-the-art method in dynamic areas with a significant error reduction of 21.3% while retaining its superiority in overall performance on KITTI. It also achieves the best generalization ability on the DDAD dataset in dynamic areas than the competing methods.
9.论文下载:
https://link.springer.com/content/pdf/10.1007/s40747-023-01106-3.pdf?pdf=button
https://github.com/zs670980918/DSC-MVSNet
将3D CNN分为3D depthwise卷积(depthwise是深度维度,可以对深度维度的代价体信息进行代价聚合)和3D pointwise卷积(pointwise是空间维度,在空间维度对代价体信息进行代价聚合)。
3D depthwise convolution。在每个通道的代价体上独立进行3D深度卷积,得到与通道无关的中间特征图,定义如式:
式中W1表示三维深度卷积的权值,V∈C×D×H×W表示代价体,i, j, u表示位置索引,K, L, M表示卷积的核大小。
3D pointwise convolution。3D逐点卷积作用于这些与通道无关的特征图,以聚合通道相关的信息,如定义:
式中,W2表示三维点向卷积的权值,V∈C×D×H×W表示中间特征图,N表示卷积的核大小。
这两个卷积依次执行,形成一个完整的卷积。其数学表达式定义为式:
本文将3D-DSC正则化方案与其他主流正则化方案进行了理论比较,证明了该方案的有效性。用青色表示体素的感受野。水平是深度尺寸,垂直是通道尺寸。H和W分别表示高度和宽度。在这个图中,设H和W为一维。
(a)空间正则化(spatial Regularization, SR),它过滤了不同深度的代价体。然而,由于感受野较小,SR的正则化结果受到很大影响;(b) 3D CNN正则化(3D-CNN),利用3D CNN获得更大的感受野进行代价体正则化。但它带来了更多的计算成本;(c)递归正则化是一种基于RNN的方法,提出了顺序处理,将代价体划分为与深度无关的代价图,以降低计算成本;(d)3D-DSC正则化是一种基于DSC的方法,将代价体分割成中间特征图,然后应用逐点卷积来建立这些中间特征图之间的关系,以保持模型的性能。与SR相比,我们的方法可以获得更大的接受野,而3D CNN正则化可以获得更好的性能,但也会带来更高的计算成本。然后比较了3D-DSC和3DCNN的效率。
3D-DSC虽然可以有效地聚合代价体信息,但仍然存在影响代价体质量的特征不匹配问题。当不同关键点的特征被错误匹配时,就会出现特征不匹配问题,这将导致代价体在不同深度处有相似置信度,最终导致深度估计不准确。具体而言,如图3下图所示,一个参考特征在不同深度匹配两个相似的源特征(佛像的两只手),不同深度的置信度在代价体上相似。这些相似的置信度将影响深度图的质量。并利用3DA来缓解这一问题。红色体素表示相似置信度;淡红色表示置信度减弱。
由于注意力机制可以通过计算不同的权重来突出重要信息,因此使用注意力机制来解决特征不匹配问题。3D注意力由两个模块组成,通过利用整个代价体的信息计算注意力权重来增强或削弱不同深度的相似的置信度,从而缓解了这一问题。
通道注意力块。通道注意力块对通道信息执行注意力。它由一个多层感知器(MLP)构造,作用于代价体V∈C×D×H×W的通道,以获得通道注意力增强权值Wˆ。将通道权值W与代价体V相乘,得到通道改进的代价体V‘∈C×D×H×W。通道注意力块定义为:
其中Max Pool为最大池化,AvgPool为平均池化。W∈C为通道注意力增强权值,两部分均共享MLP的权值。
空间深度注意力块。与普通注意力使用全感知(不区分空间和深度)不同,空间深度注意力块根据代价体的构成从两个不同维度感知代价信息,如:空间和深度。首先,使用核大小为1×7×7(相同深度的不同位置)的面向空间的各向异性卷积沿空间方向过滤代价体,以在保持相同深度的有用匹配信息的同时降低噪声。它为下一次面向深度的卷积提供了更准确的空间信息。然后用核大小为7×1×1(同一位置不同深度)的面向深度的各向异性卷积作用于深度维度,有效增强或减弱同一空间位置不同深度的匹配信息。最后,使用核大小为7×7×7的各向同性卷积,作用于多维(空间,深度),以充分聚合上述过程的信息。空间深度注意块的公式定义为:
式中σ为激活函数;W ̄∈1×D×H×W为空间深度权重;f1×7×7是空间向卷积,f7×1×1是深度向卷积,f7×7×7是整体卷积。
将这两个模块级联形成一个3D注意力模块,公式定义如下:
正则化后,在深度方向上使用softmax操作对[0,1]之间的所有值进行回归,形成深度估计的概率体P。最后,将不同深度假设平面值与概率体P相乘,得到LR深度图D~s。公式为:
上采样获得的高分辨率深度图直接影响点云结果的质量。为了获得高分辨率和精确的深度图,提出了一种用于低分辨率(LR)深度图上采样的特征传输模块(FTM)。
FTM的输入是一个三通道的参考图像I0∈3×H×W和单通道LR深度图Ds∈1×1/8H×1/8W。为了统一输入的尺度,首先使用双三次插值算法对LR深度图Ds进行上采样,得到更大尺度的深度图D~s∈1×1/4H×1/4W。将参考图像下采样为16通道图像I0∈16×1/4H×1/4W。在统一之后,提出了一个共同的偏移量和权重提取主干来获得参考图像和深度图的偏移量。该主干包含一个七层卷积特征提取网络、一个偏移卷积、一个权重卷积和一个sigmoid层。该主干定义为:
式中,fFE表示提取网络,foc表示偏移卷积,fwc表示权卷积,sigmoid表示sigmoid层。
然后使用OWC Block来计算权重∈k2/16×1/4H×1/4W和偏移∈k2/8×1/4H×1/4W,用于引导深度图上采样,其中k是一个超参数,设置k=12。具体来说,将相应的偏移量和权重相乘,然后通过PixelShuffle传递结果来获得目标偏移量和权重。然后利用偏移量引导特征采样,并将采样的特征与权值相乘得到最终结果。最后,通过残差相加块得到HR深度图。将上述过程的方程定义为:
其中fps表示PyTorch的的PixelShuffle操作,fgs表示grid_sample函数,Dres表示深度残差。
之前的方法很多仅使用顺序卷积操作从输入图像{Ii}i提取特征映射,这些图像只包含高级语义信息。低层次空间信息的丢失会影响重建结果的质量。因此,提出了一种利用跳跃连接传播低层次空间信息来聚合多层次特征信息的信息特征提取网络。这个网络有三个组件(Encoder, Decoder, Adjuster),架构如下表所示。每个卷积层代表一个卷积块、批归一化(BN)和ReLU。“sp”表示跳跃连接。
定义为:
Vi是所有特征体的平均体。
前一步得到的深度图质量不足,需要进一步改进。而在Fast-MVSNet中,高斯牛顿网络层是一种有效且高效的深度图改进模块。因此,使用高斯网络层对深度图改进图D∈1×1/4H×1/4W,用于MVS重建。
计算预测深度图与真实深度图之间的平均绝对值误差作为训练损失,如:
式中,D~d为HR深度图,D~r为改进后的深度图,D~为真实深度图,pvalid为真实深度图的有效点集,λ用于平衡loss1(p)和loss2(p)。在训练过程中,通常将λ设置为1.0。
9.1. 实现细节
设置RMSProp优化器,初始学习率设置为0.0008,每个epoch的衰减权值设为0.002。批大小设置为16,并在6个NVIDIA GTX 2080ti GPU设备上进行训练。
9.2. 与先进技术的比较
文章浏览阅读6.9k次。WCE 下载地址:链接:https://share.weiyun.com/5MqXW47 密码:bdpqku工具界面_wce.exe -s aaa:win-9r7tfgsiqkf:00000000000000000000000000000000:a658974b892e
文章浏览阅读4.5k次。Weather Globe(Mackiev)Google Earth(Google)Virtual Earth(Microsoft)World Wind(NASA)Skyline Globe(Skylinesoft)ArcGISExplorer(ESRI)国内LTEarth(灵图)、GeoGlobe(吉奥)、EV-Globe(国遥新天地) 软件名称: 3D Weather Globe(http:/_网络地球仪
文章浏览阅读1.9w次,点赞113次,收藏57次。我要买这些东西,然后震惊整个办公室_程序员展示刀,产品经理展示枪
文章浏览阅读1.6w次,点赞7次,收藏63次。霍尔信号、编码器信号与电机转向从电机出轴方向看去,电机轴逆时针转动,霍尔信号的序列为编码器信号的序列为将霍尔信号按照H3 H2 H1的顺序组成三位二进制数,则霍尔信号翻译成状态为以120°放置霍尔为例如不给电机加电,使用示波器测量三个霍尔信号和电机三相反电动势,按照上面所说的方向用手转动电机得到下图① H1的上升沿对应电机q轴与H1位置电角度夹角为0°,..._霍尔信号
文章浏览阅读7.1k次,点赞5次,收藏36次。个人微信淘宝客返利机器人搭建一篇教程全搞定天猫淘宝有优惠券和返利,仅天猫淘宝每年返利几十亿,你知道么?技巧分享:在天猫淘宝京东拼多多上挑选好产品后,按住标题文字后“复制链接”,把复制的淘口令或链接发给机器人,复制机器人返回优惠券口令或链接,再打开天猫或淘宝就能领取优惠券啦下面教你如何搭建一个类似阿可查券返利机器人搭建查券返利机器人前提条件1、注册微信公众号(订阅号、服务号皆可)2、开通阿里妈妈、京东联盟、拼多多联盟一、注册微信公众号https://mp.weixin.qq.com/cgi-b_怎么自己制作返利机器人
文章浏览阅读2.1k次,点赞2次,收藏5次。技术分享时应秉持的基本原则:应有团队和个人、奉献者(统筹人)的概念,同时匹配团队激励、个人激励和最佳奉献者激励;团队应该打开工作内容边界,成员应该来自各内容方向;评分标准不应该过于模糊,否则没有意义,应由客观的基础分值以及分团队的主观综合结论得出。应有心愿单激励机制,促进大家共同聚焦到感兴趣的事情上;选题应有规范和框架,具体到某个小类,这样收获才有目标性,发布分享主题时大家才能快速判断是否是自己感兴趣的;流程和分享的模版应该有固定范式,避免随意的格式导致随意的内容,评分也应该部分参考于此;参会原则,应有_技术分享
文章浏览阅读1k次。在模板中,我们使用了标签,将由o2-view组件负责渲染,给o2-view传入了两个参数:app="内容管理数据"和name="所有信息",我们将在o2-view组件中使用这两个参数,用于展现“内容管理数据”这个数据应用下的“所有信息”视图。在o2-view组件中,我们主要做的事是,在vue组件挂载后,将o2的视图组件,再挂载到o2-view组件的根Dom对象。当然,这里我们要在我们的O2服务器上创建好数据应用和视图,对应本例中,就是“内容管理数据”应用下的“所有信息”视图。..._vue2 oa
文章浏览阅读222次。table是lua中非常重要的一种类型,有必要对其多了解一些。
文章浏览阅读549次,点赞30次,收藏9次。我们前面学习都有一个概念,被private封装的资源只能类内部访问,外部是不行的,但这个规定被反射赤裸裸的打破了。反射就像一面镜子,它可以清楚看到类的完整结构信息,可以在运行时动态获取类的信息,创建对象以及调用对象的属性和方法。
文章浏览阅读1.1k次,点赞35次,收藏12次。Logical Volume Manager,逻辑卷管理能够在保持现有数据不变的情况下动态调整磁盘容量,从而提高磁盘管理的灵活性/boot分区用于存放引导文件,不能基于LVM创建PV(物理卷):基于硬盘或分区设备创建而来,生成N多个PE,PE默认大小4M物理卷是LVM机制的基本存储设备,通常对应为一个普通分区或整个硬盘。创建物理卷时,会在分区或硬盘的头部创建一个保留区块,用于记录 LVM 的属性,并把存储空间分割成默认大小为 4MB 的基本单元(PE),从而构成物理卷。
文章浏览阅读379次,点赞7次,收藏10次。4、Dielecteic voltage-withstand test 介电耐压试验。1、Maximum output voltage test 输出电压试验。6、Resistance to crushing test 抗压碎试验。8、Push-back relief test 阻力缓解试验。7、Strain relief test 应变消除试验。2、Power input test 功率输入试验。3、Temperature test 高低温试验。5、Abnormal test 故障试验。
文章浏览阅读535次。镜像烧写说明_正点原子 imx6ull nand 烧录