[点云补全]-Point Cloud Completion by Skip-attention Network with Hierarchical Folding_alfred_torres的博客-程序员宝宝_点云补全

技术标签: 点云识别  

Point Cloud Completion by Skip-attention Network with Hierarchical Folding

CVPR 2020
利用多级Folding结构和skip-attention来进行点云补齐
Folding结构是之前就有的,本文主要是利用skip-attention将folding结构堆叠起来,更加深了,有点像受到了ResNet和DeepGCNs的启发。

摘要

原文 译文
Point cloud completion aims to infer the complete geometries for missing regions of 3D objects from incomplete ones. 点云补齐的目的是从不完整的点云推断出缺失部分的几何形状
Previous methods usually predict the complete point cloud based on the global shape representation extracted from the incomplete input. 之前的方法通常是从不完整点云的全局形状特征预测完整的点云
However, the global representation often suffers from the information loss of structure details on local regions of incomplete point cloud. 存在的问题在于,从不完整点云中获取的全局特征缺少局部细节结构。
To address this problem, we propose Skip-Attention Network (SA-Net) for 3D point cloud completion. Our main contributions lie in the following two-folds. 本文提出了SA-Net,有2个创新点
First, we propose a skip-attention mechanism to effectively exploit the local structure details of incomplete point clouds during the inference of missing parts. The skip-attention mechanism selectively conveys geometric information from the local regions of in-complete point clouds for the generation of complete ones at different resolutions, where the skip-attention reveals the completion process in an interpretable way. 首先,skip-attention机制可以有效的捕捉缺失部分的局部结构细节特征,并且skip-attention可以有选择的在不同的分别率下强调确实部分的几何特征,同时skip-attention在点云补全过程是一种可解释性的。
Second, in order to fully utilize the selected geometric information encoded by skip-attention mechanism at different resolutions, we propose a novel structure-preserving decoder with hierarchical folding for complete shape generation. The hierarchical folding preserves the structure of complete point cloud generated in upper layer by progressively detailing the local regions, using the skip-attentioned geometry at the same resolution. 第二点,为了充分利用skip-attention得到的重点选择的几何信息,本文提出一种保留结构的decoder,多层folding结构逐步对局部区域细节化。
We conduct comprehensive experiments on ShapeNet and KITTI datasets, which demonstrate that the proposed SA-Net outperforms the state-of-the-art point cloud completion methods. 在ShapeNet和KITTI上做了补全对比的实验。

Folding Block的 self-attention

Floding Block的结构图如下
在这里插入图片描述
图中左下角就是self-attention的结构,这是一个很常见的点云self-attention结构。
通过两个MLP:h和l将输入特征变换到一个维度,然后转置相乘,再softmax归一化得到attention score/weight
在这里插入图片描述
然后再利用一个MLP:g 乘以得到的权重,最后利用一个残差结构加上最初的特征得到self-attention后的特征。
在这里插入图片描述

Skip-attention

skip-attention是本文的亮点创新。它将encoder得到的特征加权地变成decoder的输入,将encoder和decoder联系了起来,之前pointnet++进行semantic segmentation的时候都是直接把encoder的特征skip concatenate到decoder的输入。
作者阐述的skip-attention的作用:

  1. 当生成的点在不完整的点区域内时,skip-attention可以帮助decoder更好的恢复特征
  2. 当生成的点不在完整点云的区域内时,skip-attention查找已有点云的相似区域,然后利用已知相似点来恢复未知点。

示意图
在这里插入图片描述
作者给出了两种skip-attention的实现方式,第一种和上面的一样,用MLP来实现。
第二种时计算特征之前的余弦相似性作为attention score
在这里插入图片描述

实验

Effect of attention

为了验证attention的作用,作者做了下面3个对比实验

  1. No-skip
  2. Skip-L
  3. Fold-C

得到的结果是Skip-Attention用Cossine,Fold-Attention用Learned方式最好。

Visualization of skip-attention

在这里插入图片描述

skip attention扩展

最后,作者还把本文的skip-attention拓展到semantic segmentation和unsurpervised shape classification,都取得了improvement.

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/alfred_torres/article/details/107514079

智能推荐

QT编译Xpdf_队长-Leader的博客-程序员宝宝_xpdf

先参考本博客的《QT编译bzip2和zlib》、《QT编译libpng》、《QT编译FreeType和Little CMS》完成这些依赖库的编译。下载xpdf源码。复制以下文件到xpdflib文件夹中,其中aconf.h.in修改文件名为aconf.h。再将aconf.h修改为下面所示(我这里没有使用Little CMS,如有需要,请自行添加源文件并将以下文件中相应的条件编译改为#define HAVE_LCMS 1)。/* * aconf.h * * This file is mo

调查发现 云服务面临重大安全信任问题_顺之怡的博客-程序员宝宝

对于刚刚起步的云服务行业,信任问题是一个重大问题。虽然对于大多数企业而言,将昂贵的数据存储外包给托管服务供应商的好处显而易见,但挥之不去的安全问题让很多企业都不愿意转移到云服务。在数据库安全供应商GreenSQL举办的两次云安全研讨会上,对387名与会者的调查发现,80%的受访者对于将数据迁移到云端时可能出现的安全问题、合规问题以及失去控制权的问题感到非常焦虑。缺乏信任的云计算Gree

Jupyter Notebook 中 ‘tuple‘ object is not callable 问题解决_Jay_Mapp的博客-程序员宝宝

这个问题,对于大多数的人出错了,是因为调用函数时,可能把 【】写成了(),仔细检查一下。但是我发现,在jupyter notebook中并不能使用tuple。如下:但是,同样的代码,在 Ipython QTconsole 中却可以使用:也许是编辑器的问题吧!...

基于fpga的直流电机vhdl+论文+开题报告+(csdn免费下载)_夜幕下的灯火的博客-程序员宝宝_基于fpga的pwm直流电机控制系统

基于FPGA的直流电机链接:https://pan.baidu.com/s/1OjdLV8ioU7ct6YtBQ_D4xQ提取码:vwkn(觉得不错的给个一键三连喔)摘要直流电机是日常生活中常见的一种能量转换装置,它应用广泛,功能强大,在生产生活中占据着重要位置。直流电机的控制方法多种多样,控制系统的组成更是五花八门。本文将采用现场可编辑门阵列FPGA来实现对直流电机的控制,为实现电机数字控制提供一种新方法。硬件方面,我们将使用Altera公司的Cyclone中等规模FPGA芯片。论文中,

神经网络量化_dustless927的博客-程序员宝宝_神经网络量化

前言神经网络在图像、语音识别等领域使用越来越广泛,大部分实时性要求不高的服务都可以部署在云上,然而还是有不少模型需要在计算能力有限的可移动设备上快速运行,如人脸解锁、拍照视频的实时处理等。一般训练的模型采用的都是32位浮点数,考虑到大部分的模型都具有比较强的抗噪能力,即即使输入受到了一定的干扰,最后预测出正确的结果,所以在手机等智能设备上,可以通过适当降低精度而基本影响结果的正确率,来达到加速...

随便推点

微生物领域SCIE期刊分析(英美各40本,中国大陆0本)_刘永鑫Adam的博客-程序员宝宝

网址:https://jcr.clarivate.com/期刊引证报告(Journal Citation Reports, JCR)网址提供了目前最为详细的期刊间文章引用统计,杂志分类、影...

keil5报警告warning:implicit declaration ‘xxxxxxxx’ is invalid in C99 大部分解决办法_WeeHours.的博客-程序员宝宝_keil5头文件报错

关于keil5报警告warning:implicit declaration ‘xxxxxxxx’ is invalid in C99 大部分解决办法我遇到这个问题是在RM战队调裁判系统的时候遇到的。首先要明确一点,报这样的错,绝大部分的情况是因为自己的头文件有问题,我拿我遇到的情况举例:1.头文件调用2.函数调用及报错3.referee_usart_task的头文件4.bsp_usart头文件头文件路径也全部包含进来了,头文件书写也没有问题,但是就是报了警告解决办法:可以看到usar

IOS 取消表格单元格 TableViewCell 去掉高亮状态 点击Cell取消选择状态_Leemin_ios的博客-程序员宝宝

IOS 取消表格单元格 TableViewCell 去掉高亮状态 点击Cell取消选择状态

自己学Docker:7.数据卷容器的备份、恢复_Mungo的博客-程序员宝宝

最近由于工作的原因,各种事情,忙的要死.用户发现软件有问题,也不管是不是自己操作的问题,一口就咬定是软件的问题,询问什么问题时就”有问题”三个字回应也是醉了. 烦心事过去就不说,之前一直关于Docker看到了数据卷容器,就像知道数据卷容器有什么用处.查了不少资料,最基本的用处还是利用数据卷容器来备份、恢复、迁移数据卷.备份我们先创建一个data容器.sudo docker run -i -t -v

Elasticsearch核心技术与实战学习笔记 44 | 处理并发读写操作_bohu83的博客-程序员宝宝

一 序本文属于极客时间Elasticsearch核心技术与实战学习笔记系列。二并发控制的必要性两个 Web 程序同时更新某个文档,如果缺乏有效的并发,会导致更改的数据丢失悲观并发控制假设有变更冲突的可能,会对资源加锁,防止冲突。例如数据库行锁乐观并发控制假设突然是不会发生的,不会阻塞正在尝试的操作。如果数据在读写中被修改,更新将会失败。应用程序决定如何解决冲突,例如重试更新,使用新的数据,或者将错误报告给用户 ES 采用的乐观并发控制例子是举了销售商品扣减库存的。2...

Servlet中Tomcat响应客户端返回去的页面中出现中文乱码问题_南宫梦沉的博客-程序员宝宝

当servlet响应客户端请求的时候,返回去的中文字符会会出现乱码,可以使用response.setContentType("text/html;charset=utf-8");将字符集设置为utf-8,而不是像响应一样req.setCharacterEncoding("UTF-8");这样设置字符集,多数的时候这样设置字符集是没有效果的。下面用一个例子来演示:package com.service;import javax.servlet.ServletException;import java

推荐文章

热门文章

相关标签