论文阅读(七):Dual-stream Maximum Self-attention Multi-instance Learning (DMSMIL)_mil max-pooling-程序员宅基地

技术标签: 论文阅读  机器学习  神经网络  

引入

  很久没有看论文和写博客,现在把最近看的一篇多示例学习(MIL)的论文解读一下,希望有所收获。

前言

  该篇论文提出了一种由神经网络参数化的双流最大自注意的MIL模型(DSMIL);
  主要步骤:1)第一流部署了一个简单的 MIL max-pooling,并确定了top激活的嵌入实例;2)在第二个流中,通过仅将顶部激活的查询与包中的实例相关联,跨实例计算注意力得分。
  特点:基于相同的实例嵌入来训练一个实例分类器和包分类器。

方法

问题表述

  包: B = ( x 1 , y 1 ) , ⋯   , ( x n , y n ) B=(x_1,y_1), \cdots, (x_n,y_n) B=(x1,y1),,(xn,yn);实例: x i ∈ X x_i \in X xiX;实例标签: y i ∈ 0 , 1 y_i\in 0,1 yi0,1
  包的标签: c ( B ) = 1 − ∏ i = 1 n ( 1 − y i ) c(B)=1-\prod \limits_{i=1}^n{(1-y_i)} c(B)=1i=1n(1yi)
  假设有一些合适的变换 f f f g g g,则 c ( B ) = g ( f ( x 0 ) , ⋯   , f ( x n ) ) c(B)=g(f(x_0),\cdots,f(x_n)) c(B)=g(f(x0),,f(xn))
  关于函数 f f f g g g,MIL有两种模型处理方式:1) 基于实例的方法: f f f 是实例级别的分类器,它为每个实例生成一个类别评分, g g g 是一个池化运算符,用于汇总实例评分以生成袋评分;2) 基于嵌入的方法: f f f 是实例级特征提取器,将每个实例映射到一个嵌入, g g g 是一个聚合函数,它首先将所有实例嵌入映射到一个包嵌入,并根据该包嵌入生成一个包得分。

双流MIL聚合

   H = [ h 0 , … , h N − 1 ] ∈ R L × N \mathbf{H}=\left[\mathbf{h}_{0}, \ldots, \mathbf{h}_{N-1}\right] \in \mathbb{R}^{L \times N} H=[h0,,hN1]RL×N 是嵌入实例的包,其中 h i \mathbf{h}_i hi 是第 i i i 个实例的嵌入。
  第一个流是一个具有 MIL max-pooling 的实例级别分类器:
c m = max ⁡ { W 0 h 0 , … , W 0 h N − 1 } \mathbf{c}_{m}=\max \left\{\mathbf{W}_{0} \mathbf{h}_{0}, \ldots, \mathbf{W}_{0} \mathbf{h}_{N-1}\right\} cm=max{ W0h0,,W0hN1}其中, W 0 \mathbf{W}_0 W0是一个全连接层的权值矩阵。
  第二个流从嵌入实例学习到嵌入包,并且学习包分类器给嵌入包打分。
  步骤1):通过第一流得到最优激活嵌入实例 h m \mathbf{h}_m hm,然后将嵌入实例转换成两个向量 :查询向量 q i ∈ R L × 1 \mathbf{q}_i\in \mathbb{R}^{L \times 1} qiRL×1 和 信息向量 v i ∈ R L × 1 \mathbf{v}_i \in \mathbb{R}^{L \times 1} viRL×1,
q i = W q h i , v i = W v h i , i = 0 , … , N − 1 \mathbf{q}_{i}=\mathbf{W}_{q} \mathbf{h}_{i}, \quad \mathbf{v}_{i}=\mathbf{W}_{v} \mathbf{h}_{i}, \quad i=0, \ldots, N-1 qi=Wqhi,vi=Wvhi,i=0,,N1, 其中 W q \mathbf{W}_q Wq W v \mathbf{W}_v Wv是两个全连接层的权值矩阵。
  步骤2):最大自注意力向量的每一个属性 a i a_i ai :
a i = exp ⁡ ( s i ) ∑ i = 0 N − 1 exp ⁡ ( s i ) , s i = ⟨ q i , q m ⟩ , i = 0 , … , N − 1 a_{i}=\frac{\exp \left(\mathrm{s}_{i}\right)}{\sum_{i=0}^{N-1} \exp \left(\mathrm{s}_{i}\right)}, \quad s_{i}=\left\langle\mathbf{q}_{i}, \mathbf{q}_{m}\right\rangle, \quad i=0, \ldots, N-1 ai=i=0N1exp(si)exp(si),si=qi,qm,i=0,,N1
  步骤3):嵌入包 b ∈ R L × 1 \mathbf{b} \in \mathbb{R}^{L \times 1} bRL×1:
b = ∑ i a i v i \mathbf{b}=\sum_{i} a_{i} \mathbf{v}_{i} b=iaivi其中,求和的操作是对每个元素都求和。
  步骤4):包的得分 c ∈ R L × 1 \mathbf{c}\in \mathbb{R}^{L \times 1} cRL×1:
c b = W 1 b \mathbf{c}_{b}=\mathbf{W}_{1} \mathbf{b} cb=W1b W 1 \mathbf{W}_1 W1 是一个全连接层的权值矩阵。
  步骤5):最后包的得分是两个流得分的权值和:
c ^ = ( 1 − λ ) c m + λ c b , λ ∈ [ 0 , 1 ] \hat{\mathbf{c}}=(1-\lambda) \mathbf{c}_{m}+\lambda \mathbf{c}_{b}, \quad \lambda \in[0,1] c^=(1λ)cm+λcb,λ[0,1]

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_39443703/article/details/115770183

智能推荐

C语言文件操作相关的函数_c语言与文件处理有关的函数-程序员宅基地

文章浏览阅读865次。文件的打开和关闭文件在读写之前应该先打开文件,在使用结束之后应该关闭文件。在编写程序的时候,在打开文件的同时,都会返回一个FILE*的指针变量指向该文件,也相当于建立了指针和文件 的关系。ANSIC 规定使用fopen函数来打开文件,fclose来关闭文件。FILE * fopen ( const char * filename, const char * mode ); int fcl..._c语言与文件处理有关的函数

java 无法读取文件_java 读取文件,无法显示文件内容,如何解决? 谢谢。-程序员宅基地

文章浏览阅读1.1k次。从来没见过进行文件读取写入时,在写入中需要随机数的,你读取文件就是从一个地方获取输入流,然后将这个输入流写到别的地方,根本不要随机数。给你一个示例://copyafiletoanotherfilebyusingFileReader/FileWriterimportjava.io.*;publicclassTFileRead{publicstaticvoidmain(S..._java复制文件文件没有内容显示

vue引入原生高德地图_前端引入原生地图-程序员宅基地

文章浏览阅读556次,点赞2次,收藏3次。由于工作上的需要,今天捣鼓了半天高德地图。如果定制化开发需求不太高的话,可以用vue-amap,这个我就不多说了,详细就看官网 https://elemefe.github.io/vue-amap/#/zh-cn/introduction/install然而我们公司需要英文版的高德,我看vue-amap中好像没有这方面的配置,而且还有一些其他的定制化开发需求,然后就只用原生的高德。其实原生的引入也不复杂,但是有几个坑要填一下。1. index.html注意,引入的高德js一定要放在头部而_前端引入原生地图

ViewGroup重写大法 (一)-程序员宅基地

文章浏览阅读104次。本文介绍ViewGroup重写,我们所熟知的LinearLayout,RelativeLayout,FrameLayout等等,所有的容器类都是ViewGroup的子类,ViewGroup又继承View。我们在熟练应用这些现成的系统布局的时候可能有时候就不能满足我们自己的需求了,这是我们就要自己重写一个容器来实现效果。ViewGroup重写可以达到各种效果,下面写一个简单的重写一个Vi..._viewgroup 重写

Stm32学习笔记,3万字超详细_stm32笔记-程序员宅基地

文章浏览阅读1.8w次,点赞279次,收藏1.5k次。本文章主要记录本人在学习stm32过程中的笔记,也插入了不少的例程代码,方便到时候CV。绝大多数内容为本人手写,小部分来自stm32官方的中文参考手册以及网上其他文章;代码部分大多来自江科大和正点原子的例程,注释是我自己添加;配图来自江科大/正点原子/中文参考手册。笔记内容都是平时自己一点点添加,不知不觉都已经这么长了。其实每一个标题其实都可以发一篇,但是这样搞太琐碎了,所以还是就这样吧。_stm32笔记

CTS(13)---CTS 测试之Media相关测试failed 小结(一)_mediacodec框架 cts-程序员宅基地

文章浏览阅读1.8k次。Android o CTS 测试之Media相关测试failed 小结(一)CTSCTS 即兼容性测试套件,CTS 在桌面设备上运行,并直接在连接的设备或模拟器上执行测试用例。CTS 是一套单元测试,旨在集成到工程师构建设备的日常工作流程(例如通过连续构建系统)中。其目的是尽早发现不兼容性,并确保软件在整个开发过程中保持兼容性。CTS 是一个自动化测试工具,其中包括两个主要软件组件:CTS tra..._mediacodec框架 cts

随便推点

Spark伪分布安装(依赖Hadoop)_下载spark的hadoop依赖-程序员宅基地

文章浏览阅读6.7k次,点赞7次,收藏14次。一、伪分布安装Spark安装环境:Ubuntu 14.04 LTS 64位+Hadoop2.7.2+Spark2.0.0+jdk1.7.0_761、安装jdk1.7(1)下载jdk-7u76-linux-x64.tar.gz;(2)解压jdk-7u76-linux-x64.tar.gz,并将其移动到/opt/java/jdk路径下(自建);命令:tar -zxvf jdk-_下载spark的hadoop依赖

TCP/IP 是用于因特网 (Internet) 的通信协议_广泛应用在internet中的tcp/ip的网络管理主要使用的是 ____协议。 (填空题)-程序员宅基地

文章浏览阅读6.7k次。计算机通信协议计算机通信协议是对那些计算机必须遵守以便彼此通信的规则的描述。什么是 TCP/IP?TCP/IP 是供已连接因特网的计算机进行通信的通信协议。TCP/IP 指传输控制协议/网际协议 (Transmission Control Protocol / Internet Protocol)。TCP/IP 定义了电子设备(比如计算机)如何连入因特网,以及数据如何在它们之间传输的标准..._广泛应用在internet中的tcp/ip的网络管理主要使用的是 ____协议。 (填空题)

java中的一些经典算法_java中temsize+=1运算-程序员宅基地

文章浏览阅读360次。转自:落尘曦的博客:http://blog.csdn.net/qq_23994787 原文链接:https://blog.csdn.net/qq_23994787/article/details/77951244#_Toc9101经典算法的Java实现(1)河内塔问题: 42(2)费式数列 43(3)巴斯卡(Pascal)三角形 44(4)蒙地卡罗法求 PI 45(..._java中temsize+=1运算

Linux习题简答题_linux中,第一个普通用户的uid为____。-程序员宅基地

文章浏览阅读3.1k次,点赞6次,收藏27次。第一章Q1 简述Linux系统的应用领域 Linux服务器;嵌入式Linux系统;软件开发平台;桌面应用Q2 简述Linux系统的特点 开放性、多用户、多任务、良好的用户界面、设备独立性、丰富的网络功能、可靠的系统安全、良好的可移植性Q3 简述Linux系统的组成 内核、shell、文件系统、应用程序Q4 简述主流的Linux发行版本 Redhat SUSE Oracle CentOS Ubuntu Debian Mandriva Gentoo Slackware Fe_linux中,第一个普通用户的uid为____。

【路径规划】基于matlab粒子群算法新型概率密度无人机作战路径规划【含Matlab源码 2620期】_已知目标出现概率热图matlab无人机路径规划-程序员宅基地

文章浏览阅读183次。粒子群算法新型概率密度无人机作战路径规划完整的代码,方可运行;可提供运行操作视频!适合小白!_已知目标出现概率热图matlab无人机路径规划

navicat执行.sql文件_navicat执行sql文件-程序员宅基地

文章浏览阅读2w次,点赞5次,收藏19次。1、准备好需要执行的.sql文件.sql文件需要注意:每条语句都需要用;作为结束,否则属于语法错误,执行会报错。我们用下面3条语句生成.sql文件测试一下:select SYSDATE() from dual;select COUNT(100) from dual;select CONCAT_WS(' ','test','import','.sql','files');将它保存为import_demo.sql等待测试。2、navicat中选中数据库右键选择.sql文件进行执行选中目标数据库_navicat执行sql文件