【论文阅读】An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning_nlp jerex 模型_今天NLP了吗的博客-程序员宅基地

EACL 2021
https://github.com/lavis-nlp/jerex

1.Entity Mention Localization

用span的方法抽取文档中的实体，相比于BIO的方法，它更能检测重叠实体。
对实体span做max-pooling得到初步的span表示。
在这里插入图片描述
提及分类器采用下面的式子。

把span表示 $e (s)$ 以及span大小的embedding $w^s_{k+1}$ 拼接起来，送入两层的前馈神经网络，用Relu激活后送入sigmoid二分类，来获得s构成实体的概率。
在这里插入图片描述
对所有长度小于等于L的span都进行该分类，超过阈值就认为存在该实体。

2.Coreference Resolution

一对实体提及对的表示是这样构造的
在这里插入图片描述
把span表示 $e (s 1) 、 e (s 2)$ 以及他们之间的编辑距离 $w^c_d$ 拼接起来。

与span的分类类似，同样使用sigmoid激活进行二分类，得到两个实体span之间是否为共指引用的评分。
在这里插入图片描述
这一步构建了一个矩阵 $R^{m*m}$ ，m表示文档中包含提及集合的个数

矩阵内包含每个提到的配对之间的相似度分数。

同样设定阈值，得到实体集群

3.Entity Classification

将每个实体映射到一个类型，比如person比如location。

我们首先用max-pooling把上一步得到的实体集群表示进行融合。
在这里插入图片描述
然后在实体表示 $x^e$ 上进行实体类型分类。softmax获取类型的概率分布，得分最高就是实体的类型。

在这里插入图片描述

4.Relation Classification

将关系类型分配给实体对。
设计了两种关系分类器。

4.1 Global Relation Classifier (GRC)

在这里插入图片描述
把两个实体 $x^e_1和x^e_2$ 以及他们各自对应的实体类型 $w^e_1和w^e_2$ 拼接起来。
送入两层前馈神经网络，最后一层进行多标签分类，sigmoid激活。超过阈值就认为存在该关系。

4.2 Multi-instance Relation Classifier (MRC)

与全局分类器(GRC)不同，多实例关系分类器在提及级别上操作。

它假设某些实体提到对支持特定的关系，并将该信息合成为实体对级别的表示。

由于只有实体级别的标签可用，我们将实体提及对视为潜在变量，并通过对这些提及对的融合来估计关系。
在这里插入图片描述

这俩表示一对实体集群，也就是第二步得到的实体对的提及表示。

又将全局实体嵌入与提到的局部张成表示连接起来，如下面的公式所示。
在这里插入图片描述
此外，由于我们认为近距离提及是更强的关系指标，我们添加了两个提及之间的距离ds、dt的元嵌入，包括表示句子级别(ds)和标记级别(dt)。
这两个词之间的最大汇集上下文c(s1;s2)也拼接进去。
这种本地化的上下文为文档提供了一个更集中的视图，并被发现对长时间的，因此有噪声的输入特别有益。
在这里插入图片描述
再把它送入单独的一层前馈神经网络

然后max-pooling聚合这些表示。

后面的就和GRC类似了，我们将 $x^r$ 与实体类型嵌入 $w^e_1和w^e_2$ 连接，并应用双层FFNN。

本文链接：https://blog.csdn.net/li_jiaoyang/article/details/113808547

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

使用Free Spire.XLS插入图表-程序员宅基地

使用Free Spire.XLS插入图表前言最近在研究Office中间件，上网搜索了下，比较出名的有两个：Aspose和Spire，两者功能齐全，对Office的支持趋近完善，但售价不菲。仔细搜索下，发现Spire系列还有免费版的产品，相对商业版本，在性能和文件转换功能上有缩水。通过一段时间的使用后，我发现免费版本能够满足我的大部分需求。所以写下这篇文章，和大家分享一下我的使..._spire.xls 插入附件

iOS开发---根据button获取相对应的cell-程序员宅基地

DeliveryGoodsStockListTableViewCell *cell = (DeliveryGoodsStockListTableViewCell *)button.superview.superview;NSIndexPath *indexPath = [self.stockTableView indexPathForCell:cell];

OSError: mysql_config not found-程序员宅基地

上次在部署阿里云安装Centos7里 pip3 install mysqlclient 是一直报OSError: mysql_config not found这个错，上网百度了半天终于找到了解决的办法yum install mysql-devel gcc gcc-devel python-devel安装这个在pip3 install mysqlclient 就可以了转载于:ht...

H5 移动调试攻略-程序员宅基地

一、概要因为移动端操作系统分为 iOS 和 Android 两派，所以本文的调试技巧也会按照不同的系统来区分。寻找最合适高效的方式，才能让你事半功倍。文章会列举目前适合移动端调试的多种方案，快来选择你的最佳实践吧！二、iOS 设备Safari：iphone 调试利器，查错改样式首选，需要我们做如下设置：浏览器设置：Safari – 偏好设置 – 高级 – 勾选「在菜单栏中显...

ConyEdit（跨编辑器插件，编程辅助利器）-程序员宅基地

ConyEdit（跨编辑器插件，编程辅助利器）在代码的开发过程中，经常需要重复的复制粘帖一些重复性的代码。程序员是做什么的，复制粘贴！频繁的Ctrl+C、Ctrl+V实在让人懊恼！ConyEdit 是 Windows 平台下一款全新的跨编辑器的编辑器插件，在任何文本编辑器或IDE中都可以使用，在需要处理的文本后面输入命令行，文本连同命令一起复制，ConyEdit就可以在后台自动处理数据了，处理..._conyedit

PCIe设备Link Training调试心得----之PERST是否使用_pcie perst-程序员宅基地

PCIe 三种 INIT flow 如图：第一种依赖上电host PERST信号进行内部reset. （适用于依赖host有PERST信号）第二种Polling electrical signal，check到对端TS1码流进行内部的reset. （适用于大部分场景，也有缺陷）第三种Polling electrical signal，reset内部后直接发起TS1码流. （适用于一些国产平台，Loongson等）这三种PCIe init 方式都不够完美，优劣待续。。。..._pcie perst

随便推点

Python内置进制转换函数(实现16进制和ASCII转换)-程序员宅基地

在进行wireshark抓包时你会发现底端窗口报文内容左边是十六进制数字，右边是每两个十六进制转换的ASCII字符，这里使用Python代码实现一个十六进制和ASCII的转换方法。hex()转换一个整数对象为十六进制的字符串>>> hex(16)'0x10'>>> hex(18)'0x12'>>> hex(32)'0x...

Python的博客开发项目学习-（廖雪峰的Python3）-程序员宅基地

一、UI 效果1. Web 端1.1 主页1.2 写博客界面1.2 博客日志界面1.3 用户列表界面1.4 评论列表界面2.服务端 Python3. 数据库 MySQL3.1 数据库表3.2 数据库表-Usr表3.3 数据库表-bolgs表3.4 数据库表-评论表

Linux命令详解：SFTP_sftp -p-程序员宅基地

一、介绍SFTP（Secure File Transfer Protocol，安全文件传输协议）是一种基于可靠数据流（data stream），提供文件存取和管理的网络传输协议与 FTP 协议相比，SFTP 在客户端与服务器间提供了一种更为安全的文件传输方式，如果你还在使用 FTP 来进行文件传输，强烈建议切换到更为安全的 SFTP 上来。本篇文章将会介绍 SFTP 的链接，以及在交互式命令行中的一些常用命令，并对一些参数进行解释，最后给出实际使用中的最佳实践。目前已经有很多 GUI 客户端支持 SF_sftp -p