独家 | 图解BiDAF中的单词嵌入、字符嵌入和上下文嵌入（附链接）-程序员宅基地

640?wx_fmt=png

作者：Meraldo Antonio

翻译：张玲

校对：吴金笛

本文约5200字，建议阅读15分钟。

本文重点讲解机器问答任务中常见机器学习模型BiDAF是如何利用单词、字符和上下文3种嵌入机制将单词转化为向量形式，同时包括单词的句法、语义和上下文信息的。

BiDAF(Bi-Directional Attention Flow，双向注意力流)是一种常用的问答任务机器学习模型，本文演示了BiDAF是如何使用三种嵌入机制将单词转化为向量形式的。

640?wx_fmt=png

本文是图解双向注意力流（BiDAF）工作原理系列文章（共4篇）中的第二篇，BiDAF是一种常用的问答任务机器学习模型。

系列文章

https://arxiv.org/abs/1611.01603

概括的说，BiDAF是一个封闭域的抽取式问答模型。这意味着为了能够回答一个Query，BiDAF需要查阅包含回答查询所需信息的随附文本，这个随附的文本被称为Context。BiDAF的工作原理是从上下文中提取一个能够最好Answer查询的子串，这就是我们所说的“对查询的回答”。我有意将单词Query、Context和Answer大写，表示我在本文中使用他们时特指他们的专业技术能力。

640?wx_fmt=png

本系列的第一篇文章介绍了BiDAF的框架。 在本文中，我们将关注BiDAF体系结构中的第一部分-当模型接收到一个传入的Query及其附带文本时，第一件要做的事。为了便于学习，文末提供了这些步骤中包含的数学符号词汇表。让我们了解下相关步骤吧！

步骤1 符号化

在BiDAF中，首先对传入的Query和Context进行标记，即符号化，将这两个长字符串分解为他们的构成词。在BiDAF论文中，符号T和J分别表示Context和Query中单词的数量。下面是符号化的描述：

640?wx_fmt=png

步骤2 单词嵌入

对步骤1得到的单词进行嵌入处理，并将其转化为数字向量。这些向量捕捉单词的语法功能（语法）和含义（语义），便于我们能够对它们进行各种数学计算。在BiDAF中，可以完成3个粒度级别上的嵌入：字符、单词和上下文。现在让我们关注第1个嵌入层-单词嵌入。

在最开始的BiDAF中单词嵌入算法使用的是GloVe，本文中，我只简要介绍它，因为已经有一些优秀的资源对它的工作过程进行了解释。如果你缺少时间深入理解详情，这里有一个非常简单的、关于GloVe的总结：

GloVe

https://nlp.stanford.edu/projects/glove/

优秀的资源

http://mlexplained.com/2018/04/29/paper-dissected-glove-global-vectors-for-word-representation-explained/

GloVe是一种无监督学习算法，利用单词在语料库中的共现频率来生成单词的向量表示，这些向量以数字的形式表示了单词不同方面的含义。

GloVe向量中的数字封装了单词的语义和语法信息，因此，我们可以使用这些向量执行一些很酷的操作！例如，如下图所示，我们可以使用减法来查询单词的同义词。

本文链接：https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/102426910

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

kds官方android客户端,电子厨打设置（KDS/ADS）-程序员宅基地

文章浏览阅读1.3k次。KDS应用场景KDS和ADS设置使用方案：厨房模式(KDS) 配菜模式(ADS) 呼叫广告模式(TV)电子菜牌模式KDS(kitchen display system)ADS(assign display system)准备工作安卓电子厨打客户端硬件要求：各类安卓平板及安卓一体机(安卓4.4.2以上，7寸屏以上)收银设备的IP，做KDS的设备IP，做ADS的设备IP必须在同一个网段(接同一个路由上..._kitchen display system

Nginx + Consul + Upsync实现动态负载均衡_consul+nginx-upsync-module-程序员宅基地

文章浏览阅读1.7k次。各组件作用：ConsulWeb：Consul的客户端可视化界面，管理负载均衡配置的信息ConsulServer：Consul服务端，用于存放负载均衡配置Nginx：以间隔时间动态读取ConsulServer配置Upsync：新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表，并动态更新Nginx..._consul+nginx-upsync-module

ECharts动态加载堆叠柱状图的实例-程序员宅基地

文章浏览阅读1.2k次。一、引入echarts.js文件（下载页:http://echarts.baidu.com/download.html）二、HTML代码：<div style="width: 100%; height: 400px;" id="main"></div>三、js代码（获取数据以及对数据的处理方法）：function loadData(callb..._echarts 横向堆叠柱状图

S2 第二学期的第二本书的第六章上机和简答题_public student(string num,string password,string n-程序员宅基地

文章浏览阅读805次。1.继承[csharp] view plain copy using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespac_public student(string num,string password,string name,string age,string birt

通过Llamaindex分析用户舆情信息技术调研_get_response_synthesizer-程序员宅基地

文章浏览阅读230次。通过Llamaindex分析用户舆情信息技术调研_get_response_synthesizer

redis6.2 使用 TLS 的部署(三种高可用模式)_redis 6.2版本启用tls认证-程序员宅基地

文章浏览阅读3.5k次。redis6.2 使用 TLS 的部署"三种高可用模式"安装redis6.2 并启用TLS加密安装创建TLS证书编写配置文件systemd管理测试连接redis 主从配置 tls安装拷贝master 证书到 slave编写配置文件systemd管理验证主从服务sentinel 哨兵服务创建目录、配置文件systemd管理查看sentinel 状态redis cluster 分片集群TLS安装规划目录及证书编写配置文件创建cluster 集群验证cluster 集群安装redis6.2 并启用TLS加密_redis 6.2版本启用tls认证