【TheAnnotatedTransformers】Transformer的位置编码-程序员宅基地
技术标签： The Annotated Transformer 深度学习 transformer 人工智能
为什么需要位置编码
略
什么是(三角式位置编码)Sinusoidal Position Embedding
三角位置编码属于绝对位置编码的一种。更多PE知识可以参考:链接
此部分原文请参考:Transformer Architecture: The Positional Encoding
理想情况下，位置编码应该满足如下条件：
- 它应该为每个时间步长(句子中单词的位置)输出唯一的编码
- 任意两个时间步之间的距离在不同长度的句子中应该保持一致
- 我们的模型应该无需任何努力就能推广到更长的句子并且其值应该是有界的
- 必须是确定的
在Attention is all you need 原文中提出了该方法。具体表达形式如下：
t t t是输入句子所期望的位置，也就是token的位置， p t → ∈ R d \overrightarrow{
{p}_{t}}\in {\mathbb{R}}^{d} pt∈Rd是位置编码
其中
ω k = 1 10000 2 k d {\omega }_{k}=\frac {1} {
{10000}^{\frac {2k} {d}}} ωk=10000d2k1
d d d表示模型隐藏层维度，从函数定义可以看出，频率沿着向量维度递减，因此它在波长上形成从 2 π 2{\pi} 2π到 1000 ⋅ 2 π 1000\cdot2\pi 1000⋅2π的几何级数( 波长 = 2 π / 频率 波长=2\pi/频率 波长=2π/频率)
同时，也可以将位置嵌入向量 p t → \overrightarrow{
{p}_{t}} pt，其中包含每个频率的 s i n sin sin、 c o s cos cos对。
p t → = [ s i n ( ω 1 ⋅ t ) c o s ( ω 1 ⋅ t ) s i n ( ω 2 ⋅ t ) c o s ( ω 2 ⋅ t ) . . . s i n ( ω d / 2 ⋅ t ) c o s ( ω d / 2 ⋅ t ) ] d × 1 \overrightarrow{
{p}_{t}}= \left[ \begin{matrix} sin({\omega}_{1}\cdot{t}) \\ cos({\omega}_{1}\cdot{t}) \\ sin({\omega}_{2}\cdot{t}) \\ cos({\omega}_{2}\cdot{t}) \\ .\\ .\\ .\\ sin({\omega}_{d/2}\cdot{t})\\ cos({\omega}_{d/2}\cdot{t})\\ \end{matrix} \right] _{d\times1} pt=
sin(ω1⋅t)cos(ω1⋅t)sin(ω2⋅t)cos(ω2⋅t)...sin(ωd/2⋅t)cos(ωd/2⋅t)
d×1
为什么有效果
直觉上
正弦和余弦这种组合如何表示位置/顺序呢？
假设用二进制格式来表示一个数字：
You can spot the rate of change between different bits. The LSB bit is alternating on every number, the second-lowest bit is rotating on every two numbers, and so on.（原文）
但是在浮点数的世界中，使用二进制值会浪费空间。因此，我们可以使用它们的浮点连续对应物——正弦函数。事实上，它们相当于交替的位。
结合下图，来理解一下这样设计的含义。每一行都代表了一个token，每一列代表了每个token都第i个未知元素。随着频率不断减小，则波长不断变大，此时正余弦函数对t的变动越不敏感，以此来达到越向右的旋钮，指针移动步伐越小的目的。 这也类似于二进制编码，每一位上都是0和1的交互，越往低位走（越往左边走），交互的频率越慢。关于刻度盘的论述可以参考
并且由于正余弦函数是周期函数，如果函数的频率偏大，引起的波长偏短，那么不同t下位置向量可能出现重合的情况，如下图所示，图中的点表示每个token的位置向量，颜色越深，token的位置越往后，在频率偏大的情况下，位置响亮点连成了一个闭环，靠前位置（黄色）和靠后位置（棕黑色）竟然靠得非常近：
由于其是周期函数，位置n移动到n+1，也就是曲线从黄色->棕色过渡，但是在途中n+1的位置相当于1位置，我们期待让其两个位置应该远离。所以我们必须让函数是单调递增的，所以我们需要降低所有的频率。故原作者选择了1/10,000的最小频率。
位置矩阵热图如下图所示：
以下是如何解读上述嵌入向量 p t → \overrightarrow{
{p}_{t}} pt热图
- 编码不需要大部分的 p t → \overrightarrow{ {p}_{t}} pt矩阵，途中红色部分表示刻度盘已经打开。正弦和余弦值分别远离其初始值 0 和 1。这表明有多少嵌入空间用于存储位置信息。沿着红色曲线，沿着深度更深一步激活表盘会变得更加困难。
- 较大深度处的垂直线变化小于较低深度处的损失。选择一个固定的深度，然后向上移动，注意颜色如何从亮→暗→亮变化……这个循环的频率随着深度的增加而降低，这表明我们之前的直觉是深度越大的表盘越敏感。(这里的敏感指的是数值精确度的敏感)
相对位置
正弦位置编码的另一个特点就是它允许模型毫不费力得关注相对位置信息。
M ⋅ [ s i n ( ω k ⋅ t ) c o s ( ω k ⋅ t ) ] d × 1 = [ s i n ( ω k ⋅ ( t + ϕ ) c o s ( ω k ⋅ ( t + ϕ ) ] d × 1 M\cdot\left[ \begin{matrix} sin({\omega}_{k}\cdot{t}) \\ cos({\omega}_{k}\cdot{t}) \\ \end{matrix} \right] _{d\times1}= \left[ \begin{matrix} sin({\omega}_{k}\cdot{(t+\phi}) \\ cos({\omega}_{k}\cdot{(t+\phi}) \\ \end{matrix} \right] _{d\times1} M⋅[sin(ωk⋅t)cos(ωk⋅t)]d×1=[sin(ωk⋅(t+ϕ)cos(ωk⋅(t+ϕ)]d×1
(证明过程)
通过上式我们可以发现 M M M能够允许 p t + ϕ → \overrightarrow{
{p}_{t+\phi}} pt+ϕ对于任意的固定偏置 ϕ \phi ϕ是 p t → \overrightarrow{
{p}_{t}} pt得线性函数，这个属性使得模型能够很方便得学习相对位置。
正弦位置编码的另一个特性是相邻时间步之间的距离是对称的并且随着时间的推移能够很好得衰减。
参考博客：
Transformer Architecture: The Positional Encoding
The Annotated Transformer的中文注释版（1）
The Annotated Transformer
知乎回答
Master Positional Encoding: Part I
智能推荐
中国程序员独立开发9年、最受欢迎的开源Redis客户端——被Redis公司收购-程序员宅基地
文章浏览阅读29次。ioredis 作者@Luin宣布该项目已被 Redis 公司收购。目前 ioredis 在 GitHub 的开源地址已迁移至 Redis 公司旗下：ioredis 是一个用于 Node.js 的 Redis 客户端，健壮、性能好、功能强大且全面。两年前，ioredis超过redis 成为了 Node.js 最流行的 Redis 客户端。当时 ioredis 作者还感叹 redis 历经诸...
javase之序列化与反序列化_ser 序列化 反射-程序员宅基地
文章浏览阅读406次。3.如果一个可序列化对象包含了某个不可序列化对象的引用，那么整个序列化是会失败的，并且会抛出一个NotSerializableException，我们可以将这个引用标记为transient,表示为短暂的，此时该变量就无法被序列化，然后对象依旧可以被序列化。一个类如果想被序列化，则必须实现java.io.Serializable接口，这个接口没有定义任何方法，是一个标志性接口，当一个类实现了该接口，就表示这个类的对象是可以被序列化的。2.如果一个对象的成员变量是一个对象，那么这个对象的数据成员也会被保存。.._ser 序列化 反射
Zuul_zuul: prefix: /api-程序员宅基地
文章浏览阅读139次。zuul 路由1. zuul:1.1 zuul是什么？Zuul包含了对请求的路由和过滤两个最主要的功能：其中路由功能负责将外部请求转发到具体的微服务实例上，是实现外部访问统一入口的基础而过滤器功能则负责对请求的处理过程进行干预，是实现请求校验、服务聚合等功能的基础.Zuul和Eureka进行整合，将Zuul自身注册为Eureka服务治理下的应用，同时从Eureka中获得其他微服务的消息，也即以后的访问微服务都是通过Zuul跳转后获得。注意：Zuul服务最终还是会注册进Eureka1.2 路由：_zuul: prefix: /api
推荐五款你从未见过的嵌入式电子电路仿真APP-程序员宅基地
文章浏览阅读2.1w次，点赞30次，收藏204次。摘要：在这个人人一部甚至多部智能手机的年代，各种APP充斥在各种应用市场作为一名电子爱好者或者电子工程师，你在为如何选择APP而头痛吗？哪些你正在使用的APP使你在工作、生活、学习中如虎添翼呢？现在，小师弟特意整理了一些电子爱好者和电子工程师能用到的手机APP和你没见过的电脑仿真软件。ElectroDroid电路专家ElectroDroid是一款电路电子器件的学习软件，比较专业化，它能够为你提供各种电路方面的信息查询和计算服务，是电子相关行业人士的必备工具之一。它包括:电阻色码计算器贴片电阻代码_电路仿真app
卷积神经网络的几种模型_卷积神经网络模型-程序员宅基地
文章浏览阅读7.9k次，点赞9次，收藏53次。关于卷积神经网络的模型，我们这里只谈论关于图像分类的卷积神经网络的四种模型。在这里我们就不对卷积神经网络的结构进行阐述，不了解的同学可以参考我之前的博客LeNet-5首先我们先阐述的是1989年提出来的的LeNet-5结构。它其实就是最原始的结构，卷积层后衔接池化层，再接卷积层和其后的池化层，最后一个全连接层。（c1=convolution layer1，s1=subsampling layer1[降采样层，就是池化层]）这个模型是实现识别手写数字的功能为目的而提出..._卷积神经网络模型
【Maven教程】（十）：使用 Hudson 进行持续集成—— 从Hudson的安装到任务创建 ~_hudson搭建-程序员宅基地
文章浏览阅读1.4k次。优秀的持续集成工具有很多，如老牌的开源工具CruiseControl 、商业的 Bamboo 和 TeamCity 等。这里只介绍 Hudson, 因为它是目前较流行的开源持续集成工具。该项目过去一直托管在 java.net 社区，不过现在已经迁移到。Hudson 主要是由Kohsuke Kawaguchi 开发和维护的，Kohsuke Kawaguchi 自2001年就已经加入 Sun 公司(当然，现在已经是 Oracle 了)。_hudson搭建
随便推点
科普帖：什么是IaaS？与SaaS、PaaS有何不同_google drive iaas-程序员宅基地
文章浏览阅读853次，点赞24次，收藏18次。到底什么是IaaS？它与PaaS和SaaS等其他云服务有何不同？本文将介绍它们之间的区别。随着91％的公司至少部分迁移到云，我们都应该对它们有基本了解。下面让我们探讨一下IaaS是什么，与其他云服务的区别，及一些实际使用中的示例。_google drive iaas
滚动栏范围位置函数（SetScrollRange、SetScrollPos、GetScrollRange、GetScrollPos）-程序员宅基地
文章浏览阅读194次。滚动栏的范围是一对整数，默认情况下，滚动栏的范围是0~100。SetScrollRange（hwnd，iBar，iMin，iMax，bRedraw）这里的iBar參数要么是SB_VERT,要么是SB_HORZ,iMin和iMax分别相应滚动栏范围的最小值和最大值，须要Windows依据新的范围来重绘滚动栏时将bRedraw设为TRUE.SetScrollPos（hwnd..._setscrollerbarpos
【Java基础】之AWT，一篇文章搞懂awt(包含绘图)-程序员宅基地
文章浏览阅读1.3w次，点赞45次，收藏177次。入门awt不错的文章，带你快速上手awt_awt
C++ Primer问题总结(7)_executionpolicy&&-程序员宅基地
文章浏览阅读170次。10.3int main(){ vector<string>v{ "Hello","World" }; auto sum = accumulate(v.begin(), v.end(), string{ "Tim Wu" }); cout << sum << endl;}int main(){ int v1 = 42; auto f ..._executionpolicy&&
《近匠》专访机智云 CTO 刘琰——从 0 到 1 开启智能化硬件开发-程序员宅基地
文章浏览阅读1.1k次。在物联网浪潮之下，智能硬件的火爆程度不断升温。未来十年，全球接入互联网的硬件设备将达到1万亿台。如今的智能硬件产品正成为下一个“台风口”，同时这对于终端市场也是一个机遇。然而从创新走向产品，作为开发者应该如何步步为营？面对传统硬件与智能硬件之间思维理念及技术差异的“鸿沟”，开发者如何提升自己的技能，更加高效地开发？由此，我们带着探索道路上的种种疑问，采访了机智云 CTO ..._机智云科技有限公司刘焱
动态规划 | 完全背包问题 | 组合数、排列数 | leecode刷题笔记_完全背包问题 输出有几种排列-程序员宅基地
文章浏览阅读857次。跟随carl代码随想录刷题语言：python。_完全背包问题 输出有几种排列