技术标签: tensorflow nlp rnn 深度学习
tf.nn.bidirectional_dynamic_rnn(
cell_fw,
cell_bw,
inputs,
sequence_length=None,
initial_state_fw=None,
initial_state_bw=None,
dtype=None,
parallel_iterations=None,
swap_memory=False,
time_major=False,
scope=None
)
一个(outputs,output_states)元组,其中:
思想: 利用最后一层的输出(因为最后一层融合了所有的信息) 跟每一层进行相乘得出attention权重,然后利用权重把每一步的结果都加起来得到最终的一个结果
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
# Bi-LSTM(Attention) Parameters
embedding_dim = 2
n_hidden = 5 # number of hidden units in one cell
# 3 words sentences (=sequence_length is 3)
sentences = ["i love you", "he loves me", "she likes baseball", "i hate you", "sorry for that", "this is awful"]
word_list = " ".join(sentences).split()
word_list = list(set(word_list))
word_dict = {
w: i for i, w in enumerate(word_list)}
vocab_size = len(word_dict)
input_batch = []
for sen in sentences:
input_batch.append(np.asarray([word_dict[n] for n in sen.split()]))
target_batch = []
for out in labels:
target_batch.append(np.eye(n_class)[out]) # ONE-HOT : To using Tensor Softmax Loss function
# LSTM Model
X = tf.placeholder(tf.int32, [None, n_step])
Y = tf.placeholder(tf.int32, [None, n_class])
out = tf.Variable(tf.random_normal([n_hidden * 2, n_class]))
embedding = tf.Variable(tf.random_uniform([vocab_size, embedding_dim]))
input = tf.nn.embedding_lookup(embedding, X) # [batch_size, len_seq3, embedding_dim2]
lstm_fw_cell = tf.nn.rnn_cell.LSTMCell(n_hidden) # 5
lstm_bw_cell = tf.nn.rnn_cell.LSTMCell(n_hidden)
# output : [batch_size, len_seq, n_hidden], states : [batch_size, n_hidden]
output, final_state = tf.nn.bidirectional_dynamic_rnn(lstm_fw_cell,lstm_bw_cell, input, dtype=tf.float32)
# Attention
# Training
with tf.Session() as sess:
init = tf.global_variables_initializer()
sess.run(init)
#print(input_batch.shape)
output, final_state = sess.run([output, final_state], feed_dict={
X: input_batch, Y: target_batch})
#print(output.shape())
print("output_fw-----------------------")
print(output[0])
print("output_bw-----------------------")
print(output[1])
print("=-----------------*****************************************------------------=")
print("output_fw_C-----------------------")
print(final_state[0][0])
print("output_fw_H-----------------------")
print(final_state[0][1])
print("output_bw_C-----------------------")
print(final_state[1][0])
print("output_bw_H-----------------------")
print(final_state[1][1])
#结果
output_fw-----------------------
[[[ 0.00394321 -0.02351782 -0.03405523 0.00305696 0.00405202]
[ 0.06117373 -0.08493181 -0.10548183 0.0173593 0.01642234]
[ 0.09302159 -0.14045352 -0.18056425 0.02292664 0.02151979]]
[[ 0.00897689 -0.0114818 -0.01073236 0.0026193 0.00251714]
[-0.01570433 -0.01093796 -0.02816775 -0.00127712 0.00047153]
[ 0.03564881 -0.08152001 -0.12945394 0.01309824 0.01412579]]
[[ 0.0022017 -0.0556691 -0.09676469 0.00533017 0.00813764]
[-0.02163241 -0.03916193 -0.09379555 0.00117761 0.0033054 ]
[-0.02534943 -0.03482693 -0.09665176 0.00129206 0.00241509]]
[[ 0.00394321 -0.02351782 -0.03405523 0.00305696 0.00405202]
[ 0.0251001 -0.04374754 -0.05323521 0.00777274 0.00770803]
[ 0.06088063 -0.10670137 -0.14363492 0.01596653 0.01687609]]
[[-0.02074501 -0.03782491 -0.08010133 0.00106625 0.0042809 ]
[-0.02030762 -0.02580994 -0.06796815 0.00064477 0.00200086]
[ 0.01159763 -0.09142994 -0.1786155 0.01095188 0.01238727]]
[[ 0.03423732 -0.04540066 -0.0511797 0.0099178 0.00961432]
[ 0.03746802 -0.09071141 -0.12944394 0.01133813 0.0131082 ]
[ 0.04090166 -0.07015887 -0.0894173 0.00954981 0.00913159]]]
output_bw-----------------------
[[[ 0.02337044 0.12136219 0.05673089 -0.01224817 0.0593852 ]
[ 0.01874987 0.09703043 0.0713386 -0.05112801 0.09921131]
[ 0.03311865 0.06603951 0.02200164 -0.0013612 0.04199017]]
[[ 0.04622315 0.08167503 -0.02331962 0.02814881 -0.01469414]
[ 0.06475978 0.1021239 -0.02712514 0.05594093 -0.01951348]
[ 0.02701424 0.06634663 0.03368881 -0.01682826 0.05579737]]
[[ 0.17932206 0.11006899 -0.17011283 0.17438392 -0.14428209]
[ 0.13817243 0.08259486 -0.13932668 0.15030426 -0.13008778]
[ 0.06183491 0.04734965 -0.05742453 0.07186026 -0.05271984]]
[[ 0.03479569 0.09810638 0.01812333 0.01501928 0.02510414]
[ 0.02493659 0.08395203 0.03107387 -0.00838013 0.04572592]
[ 0.03311865 0.06603951 0.02200164 -0.0013612 0.04199017]]
[[ 0.16409379 0.1282753 -0.13091424 0.17192362 -0.10831039]
[ 0.09441089 0.10732475 -0.05974932 0.08499315 -0.04574324]
[ 0.06810828 0.07835089 -0.01157835 0.05307872 0.00895631]]
[[ 0.0615179 0.09249893 -0.00614712 0.01541615 0.02442793]
[ 0.07529346 0.07565043 -0.03864583 0.07073426 -0.02094099]
[ 0.01069495 0.01040417 -0.01082753 0.01262293 -0.00998173]]]
=-----------------*****************************************------------------=
output_fw_C-----------------------
[[ 0.18077272 -0.25065544 -0.2970943 0.05401518 0.04332165]
[ 0.0666052 -0.14184129 -0.21055089 0.03050351 0.02707803]
[-0.04982244 -0.06662414 -0.17368984 0.00284229 0.00523079]
[ 0.11556551 -0.18880183 -0.23572075 0.03740995 0.03326564]
[ 0.0214364 -0.15807846 -0.28311607 0.0270236 0.02515054]
[ 0.08471472 -0.13929133 -0.17238948 0.01954564 0.01927523]]
output_fw_H-----------------------
[[ 0.09302159 -0.14045352 -0.18056425 0.02292664 0.02151979]
[ 0.03564881 -0.08152001 -0.12945394 0.01309824 0.01412579]
[-0.02534943 -0.03482693 -0.09665176 0.00129206 0.00241509]
[ 0.06088063 -0.10670137 -0.14363492 0.01596653 0.01687609]
[ 0.01159763 -0.09142994 -0.1786155 0.01095188 0.01238727]
[ 0.04090166 -0.07015887 -0.0894173 0.00954981 0.00913159]]
output_bw_C-----------------------
[[ 0.04923753 0.29065222 0.10612877 -0.02204721 0.12080507]
[ 0.09414361 0.17565773 -0.04700623 0.05542824 -0.02873464]
[ 0.3784477 0.3159748 -0.2940823 0.28821698 -0.27351445]
[ 0.07218795 0.23126517 0.03378158 0.02722929 0.05014303]
[ 0.32902873 0.36530167 -0.22143884 0.27972797 -0.21702379]
[ 0.13681822 0.22507632 -0.01161141 0.02861859 0.04536273]]
output_bw_H-----------------------
[[ 0.02337044 0.12136219 0.05673089 -0.01224817 0.0593852 ]
[ 0.04622315 0.08167503 -0.02331962 0.02814881 -0.01469414]
[ 0.17932206 0.11006899 -0.17011283 0.17438392 -0.14428209]
[ 0.03479569 0.09810638 0.01812333 0.01501928 0.02510414]
[ 0.16409379 0.1282753 -0.13091424 0.17192362 -0.10831039]
[ 0.0615179 0.09249893 -0.00614712 0.01541615 0.02442793]]
文章浏览阅读9.4k次。1、关闭outlook客户端2、删除outlook本地缓存 win7系统,打开C:\Users\AppData\Local\Microsoft\Outlook\Offline Address Books目录,如该目录隐藏请先将隐藏目录显示出来,删除该目录下的所有内容。3、打开outlook客户端,更新全球通讯簿4、清空自动完成列表 依次打开outlook的文件——选项——邮件,下拉右边的滚动条,往下找到“清空自动完成列表”按钮,点击确认即可5、 ..._如何清理outlook缓存,to do list不行
文章浏览阅读39次。利用可变模板将不定入参连接为字符串返回,可用于构建一个入参不定的日志系统,用于代替C语言的可变参数。_c++ 使用可变模板返回字符串
文章浏览阅读6k次,点赞6次,收藏13次。错误信息:解决办法:URL后加?serverTimezone=UTC_myeclipse连接数据库用户登录失败
文章浏览阅读542次。题目:根据上图以Zerind为初始状态,Bucharest为目标状态实现搜索,分别以贪婪搜索(只考虑直线距离)和A算法求解最短路径。 按顺序列出贪婪算法探索的扩展节点和其估价函数值,A算法探索的扩展节点和其估计值。题目解析:1.构建罗马利亚图2.构建到B城市的直线距离3.实现贪婪算法4.实现A*算法5.对所求路径及总长度进行输出代码:# 罗马利亚图存储city_graph = [['A', 'Z', 75], ['A', 'T', 118], _根据上图以zerind为初始状态,bucharest为目标状态实现搜索,分别以贪婪搜索(只考虑
文章浏览阅读1.5w次,点赞6次,收藏14次。最近在用谷歌浏览器的console研究某个网站时,遇到console.log不输出任何信息的情况。而且这种不输出是独特的,在其它标签页里的其它网站网页下,console.log()输出是正常的,只有这个特定网页,console.log()不输出。通常,这种情况的产生是因为console里log level设置的不对引起的,如图,我们需要把“info”菜单勾选上,info级别的debug信息才会显示出来。console.log就是属于“info”级别。但今天遇到的这个问题不是由于debug level引起_console.log没有输出
文章浏览阅读9.5k次,点赞4次,收藏33次。SAP 表修改记录查询(恢复误删除的表数据)1.查询SAP标准表历史修改记录(SCU3)2.查询使用SE16N sap_edit修改的表历史记录3.查询有变更历史的凭证的修改记录1.查询SAP标准表历史修改记录(SCU3)可使用SCU3查询修改历史前提:SE11表技术设置勾选记录日志RZ10维护rec/client;激活需要记录表数据更改历史rec/client = ALL (记录所有client)rec/client = 000 (记录指定client)rec/client = OF_sap 查询修改记录
文章浏览阅读2.6k次,点赞5次,收藏6次。前言:这是一篇迟来的回忆录,想了一想,距离我退役也已经有10个月了,最开始是冲集训队失败心情比较低落,后来又接连去了两个公司实习所以一直没时间写,但是我怕很多事情再耽搁下去就忘了,所以开始动笔。由于这是一篇在CSDN上发表的OI生涯回忆录,所以虽然这六年来我经历了很多事情,有些事甚至很重要,但是在这里我只能一笔带过,主要还是写我这六年(五年)来的OI生活吧 (一)缘起凭借着小学出色的数..._邢健开
文章浏览阅读3.2k次,点赞5次,收藏15次。1 在自己的虚拟机里面编译配置打包好busybox文件系统,然后放在开发板的Linux中去2 开发板Linux烧录打包好的文件系统3 为了能使QT在开发板上运行,必须首先交叉编译QT源码,然后生成QT库,再移植到我们的开发板上。(在QT官网上下载QT源码) 这一步仅仅是为了测试用的4 将编译好的QT拷贝到根文件目录下5 将打包好的根文件系统烧写到开发板的Linux系统中6 交叉编译qt代码,一般我们都Windows上开发qt代码,但是我们最终还是要把我们的qt代码放在开发板上运行,这就必须用到_嵌入式qt
文章浏览阅读4.6k次,点赞7次,收藏22次。在理工科论文的写作中,涉及到大量的公式输入,我们希望能够按照章节为公式进行编号,并且实现公式居中,编号右对齐的效果。网上有各种各样的方法来实现,操作繁琐和简单的混在一起,让没有接触过公式编号的人感觉比较混乱。笔者自己博览相关博客,亲身实践,总结出一套自认为比较简便的公式编号、对齐和引用方法,在这里分享给大家~_word公式编号
文章浏览阅读182次。企业信息化建设 发展报告 wxwinter 目录1 软件架构 1 2 IT公司服务模式 1 3 企业应用模式 2 软件架构阶段结构年代第一阶段单机应用 - 1998第二阶段C/S 客户端/服务器1998 – 2000第三阶段B/S 浏览器/..._应用软件信息化建设开发报告
文章浏览阅读2k次。针对交易系统大促场景下热点数据写优化的相关案例。当然,不同的企业有不同的解决方案和实现,但是万变不离其宗,还是那句话,对于大型网站而言,其架构一定是简单和清晰的,而不是炫技般的复杂化,毕竟解决问题采用最直接的方式直击要害才是最见效的,否则事情只会变得越来越糟。 在大部分情况下,商品库存都是直接在关系型数据库中进行扣减,那么在限时抢购活动正式开始后,那些单价比平时更给力、更具吸引力的_大促扣库存怎么
文章浏览阅读113次。 POI是Apache的一个子项目,主要是利用java的API操作excel,word等MS Office Software,已经能够支持excel的07版本了,其官方网站:http://poi.apache.org/. 现在简单介绍HSSF操作excel的相关API用法: 1.excel中HSSF对应的数据结构:HSSFWorkbook excell 文档对..._poi ct fs ff ht vt tb tr mc