您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给AI研习社-译站
发送

1

手把手教你训练 RNN | Part II

本文作者:AI研习社-译站 2018-06-04 16:11
导语:手把手演示 RNN 训练过程,让你轻松搞懂 RNN。

雷锋网按:本文为雷锋字幕组编译的技术博客,原标题 Step-by-step walkthrough of RNN Training - Part II,作者为 Eniola Alese。

翻译 | 陈涛    整理 |  凡江


RNN 的反向传播是为了计算出关于损失函数的梯度值

读者可以在这里看到本文的 Part I(https://www.leiphone.com/news/201805/ZMeniGUPBZ50lyvk.html)。

单个 RNN 单元的反向传播

RNN 中反向传播的目的是计算出最终的损失值 L 分别对权值矩阵(W_xh,W_ah,W_ao)和偏置向量(b_h,b_o)的偏导数值。

手把手教你训练 RNN  | Part II

推导出所需的导数值非常简单,我们只需要利用链式法则就能计算出它们。

第一步:为了计算代价,需要先定义损失函数。一般根据具体手中的任务来选择该损失函数。在这个例子里,对于多分类输出问题,我们采用交叉熵损失函数 L⟨t⟩,其具体计算过程如下:

手把手教你训练 RNN  | Part II

第二步:接下来我们开始往后计算损失函数 L⟨t⟩ 对预测输出值的激活值 ŷ⟨t⟩ 的偏导数值。因为在前向传播过程中 softmax 函数以多分类的输出值作为输入,因此下面的偏导数值手把手教你训练 RNN  | Part II的计算分为两种情况:分类 i 时和分类 k 时:

手把手教你训练 RNN  | Part II

第三步:接着利用分类 i 时和分类 k 时的偏导数值手把手教你训练 RNN  | Part II,可以计算出损失函数 L⟨t⟩ 对预测输出值 o⟨t⟩ 的偏导数值:

手把手教你训练 RNN  | Part II

第四步:利用偏导数值手把手教你训练 RNN  | Part II及链式法则,计算出损失函数 L⟨t⟩ 对输出过程中的偏置向量 b_o 的偏导数值:


手把手教你训练 RNN  | Part II

第五步:利用偏导数值手把手教你训练 RNN  | Part II及链式法则,计算出损失函数 L⟨t⟩ 对隐层至输出层中的权值矩阵 W_ao 的偏导数值:

手把手教你训练 RNN  | Part II

第六步: 利用偏导数值手把手教你训练 RNN  | Part II手把手教你训练 RNN  | Part II及链式法则,计算出损失函数 L⟨t⟩ 对隐状态的激活值 a⟨t⟩ 的偏导数值:

手把手教你训练 RNN  | Part II

第七步: 利用偏导数值手把手教你训练 RNN  | Part II及链式法则,计算出损失函数 L⟨t⟩ 对隐状态 h⟨t⟩ 的偏导数值:

手把手教你训练 RNN  | Part II

第八步: 利用偏导数值手把手教你训练 RNN  | Part II及链式法则,计算出损失函数 L⟨t⟩ 对隐状态的偏置向量 b_h 的偏导数值:

手把手教你训练 RNN  | Part II

第九步:利用偏导数值手把手教你训练 RNN  | Part II及链式法则,计算出损失函数 L⟨t⟩ 对输入层至隐层中的偏置矩阵 W_xh 的偏导数值:

手把手教你训练 RNN  | Part II

第十步:利用偏导数值手把手教你训练 RNN  | Part II及链式法则,计算出损失函数 L⟨t⟩ 对输入层至隐层中的偏置矩阵 W_ah 的偏导数值:

手把手教你训练 RNN  | Part II

随时间反向传播(BPTT)

就像前文中提到的前向传播过程一样,将循环网络展开,BPTT 将沿此一直运行着上述步骤。

手把手教你训练 RNN  | Part II

手把手教你训练 RNN  | Part II

主要的区别在于我们必须将每个时间步 t 的偏导数值手把手教你训练 RNN  | Part II累加起来,从而更新权值和偏置,这是因为这些参数在前向传播的过程中是被各个时间步所共享的。

总结

在本文的第一部分和第二部分中,我们了解了循环神经网络训练过程中所涉及到的前向传播和反向传播。接下来,我们将着眼于 RNN 中所存在的梯度消失问题,并讨论 LSTM 和 GRU 网络的进展。


博客原址:https://medium.com/learn-love-ai/step-by-step-walkthrough-of-rnn-training-part-ii-7141084d274b

手把手教你训练 RNN  | Part II

雷锋网雷锋网

雷峰网原创文章,未经授权禁止转载。详情见转载须知

手把手教你训练 RNN  | Part II

分享:
相关文章

知情人士

AI研习社(yanxishe.com)译站频道,传播前沿人工智能知识,让语言不再成为学习知识的门槛。(原雷锋字幕组)
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说