敏宝环保科技
循环神经网络英文名称为 ( Recurrent Neural Network, RNN )，其通过使用带自反馈的神经元，能够处理任意长度的 时序 数据。
给定输入时序序列 式中， 表示一段时序数据， 为时间长度
以一段英文段落为例，其时序数据可以表示为：
若是一段视频，将其每一帧通过CNN网络处理得到相应的编码向量
循环神经网络通过以下公式更新隐藏层的活性值
循环神经网络图示
RNN的基本模型如下图所示，为便于理解，图中将RNN的模型展开，按照时序方向对其前向传播流程进行介绍
RNN的基本模型
利用数学表达式整个过程可以变得更加清晰，RNN的前向传播公式如下：
将上述过程整合到一个RNN cell中，可以表示为如下图所示的过程：
RNN的前向传播示意图
缺陷:
没有利用到模型后续的信息，可以通过双向RNN网络进行优化
RNN主要有两种计算梯度的方式：随时间反向传播（BPTT）和实时循环学习法（RTRL）算法
本文中主要介绍随时间反向传播的方法 （ BackPropagation Through Time ）
RNN的损失函数与任务有关，对于同步的序列对序列任务，其loss可以用交叉熵公式表示
然后通过BPTT算法便可以进行梯度的反向传播计算
梯度爆炸的解决方法：梯度修剪
梯度消失的解决方法：增加长程依赖 LSTM,GRU
GRU的基本思路：增加相关门（Relate Gate）和更新门（Update Gate），进而使得RNN单元具有记忆能力
首先从数学角度对GRU的前向传播过程进行介绍，具体公式如下：
公式中各变量的含义：
将上述数学公式转化为图像，可得
GRU Cell的前向传播流程
LSTM意为长短时记忆网络 （Long Short-Term Memory Network，LSTM） ，可以有效地解决简单神经网络的梯度消失和爆炸问题
在LSTM中，与GRU主要有两点不同
同样，先从数学公式入手，对LSTM的前向传播过程进行了解
基于数学公式的过程，可将LSTM CELL的前向传播过程总结为（图片借用于nndl）：
LSTM Cell的前向传播示意图
从上图中可以看出，LSTM在前向传播的过程中传输了两个状态：内部状态 以及外部状态 ，在整个传播过程中 外部状态（隐状态） 每个时刻都会被重写，因此可以看作一种 短时记忆 ，而 内部状态 可以在某个时刻捕捉一些关键信息，并将此信息保存一段时间间隔，可以看作一种 长时记忆 （长的短时记忆）
此外，在LSTM网络初始化训练的时候，需要手动将遗忘门的数值设置的大一些，否则在参数初始化的时候，遗忘门的数据会被初始化为一个很小的值，前一时刻的内部状态 大部分都会丢失，这样网络很难获取到长距离的依赖信息，并且相邻时间间隔的梯度会非常小，导致 梯度弥散 问题，因此遗忘门的 偏置变量 的初始值 一般很大，取 1或2
将 设置为1即可，但是长度非常的大的时候会造成记忆单元的饱和，降低性能
三个门不仅依赖于 和 ，也依赖于
将两者合并为一个门，即：
首先，我们要理解什么是深层的RNN，对于单个的RNN cell，若将其在时间维度上展开，其深度与时间维度的长度成正比，但若将一个RNN cell看作为单个从 的映射函数，则单个cell实际上是很浅显的一层，因此深层循环神经网络要做的就是把多个RNN cell组合起来，换句话说，就是增加从输入 到输出 的路径，使得网络的深度更深。
如何增加从输入 到输出 的路径呢？两种途径：
堆叠循环神经网络示意图
将网络带入到实际应用场景中：假如我们要翻译一段句子
在这里，is和are实际上是由后面的Lucy和they所决定的，而这种单向的按照时序进行传播的方式没有利用到后面的信息。因此诞生了双向循环网络
双向循环神经网络示意图
双向循环神经网络实际上就是简单的双层循环神经网络，只不过第二层网络的传播方式为按时序的逆向传播，其传播公式为：
fenny80231
Neural Engine：神经引擎
专业解释：神经引擎（Neural Engine）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
详细翻译：
Neural Engine： 神经引擎，神经网络引擎，神经网络处理引擎，神经元引擎
相关短语：
Neural Compute Engine 神经计算引擎
Neural Processing Engine 以骁龙神经处理引擎 ; 神经处理引擎
neural-fuzzy inference engine 模糊神经推理机
双语例句：
吃货的晚宴
人工神经网络
英文翻译如下：
artificial neural network
双语例句：
1、This paper discussed the application of artificial neural network at the resistance spot welding of aluminum alloy.
针对铝合金的电阻点焊，研究了人工神经网络在点焊质量估测中的应用。
2、In the paper, data preparative and Artificial Neural Network parameter in DM is discussed mainly.
在论文中，着重考虑了人工神经网在数据挖掘中的数据准备问题、网络参数的选取问题等等。
3、Artificial neural network and its application in near infrared spectroscopy are presented in brief.
简要介绍了人工神经网络及其在近红外光谱分析中的应用。
Too兔rich
neural net神经网络；〔神经网路〕A unique function of memory and information processing necessary for a biological type of computer memory. It includes (a) random organization; (b) the distribution of memory traces through the entire system; (c) the simultaneous participation of any element in many memory traces; (d) no catastrophic failure; (e) implicit or response reinforcement memory; and (f) automatic response (no search and comparison would be needed).一种独特的存储和信息处理功能，是生物型计算机存储器所必须具备的，其中包括：(1)随机组织；(2)存储跟踪分布遍及整个系统；(3)许多存储跟踪中任何元素的同时加入；(4)不出现突然失效；(5)隐含或反应增强式存储；(6)自动反应(不需要搜索与比较)。
C站队丶肥皂
pattern recognitionneural network供你参考：模式 model; module; pattern; schema模式被输截入缩合 input-truncated condensation模式变化 mode change模式变换 mode conversion; mode change模式辨认 pattern discrimination; pattern recognition模式辨识 pattern identification模式标本 type specimen模式标识符 mode identifier模式操作编辑序列 pattern operation editing sequence模式操作符 pattern operator模式操作数 pattern operand模式操作字符 pattern operator模式处理语句 pattern handling statement模式传递函数 mode transfer function模式串 pattern string模式纯度 mode purity模式存储器 mode memory模式大气 model atmosphere模式的解释 interpretation of scheme模式定义 mode-definition模式反应堆 prototype reactor模式范畴 category; schema category模式分隔 mode separation模式分类 pattern classification模式分类器 pattern classifier模式分析 modal analysis; pattern analysis模式符号 mode symbol模式过敏故障 pattern sensitive fault模式函数 mode function; pattern function模式核对语句 pattern matching statement模式核对运算 pattern matching operation模式花样 mode pattern模式化 hipping模式化记号 hip token模式混合器 mode mixer模式基元 pattern primitive模式激励器 mode exciter模式集 set of patterns模式简并 mode degeneracy模式鉴别干涉仪 mode-discriminating interferometer模式结构 mode configuration模式解释 interpretation of scheme模式精神病 model psychosis模式竞争 mode competition模式菌株 type strain模式空间中的半平面 half plane in the pattern space模式控制 mode control模式理论 pattern theory模式林 normal forest模式令级分配 normal age-class模式令级序列 normal series of age gradations模式轮廓 mode envelope模式弥散 modal dispersion模式描述 pattern description模式描述语言 pattern description language; schema description language模式名 schema name模式模拟器 mode simulator模式母树枝 normal seed stand模式培养 type culture模式匹配 pattern matching模式偏差 model deviation模式频谱 mode spectrum模式牵引 mode pulling模式牵引效应 mode pulling effect模式色散 mode dispersion模式生长量 normal increment模式生成 pattern generation
