LSTMg(t)=σ (bg+Wgh(t−1)+Ugx(t))(输入门)f(t)=σ (bf+Wfh(t−1)+Ufx(t))(遗忘门)q(t)=σ (bq+Wqh(t−1)+Uqx(t))(输出门)s~(t)=tanh (bs+...
深度学习笔记之vanilla RNN
RNN计算图展开比如：s(t)=f(s(t−1);θ)s(t)=f(s(t−1);θ)t=3t=3 时展开（索引从 1 开始）：s(3)=f(f(s(1);θ);θ)s(3)=f(f(s(1);θ);θ)vanilla RNN两种设计x→U...
卷积神经网络（CNN）用于提取图片（或音频、心电图等）中的信息。它利用了这些数据中存在的特定性质。可以视为具有参数共享的稀疏连接多层网络。CNN 主要利用的数据中的性质（归纳偏置）：局部相关性：相隔比较远的数据关联性弱平移等变性/平移不变性...
深度学习中的 Batch Normalization 层
批归一化（Batch Normalization）训练时每层参数不断变化，会导致一些层的输入数据分布不断变化（内部协变量偏移问题）。而这又会导致收敛速度慢和 S 型激活函数容易饱和的问题。BN 是一个层，一般在激活函数之前。批归一化在训练时...
正则化目的：防止模型过拟合，提升泛化能力。参数范数惩罚J~(θ;X,y)=J(X,y)+αΩ(θ)J~(θ;X,y)=J(X,y)+αΩ(θ)神经网络中，一般只对权重而不对偏置做惩罚。L2L2 正则化：Ω(w,b)=12∥w∥2Ω...