🌡 科学技术 的帖子
因果推断的引入，SCM 的定义与三个基本结构
因果推断辛普森悖论例子 1如图：图中横轴为运动量纵轴为胆固醇含量，每个圈是特定年龄段的人的运动量和胆固醇含量的主要分布情况。可以知道年龄相同，运动量越多胆固醇越少，但如果没有年龄数据，会得到运动量越多胆固醇越多的结论。产生这种情况的原因是，...
深度学习之门控RNN（LSTM）
LSTMg(t)=σ (bg+Wgh(t−1)+Ugx(t))(输入门)f(t)=σ (bf+Wfh(t−1)+Ufx(t))(遗忘门)q(t)=σ (bq+Wqh(t−1)+Uqx(t))(输出门)s~(t)=tanh (bs+...
深度学习笔记之vanilla RNN
RNN计算图展开比如：s(t)=f(s(t−1);θ)s(t)=f(s(t−1);θ)t=3t=3 时展开（索引从 1 开始）：s(3)=f(f(s(1);θ);θ)s(3)=f(f(s(1);θ);θ)vanilla RNN两种设计x→U...
深度学习笔记之 CNN（速通）
卷积神经网络（CNN）用于提取图片（或音频、心电图等）中的信息。它利用了这些数据中存在的特定性质。可以视为具有参数共享的稀疏连接多层网络。CNN 主要利用的数据中的性质（归纳偏置）：局部相关性：相隔比较远的数据关联性弱平移等变性/平移不变性...
深度学习中的 Batch Normalization 层
批归一化（Batch Normalization）训练时每层参数不断变化，会导致一些层的输入数据分布不断变化（内部协变量偏移问题）。而这又会导致收敛速度慢和 S 型激活函数容易饱和的问题。BN 是一个层，一般在激活函数之前。批归一化在训练时...
优化问题的一个反例：严格凸函数各参数最优并不是最小值
考虑不可微的严格凸函数 f(x,y)=max{x-2y,-2x+y}+x^2+y^2 ，在零点处固定x，y取得最小值，固定y，x也取得最小值，在desmos看看，它真的是最小值吗？
（不全）深度学习基础之二阶优化算法
二阶优化问题前面说的算法都是使用梯度 gg，属于一阶方法。二阶方法则需要求海森矩阵（或部分二阶偏导）。牛顿法给出一个函数 ff，用二阶泰勒展开来近似 x(0)x(0) 附近的 f(x)f(x...
深度学习中的正则化方法
正则化目的：防止模型过拟合，提升泛化能力。参数范数惩罚J~(θ;X,y)=J(X,y)+αΩ(θ)J~(θ;X,y)=J(X,y)+αΩ(θ)神经网络中，一般只对权重而不对偏置做惩罚。L2L2 正则化：Ω(w,b)=12∥w∥2Ω...
深度学习数学基础之约束优化
约束优化约束优化的形式化表述minx∈Rnf(x)subject to:gi(x)≤0,i=1,…,mhj(x)=0,j=1,…,px∈Rnminsubject to:f(x)gi(x)≤0,i=1,…,mhj(x)=0,j=1,...
机器学习入门之统计推断（MLE & MAP）
最大似然估计（MLE）我们将模型表示为拟合真实数据分布 pdata(x)pdata(x) 的函数 pmodel(x;θ)pmodel(x;θ)。这是个输入向量输出实数的函数，输入数据 xx 预测它出现的概率...
多元微积分笔记
多元微积分偏导数有多元标量函数 f(x)f(x)，其中 x=(x1,x2,…,xn)x=(x1,x2,…,xn)。我们定义偏导数∂f∂xi(x)=limh→0f(x1,…,xi+h,…,xn)−f(x)h∂xi...
👁️ 41
👍 1
💬 1
⭐ 0