410
💰 积分
14
📝 发帖
24
💬 评论
8
❤️ 获赞
0
🎯 粉丝
3
👥 关注
0
💎 精华
2
🏅 等级
当前：一砖一瓦（Lv.2）
下一等级：Lv.3 还需 90 积分
🌊 灌水乐园
🧧 红包 10天前
焚决（并非）+红包
教案Stanford：信息论SJTU：杨启哲·离散数学PKU：黄政宇·再生核希尔伯特空间网络tomsheep·深度学习数学基础NLP小学生·SVM系列-从基础到掌握shuhuai008·机器学习白板推导（课件 | 免费版 | 下载视频）keras.org.cn·代码示例明也无涯·激活函数微软·AI-
👁️ 38
👍 1
💬 0
💻 技术交流
10天前
深度学习之门控RNN（LSTM）
LSTMg(t)=σ (bg+Wgh(t−1)+Ugx(t))(输入门)f(t)=σ (bf+Wfh(t−1)+Ufx(t))(遗忘门)q(t)=σ (bq+Wqh(t−1)+Uqx(t))(输出门)s~(t)=tanh (bs+Wsh(t−1)+Usx(t))(候选状态)s(t)=f(t
👁️ 20
👍 0
💬 0
💻 技术交流
🧧 红包 10天前
深度学习笔记之vanilla RNN
RNN计算图展开比如：s(t)=f(s(t−1);θ)s(t)=f(s(t−1);θ)t=3t=3 时展开（索引从 1 开始）：s(3)=f(f(s(1);θ);θ)s(3)=f(f(s(1);θ);θ)vanilla RNN两种设计x→Uh→Vo→L←yxUhVo→L←y其中：xx：输入yy：
👁️ 39
👍 1
💬 0
💻 技术交流
14天前
深度学习笔记之 CNN（速通）
卷积神经网络（CNN）用于提取图片（或音频、心电图等）中的信息。它利用了这些数据中存在的特定性质。可以视为具有参数共享的稀疏连接多层网络。CNN 主要利用的数据中的性质（归纳偏置）：局部相关性：相隔比较远的数据关联性弱平移等变性/平移不变性：同样的特征可能出现在图像的任何地方信息的层次化：CNN 先
👁️ 29
👍 0
💬 1
💻 技术交流
🧧 红包 20天前
深度学习中的 Batch Normalization 层
批归一化（Batch Normalization）训练时每层参数不断变化，会导致一些层的输入数据分布不断变化（内部协变量偏移问题）。而这又会导致收敛速度慢和 S 型激活函数容易饱和的问题。BN 是一个层，一般在激活函数之前。批归一化在训练时将每个 batch 的特征向量（输入向量）平移缩放，使得均值
👁️ 35
👍 0
💬 0
💻 技术交流
20天前
优化问题的一个反例：严格凸函数各参数最优并不是最小值
考虑不可微的严格凸函数 f(x,y)=max{x-2y,-2x+y}+x^2+y^2 ，在零点处固定x，y取得最小值，固定y，x也取得最小值，在desmos看看，它真的是最小值吗？
👁️ 22
👍 0
💬 0
💻 技术交流
20天前
（不全）深度学习基础之二阶优化算法
二阶优化问题前面说的算法都是使用梯度 gg，属于一阶方法。二阶方法则需要求海森矩阵（或部分二阶偏导）。牛顿法给出一个函数 ff，用二阶泰勒展开来近似 x(0)x(0) 附近的 f(x)f(x)：f(x)≈f(x(0))+(x−x(0))⊤∇xf(x(
👁️ 29
👍 0
💬 0
💻 技术交流
21天前
深度学习中的正则化方法
正则化目的：防止模型过拟合，提升泛化能力。参数范数惩罚J~(θ;X,y)=J(X,y)+αΩ(θ)J~(θ;X,y)=J(X,y)+αΩ(θ)神经网络中，一般只对权重而不对偏置做惩罚。L2L2 正则化：Ω(w,b)=12∥w∥2Ω(w,b)=21∥w∥2。L1L1 正则化：Ω(
👁️ 37
👍 1
💬 0
💻 技术交流
21天前
深度学习数学基础之约束优化
约束优化约束优化的形式化表述minx∈Rnf(x)subject to:gi(x)≤0,i=1,…,mhj(x)=0,j=1,…,px∈Rnminsubject to:f(x)gi(x)≤0,i=1,…,mhj(x)=0,j=1,…,p其中：（目标函数）f(x)f(x) 是我们要最小化的
👁️ 27
👍 1
💬 0
💻 技术交流
21天前
机器学习入门之统计推断（MLE & MAP）
最大似然估计（MLE）我们将模型表示为拟合真实数据分布 pdata(x)pdata(x) 的函数 pmodel(x;θ)pmodel(x;θ)。这是个输入向量输出实数的函数，输入数据 xx 预测它出现的概率（或概率密度），函数的具体行为由内部的算法以及参数 
👁️ 25
👍 0
💬 0
🌊 灌水乐园
21天前
多元微积分笔记
多元微积分偏导数有多元标量函数 f(x)f(x)，其中 x=(x1,x2,…,xn)x=(x1,x2,…,xn)。我们定义偏导数∂f∂xi(x)=limh→0f(x1,…,xi+h,…,xn)−f(x)h∂xi∂f(x)=h→0limhf(x1,…,xi+h,…
👁️ 30
👍 1
💬 1