Deep Learning | Chapter 8 · Optimization for Training Deep Models
在深度学习的优化问题中,神经网络的训练是最困难的。本章讲解神经网络优化的各项技术。本章集中在一个主要的优化问题上:找到能够显著减少损失函数 $J(\pmb{\theta})$ 的参数 $\theta$ 。8.1 How Learning Differs from Pure Optimization深度模型优化算法和传统优化算法有以下几点不同:深度模…
Deep Learning | Chapter 7 · Regularization for Deep Learning
机器学习的核心问题在于泛化。大多数正则化策略是对估计进行正则化,以 bias 的增加换取方差的减少。7.1 Parameter Norm Penalties$\tilde{J}(\pmb{\theta};\pmb{X},\pmb{y})=J(\pmb{\theta};\pmb{X},\pmb{y})+\alpha \Omega(\pmb{\thet…
Deep Learning | Chapter 6 · Deep Feedforward Networks
深度前馈网络定义函数 $\pmb{y}=f(\pmb{x};\pmb{\theta})$ ,并学习参数 $\theta$ 以获得对于函数 $y=f^*(\pmb{x})$ 的最佳近似。训练数据是含有噪声的 $f^* (\pmb{x})$ 的近似实例,每个 $\pmb{x}$ 的标签 $y \approx f^*(\pmb{x})$ 。只有输出层能够…
Deep Learning | Chapter 5 · Machine Learning Basics
5.1 Learning AlgorithmsLearn 的定义: Task( $T$ ) + Experince( $E$ ) + Performance( $P$ ) 。5.1.1 The Task, $T$分类:有函数 $f$ ,一般可以分为两种$f$ 将 $x\in \mathbb{R}^n$ 映射为一个表示种类的数 $y\in \{1,\…
Deep Learning | Chapter 4 · Numerical Computation
4.1 Overflow and Underflow接近零的数被四舍五入为零时发生下溢,当大数被近似为 $+\infty$ 或 $-\infty$ 时发生上溢。以 softmax 函数为例, $\mathrm{softmax}(\pmb{x})_i=\frac{e^{x_i}}{\sum_{j=1}^ne^{x_j}}$ 。分母太小造成除零错误,解…
Deep Learning | Chapter 3 · Probability and Information Theory
3.1 Why Probability?不确定性的三种来源频率派概率和贝叶斯概率3.2 Random Variables随机变量:可以随机取不同值的变量。例如, $x_1$ 和 $x_2$ 都是随机变量 $\mathrm{x}$ 可能取的值。3.3 Probability Distributions3.3.1 Discrete Variables …
Deep Learning | Chapter 2 · Linear Algebra
老板让读的书 Deep Learning - Ian Goodfellow,从第二章开始随便记点笔记。2.1 Scalars, Vectors, Matrices and Tensors标量、向量、矩阵张量:超过两维的数组。矩阵的转置广播:$\pmb{C}=\pmb{A}+\pmb{b}$ ,其中 $C_{i,j}=A_{i,j}+B_{i,j}$…
周赛 – 203
1. 圆形赛道上经过次数最多的扇区给出一个圆形赛道,共被分为 n 段区域。再给出一个数组 rounds ,代表马拉松的各个阶段。n 和 |rounds| 数据范围都为 1e2 。例如 rounds=[1,3,1,2] 代表:赛道共分为 4 段,赛程共分为 3 段,第一段是 [1,3] , 第二段是 [4,1] ,第三段是 [2,2] 。以数组形式返…