这篇文章受密码保护，输入密码才能阅读

在深度学习的优化问题中，神经网络的训练是最困难的。本章讲解神经网络优化的各项技术。本章集中在一个主要的优化问题上：找到能够显著减少损失函数 $J(\pmb{\theta})$ 的参数 $\theta$ 。8.1 How Learning Differs from Pure Optimization深度模型优化算法和传统优化算法有以下几点不同：深度模…

机器学习的核心问题在于泛化。大多数正则化策略是对估计进行正则化，以 bias 的增加换取方差的减少。7.1 Parameter Norm Penalties$\tilde{J}(\pmb{\theta};\pmb{X},\pmb{y})=J(\pmb{\theta};\pmb{X},\pmb{y})+\alpha \Omega(\pmb{\thet…

深度前馈网络定义函数 $\pmb{y}=f(\pmb{x};\pmb{\theta})$ ，并学习参数 $\theta$ 以获得对于函数 $y=f^*(\pmb{x})$ 的最佳近似。训练数据是含有噪声的 $f^* (\pmb{x})$ 的近似实例，每个 $\pmb{x}$ 的标签 $y \approx f^*(\pmb{x})$ 。只有输出层能够…

5.1 Learning AlgorithmsLearn 的定义： Task( $T$ ) + Experince( $E$ ) + Performance( $P$ ) 。5.1.1 The Task, $T$分类：有函数 $f$ ，一般可以分为两种$f$ 将 $x\in \mathbb{R}^n$ 映射为一个表示种类的数 $y\in \{1,\…

4.1 Overflow and Underflow接近零的数被四舍五入为零时发生下溢，当大数被近似为 $+\infty$ 或 $-\infty$ 时发生上溢。以 softmax 函数为例， $\mathrm{softmax}(\pmb{x})_i=\frac{e^{x_i}}{\sum_{j=1}^ne^{x_j}}$ 。分母太小造成除零错误，解…

3.1 Why Probability?不确定性的三种来源频率派概率和贝叶斯概率3.2 Random Variables随机变量：可以随机取不同值的变量。例如， $x_1$ 和 $x_2$ 都是随机变量 $\mathrm{x}$ 可能取的值。3.3 Probability Distributions3.3.1 Discrete Variables …

老板让读的书 Deep Learning - Ian Goodfellow，从第二章开始随便记点笔记。2.1 Scalars, Vectors, Matrices and Tensors标量、向量、矩阵张量：超过两维的数组。矩阵的转置广播：$\pmb{C}=\pmb{A}+\pmb{b}$ ，其中 $C_{i,j}=A_{i,j}+B_{i,j}$…

这篇文章受密码保护，输入密码才能阅读

1. 圆形赛道上经过次数最多的扇区给出一个圆形赛道，共被分为 n 段区域。再给出一个数组 rounds ，代表马拉松的各个阶段。n 和 |rounds| 数据范围都为 1e2 。例如 rounds=[1,3,1,2] 代表：赛道共分为 4 段，赛程共分为 3 段，第一段是 [1,3] ， 第二段是 [4,1] ，第三段是 [2,2] 。以数组形式返…