vineash初中有一段正畸经历，因未遵医嘱佩戴保持器而逐渐变形。纠结了若干年是否回炉重造，终于在来到南京之后下定决心。 2021/10/2 预计国庆去看牙，在江苏省口腔医院和南京市口腔医院中选择了后者。 10.1挂号的时候发现专家几乎不在国庆出诊。眼疾手快抢了最后一个专家号，10.2早晨八点。 闫翔医生人很nice，看到他耐心地回答一个来咨询的老…

在深度学习的优化问题中，神经网络的训练是最困难的。本章讲解神经网络优化的各项技术。本章集中在一个主要的优化问题上：找到能够显著减少损失函数 $J(\pmb{\theta})$ 的参数 $\theta$ 。8.1 How Learning Differs from Pure Optimization深度模型优化算法和传统优化算法有以下几点不同：深度模…

Introduction以前的 UAP 都需要依赖于数据，性能与训练数据量成正比。本方法通过在 CNN 不同层学到的特征实现 fooling ，证明了在单层中学习到的特征如果被更改，可以导致最终的分类错误。UAP$f(x+\delta) \ne f(x)$, for most $x \in \mathcal{X}$$||\delta||_\inft…

Abstract之前的文章缺点在于，对于一个classifier，其实会有很多个perturbation，但是universal adversarial perturbation只用了其中的任意一种。本文使用生成模型，对于各种perturbations的分布建模。IntroductionProposed ApproachGANs

Abstract本文提出了一种方法，对于深度神经网络分类器，存在通用的很小的干扰（肉眼难察觉）让分类器做出错误的判断。Introduction本文的贡献在于：证明了通用干扰的存在性给出了找到这种干扰的算法universial体现在两个方面：用很小的训练集就可以训练出对于新图片都大概率有效的干扰对于深度神经网络泛化的很好Universal pertu…

机器学习的核心问题在于泛化。大多数正则化策略是对估计进行正则化，以 bias 的增加换取方差的减少。7.1 Parameter Norm Penalties$\tilde{J}(\pmb{\theta};\pmb{X},\pmb{y})=J(\pmb{\theta};\pmb{X},\pmb{y})+\alpha \Omega(\pmb{\thet…

深度前馈网络定义函数 $\pmb{y}=f(\pmb{x};\pmb{\theta})$ ，并学习参数 $\theta$ 以获得对于函数 $y=f^*(\pmb{x})$ 的最佳近似。训练数据是含有噪声的 $f^* (\pmb{x})$ 的近似实例，每个 $\pmb{x}$ 的标签 $y \approx f^*(\pmb{x})$ 。只有输出层能够…

5.1 Learning AlgorithmsLearn 的定义： Task( $T$ ) + Experince( $E$ ) + Performance( $P$ ) 。5.1.1 The Task, $T$分类：有函数 $f$ ，一般可以分为两种$f$ 将 $x\in \mathbb{R}^n$ 映射为一个表示种类的数 $y\in \{1,\…

4.1 Overflow and Underflow接近零的数被四舍五入为零时发生下溢，当大数被近似为 $+\infty$ 或 $-\infty$ 时发生上溢。以 softmax 函数为例， $\mathrm{softmax}(\pmb{x})_i=\frac{e^{x_i}}{\sum_{j=1}^ne^{x_j}}$ 。分母太小造成除零错误，解…

3.1 Why Probability?不确定性的三种来源频率派概率和贝叶斯概率3.2 Random Variables随机变量：可以随机取不同值的变量。例如， $x_1$ 和 $x_2$ 都是随机变量 $\mathrm{x}$ 可能取的值。3.3 Probability Distributions3.3.1 Discrete Variables …