Deep Learning | Chapter 8 · Optimization for Training Deep Models
  • 在深度学习的优化问题中,神经网络的训练是最困难的。本章讲解神经网络优化的各项技术。
  • 本章集中在一个主要的优化问题上:找到能够显著减少损失函数 $J(\pmb{\theta})$ 的参数 $\theta$ 。

8.1 How Learning Differs from Pure Optimization

  • 深度模型优化算法和传统优化算法有以下几点不同:

    • 深度模型优化并不是直接的,测量标准 $P$ 是用于度量测试集上的表现,但是实际上我们优化的目标是损失函数 $J(\pmb{\theta})$ 。
    • 训练深度模型的优化算法通常会包括一些针对特定结构进行的特化。
  • 通常,代价函数可以写为: $J(\pmb{\theta})=\mathbb{E}_{(\pmb{x},y) \sim \hat{p}_{\mathrm{data}}} L(f(\pmb{x};\pmb{\theta}),y)$ 。

    • 其中 $f(\pmb{x};\pmb{\theta})$ 和 $y$ 是参数。
    • 也可以拓展其他参数,例如: $\pmb{\theta}$ 和 $\pmb{x}$ 作为参数,变形为包括正则化的损失函数;去掉参数 $y$ ,变形为无监督学习的损失函数。
    • 我们更希望优化根据数据生成分布 $p_{\mathrm{data}}$ 的损失函数 $J^*(\pmb{\theta})=\mathbb{E}_{(\pmb{x},y)\sim p_{\mathrm{data}}}L(f(\pmb{x};\pmb{\theta}),y)$ 。

8.1.1 Empirical Risk Minimization

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇