零点教学网(www.0djx.com)-学电脑,学软件,学编程,学网站,学设计!

深度学习优化函数详解(6)

零点教学网 Python教程 2020-09-24 00:37:28 7

深度学习优化函数详解系列目录

本系列课程代码,欢迎star:
https://github.com/tsycnh/mlbasic

深度学习优化函数详解(0)-- 线性回归问题
深度学习优化函数详解(1)-- Gradient Descent 梯度下降法
深度学习优化函数详解(2)-- SGD 随机梯度下降
深度学习优化函数详解(3)-- mini-batch SGD 小批量随机梯度下降
深度学习优化函数详解(4)-- momentum 动量法
深度学习优化函数详解(5)-- Nesterov accelerated gradient (NAG)
深度学习优化函数详解(6)-- adagrad

前面的一系列文章的优化算法有一个共同的特点,就是对于每一个参数都用相同的学习率进行更新。但是在实际应用中各个参数的重要性肯定是不一样的,所以我们对于不同的参数要动态的采取不同的学习率,让目标函数更快的收敛。
adagrad方法是将每一个参数的每一次迭代的梯度取平方累加再开方,用基础学习率除以这个数,来做学习率的动态更新。这个比较简单,直接上公式。

\nabla_{\theta_i} J(\theta) i J( )表示第ii个参数的梯度,对于经典的SGD优化函数我们可以这样表示
\theta_{i\_new}=\theta_i - \eta\nabla_{\theta_i} J(\theta) i_new = i i J( )
adagrad这样表示
\theta_{i,t+1}=\theta_{i,t}- \frac{\eta}{\sqrt{G_{i,t}+\epsilon}}\nabla_{\theta_{i,t}} J(\theta) i,t+1 = i,t Gi,t + i,t J( )
t代表每一次迭代。\epsilon 一般是一个极小值,作用是防止分母为0 。$G_{i,t} $ 表示了前tt步参数\theta_i i 梯度的累加
G_{i,t} = G_{i,t-1}+ \nabla_{\theta_{i,t}} J(\theta)Gi,t =Gi,t 1 + i,t J( )
简化成向量形式
\theta_{t+1}=\theta_t- \frac{\eta}{\sqrt{G_t+\epsilon}}\nabla_{\theta_t} J(\theta) t+1 = t Gt + t J( )

容易看出,随着算法不断的迭代,G_tGt 会越来越大,整体的学习率会越来越小。所以一般来说adagrad算法一开始是激励收敛,到了后面就慢慢变成惩罚收敛,速度越来越慢。

实验取\eta = 0.2, \epsilon = 1e-8 =0.2, =1e 8

可以看出收敛速度的确是特别慢(在该数据集下),最重要的原因就是动态学习率处于一个单向的减小状态,最后减到近乎为0的状态。

实验源码:https://github.com/tsycnh/mlbasic/blob/master/p6 adagrad.py


版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tsyccnh/article/details/76769232


零点教学网,,自学EXCEL、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。

如果以上内容你喜欢,请持续关注:零点教学网软件编程教程栏目

分享:

本文来自投稿,不代表本人立场,如若转载,请注明出处:http://0djx.com/ruanjianbianchengjiaocheng/python/54666.html

  python教材推荐   深度学习优化函数详解(6)-- adagrad  

(7)
打赏 微信扫一扫
« 上一篇 2020年09月24日 00:37:11
下一篇 » 2020年09月24日 00:37:29

python教材推荐_相关内容

深度学习优化函数详解(6)-- adagrad_相关内容