You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
如何设置learning rate decay?Annealing the learning rate #1167
Activity
reyoung commentedon Jan 17, 2017
也对,这里应该加一下注释。。我下午加一下。。
OleNet commentedon Jan 17, 2017
多谢多谢
reyoung commentedon Jan 17, 2017
See #1170
不过里面加了一些强类型的Wrapper,如果手动的设置这几个参数,就参考下这里的XXXLRS怎么实现的吧。
lcy-seso commentedon Jan 18, 2017
简单的贴一下之前的文档,供参考:
"learning_rate_schedule":配置不同的学习率递减模式,包括:
特别地,自适应学习率算法 adagrad, adadelta, rmsprop 不能通过learning_rate_schedule进行学习率衰减,momentum 可以通过learning_rate_schedule进行学习率衰减lcy-seso commentedon Jan 18, 2017
@qingqing01 提醒说,代码里面目前的逻辑 learning_rate_schedule 也会修改 adagrad, adadelta, rmsprop 的全局学习率。修正上一条的说法。
THUHJ commentedon Jul 11, 2017
您好,请问
num_samples_processed具体是训练了多少个sample嘛?还是多少个batch?然后第五个 "linear": lr = max(learning_rate - learning_rate_decay_a, learning_rate_decay_b) ,lr与num_samples_processed无关,不随着训练变化的嘛?
另外有没有能从optimizer得到当前的learing rate的方法呢?我看了一下code,并没有找到接口。使用optimizer.dict["opt_conf_proto"].learning_rate 也只能获得最开始初始的lr.
lcy-seso commentedon Jul 19, 2017
num_samples_processed是到目前为止处理了多少训练样本。max(learning_rate - lr_decay_a * num_sample_passed, lr_decay_b);show_parameter_stats_period参数,单机运行时会输出学习率的统计量,例如均值,最大值,最小值等。THUHJ commentedon Jul 19, 2017
好的~谢谢!
Refine memory-related flags docs (PaddlePaddle#1167)
fix_demo (PaddlePaddle#1167)
CUTLASS 3.3.0 (PaddlePaddle#1167)