https://www.zhihu.com/question/64134994 1、增加batch size会使得梯度更准确，但也会导致variance变小，可能会使模型陷入局部最优； 2、因此增大batch size通常要增大learning rate，比如batch size增大m倍
https://www.zhihu.com/question/64134994
1、增加batch size会使得梯度更准确，但也会导致variance变小，可能会使模型陷入局部最优；
2、因此增大batch size通常要增大learning rate，比如batch size增大m倍，lr增大m倍或者sqrt(m)倍，但并不固定；
3、learning rate的增加通常不能直接增加太大，一般会通过warm up逐步增大；
4、warm up策略参考 Bag of Freebies for Training Object Detection Neural Networks
准备用m个batches来热身，准备的初始学习率是 ,然后在每个batch ,将每次的学习率设为 i*n/m