为什么需要学习率调度？ 在训练初期时，参数随机初始化时，需要较大的学习率快速接近最优解区域。在训练后期接近收敛时，需要小学习率精细调整参数，避免跳过最优解。 1 分步学习率调度 一种动态调整学习率的策略，它会在训练过程中按照预定的规则或时间点分段调整学习率。 比如每隔50个epoch，学习率乘以0.1。或者手动设置当到达[120, 160]的epo…