用三维Demo看懂各种优化算法,还有C++程序员福音( 三 )

用三维Demo看懂各种优化算法,还有C++程序员福音

拖动滑动条调节超参数,“红线”的形状和终点也会随之变化。我们不妨调节一下步长,看看这个参数会对结果造成什么样的影响。

增加步长会让学习曲线震荡幅度变大,步长太小会让损失函数收敛过慢:

用三维Demo看懂各种优化算法,还有C++程序员福音

△ 步长分别是0.3、0.03和0.003的三种情况

以上只是最简单的情况,Demo界面还提供其他奇形怪状的损失函数:

用三维Demo看懂各种优化算法,还有C++程序员福音

以及近乎所有常见的优化算法:

用三维Demo看懂各种优化算法,还有C++程序员福音

推荐阅读