梯度下降法

• 批量梯度下降法（Batch Gradient Descent）
• 随机梯度下降法（Stochastic Gradient Descent）
• 小批量梯度下降法（Mini-Batch Gradient Descent）

随机

• 跳出局部最优解
• 更快的运行速度
• 机器学习领域很多算法都要使用随机的特点：随机搜索，随机森林

梯度上升法

\[+\eta\frac{dJ}{d\theta}\]

注意

• 不是一个机器学习算法
• 基于搜索的优化方案