从梯度下降开始

当我们希望找到函数 $f(x)$ 的最小值时，可以沿着梯度的反方向移动。

更新规则

最基本的迭代形式是：

$$x_{t+1} = x_t - \eta \nabla f(x_t)$$

其中 $\eta$ 是学习率。它决定每一步走多远：太小会让收敛变慢，太大则可能跨过最优点。

一个二次函数

设 $f(x) = (x-3)^2$，那么 $\nabla f(x)=2(x-3)$。从 $x_0=0$ 开始，取 $\eta=0.1$，每一次更新都会更接近 $x=3$。

迭代	$x$	$f(x)$
0	0.00	9.00
1	0.60	5.76
2	1.08	3.69