Barzilai-Borwein

BB方法 ，即Barzilai-Borwein (BB) method 是梯度下降方法的一种，他主要是通过近似牛顿方法来实现更快的收敛速度，同时避免计算二阶导数带来的计算复杂度： 经典牛顿法: 首先，设$f(x)$二阶连续可微，则在迭代算法中第$k$步，$x_k$处泰勒展开：$$f(x_k+d_k) ......