一般迭代格式用于一般函数的共轭梯度法--非线性共轭梯度法---PRP(Polak-Ribiere-Polyar ---SW(Sorenson-Wolfe ---Daniel ---Dixon 4.5.1 FR共轭梯度法非精确对于非线性共轭梯度法，其实它的主要的开销依然没有变，只不过这个时候主要的开销会变成(C^TC)^{-1}\nabla f(x_k)这样的东西，同时因为非线性共轭梯度法的情况下，A不是恒定的，但是我们
一般地，共轭梯度法的搜索方向为1952 年，Hestenes 和stiefel 在线性共轭梯度法中提出1964 年，Fletcher 和Reeves 首次提出了非线性共轭梯度法1969 年，PoNCG以梯度下降为基础的方法，它和牛顿法一样具有良好的收敛性能，特别适合于求解有非线性约束或非凸优化问题。NCG一种迭代算法，它采用迭代步伐，利用当前搜索点的梯度来获得搜
梯度法4.5.2PRP共轭梯度法先证PRP方法是严格下降算法我们可以证明，对一般函数，共轭梯度法在一定条件下是收敛的，下以PRP法为例证之.4.5非线性共轭梯度法证明：由我们把Fletcher和Reeves最早提出的非线性共轭梯度法称为Fletcher-Reeves CG(FR-CG)算法。按照惯例，我们应该先介绍该方法提出的动机，并一步步推导其计算公式。但据我所知，FR-CG似乎
ˋ△ˊ 非线性共轭梯度法：k = 0 k=0 k=0,通过梯度下降法初始化x 0 , r 0 = ∇ f ( x 0 ) , p 0 = − r 0 x_0,r_0=\nabla f(x_0),p_0=-r_0 x0,r0=∇f(x0),p0=−r0 非线性共轭梯度法和因子均由方法确定.则(I-4)其中根据一维搜索定义，可知4.5非线性共轭梯度法从而-1-1处的梯度可以表示为4.5非线性共轭梯度法-1-1(I-9)利用(I-
