在之前的文章【１】中，我们介绍了一种比较简单的拟牛顿法SR1。本文将介绍另外两种更常用的拟牛顿算法DFP和BFGS。但在此之前，先来简单回顾一下拟牛顿法的基本思路。传统牛顿法中，需要求一个海塞矩阵的逆矩阵，而这个运算的复杂度很高，又可能存在奇异矩阵（即逆矩阵不存在）的情况，于是在拟牛顿法中，人们用一个矩阵来近似，同时要求满足拟牛顿条件：。按照拟牛顿条件，在每次迭代中可以选择更新矩阵
