基于房价的多元变量下梯度下降法推导过程

    科技2024-06-15  76

    基于房价的多元变量下梯度下降法推导过程

    回顾一下在上一节中,我们介绍了一元变量下基于房价的建模,代价函数,梯度下降法的设计,在这一节中,我们将问题扩充到一般化,将一元变量变为多元变量下怎么去推理梯度下降的过程。

    如图所示输入特征为(x1,x2,x3,x4)

    输出特征为y

    样本总数为m

    这时候我们假设拟合函数为

     

    那么我们要使代价函数最小时,参数的求解如图所示

    为了便于理解代价函数在只有两个变量时,代价函数如图所示

    X1 = size (0-2000)

    X2 = bedroom (0-5)

    通过观察左图我们发现x1与x2相差较大时,代价函数图像为瘦高形状,此时梯度下降到最优解时路线较为曲折,即回归难度较大,当参数较为相近时,如右图所示,梯度下降路线比较接近线性直线,即梯度下降较为容易。

    所以我们需要将特征进行缩放

    方法一 缩放到【0-1】 feature/ the total of number

    方法二 缩放到【-1,1】 (feature - 均值)/ the total of number

    当然如图 如果参数差距不大 比如在【-3,3】之间就没有必要去特征缩放了

     

    在前面一节中,我们谈论了梯度下降时a对回归的影响,接下来我们具体讨论一下a的取值

    通过前面观察我们发现要想求假设函数的参数,我们需要一步步的去更新参数,接下来介绍另外一中求解方式(通过数学推理的方法:正规方程 ,一步到位求出最优的参数)

    我们观察一下这个公式,X为行向量,(XTX) 为n *n 的矩阵 ,要求解它的逆矩阵需要O(n3)复杂度,所以当特征较多时,我们不采用这种方法。

     

     

    Processed: 0.009, SQL: 8