目录

        1. 线性回归
            1.1 最小二乘法（Normal Equation）
                1.1.1 代数法求解
                1.1.2 矩阵法求解
            1.2 梯度下降法
        2 多项式回归

1. 线性回归

线性回归：使用形如  y=wTx+b 的线性模型拟合数据输入和输出之间的映射关系。

基于均方误差最小化（LSM，Latest Square Method）求解：在线性回归中，试图找到一条直线（一个超平面），使所有样本到直线上（超平面上）欧氏距离（Euclidean distance）之和最小（均方误差对应欧式距离）。

线性回归可使用最小二乘法与梯度下降法解决：

    最小二乘法：通过计算导数为零的点直接得到最低点，需要计算特征矩阵的逆（时间复杂度 O(n3)），当特征数过大时（ n > 10000 n>10000 n>10000），计算速度会很慢.
    梯度下降法：从任意一点开始，逐步找到最低点，适用于特征数大于10000时。

1.1 最小二乘法（Normal Equation）
1.1.1 代数法求解

考虑 m m m个样本,每个样本只有1个属性，

1.1.2 矩阵法求解

考虑 m 个样本，每个样本有 n 个属性，

1.2 梯度下降法

梯度下降是一个求函数最小值的算法，可以用来最小化任何代价函数 J 。

α是学习率（learning rate），决定了代价函数下降程度最大的方向向下迈出的步子有多大，每一次迭代都同时让所有参数减去学习速率乘以代价函数的导数。

    如果  α太小，需要很多步才能到达全局最低点。
    如果  α太大，那么梯度下降法可能会越过最低点，导致无法收敛，甚至发散。

当接近局部最低点时，梯度下降法会自动采取更小的幅度，因为当接近局部最低点时，导数值会自动变得越来越小，所以梯度下降将自动采取较小的幅度，没有必要再另外减小 α \alpha α。
梯度下降无法确定得到局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。

对于

2 多项式回归

多项式回归（Polynomial Regression）是研究一个因变量与一个或多个自变量间多项式的回归分析方法。
自变量只有一个时，称为一元多项式回归；自变量有多个时，称为多元多项式回归。

一元 m 次多项式回归方程为：

多项式回归的最大优点就是可以通过增加x的高次项对实测点进行逼近（因为任一函数都可以分段用多项式来逼近），直至满意为止。