线性回归(Linear Regression)

      0 - 基本问题

        线性回归考虑的是有$n$个样本$\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\}$,每一个样本对应$m+1$维特征$\mathbf{x}_i=\{x_{i0},x_{i1},x_{i2},\cdots,x_{im}\}$(其中$x_{i0}=1$),记为$\mathbf{X}_{n\times (m+1)}$,且每一个样本都一个对应的结果输出,记为$\mathbf{y}_{n}$。需要找到参数$\mathbf{w}_{m+1}$,构造如下模型,

      $$
      \mathbf{y}=\mathbf{X}\mathbf{w}=\begin{pmatrix}\mathbf{x}_0\\ \mathbf{x}_1\\ \vdots\\ \mathbf{x}_m\end{pmatrix}\begin{pmatrix}w_0\ w_1\ \cdots\ w_m\end{pmatrix},
      $$

      拟合出来的结果与真实目标之间的误差可以表示如下,

      $$
      J(\mathbf{w})=\frac{1}{2}\left(\mathbf{X}\mathbf{w}-\mathbf{y}\right)^T\left(\mathbf{X}\mathbf{w}-\mathbf{y}\right),
      $$

      其中,加入参数因子$\frac{1}{2}$是为了求导方便。

      1 - 求解方法

      1.1 - 最小二乘法

      1.2 - MLE

      1.3 - 梯度下降法

      2 - 线性回归的推广

      3 - 正则化

      3.1 - L1正则化(Lasso)

      3.2 - L2正则化(Ridge,岭回归)

      4 - 参考资料

      https://www.cnblogs.com/huangyc/p/9782821.html

      https://blog.csdn.net/ccnt_2012/article/details/81127117

      相关文章
      相关标签/搜索
      每日一句
        每一个你不满意的现在,都有一个你没有努力的曾经。
      公众号推荐
         一个历史类的公众号,欢迎关注
      一两拨千金
      今期管家婆大图 玄机图香港挂牌正版彩图六合彩资料大全香港马会资料白小姐中特玄机香港挂牌之全篇