线性回归(linear regression)学习笔记

本文为线性回归算法的学习笔记

线性回归(linear regression)

有监督学习。

给定数据集\(D=\{(x_1,y_1),\dots,(x_m,y_m)\}\)，其中\(x_i=(x_{i1},\dots,x_{id})\),\(\in\mathbb {R}\)。线性回归尝试学得一个模型去准确预测输出值。

按输入变量个数分类	输入变量个数
一元回归	1
多元回归	多个

原理

学得一个模型(1)，去由输入预测输出： \[ f(x_i)=w \cdot x_i+b \] 其中("\(\cdot\)"代表向量点积):

\[ w=(w_1,w_2,\dots,w_d)\\ \]

\(w\)代表权值，\(b\)代表偏置

损失函数(cost function)

\[ J=\frac{1}{2}\sum_{i=1}^m[f(x_i;\omega;b)-y_i]^2 \]

目标

最小化代价函数\(J\)

方法

梯度下降

对代价函数求偏导： \[ \frac{\partial J}{\partial w}=(\omega\cdot x_i+b-y_i) \cdot x_i \] \[ \frac{\partial J}{\partial b}=(\omega\cdot x_i+b-y_i) \]

\(w\)和\(b\)的更新公式为: \[ \begin{equation} \begin{split} w \leftarrow w-\eta \frac{\partial J}{\partial w}&=w-\eta(w\cdot x_i+b-y_i)\cdot x_i\\ b \leftarrow b-\frac{\partial J}{\partial b}&= b-\eta(w\cdot x_i+b-y_i)\\ \end{split} \end{equation} \] 其中\(\eta\)为学习率。