本文主要向大家介绍了机器学习入门之【机器学习】线性回归——正规方程（多变量）的实现（Python版），通过具体的内容向大家展现，希望对大家学习机器学习入门有所帮助。

【相关数学知识】

正规方程，实现线性回归的一种方式。该方式从统计学的角度对线性回归的实现进行了数学推导，你需要具备的知识主要包含如下几个方面：



上一篇博客，介绍的是梯度下降法实现的线性回归，主要基于单变量来实现代码，其实完全可以根据变量的个数构造多变量的梯度下降。本篇是线性回归的另一种实现方式，即基于多变量的正规方程。

【数学推导】

通过前面的两篇手记，我们可以这样认为，真实样本数据与预测值之间存在如下的关系：

y(i)=θTχ+ϵ(i)y^{(i)}= heta^{T}chi+epsilon^{(i)}y(i)=θTχ+ϵ(i)

其中ϵ(i)epsilon^{(i)}ϵ(i),表示真实结果与预测结果之间的误差。

前提条件

误差ϵ(i)epsilon^{(i)}ϵ(i)是独立并且具有相同分布，并且服从均值为0方差为θ2 heta^{2}θ2的高斯分布，图示如下：

推导过程

预测值与误差：y(i)=θTχ+ϵ(i)⋯(1)y^{(i)}= heta^{T}chi+epsilon^{(i)}qquad{cdots(1)}y(i)=θTχ+ϵ(i)⋯(1)

由于误差服从高斯分布:ρ(ϵ(i))=12πexp⁡(−(ϵ(i))22σ2)⋯(2)ho(epsilon^{(i)})=_x00C_rac{1}{sqrt{2pi}}exp(-_x00C_rac{(epsilon^{(i)})^{2}}{2sigma^{2}})  qquad{cdots(2)}ρ(ϵ(i))=2π1exp(−2σ2(ϵ(i))2)⋯(2)

将（1）式带入（2）式可得：

ρ(y(i)∣χ(1);θ)=12πexp⁡(−(y(i)−θTχ(i))22σ2)ho(y^{(i)}|chi^{(1)}; heta)=_x00C_rac{1}{sqrt{2pi}}exp(-_x00C_rac{(y^{(i)}- heta^{T}chi^{(i)})^{2}}{2sigma^{2}})ρ(y(i)∣χ(1);θ)=2π1exp(−2σ2(y(i)−θTχ(i))2)

似然函数：

L(θ)=∏i=1mρ(y(i)∣χ(1);θ)=∏i=1m12πexp⁡(−(y(i)−θTχ(i))22σ2)L( heta)=prod_{i=1}^{m}ho(y^{(i)}|chi^{(1)}; heta)=prod_{i=1}^{m}_x00C_rac{1}{sqrt{2pi}}exp(-_x00C_rac{(y^{(i)}- heta^{T}chi^{(i)})^{2}}{2sigma^{2}})L(θ)=i=1∏mρ(y(i)∣χ(1);θ)=i=1∏m2π1exp(−2σ2<span class="mopen    

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标人工智能机器学习频道！