本文主要向大家介绍了机器学习入门之机器学习(2)之线性回归，通过具体的内容向大家展现，希望对大家学习机器学习入门有所帮助。

1. 矩阵的求导
首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n

这里要用到矩阵迹的特性，trace. 对于一个n阶的方阵（n×n）,它的迹(tr)为对角线元素之和：

1. 对于一个实数，它的迹即为它本身
tr a = a
2. 如果AB是一个方阵，那么
tr AB = tr BA
3. 由此可推导出 
trABC = trCAB = trBCA  
trABCD = trDABC = trCDAB = trBCDA 
4. 假设A 和 B为方阵，a为实数，那么又可以推导出以下的特性：



trA = trAT
tr(A + B) = trA + trB
tr aA = atrA 
5.对迹进行求导，具有以下特性：




2. Least squares revisited 
现在就可以利用1中矩阵求导的相关知识来重新求解线性回归问题。
假设训练样本：

定义目标集合：

因为，所以

又因为，根据最小二乘规则，代价函数可以写成：

对J(θ)进行求导：

上述推导使用了第1部分的特性。
miniminzes J(θ) 即

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标人工智能机器学习频道！