机器学习 - 线性回归
type
status
date
slug
summary
tags
category
icon
password
机器学习中一个非常基础的概念就是线性回归，所谓的神经网络中每一个基础的神经元的输入其实就是跟他输入端相连的所有神经元的输出的线性组合。
线性回归的核心就是找一条直线来最准确的“拟合”给定的一系列的样本点。
比如我们采集到了10个志愿者的身高和体重的数据，身高为 体重为。采集到的数据是
现在我们想要找到一个直线方程 ， 能够最准确的表示身高和体重的关系。这个方程核心的参数就两个： 和 。所以也就是要找到最准确的 和
怎么衡量“最准确”就有很多标准了。比如最常见的《最小二乘法》
也就是保证我们找到的公式，计算出来的每一个与真实的的差值的平方的和最小，或者说使误差的平方和最小。
比如有10个样本点，.我们找到的公式 ，针对 算出来的 。
要使得 的值最小。
目标确定了，剩下的就是如何通过数值分析的各种方法或者数学推导来计算出和可以让“二乘”最小了。这个本质上也是一种机器学习算法，计算机通过“学习”样本，实现对现实的拟合。
使用最小二乘法作为衡量标准的线性回归其计算其实很简单，不需要复杂的数值分析，直接列方程解就可以
令误差的平方和为 ，则：
上面的表达式中只有 和 两个未知数
令 对 和 的偏导均为0 可以得到两个方程。
两个未知数，两个方程，剩下的就是解二元一次方程了。
上面的例子是针对是一维的情况，对于更高维度的向量上面的计算过程也是成立的只是其计算会变成针对向量和矩阵的计算，后面再详细讨论