普通最小二乘法回归
普通最小二乘法(ordinary least square，简称OLS)，是应用最广泛的参数估计方法，我们主要使用这种方法估计参数。
例如，我们已知上面所给的股票A和股票B的价格，我们想知道股票B的价格变化股票A的价格的影响大小。它们之间的关系如图7.1所示。
图7.1 股票价格图
我们假设股票A与股票B之间存在线性关系，也就是说股票B的价格变化1元时，股票A的价格变化月元。这个关系可以用下面的式子来表示。
PA=a+PB+u
a是股票A自有的一些因素对其价格的影响，与股票B无关。u是股票市场中一些无法预计的因素对股票价格的影响，的期望为0，被称为随机误差项。这样的关系在图中就是一条直线，这条直线应该与我们观测到的样本点的偏离最小。如何来表示这个偏离，最小二乘法采用的判断标准是二者之差的平方和最小。为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。由这个基础出发，我们就可以得到系数估计的公式。这里我们省略了具体的推导过程，直接给出系数的估计公式。
根据估计出的参数我们可以得到一组拟合值，下图为实际价格与拟合价格的对比。
图7.2 股价拟合
拟合值比较接近地反应了实际值的变化趋势。
