用户:Chen-Pan Liao/沙盒

奥肯法则在总体经济学是简单线性回归的实例。图中应变数（经济增长率）被推论为与自变数（失业率变动）存在负向的线性关系。

在统计学中，简单线性回归是指仅具有单一的自变数的线性回归，其中“简单”系单一自变数之意。此回归可用于估计有限的截距与斜率以推论应变数在特定自变数为条件下的均值。

最小平方法是常见用于寻求简单线性回归式的方法，目的是得到能使残差平方和最小的回归式。其它方法，诸如最小绝对偏差（使残差绝对值的总和最小）、泰尔－森估算（所有样本点两两配对的斜率中位数做为整体斜率）等，亦可应用于简单线性回归的命题。戴明回归（考虑自变数与应变数同时为误差来源）的功能虽然与上述方法相似但不属于简单线性回归的范畴，因其不区分自变数与应变数且可能得到多个回归式。

以最小平方法处理简单线性回归，则求得的斜率β等于自变数x与应变数y的皮尔森积动差相关系数与二者的标准偏差比值的乘积，

${\hat {\beta }}=r_{x,y}{\frac {s_{y}}{s_{x}}}$

而再考虑截距α则保证使回归线通过自变数与应变数的均值 (x, y)。

计算回归式

以下皆以最小平方法求解简单线性回归式。考虑以下的数学模型函数

$y=\alpha +\beta x$，

是一条斜率为β且y轴截距为α的直线。通常实际上自变数与应变数并非如此完美的关系而存在未知的误差ε_i，即

$y_{i}=\alpha +\beta x_{i}+\varepsilon _{i},i=1,\ldots ,n$，

以表示第$i$对资料中自变数与应变数的关系。此模型称为简单线性模型。

计算回归式的目标是根据资料计算估计值${\hat {\alpha }}$与${\hat {\beta }}$以“最佳地”估计参数α与β。由于采用最小平方法进行计算，“最佳”系指能使残差平方和${\hat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}$最小的参数估计值为目标。换句话说，我们寻求能使Q函数值最小的解，

$Q(\alpha ,\beta )=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}$。

此解为${\hat {\alpha }}$与${\hat {\beta }}$，

${\textstyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-({\hat {\beta }}\,{\bar {x}}),\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\&={\frac {s_{x,y}}{s_{x}^{2}}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}}\end{aligned}}}$

其中

• ${\bar {x}}$与${\bar {y}}$分别为x_i与y_i的计数平均数，
• r_xy为x与y的皮尔森积动差相关系数，
• s_x与s_y分别为x与y的样本标准偏差，
• $s_{x}^{2}$与$s_{x,y}$分别为x的样本变异数及x与y间的样本共变异数。

将${\hat {\alpha }}$与${\hat {\beta }}$带入

${\hat {y}}={\hat {\alpha }}+{\hat {\beta }}x$

可得

${\frac {{\hat {y}}-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}$。

此式呈现了r_xy为预先将自变数与应变数预先标准化后的回归斜率。由于r_xy界于-1与1之间，左式的绝对值势必不大于右式，体现了趋中回归的现象。

以${\overline {xy}}$表示对应的x与y的乘积和，

${\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}$，

可使r_xy简化成

$r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}$。

简单线性回归的判定系数即为二变数间皮尔森积动差相关系数的平方：

$R^{2}=r_{xy}^{2}$。

回归系数的直观意义

将${\hat {\beta }}$的估计式分子乘以${\frac {(x_{i}-{\bar {x}})}{(x_{i}-{\bar {x}})}}$，可改写为

${\hat {\beta }}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}\times {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}\right)}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}$。

可以看出，回归式的斜率为${\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}$以$(x_{i}-{\bar {x}})^{2}$为权数的加权平均。因此，$(x_{i}-{\bar {x}})^{2}$越大的资料对斜率${\hat {\beta }}$的影响力越大。

截距的直观意义

${\hat {\alpha }}$可经由下列式子估算： ${\hat {\alpha }}={\bar {y}}-{\hat {\beta }}\ {\bar {x}}$。 由于${\hat {\beta }}=\tan(\theta )=dy/dx\rightarrow dy=dx\times {\hat {\beta }}$，其中$\theta$即为与横轴正值的夹角，可以得到${\hat {\alpha }}={\bar {y}}-dx\times {\hat {\beta }}={\bar {y}}-dy$。

相关性的直观意义 =

上述数学式中，我们假设每个$x_{i}$皆为常数而每个$y_{i}$皆为随机变数，其中$y_{i}$由回归式及$\varepsilon _{i}$随机变数而决定。这项假设使得计算斜率的标准误差为不偏unbiased。

In this framing, when $x_{i}$ is not actually a random variable, what type of parameter does the empirical correlation $r_{xy}$ estimate? The issue is that for each value i we'll have: $E(x_{i})=x_{i}$ and $Var(x_{i})=0$. A possible interpretation of $r_{xy}$ is to imagine that $x_{i}$ defines a random variable drawn from the empirical distribution of the x values in our sample. For example, if x had 10 values from the natural numbers: [1,2,3...,10], then we can imagine x to be a Discrete uniform distribution. Under this interpretation all $x_{i}$ have the same expectation and some positive variance. With this interpretation we can think of $r_{xy}$ as the estimator of the Pearson's correlation between the random variable y and the random variable x (as we just defined it).