《一元线性回归：从基础到应用及模型处理》

一、相关分析基础

（一）变量间关系类型

1. 函数关系：变量间存在一一对应的确定关系，如$y=f(x)$，当$x$确定时，$y$唯一确定。

2. 统计关系（相关关系）：变量间存在不确定的数量关系，一个变量的取值不能由另一个变量唯一确定，但按某种规律变化，如商品需求量与价格的关系。

（二）相关关系的种类

1. 按变量数量：

• 单相关：两个变量间的相关关系。

• 复相关：多个变量间的相关关系。

1. 按表现形式：

• 线性相关：变量间关系可用直线近似描述。

• 非线性相关：变量间关系需用曲线描述。

1. 按变化方向：

• 正相关：变量间变化趋势相同。

• 负相关：变量间变化趋势相反。

（三）相关系数

1. 总体相关系数（ρ）：度量两随机变量线性关系密切程度，公式为：

$\rho =\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$

其中$Cov(X,Y)$为协方差，$Var(X)$、$Var(Y)$为方差。

1. 样本相关系数（r）：总体相关系数的估计量，公式为：

$r=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2}}$

性质：$r$与回归系数$b_1$符号相同，因分子相同且分母恒正。

1. 相关系数的特点：

• $|r|\le 1$。

• $r=0$时，变量间无线性相关关系。

• $0<|r|<1$时，存在不同程度的线性相关（$r>0$正相关，$r<0$负相关）。

• $|r|=1$时，变量间完全线性相关。

1. 相关系数的经验解释：

• $|r|\ge 0.8$：高度相关。

• $0.5\le |r|<0.8$：中度相关。

• $0.3\le |r|<0.5$：低度相关。

• $|r|<0.3$：相关性极弱。

（四）相关系数的注意事项

1. $X$和$Y$是对称的随机变量。

2. 仅反映线性相关程度，不反映非线性关系。

3. 不能确定变量间的因果关系。

二、一元线性回归模型

（一）模型基本假设与使用前提

1. 线性关系假设：因变量$Y$与自变量$X$之间存在线性统计关系，即总体回归函数为$E(Y)={\beta }_0+{\beta }_{1}X$。

• 检验：绘制散点图观察数据分布趋势。

1. 变量类型要求：

• 自变量$X$：可以是确定性变量或随机变量（需与误差项不相关）。

• 因变量$Y$：连续型随机变量。

1. 误差项的统计假设：

• 正态性：${\epsilon }_i\sim N(0,{\sigma }^2)$，即$Y_i\sim N({\beta }_0+{\beta }_1{X}_i,{\sigma }^2)$。

• 独立性：$Cov({\epsilon }_i,{\epsilon }_j)=0(i\ne j)$。

• 同方差性：$Var({\epsilon }_i)={\sigma }^2$对所有$i$成立。

1. 数据质量要求：

• 样本代表性：随机独立抽样。

• 无异常值：残差$e_i=Y_i-{\hat{Y}}_i$的绝对值不能过大（通常$|e_i|>3s$视为异常）。

• 样本量：$n>2$，建议$n\ge 30$以保证统计推断可靠性。

（二）模型构建与参数估计

1. 模型形式：$Y_i={\beta }_0+{\beta }_1{X}_i+{\epsilon }_i$，其中${\epsilon }_i$为随机误差项，反映未被$X$解释的随机波动。

2. 最小二乘估计（OLS）：

• 目标：使误差平方和$Q={\sum }_{i=1}^n(Y_i-{\hat{Y}}_i{)}^2={\sum }_{i=1}^n(Y_i-b_0-b_1{X}_i{)}^2$最小。

• 估计公式：

$b_1=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2},b_0=\bar{Y}-b_1\bar{X}$

• 系数解释：

  • $b_1$：斜率系数，表示$X$每增加 1 个单位，$Y$的平均变化量（如收入每增加 100 元，消费平均增加 62.39 元）。

  • $b_0$：截距系数，表示$X=0$时$Y$的理论值（需结合实际意义判断是否有解释价值）。

1. 估计量特性：

• 线性性：$b_0$、$b_1$是$Y_i$的线性组合。

• 无偏性：$E(b_0)={\beta }_0$，$E(b_1)={\beta }_1$。

• 有效性：在满足假设时，OLS 估计量是最优线性无偏估计量（BLUE）。

（三）引例分析

问题：10 个厂家的投入（$X$）和产出（$Y$）数据如下，分析相关性并建立回归方程。

厂家	1	2	3	4	5	6	7	8	9	10
投入	20	40	20	30	10	10	20	20	20	30
产出	30	60	40	60	30	40	40	50	30	70

步骤：

1. 计算基础数据：$\bar{X}=22$，$\bar{Y}=42$，$\sum (X_i-\bar{X})(Y_i-\bar{Y})=510$，$\sum (X_i-\bar{X}{)}^2=440$。

2. 回归系数：$b_1=\frac{510}{440}\approx 1.1818$，$b_0=42-1.1818\times 22\approx 15.8004$。

3. 回归方程：$\hat{Y}=15.8004+1.1818X$。

4. 残差计算：如厂家 1 的残差$e_1=30-(15.8004+1.1818\times 20)\approx -12.836$，残差反映观测值与预测值的偏差。

三、回归模型的检验

（一）总平方和分解

1. 总离差平方和（SSTO）：$SSTO={\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2$，反映$Y$的总变动程度。

2. 回归平方和（SSR）：$SSR={\sum }_{i=1}^n({\hat{Y}}_i-\bar{Y}{)}^2$，反映$X$对$Y$的解释变动。

3. 误差平方和（SSE）：$SSE={\sum }_{i=1}^n(Y_i-{\hat{Y}}_i{)}^2$，反映随机因素引起的变动。

4. 关键关系：$SSTO=SSR+SSE$，体现回归模型对总变动的分解能力。

（二）拟合优度检验（样本确定系数$r^2$）

1. 公式：$r^2=\frac{SSR}{SSTO}$，表示$Y$的总变差中被$X$解释的比例。

2. 取值范围：$0\le r^2\le 1$，$r^2$越接近 1，模型拟合效果越好。

3. 与相关系数的关系：$r^2=(\ae \cdot \ae œ\neg \stackrel{\backslash c}{c}›¸{\mathring{a}}^3{\stackrel{\backslash c}{c}}^3»\ae •°r{)}^2$，即确定系数是相关系数的平方，反映线性关系的解释力度。

（三）显著性检验

1. F 检验（回归方程显著性检验）：

• 假设：$H_0:{\beta }_1=0$（$X$与$Y$无线性关系），$H_1:{\beta }_1\ne 0$。

• 统计量：$F=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE}$，其中$MSR=\frac{SSR}{1}$，$MSE=\frac{SSE}{n-2}$。

• 决策规则：若$F>F_{\alpha }(1,n-2)$，拒绝$H_0$，表明回归方程显著。

1. t 检验（回归系数显著性检验）：

• 假设：$H_0:{\beta }_1=0$，$H_1:{\beta }_1\ne 0$。

• 统计量：$t=\frac{b_1}{s(b_1)}$，其中$s(b_1)=\sqrt{\frac{MSE}{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}}$为$b_1$的标准误。

• 决策规则：若$|t|>t_{\alpha /2}(n-2)$，拒绝$H_0$，表明${\beta }_1$显著非零。

1. 相关系数检验：

• 假设：$H_0:\rho =0$，$H_1:\rho \ne 0$。

• 统计量：样本相关系数$r$。

• 决策规则：若$|r|>r_{\alpha }(n-2)$，拒绝$H_0$，表明变量间线性相关显著。

（四）模型适合性分析

1. 残差定义：$e_i=Y_i-{\hat{Y}}_i$，是观测值与预测值的差，反映模型未解释的部分。

2. 异方差性检验：

• 现象：残差图呈现发散 / 收敛趋势（如 PPT 图 9-10），表明误差项方差非恒定。

• 处理：加权最小二乘法（WLS），如使用权重$w_i=1/X_i$；或对$Y$进行对数、平方根变换。

1. 自相关性检验：

• 现象：时间序列数据中，残差图呈现周期性或趋势性（如 PPT 图 9-11、9-12），表明误差项不独立。

• 处理：加入滞后项构建自回归模型（如$Y_t={\beta }_0+{\beta }_1{X}_t+\rho Y_{t-1}+{\epsilon }_t$），或使用广义差分法。

1. 异常值检测：

• 方法：计算标准化残差$e_i/s$，若$|e_i/s|>3$，视为异常值；绘制残差散点图，偏离较大的点需重点关注。

• 处理：验证数据准确性，若为真实异常值，可采用稳健回归（如最小绝对偏差 LAD）减少其影响。

四、因变量预测

（一）点预测

给定$X_0$，预测值为：${\hat{Y}}_0=b_0+b_1{X}_0$，即直接代入回归方程计算。

（二）区间预测

在置信度$1-\alpha$下，$Y_0$的置信区间为：

${\hat{Y}}_0\pm t_{\alpha /2}(n-2)\cdot s\cdot \sqrt{1+\frac{1}{n}+\frac{(X_0-\bar{X}{)}^2}{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}}$

其中：

• $s=\sqrt{MSE}$为残差标准差，衡量模型预测误差的平均水平。

• $\sqrt{1+\frac{1}{n}+\frac{(X_0-\bar{X}{)}^2}{\sum (X_i-\bar{X}{)}^2}}$为预测误差的放大因子，反映$X_0$与样本均值$\bar{X}$的偏离程度。

（三）案例分析

问题：根据 1995-2004 年农村居民人均纯收入（$X$）和消费支出（$Y$）数据，预测$X=3500$元时的$Y$。

已知条件：

• 回归方程：$\hat{Y}=292.8775+0.6239X$。

• 样本统计量：$\bar{X}=2262.035$，$\sum (X_i-\bar{X}{)}^2=1264471.423$，$MSE=3061.525$，$s=\sqrt{3061.525}\approx 55.33$。

步骤：

1. 点预测：${\hat{Y}}_0=292.8775+0.6239\times 3500\approx 2476.41$（元）。

2. 区间预测（95% 置信度）：

• $t_{0.025}(8)=2.306$，$n=10$。

• 计算误差项：$s\cdot \sqrt{1+\frac{1}{10}+\frac{(3500-2262.035{)}^2}{1264471.423}}\approx 55.33\times 1.520\approx 84.13$。

• 置信区间：$2476.41\pm 2.306\times 84.13$，即$[2282.40,2670.41]$元。

结论：当人均纯收入为 3500 元时，有 95% 的概率人均消费支出在 2282.40 元至 2670.41 元之间。

五、模型使用条件不满足的处理

1. 非线性关系：

• 识别：散点图呈曲线趋势（如抛物线、指数型）。

• 处理：

  • 变量变换：如指数关系$Y=\alpha e^{\beta X}$可转化为$\ln Y=\ln \alpha +\beta X$；幂函数关系$Y=\alpha X^{\beta }$可转化为$\ln Y=\ln \alpha +\beta \ln X$。

  • 非线性回归：直接使用二次函数$Y={\beta }_0+{\beta }_{1}X+{\beta }_2{X}^2$等非线性模型。

1. 异方差性：

• 处理：

  • 加权最小二乘法（WLS）：对误差方差大的观测值赋予较小权重，如$w_i=1/X_i^2$。

  • 数据变换：对$Y$取对数$\ln Y$，使方差趋于稳定。

1. 自相关性：

• 处理：

  • 时间序列模型：加入滞后项，如$Y_t={\beta }_0+{\beta }_1{X}_t+\rho Y_{t-1}+{\epsilon }_t$（一阶自回归模型）。

  • 广义差分法：消除自相关影响，如对于一阶自相关${\epsilon }_t=\rho {\epsilon }_{t-1}+u_t$，构造差分变量$Y_t^{\ast }=Y_t-\rho Y_{t-1}$，$X_t^{\ast }=X_t-\rho X_{t-1}$，建立$Y_t^{\ast }={\beta }_0(1-\rho )+{\beta }_1{X}_t^{\ast }+u_t$。

1. 异常值：

• 处理：

  • 验证数据准确性，若为记录错误，修正后重新建模。

  • 若为真实异常值，采用稳健回归方法，如最小绝对偏差（LAD）估计，减少异常值对回归系数的影响。

六、做题技巧与分析流程

（一）完整分析流程

1. 数据预处理：

• 绘制散点图，初步判断$X$与$Y$是否存在线性趋势。

• 计算样本相关系数$r$，检验线性相关性是否显著（如$H_0:\rho =0$）。

1. 模型构建：

• 使用最小二乘法估计回归系数$b_0$、$b_1$，建立回归方程$\hat{Y}=b_0+b_{1}X$。

• 解释系数含义（如$b_1$代表$X$对$Y$的边际影响）。

1. 模型检验：

• 计算确定系数$r^2$，评估拟合优度。

• 进行 F 检验和 t 检验，验证回归方程和系数的显著性。

• 绘制残差图，检验异方差性、自相关性和异常值。

（三）公式速查表

项目	公式
样本相关系数$r$	$\frac{\sum (X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{\sum (X_i-\bar{X}{)}^2\sum (Y_i-\bar{Y}{)}^2}}$
回归系数$b_1$	$\frac{\sum (X_i-\bar{X})(Y_i-\bar{Y})}{\sum (X_i-\bar{X}{)}^2}$
确定系数$r^2$	$\frac{SSR}{SSTO}=1-\frac{SSE}{SSTO}$
F 统计量	$\frac{SSR/1}{SSE/(n-2)}$
t 统计量（$b_1$）	$\frac{b_1}{\sqrt{\frac{MSE}{\sum (X_i-\bar{X}{)}^2}}}$
预测区间	${\hat{Y}}_0\pm t_{\alpha /2}(n-2)\cdot s\cdot \sqrt{1+\frac{1}{n}+\frac{(X_0-\bar{X}{)}^2}{\sum (X_i-\bar{X}{)}^2}}$