中级统计师-统计学基础知识-第六章 回归分析

第一节 一元线性回归分析

1. 基本概念

• 回归分析：通过数学模型描述因变量（Y）与自变量（X）之间的关系，并预测或解释因变量的变化。
• 模型形式：
  $$Y={\beta }_0+{\beta }_{1}X+\epsilon$$
  其中：
  • ${\beta }_0$：截距项
  • ${\beta }_1$：斜率（回归系数）
  • $\epsilon$：随机误差项，满足 $E(\epsilon )=0$，同方差，独立正态分布。

---

2. 参数估计——最小二乘法

• 目标：最小化残差平方和 $Q=\sum (y_i-{\hat{y}}_i{)}^2$。
• 求解公式：
  $${\hat{\beta }}_1=\frac{n\sum x_i{y}_i-\sum x_i\sum y_i}{n\sum x_i^2-(\sum x_i{)}^2},{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}$$
• 残差：$e_i=y_i-{\hat{y}}_i$，表示观测值与拟合值的偏差。

---

3. 回归方程的评价

（1）判定系数 $R^2$

• 定义：
  $$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$
  • $SST=\sum (y_i-\bar{y}{)}^2$（总平方和）
  • $SSR=\sum ({\hat{y}}_i-\bar{y}{)}^2$（回归平方和）
  • $SSE=\sum (y_i-{\hat{y}}_i{)}^2$（残差平方和）
• 意义：$R^2$ 越接近1，模型拟合越好。

（2）估计标准误差 $s_e$

• 公式：
  $$s_e=\sqrt{\frac{SSE}{n-2}}=\sqrt{\frac{\sum (y_i-{\hat{y}}_i{)}^2}{n-2}}$$
• 意义：$s_e$ 越小，预测精度越高。

---

4. 显著性检验

（1）回归方程显著性检验（F检验）

• 假设：
  $H_0:{\beta }_1=0$（无线性关系）
  $H_1:{\beta }_1\ne 0$
• 统计量：
  $$F=\frac{SSR/1}{SSE/(n-2)}\sim F(1,n-2)$$
  • 若 $F>F_{\alpha }(1,n-2)$ 或 $p<\alpha$，拒绝 $H_0$。

（2）回归系数显著性检验（t检验）

• 假设：同F检验
• 统计量：
  $$t=\frac{{\hat{\beta }}_1}{\sqrt{Var({\hat{\beta }}_1)}}\sim t(n-2)$$
  • 若 $|t|>t_{\alpha /2}(n-2)$ 或 $p<\alpha$，拒绝 $H_0$。

---

5. 预测

• 点预测：${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$
• 区间预测（置信水平 $1-\alpha$）：
  $${\hat{y}}_0\pm t_{\alpha /2}(n-2)\cdot s_e\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum (x_i-\bar{x}{)}^2}}$$

---

第二节 多元线性回归分析

1. 模型定义

• 形式：
  $$Y={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_k{X}_k+\epsilon$$
• 估计方程：
  $$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1+\cdots +{\hat{\beta }}_k{x}_k$$

---

2. 参数估计（最小二乘法）

• 目标：最小化残差平方和 $Q=\sum (y_i-{\hat{y}}_i{)}^2$。
• 标准方程组：通过偏导数为零求解 ${\hat{\beta }}_0,{\hat{\beta }}_1,\dots ,{\hat{\beta }}_k$。

---

3. 回归方程的评价

（1）多重判定系数 $R^2$

• 公式：
  $$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$
• 问题：自变量增多时 $R^2$ 会虚高，需使用 调整后的 $R_a^2$：
  $$R_a^2=1-\frac{SSE/(n-k-1)}{SST/(n-1)}$$

（2）估计标准误差

$$s_e=\sqrt{\frac{SSE}{n-k-1}}$$

---

4. 显著性检验

（1）整体显著性检验（F检验）

• 假设：
  $H_0:{\beta }_1={\beta }_2=\cdots ={\beta }_k=0$
  $H_1$：至少有一个 ${\beta }_j\ne 0$
• 统计量：
  $$F=\frac{SSR/k}{SSE/(n-k-1)}\sim F(k,n-k-1)$$

（2）单个系数显著性检验（t检验）

• 假设：$H_0:{\beta }_j=0$
• 统计量：
  $$t=\frac{{\hat{\beta }}_j}{\sqrt{Var({\hat{\beta }}_j)}}\sim t(n-k-1)$$

---

5. 经典例题

例题1

【单选题】 多元回归中复相关系数的取值范围是（B）。
A. [-1,1]
B. [0,1]
C. [-1,0]
D. (0,1)

解析：复相关系数是 $R^2$ 的平方根，非负。

例题2

【单选题】 回归方程 $\hat{y}=15+1.6x$，当 $x=10$，实际值 $y=28$，残差为（B）。
A. -15
B. -3
C. 3
D. 16

解析：$\hat{y}=15+1.6\times 10=31$，残差 $=28-31=-3$。

---

总结对比表

指标	一元回归	多元回归
模型形式	$Y={\beta }_0+{\beta }_{1}X+\epsilon$	$Y={\beta }_0+{\beta }_1{X}_1+\cdots +{\beta }_k{X}_k+\epsilon$
判定系数	$R^2$（简单判定系数）	$R^2$ 和 $R_a^2$（调整后判定系数）
显著性检验	t检验和F检验等价	F检验（整体）和t检验（单个系数）
预测区间公式	含 $\frac{(x_0-\bar{x}{)}^2}{\sum (x_i-\bar{x}{)}^2}$	类似，但考虑多个自变量协方差矩阵