在實際問題中，影響因變量Y的因素很多，人們可以從中挑選若幹個變量建立回歸方程，這便涉及變量選擇的問題。

一般來講，如果在一個回歸方程中忽略了對Y有顯著影響的自變量，那麼所建立的方程必與實際有較大的偏離，但變量選得過多，使用就不方便，特别是方程中含有對Y影響不大的變量時。因此适當地選擇變量以建立一個“最優”的回歸方程是十分重要的。

什麼是“最優”回歸方程呢？對于這個問題有許多不同的準則，在不同的準則下，“最優”回歸方程也可能不同，這講的“最優”是指從可供選擇的所有變量中選出對Y有顯著影響的變量建立方程，且在方程中不含有對Y無顯著影響的變量。

有許多方法準則可以獲得“最優”回歸方程，如“一切子集回歸法”、"前進法"、“後退法”、“逐步回歸法”等，其中“逐步回歸法”由于計算程序簡便，因而使用較為普遍。

R語言提供了較為方便的“逐步回歸”計算函數step(),它是以AIC信息統計量為準則，通過選擇最小的AIC信息統計量，來達到删除或增加變量的目的。step()函數的調用格式為：

其中object是回歸模型，scope是确定逐步搜索的區域，scale是用于AIC統計量，direction确定逐步搜索的方向，缺省值為“both”，是“一切子集回歸法”，“backward”是“後退法”，“forward”是“前進法”。下面通過一個簡單的例子，介紹如何使用R語言來完成逐步回歸的過程，從而達到選擇“最優”方程的目的。

例子：某種水泥在凝固時放出的熱量Y與水泥中四種化學成分X1、X2、X3、X4有關，現測得13組數據，求從中選出主要的變量，建立Y關于它們的線性回歸方程。

首先作多元線性回歸方程

> X1=c( 7, 1, 11, 11, 7, 11, 3, 1, 2, 21, 1, 11, 10);

> X2=c(26, 29, 56, 31, 52, 55, 71, 31, 54, 47, 40, 66, 68);

> X3=c( 6, 15, 8, 8, 6, 9, 17, 22, 18, 4, 23, 9, 8);

> X4=c(60, 52, 20, 47, 33, 22, 6, 44, 22, 26, 34, 12, 12);

> Y =c(78.5, 74.3, 104.3, 87.6, 95.9, 109.2, 102.7, 72.5,93.1,115.9,83.8,113.3,109.4);

> cement<-data.frame(X1,X2,X3,X4,Y)

> lm.sol<-lm(Y~X1 X2 X3 X4,data=cement)

> summary(lm.sol)

Call:

lm(formula = Y ~ X1 X2 X3 X4, data = cement)

Residuals:

Min 1Q Median 3Q Max

-3.1750 -1.6709 0.2508 1.3783 3.9254

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 62.4054 70.0710 0.891 0.3991

X1 1.5511 0.7448 2.083 0.0708 .

X2 0.5102 0.7238 0.705 0.5009

X3 0.1019 0.7547 0.135 0.8959

X4 -0.1441 0.7091 -0.203 0.8441

---

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.446 on 8 degrees of freedom

Multiple R-squared: 0.9824, Adjusted R-squared: 0.9736

F-statistic: 111.5 on 4 and 8 DF, p-value: 4.756e-07

從上述計算中可以看到，如果選擇全部變量作回歸方程，效果是不好的，因為回歸方程的系數沒有一項通過檢驗。接下來使用step()作逐步回歸：

> lm.step<-step(lm.sol)

Start: AIC=26.94

Y ~ X1 X2 X3 X4

Df Sum of Sq RSS AIC

- X3 1 0.1091 47.973 24.974

- X4 1 0.2470 48.111 25.011

- X2 1 2.9725 50.836 25.728

<none> 47.864 26.944

- X1 1 25.9509 73.815 30.576

Step: AIC=24.97

Y ~ X1 X2 X4

Df Sum of Sq RSS AIC

<none> 47.97 24.974

- X4 1 9.93 57.90 25.420

- X2 1 26.79 74.76 28.742

- X1 1 820.91 868.88 60.629

從程序運行結果可以看到，用全部變量作回歸方程時，AIC值為26.94。如果去掉變量X3，得到的回歸方程的AIC值為24.974，如果去掉變量X4，得到的回歸方程的AIC值為25.011。後面類推，由于去掉變量X3可以使AIC達到最小，因此R語言自動去掉變量X3，進行下一輪計算。

> summary(lm.step)

Call:

lm(formula = Y ~ X1 X2 X4, data = cement)

Residuals:

Min 1Q Median 3Q Max

-3.0919 -1.8016 0.2562 1.2818 3.8982

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 71.6483 14.1424 5.066 0.000675 ***

X1 1.4519 0.1170 12.410 5.78e-07 ***

X2 0.4161 0.1856 2.242 0.051687 .

X4 -0.2365 0.1733 -1.365 0.205395

---

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.309 on 9 degrees of freedom

Multiple R-squared: 0.9823, Adjusted R-squared: 0.9764

F-statistic: 166.8 on 3 and 9 DF, p-value: 3.323e-08

由顯示結果看到：回歸系數檢驗的顯著性水平很很大提高，但變量X2、X4系數檢驗的顯著性水平仍然不理想。下面該如何處理呢？

R語言還有兩個函數可以用來作逐步回歸，這兩個函數是add1()和drop1()，它們的調用格式為：

其中object是由拟合模型構成的對象，scope是模型考慮增加或去掉項構成的公式，scale是用于計算殘差的均方估計值，缺省值為0或NULL。下面用drop1()函數計算。

> drop1(lm.step)

Single term deletions

Model:

Y ~ X1 X2 X4

Df Sum of Sq RSS AIC

<none> 47.97 24.974

X1 1 820.91 868.88 60.629

X2 1 26.79 74.76 28.742

X4 1 9.93 57.90 25.420

從運算結果來看，如果去掉變量X4，AIC值會從24.974增加到25.420，是增加最少的。另外，除了AIC準則外，殘差的平方和也是逐步回歸的重要指标之一。從直觀上來看，拟合越好的方程，殘差的平方和應越小，去掉X4，殘差的平方和上升9.93，也是最少的，因此從這兩項指标來看，應該去掉變量X4。

> lm.opt<-lm(Y~X1 X2,data=cement);

> summary(lm.opt);

Call:

lm(formula = Y ~ X1 X2, data = cement)

Residuals:

Min 1Q Median 3Q Max

-2.893 -1.574 -1.302 1.363 4.048

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 52.57735 2.28617 23.00 5.46e-10 ***

X1 1.46831 0.12130 12.11 2.69e-07 ***

X2 0.66225 0.04585 14.44 5.03e-08 ***

---

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 2.406 on 10 degrees of freedom

Multiple R-squared: 0.9787, Adjusted R-squared: 0.9744

F-statistic: 229.5 on 2 and 10 DF, p-value: 4.407e-09

這個結果應該是滿意的，因為所有的檢驗都是顯著的，最後得到“最優”回歸方程為：

Y= 52.58 1.468*X1 0.6623*X2

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!