線性回歸的基本原理

最近一直在讀《赤裸裸的統計學》這本書，作為一本統計學的入門讀物，非常淺顯易懂的讓人明白統計學是什麼，能用來解決哪些具體的現實問題，還舉了大量的例子，提供了計算思路。

這裡我把自己的讀書筆記分享一下。

回歸分析，尋找的是兩個變量之間的最佳拟合線性關系。回歸分析 可以在控制其他因素的前提下，對某個具體的變量和某個特定的結果之間的關系進行量化（即我們可以在保持其他變量效果不變的情況下，将某個變量的效果分離出來）。

通過回歸分析，我們不能确切證明運動可以預防心髒病，我們隻是推翻了“運動與心髒病無關”這個零假設，即，如果這個假設成立，那麼運動的和不運動的人得心髒病的比例出現很大的差異的概率将不到5%，如果超過了5%，那應該是原假設出錯了。5%就使得該問題是否具有統計學意義。（統計學意義重大的含義是 出現這樣的結果不可能是巧合或者随機誤差）

當我們發現了一個具有統計學意義的現象，可能從社會學角度來看，其實無關緊要。這非常有可能，因為統計學是發現規律的一門科學，不是解釋規律的一門科學，如果我們想知道這個完整的邏輯，我們需要找到中間邏輯傳導環節。

回歸分析，尋找最佳拟合，使用最小二乘法（OLS）來評估。OLS直線可以讓所有數據的殘差平方和最小。（殘差：數據距離回歸線的垂直高度，即Y軸的高度）。如果殘差和越大，則拟合的越不好。

線性方程：y = a bx e，

* a 叫截距

* b 叫斜率，也叫回歸系數

* e 叫殘差

* x 叫自變量，也叫解釋變量，或 控制變量

* y 叫因變量

對于回歸系數，我們隻需要關心3件事

* 正負：自變量和因變量之間是正相關還是負相關

* 大小 ：自變量對因變量影響的大小，即斜率b。

* 含義：統計結果究竟能否反映普遍真相

R2 用來衡量所有能夠用回歸方程表示的數據總和。其意義是有多少數據點是可以用該線性方程來表示的，剩下的點就是沒辦法在線性回歸方程上表示出來的。

* R2 為0時，表示回歸方程預測的目标值不比“平均值”好多少。

* R2 為1時，表示回歸方程可以完美預測樣本中每個數據的目标值。

中心極限定理告訴我們，一個正确抽取的大型樣本的平均值并不會特别偏離其所在群體的真實平均值。

标準誤差（又叫标準誤），對取自相同群體的多個樣本進行回歸分析所得出的回歸系數的離散程度。

對于大型樣本來說，正态分布是我們的好朋友，但是對小型樣本來說，就不是我們的好朋友了。小樣本情況我們稱為“t分布”，就是說t分布比正态分布更加分散，左右兩條“尾巴”的幅度更大。

通常我們使用的顯著性水平的檢驗的阈值是 5%。一個經驗法則，當回歸系數至少是标準誤差的2倍或以上時（即T統計量），該系數極有可能具備統計學意義。

如果x和y的相關性越大，那麼b就會越大，當b為0時，x和y沒有相關關系。

在有多個自變量的回歸，稱為 多元回歸分析或多變量複回歸分析。 每個自變量會有一個回歸系數。

當樣本量足夠大的時候，我們就可以隻抽出兩個變量，同時控制一個子分組内的其他變量都相同，此時多元線性回歸才比較有意義，如果樣本量過少的話，回歸越沒有意義，因為沒辦法控制其他變量條件相同。

假定值：在零假設成立的前提下，出現所觀察樣本結果以及更極端情況的概率。

T分布：指的是各種不同容量樣本的概率密度集體（家族）。

自由度：樣本中包含的數據越多，我們的自由度就越高，一個樣本容量為10，自變量為1的回歸分析中，自由度就是9. 自由度越高我們對該樣本能夠代表全體的信心就越高，其分布也會更加緊密（而不是離散），分布曲線更加接近正态分布的鐘形曲線，數據離散程度越高，巧合的情況就越容易出現，推翻零假設的信心就越不足。P239. 随着自由度的增加，t分布逐漸向正态分布靠攏。

T統計量：就是 回歸系數 與 該系數的标準誤差的比。

概率密度：概率指事件随機發生的機率，對于均勻分布函數，概率密度等于一段區間(事件的取值範圍)的概率除以該段區間的長度，它的值是非負的，可以很大也可以很小。

統計推斷的過程：先提出一個零假設，然後依據一些觀察數據來檢驗真僞，如果得到零假設的概率非常低（如5%），我們就推翻零假設。