4.1基本性質

基本性質

　　在上一章我們討論了多維隨機變數, 有一種特別的多維隨機變數, 是常用來當作機率模式的, 就是所謂隨機樣本 。我們先給一定義。
　　

定義 1.若隨機變數 $X_1, \cdots , X_n$ 為相互獨立, 且's 之邊際p.d.f.皆相同, 則稱 $X_1, \cdots , X_n$ 為一組從母體產生之樣本數為之隨機樣本。此時亦稱 $X_1, \cdots , X_n$ 為獨立且有共同分佈之隨機變數, 以為其共同p.d.f.。

　　在上述定義中, 常省略“樣本數為之”數字, 此因由 $X_1, \cdots , X_n$ 已顯示有個樣本。又p.d.f.可換成分佈函數 , 或明定那一分佈。如可以說 $X_1, \cdots , X_n$ 為一組 i.i.d.的隨機變數, 以 $\mathcal{N}(0,1)$ 為其共同分佈。諸如, $X_1, \cdots , X_n$ 為一組由 $\mathcal{P}(\lambda)$ 分佈所產生的隨機樣本, 也都是表示 $X_1, \cdots,\linebreak X_n$ 為i.i.d.的隨機變數, 以 $\mathcal{P}(\lambda)$ 分佈為其共同分佈。這些不太一樣的講法, 其實都是指同一回事。

　　另外, 在上述定義中, 我們提到母體。早期母體是指對與人有關的探討, 所得到的觀測值。今日則不論對動物、機器等, 只要是我們有興趣探討的事物, 皆可以母體稱之。例如, 若想探討猴子之壽命, 則母體可取為全世界的猴子。因此所謂母體就是觀測值之全體所成的集合。而一組樣本就是母體之一子集合, 母體中之一元素就是一個樣本。

　　由母體得到的一觀測值, 為一隨機變數(如上述猴子的壽命), 因此便伴隨著機率密度函數, 及分佈函數。由於我們是要做統計分析, 故雖原始的母體可能是猴子, 或飛機等, 但我們只關心一母體某一數值特性的機率結構, 或說機率模式。而i.i.d.隨機變數, 是一種特別、常見, 且好處理的樣本。這是定義 1產生的背景。

　　由定義 1, 當 $X_1, \cdots , X_n$ 為i.i.d., 以為其共同p.d.f., 則 $X_1, \cdots , X_n$
之聯合p.d.f.為

$\displaystyle f(x_1, \cdots ,x_n)=f(x_1) \cdots f(x_n) = \prod^n_{i=1} f(x_i)\raisebox{-1.2mm}{。}$

(1.1)

若屬於某一參數族, 即有 $f(x\vert\theta)$ 的型式, $\theta$ 屬於某一集合(在 2.1 節我們稱此時有一分佈族), 則 $X_1, \cdots , X_n$ 之聯合p.d.f.為

$\displaystyle f(x_1, \cdots ,x_n\vert\theta) = \prod^n_{i=1} f(x_i\vert\theta) \raisebox{-1.2mm}{。}$

(1.2)

有時在做某一統計的探討時, 由過去的經驗, 或由一些合理的假設, 我們知道 $f(x\vert\theta)$ 的型式, 但參數 $\theta$ 未知, 則 $X_1, \cdots , X_n$ 之聯合p.d.f.便有(1.2)式所給的的型式, 只是 $\theta$ 未知。

例 1. 設 $X_1, \cdots , X_n$ 為一組由 $\mathcal{E}(\lambda)$ 分佈所產生之隨機樣本。 $X_1, \cdots , X_n$ 代表某房間內個燈泡的壽命 (單位可取為月)。求兩個月內燈泡皆不壞的機率。　

　　是否存在不是隨機樣本的樣本呢? 答案是肯定的。

　　自一有張紙牌 (分別寫數字 1至)的袋子中隨機地取紙牌, 每次取一張, 每次取出後放回, 令 $X_1, \cdots , X_n$ 表取次後所得之結果。則顯然此為一組隨機樣本, 以 $\mathcal{D}$ - $\mathcal{U}(1,N)$ 為共同的分佈, p.d.f.為

(1.3)

但若每次取出後不放回, 則所得之樣本 $Y_1, \cdots ,Y_n$ 就不是i.i.d.了, 因此非隨機樣本。雖然 $Y_1, \cdots ,Y_n$ 之邊際分佈仍相同, 還是 $\mathcal{D}$ - $\mathcal{U}(1,N)$ , 但 $Y_1, \cdots ,Y_n$ 並不獨立。事實上可看出

$\displaystyle P(Y_2=y\vert Y_1=x)$	$\textstyle =$	$\displaystyle \left \{ \begin{array}{ll} \frac 1{N-1} & ,y \neq x, \\ 0 & ,y=x, \end{array}\right.$	(1.4)
	$\textstyle \neq$	$\displaystyle P(Y_2=y)=\frac 1N, y=1,\cdots ,N \raisebox{-1.2mm}{。}$

又對上述每次取出後不放回的模式, 樣本數不能超過。但對每次取出後放回的模式, 樣本數可以任意大。前者母體數為有限, 後者母體數為無限。

　　自一有限的母體取樣, 每次取出後不放回, 稱為簡單隨機取樣。這種取樣方式, 在2.2.5節介紹超幾何分佈時, 我們便已引進。諸如民意調查, 便常以簡單隨機取樣的方式, 自母體(如某市的選民)中, 抽出要訪問的對象。要注意的是, 這種樣本不是如定義 1所描述的隨機樣本。在實際情況中, 若母體數比樣本數大很多, 則 $X_1, \cdots , X_n$ 便近似於獨立, 亦即若視 $X_1, \cdots , X_n$ 為獨立, 所產生的誤差並不會太大(可參考第三章例 7.12)。

例 2. 設母體為 $\{1,2,\cdots,1,\!000 \}$ ,即母體數 $N=1,\!000$ 。隨機地取出10個樣本, 每次取出後不放回。則所得之樣本 $X_1, \cdots ,X_{10}$ 皆大於 200之機率為何?

　　此後, 我們凡是提到隨機樣本, 除非特別聲明, 否則均指符合定義 1的條件, 即樣本為i.i.d.。

　　取得隨機樣本後, 我們便要將樣本加以整理及分析, 這是我們下一章起要討論的。如1.3節所述, 在數學裡我們喜歡 (或習慣) 處理函數。諸如隨機變數、分佈函數、變數代換等, 都是與函數有關的內容。有一些與樣本有關的函數我們特別有興趣。如樣本平均 (或說樣本平均數), 其定義為

及樣本變異數, 其定義為

$\begin{displaymath}S^2_n = \frac 1{n-1} \sum^n_{i=1} (X_i-\overline{X}_n)^2 \raisebox{-1.2mm}{。} \end{displaymath}$

至於樣本標準差則為 $S_n = \sqrt{S^2_n}$ 。

　　有些統計學家喜愛以樣本變異係數 $S_n/\overline{X}_n$ 來量測散佈情況。為什麼標準差要除以樣本平均呢? 可以這樣想, 若考試平均成績為80分, 則標準差5分便不算太大; 但若平均成績為8分, 則標準差5分就算很大了。所以用 $S_n/\overline{X}_n$ 來度量散佈的大小似乎是合理的。當然這是對取正值隨機變數的解釋。若隨機變數可取正值及負值, 則 $\overline{X}_n$ 有可能為0(或很接近0), 此時 $S_n/\overline{X}_n$ 就不易解釋了。

　　如果樣本數很清楚, 在不會混淆下, 有時可寫成、及。又大家是否注意到, 既然是函數, 是否應寫成 $\overline{X}_n (X_1, \cdots ,X_n)$ , 及 $S^2_n(X_1, \cdots ,X_n)$
才較清楚? 習慣上我們省略掉 $(X_1, \cdots ,X_n)$ 而只簡單地以 $\overline{X}_n, S^2_n$ 表示。又如同以小寫的表示隨機變數之觀測值, 通常也以小寫的 $\overline{x}_n, s^2_n$ , 分別表 $\overline{X}_n$ 及之觀測值。只是有時並不特別區分。例如, 可寫“得到 $\overline{X}_n=3.2$ ”。

　　樣本平均就是隨機樣本的算術平均, 因此大家可能較清楚。樣本變異數是度量樣本的變異, 分別將樣本減去樣本平均, 平方後相加, 那為什麼不除以呢 (相對於離散型分佈的變異數, 由於 $X_1, \cdots , X_n$ 可視為有相同的可能性發生, 所以每一發生的機率應皆相同, 因此 $(X_i-\overline{X}_n)^2$ 似應各除以再相加)? 這點我們稍後再說明。我們先導出一些關於樣本平均及樣本變異數之性質。

定理 1.對 $x_1, \cdots ,x_n \in R$ , 令 $\overline{x}_n = \sum^n_{i=1} x_i/n, \, s^2_n=\sum^n_{i=1} (x_i-\overline{x}_n)^2/(n-1)$ 。則

(i) $\min_a \sum^n_{i=1} (x_i-a)^2 = \sum^n_{i=1} (x_i-\overline{x}_n)^2$ ;

(ii) $(n-1)s^2_n = \sum^n_{i=1} (x_i-\overline{x}_n)^2 = \sum^n_{i=1} x_i^2-n \overline{x}_n^2$ 。

　　上述定理之(ii)不論在理論或計算上都很有用。有時表示成 $\sum^n_{i=1} x_i^2-n \overline{x}_n^2$ 後, 對求較容易。

　　隨機樣本由於是i.i.d.的隨機變數, 所以期望值及變異數都有簡潔的表示法。
　

定理 2.設 $X_1, \cdots , X_n$ 為一組隨機樣本, 函數滿足及 $\mbox{Var} \linebreak (g(X))$ 皆存在。則

(i) $E(\sum^n_{i=1} g(X_i))=n E(g(X))$ ;

(ii) $\mbox{Var}(\sum^n_{i=1} g(X_i))=n \mbox{Var} (g(X))$ 。

特別地, 若取, 則得

(iii) $E(\sum_{i=1}^n X_i)=nE(X)$ ;

(iv) $\mbox{Var}(\sum_{i=1}^n X_i)=n\mbox{Var}(X)$ 。

　　下述定理為定理 2之應用。
　　

定理 3.設 $X_1, \cdots , X_n$ 為一組隨機樣本, 且 $E(X)=\mu, \mbox{Var} (X)=\sigma^2$ 皆存在。則

(i) $E (\overline{X}_n)=\mu$ ;

(ii) $\mbox{Var} (\overline{X}_n)=\sigma^2/n$ ;

(iii) $E (S^2_n)=\sigma^2$ 。

　　底下為定理 3之一立即的推論。

系理 1.承定理 3。令

$\displaystyle Z_n=\frac {\overline{X}_n-\mu}{\sigma/\sqrt{n}}\raisebox{-1.2mm}{。}$

(1.5)

則, $\mbox{Var}(Z_n)=1$ 。

　　在上述二定理中, 如同一般的習慣, 我們常以代表一組隨機樣本 $X_1, \cdots , X_n$ 中的某一個。

　　樣本平均的期望值等於母體的期望值, 這符合我們的直觀, 也是我們之所以偏好樣本平均的原因。樣本平均的變異數則隨著樣本數之增加而漸減。至於樣本變異數, 如前所述, 初見之下除以可能不是那麼有道理。現在我們知道了, 若照一般求平均的習慣而除以, 則便不等於 $\sigma^2$ 。

　　樣本平均由於是i.i.d.隨機變數的平均, 所以它有一些好的性質。如 $\overline{X}_n$ 之動差母函數與的動差母函數有下述關係:

$\displaystyle M_{\overline{X}_n} (t)$	$\textstyle =$	$\displaystyle E(e^{t \overline{X}_n})= E(e^{t(X_1+\cdots +X_n)/n})$	(1.6)
	$\textstyle =$

例 3. (i) 設 $X_1, \cdots , X_n$ 為由 $\mathcal{N}(\mu,\sigma^2)$ 分佈所產生之隨機樣本。求 $\overline{X}_n$ 之動差母函數。

(ii) 設 $X_1, \cdots , X_n$ 為由 $\Gamma (\alpha, \beta)$ 分佈所產生之隨機樣本。求 $\overline{X}_n$ 之動差母函數、期望值及變異數。　　

　　對二獨立的隨機變數, 如果其動差母函數 (或母函數等轉換), 並無簡單的型式, 則仍可以變數代換的方法, 求和之分佈。如此便引出底下之褶積公式。

　　若皆為取整數值之隨機變數, 則亦然。且對每一整數,

$\displaystyle f_Z(z)$	$\textstyle =$	$\displaystyle P(Z=z)$	(1.7)
	$\textstyle =$	$\displaystyle \sum^{\infty}_{x=-\infty} P(X=x, Y=z-x)$
	$\textstyle =$	$\displaystyle \sum^{\infty}_{x=-\infty} P(X=x) P(Y=z-x)$
	$\textstyle =$	$\displaystyle \sum^{\infty}_{x=-\infty} f_X(x) f_Y(z-x)\raisebox{-1.2mm}{。}$

上式最後一個和, 便稱為與之褶積。故之p.d.f.為之p.d.f.的褶積。注意亦可寫成

(1.8)

例 4. 設與獨立, 且分別有 $\mathcal{B}(n,p)$ 及 $\mathcal{B}(m,p)$ 分佈。則和之分佈為何？

　　若皆為連續型的隨機變數, 則之p.d.f.為

$\displaystyle f_Z(z)$	$\textstyle =$	$\displaystyle \int^{\infty}_{-\infty} f_X(x) f_Y(z-x) dx$	(1.9)
	$\textstyle =$	$\displaystyle \int^{\infty}_{-\infty} f_X(z-y) f_Y(y) dy, z \in R \raisebox{-1.2mm}{。}$

上述積分亦稱為及之褶積。至於之分佈函數則為

$\displaystyle F_Z(z)$	$\textstyle =$	$\displaystyle P(X+Y \leq z)$	(1.10)
	$\textstyle =$	$\displaystyle \int^{\infty}_{-\infty} f_X(x) F_Y(z-x) dx$
	$\textstyle =$	$\displaystyle \int^{\infty}_{-\infty} f_Y(y) F_X(z-y) dy, z \in R \raisebox{-1.2mm}{。}$

若皆為取正值之隨機變數, 則

$\displaystyle f_Z(z)$	$\textstyle =$	$\displaystyle \int^z_0 f_X(x) f_Y(z-x) dx$	(1.11)
	$\textstyle =$	$\displaystyle \int^z_0 f_X(z-y) f_Y(y) dy, z \in R,$

且

$\displaystyle F_Z(z)$	$\textstyle =$	$\displaystyle \int^z_0 f_X(x) F_Y(z-x)dx$	(1.12)
	$\textstyle =$	$\displaystyle \int^z_0 f_Y(y) F_X(z-y)dy, z \in R\raisebox{-1.2mm}{。}$

　　一般而言, 若以及分別表隨機變數及之分佈函數, 則之分佈函數可寫成, 稱為與之褶積。又以表, 以表 $F*F_{n-1}, n \geq 2$ 。稱為與其自身之層褶積。即為個i.i.d.隨機變數, 以為其共同分佈函數, 其和之分佈函數。至於p.d.f.亦有褶積符號。例如,。

例 5. 設為獨立的隨機變數, 皆有 $\mathcal{E}(\lambda)$ 分佈。則和之分佈為何？

　　我們再來介紹幾個定義。首先對兩組隨機樣本 $X_1, \cdots , X_n$ 及 $Y_1, \cdots ,Y_n$ , 令

$\begin{eqnarray*} && S_{XY}=\frac {1}{n-1} \sum_{i=1}^n (X_i-\overline{X})(Y_i-\... ...X_i-\overline{X}))^2(\sum_{i=1}^n (Y_i-\overline{Y})^2))^{1/2}}, \end{eqnarray*}$

分別表其樣本共變異數及樣本相關係數, 後者亦可稱為樣本相關, 其中及分別為 $X_1, \cdots , X_n$ 及 $Y_1, \cdots ,Y_n$ 之樣本標準差。可看出 $X_1, \cdots,\linebreak X_n$ 與 $X_1, \cdots , X_n$ 之樣本共變異數, 即為 $X_1, \cdots , X_n$ 之樣本變異數。 $S_{XY}$ 及
$R_{XY}$ 之定義, 可分別與隨機變數與之共變異數及相關係數對照。

　　最後我們要指出, 一般而言, 在簡單隨機取樣裡(即取出後不放回), 對應的樣本平均之期望值及變異數, 與隨機取樣裡是不同的。我們以下例來說明。

例 6. 自整數 $1,\cdots,N$ 中, 簡單隨機取樣個數, $n\leq N$ 。設依序取出 $X_1,\linebreak\cdots,X_n$ 。令 $\overline{X}_n=(X_1+\cdots+X_n)/n$ 。設試證

(i) $X_1, \cdots , X_n$ 之邊際分佈皆為 $\mathcal{D}$ - $\mathcal{U}(1,N)$ ,

(ii) $\displaystyle E(X)=\frac {N+1}{2},\quad \mbox{Var}(X)=\frac {N^2-1}{12}$ ,

$\begin{eqnarray*} \hspace*{0.26in}\hspace*{0.26in}E(\overline{X}_n)=\frac {N+1}{... ...}{12n}=\frac {N-n}{N-1}\frac {\sigma^2}{n}\raisebox{-1.2mm}{。} \end{eqnarray*}$

　　如果是隨機取樣, 則 $E(\overline{X}_n)=(N+1)/2$ , 而 $\mbox{Var} (\overline{X}_n)=\sigma^2/n$ 。故取出後放回與取出後不放回, 樣本平均不變, 但後者之樣本變異數較小, 為前者之倍。減小是合理的, 這點留給讀者自行討論。

　　一般民調裡的取樣, 往往屬於取出後不放回。但若與相比很大, 則很接近1, 此時 $\mbox{Var}(\overline{X}_n)$ 近似於取出後放回的 $\overline{X}_n$ 之變異數 $\sigma^2/n$ 。
　　　　

進一步閱讀資料：黃文璋 (2003) . 基本性質。數理統計講義第四章。國立高雄大學應用數學系。