5.3其他統計量

其他統計量

　　上一節我們討論充分統計量, 這種統計量可說是包含樣本中所有關於參數 $\theta$ 之資訊。本節我們討論一些在統計推論中, 也相當有用的統計量。先給下述定義。

定義 1. 一統計量 $S(\mbox{\mathversion{bold}{$X$}})$ , 若其分佈與參數 $\theta$ 無關, 便稱為( $\theta$ 之)一輔助統計量。

　　表面上看來, 輔助統計量並未包含關於參數 $\theta$ 之資訊。但有時一輔助統計量與其他統計量結合後, 卻能包含一些對 $\theta$ 有用的資訊。先給一個例子。

例 1. 設 $X_1,\cdots,X_n$ 為一組由 $\mathcal{U}(\theta,\theta+1)$ 分佈所產生之隨機樣本, $-\infty<\theta<\infty$ 。令 $X_{(1)}<\cdots<X_{(n)}$ 表順序統計量。驗證全距統計量 $R=X_{(n)}-X_{(1)}$ 為一輔助統計量。

　　在上例中, 's 的分佈為位置族, 所以的分佈與 $\theta$ 無關是當然的。在此若一隨機變數之p.d.f.有 $f(x-\mu)$ 的形式, 其中為一p.d.f., $\mu$ 為一常數, 的分佈便稱屬於位置族, 而 $\mu$ 稱為位置參數。例如, 若有 $\mathcal{N}(\mu,1)$ 分佈, 則屬於位置參數為 $\mu$ 之位置族。若之p.d.f.為 $f(x)\linebreak =\lambda e^{-\lambda (x-\theta)}$ , $x>\theta$ , 亦為位置族, 位置參數為 $\theta$ 。通常以一分佈當源頭, 經變數平移的變換, 便得到一位置族分佈。如若有 $\mathcal{U}(0,1)$ 分佈, 令 $Y=X+\theta$ , $\theta>0$ , 便得 $\mathcal{U}(\theta,\theta+1)$ 分佈族。所謂“族”, 是指有一集合的分佈, 以某一參數為指標, 變動參數, 便得到不同的分佈。如 $\{ f(x-\mu), \mu\in R\}$ 即為一分佈族。

　　底下我們給一例 1之推廣。

例 2. 設 $X_1,\cdots,X_n$ 為一組由p.d.f. $f(x-\theta)$ 所產生之隨機樣本, $-\infty<x<\infty$ 。則 $R=X_{(n)}-X_{(1)}$ 為一輔助統計量。　

　　事實上, 對位置族分佈, 可給出無限多個輔助統計量。諸如, 及 $(X_4-X_1)(X_{(2)}-X_{(1)})$ 等, 皆為輔助統計量。

　　設為一p.d.f., 若之p.d.f.為 $(1/\sigma)f(x/\sigma)$ , $\sigma>0$ , 便稱屬於尺度族, 而 $\sigma$ 稱為尺度參數。尺度族分佈很多。如在 $\mathcal{N}(\mu,\sigma^2)$ 分佈中, $\sigma$ 為尺度參數; 在 $\Gamma(\alpha,\beta)$ 分佈中, $\beta$ 為尺度參數。尺度族分佈, 亦可以一分佈當源頭, 經尺度的變換而得所有分佈。如若有 $\mathcal{N}(0,1)$ 分佈, 令 $Y=\sigma X$ , $\sigma>0$ , 便得到一尺度族分佈。

例 3. 設 $X_1,\cdots,X_n$ 為一組由p.d.f. $f(x/\sigma)/\sigma$ , $\sigma>0$ , 所產生之隨機樣本。

則 $X_1/X_n, X_2/X_n,\cdots, X_{n-1}/X_n$ 為一輔助統計量。

　　舉一例來看: 設為i.i.d皆有 $\mathcal{N}(0,\sigma^2)$ 分佈, 由上述結果知,
之分佈與 $\sigma$ 無關。而當 $\sigma=1$ 時, 可證明有 $\mathcal{C}(0,1)$ 分佈, 故對 $\forall \sigma>0$ , 亦有 $\mathcal{C}(0,1)$ 分佈。

　　另外, 當然諸如 $X_{(1)}/X_{(2)}$ 也是輔助統計量。

　　我們知道最小充分統計量是最能達到資料減縮, 且仍能保有關於參數 $\theta$ 的所有資訊之統計量。亦即最小充分統計量會消除樣本中與 $\theta$ 無關的資訊, 也就是把不需要的資訊刪除(資料減縮), 而只留下與 $\theta$ 有關的資訊。因輔助統計量與 $\theta$ 無關, 所以我們可能會猜測, 最小充分統計量與輔助統計量會獨立。可惜此一猜測並不正確。事實上, 在例2.18中, 對由 $\mathcal{U}(\theta,\theta+1)$ 分佈所產生的隨機樣本 $X_1,\cdots,X_n$ , 我們已說明 $(X_{(n)}-X_{(1)}$ , $(X_{(n)}+X_{(1)})/2)$ 為 $\theta$ 之一最小充分統計量。又在例 1中, 我們曾驗證 $X_{(n)}-X_{(1)}$ 為 $\theta$ 之一輔助統計量。輔助統計量為最小充分統計量的一分量, 兩者當然不獨立。

　　雖然輔助統計量之分佈與參數 $\theta$ 無關, 但有時卻能對 $\theta$ 之推估, 提供重要的資訊。見下例。

例 4. 設為由 $\mathcal{D}$ - $\mathcal{U}[\theta,\theta+2]$ 分佈所產生之隨機樣本, 其中 $\theta$ 為一整數。則之聯合p.d.f.為

$\begin{eqnarray*} f(x_1,x_2\vert\theta) &=& \frac 19 I_{\{\theta\leq x_1,x_2\leq... ...=& \frac 19 I_{\{\theta\leq x_{(1)}\leq x_{(2)}\leq \theta+2\}}, \end{eqnarray*}$

其中 $x_{(1)}, x_{(2)}$ 為整數。可驗證 $(X_{(1)},X_{(2)})$ 為 $\theta$ 之最小充分統計量。因此 $(R,\linebreak V)$ 亦為最小充分統計量, 其中如前 $R=X_{(2)}-X_{(1)}$ , $V=(X_{(1)}+X_{(2)})/2$ 。
　　由於有位置族分佈, 由例 2知, 為一輔助統計量。

　　是一輔助統計量, 會如何對 $\theta$ 提供資訊呢? 假設有一樣本點, 其中為一整數。如果只知道, 則 $\theta$ 有三個可能的值: (因為整數, 所以不會有 $X_{(1)}=\theta, X_{(2)}=\theta+1$ , 或 $X_{(1)}=\theta+1, X_{(2)}=\theta+2$ )。若只知道, 則三者皆為 $\theta$ 之可能的值。現若加上知道, 則必定是 , 所以 $\theta=v-1$ 。故知道輔助統計量之值, 會增進對 $\theta$ 之了解。當然, 若只知輔助統計量之值, 對 $\theta$ 是無法提供任何資訊的。而即使只知之值, 仍對 $\theta$ 提供不少資訊( $\theta$ 只剩三個可能的值)。

　　至於若不為整數, 則, 其中為整數, 此時必有 $X_{(1)}=\theta$ , $X_{(2)}=\theta+1$ , 或 $X_{(1)}=\theta+1$ , $X_{(2)}=\theta+2$ , 且必定為1。故知道之值, 不會增進對 $\theta$ 之了解。

　　在不少常見的實例中, 我們直觀上所認定最小充分統計量與輔助統計量獨立的想法倒是對的。我們先需要下述定義。

定義 2.設 $T=T(\mbox{\mathversion{bold}{$X$}})$ 為一統計量, 之p.d.f.為 $f(t\vert\theta), \theta\in \Omega$ 。對一函數, 若 , 便導致 $P_{\theta}(g(T)=0)=1$ , $\forall \theta\in \Omega$ , 則稱為完備的, 或說為一完備統計量。此時也稱此分佈族為完備的。

　　在上述定義中, 寫 $E_{\theta}$ 、 $P_{\theta}$ 是為了強調期望值及機率值與 $\theta$ 有關, 有時會略去 $\theta$ 。須注意完備性是一分佈族的性質, 而非針對一特定的分佈。例如, 若有 $\mathcal{N}(0,1)$ 分佈, 取, 則 , 但 $P(g(X)\linebreak =0)=P(X=0)=0\neq 1$ 。不過此處只有一特定的分佈 $\mathcal{N}(0,1)$ , 而非有一分佈族。若有 $\mathcal{N}(\theta,1)$ 分佈, $-\infty<\theta<\infty$ , 稍後我們會看到的確為一完備統計量。所以分佈族 $\mathcal{N}(\theta,1)$ , $-\infty<\theta<\infty$ , 為完備的。又同一統計量對某一分佈族可能為完備統計量, 但對另一分佈族卻不為完備統計量。是否為完備統計量, 主要是看分佈族, 而不光是統計量本身。

例 5. 設有 $\mathcal{B}(n,\theta)$ 分佈, $0<\theta<1$ 。則為一完備統計量。　　

例 6. 設 $X_1,\cdots,X_n$ 為一組由 $\mathcal{P}(\theta)$ 分佈所產生之隨機樣本, $\theta>0$ 。 $T=T(\mbox{\mathversion{bold}{$X$}})=\sum_{i=1}^{n}X_i$ 為一完備統計量。　　

例 7. 設 $X_1,\cdots,X_n$ 為一組由 $\mathcal{U}(0,\theta)$ 分佈所產生之隨機樣本, $\theta>0$ 。則 $T=T(\mbox{\mathversion{bold}{$X$}})=X_{(n)}$ 為一完備統計量。　　

例 8. 設有 $\mathcal{H}(N,N\theta,n)$ 分佈, 為已知, $\theta\in \{ 0, 1/N, 2/N,\cdots,1 \}$ 。
當然為 $\theta$ 之一最小充分統計量。證明為完備統計量, 或者說此分佈族是完備的。

　　利用完備性, 底下我們給一最小充分統計量與每一輔助統計量獨立的條件。此即巴蘇定理, 為古典統計學中一優美的結果。此定理將充分性、 輔助統計量及獨立性等三個看起來似乎毫不相干的概念連接起來。

定理 1.設 $T(\mbox{\mathversion{bold}{$X$}})$ 為一完備充分統計量, 則 $T(\mbox{\mathversion{bold}{$X$}})$ 與每一輔助統計量獨立。

　　有些書會在巴蘇定理中, 要求為最小充分統計量。當然我們也看到在巴蘇定理的證明中, 並未用到充分統計量要為最小。事實上, 若最小充分統計量存在, 則一充分統計量, 只有當它是最小充分統計量時才是完備的。也就是在充分統計量中, 只有最小充分統計量才是完備的(見Lehmann(1983)p.46)。在定理的敘述中加進“最小”, 是為了提醒大家, 不是最小充分統計量就不用考慮了。

　　巴蘇定理可用來判別二統計量為獨立, 而不須求出其聯合分佈。欲使用此定理, 要先檢驗一統計量為完備, 有時這是分析學上一不容易的問題。幸好我們常考慮的分佈, 都是指數族。我們敘述一有用的結果如下, 證明則略去。

定理 2.設 $X_1,\cdots,X_n$ 為一組由個參數之指數族所產生之隨機樣本, 即設之共同p.d.f.如(2.7)式所給。又設 $C=(w_1(\theta),\cdots,w_{k}(\theta))$ 之值域, 即集合 $\{ w_1(\theta),\cdots,w_k(\theta), \theta\in \Omega\}$ 有一非空的內部(即包含一維開矩形)。則

$\begin{eqnarray*} T(\mbox{\mathversion{bold}{$X$}})=(\sum_{i=1}^{n}t_1(X_i),\cdots,\sum_{i=1}^{n}t_k(X_i)) \end{eqnarray*}$

為完備充分統計量。

例 9. 利用定理 2, 可得對諸如 $\{ \mathcal{B}(n,p),0<p<1 \}$ , $\{ \mathcal{P}(\lambda), \lambda>0 \}$ 分佈族, $\sum_{i=1}^{n} X_i$ 皆為完備充分統計量(分別見例 5及 6)。至於超幾何分佈及均勻分佈皆非指數族, 因此定理 2不適用。

　　對 $\{ \mathcal{N}(\mu,\sigma^2), \mu\in R, \sigma>0 \}$ 分佈族, 取 $w_1(\theta)=\mu/\sigma^2$ , $w_2(\theta)=-1/(2\sigma^2\linebreak )$ , , 而 $C=(w_1(\theta), w_2(\theta))$ 之值域為。由定理 2, 得 $(\sum_{i=1}^{n}X_i, \sum_{i=1}^{n} X_i^2)$ 為完備充分統計量, 因此等價統計量 $(\overline{X}_n, S_n^2)$ 亦為完備充分統計量。

　　對 $\mathcal{N}(\mu,\sigma^2)$ 分佈, 設 $\sigma^2$ 為已知, 令 $\theta=\mu$ 。此時只有 $w_1(\theta)=\mu/\sigma^2$ , , 而 $C=(w_1(\theta))$ 之值域為實數集合, 由定理　2, 得 $\sum_{i=1}^{n} X_i$ 為完備充分統計量。現設 $\mu$ 為已知, 令 $\theta=\sigma^2$ 。此時仍可取 $w_1(\theta)=\mu/\sigma^2$ , $w_2(\theta)=-1/(2\sigma^2)$ , , , 但因 $C=(w_1(\theta),w_2(\theta))=(\mu/\sigma^2, -1/(2\sigma^2))$ 之值域為中一過原點之直線, 並未包含一個二維的開矩形, 故定理 2不適用。也就是無法得到 $(\sum_{i=1}^{n}X_i, \sum_{i=1}^{n} X_i^2)$ 為完備充分統計量。

　　事實上, 若取 $g(x)=x-n\mu$ , 則因

故得 $\sum_{i=1}^{n} X_i$ 不為完備統計量。因此 $(\sum_{i=1}^{n}X_i, \sum_{i=1}^{n} X_i^2)$ 不為完備充分統計量。但不難看出此時 $\sum_{i=1}^{n} (X_i-\mu)^2$ 為完備充分統計量。

　　對同一統計量(如( $\sum_{i=1}^n X_i, \sum_{i=1}^n X_i^2$ )), 因參數的不同(( $\mu,\sigma^2$ )及 $\sigma^2$ ), 導致分佈族的不同, 有時為完備統計量, 有時則不是。此點應可理解。

　　最後對 $\{ \Gamma(\alpha,\beta), \alpha,\beta>0 \}$ 分佈族, $(\sum_{i=1}^{n} X_i, \sum_{i=1}^{n} \log X_i)$ , 或等價統計量 $(\sum_{i=1}^n X_i, \prod_{i=1}^n X_i)$ , 為完備充分統計量。而若 $\alpha$ 為已知, 令 $\theta=\beta$ , 則易見 $\sum_{i=1}^{n} X_i$ 為完備充分統計量; 若 $\beta$ 為已知, 令 $\theta=\alpha$ , 則 $\sum_{i=1}^{n}\log X_i$ , 或等價統計量 $\prod_{i=1}^n X_i$ , 為完備充分統計量。

例 10. 設 $X_1,\cdots,X_n$ 為一組隨機樣本。令 $\overline{X}_{n}=\sum_{i=1}^{n} X_i/n$ 及 $S_n^2=\linebreak\sum_{i=1}^n (X_i-\overline{X}_n)^2/(n-1)$ , 分別表其樣本平均及樣本變異數。我們已證明若's 之共同分佈為 $\mathcal{N}(\mu,\sigma^2)$ , 則 $\overline{X}_n$ 與獨立(見第四章定理3.1)。如何利用巴蘇定理, 證明此一統計學中重要的結果。

　　
例 11. 設 $X_1,\cdots,X_n$ 相互獨立, 且對 $\forall i=1,\cdots,n$ , 有 $\Gamma(\alpha_i,\beta)$ 分佈, $\alpha_i,\beta>0$ 。則下述隨機變數相互獨立:

　　我們看到適當地利用巴蘇定理, 可得此一通常以變數代換來證明的結果(見第三章定理3.1及例7.7)。附帶一提, 有 $\mathcal{B}e(\alpha_1,\alpha_2)$ 分佈, 有 $\mathcal{B}e(\alpha_1+\alpha_2,\alpha_3)$ 分佈, 餘類推。在上述證明中, 因與獨立, 故我們亦得與獨立, 此亦為第三章定理3.1所給之統計上一著名的結果。

　　底下我們再給一定理 2不適用之例。

例 12. 設 $X_1,\cdots,X_n$ 為一組由 $\mathcal{N}(\theta,\theta^2)$ 分佈所產生之隨機樣本, 其中 $\theta>0$ 。

令 $T=T(\mbox{\mathversion{bold}{$X$}})=(T_1,T_2)=(\sum_{i=1}^{n} X_i, \sum_{i=1}^{n} X_i^2)$ ,則為 $\theta$ 之一最小充分統計量,但是否為完備充分統計量呢?　　　

　　定理 1也可用來證明一統計量並非完備。

例 13. 設 $X_1,\cdots,X_n$ 為一組由 $\mathcal{U}(\theta-1/2, \theta+1/2)$ 分佈所產生之隨機樣本, $-\infty<\theta<\infty$ 。則 $T=T(\mbox{\mathversion{bold}{$X$}})=(X_{(1)},X_{(n)})$ 為 $\theta$ 之一最小充分統計量。但非完備的。　　

　　結束本節前, 我們請問各位: 既然有充分統計量, 那是否有“必要統計量”呢? 事實上是有的。根據Dynkin(1951), 我們有下述定義:

定義.一統計量若能寫成每一充分統計量之函數, 便稱為必要統計量。

比較此定義與最小充分統計量的定義, 立即得到下述有趣的定理:

定理.一統計量為最小充分統計量, 若且唯若它為充分且必要統計量。

進一步閱讀資料：黃文璋 (2003) . 其他統計量。數理統計講義第五章。國立高雄大學應用數學系。