3.6二維常態分佈

二維常態分怖

在機率及統計裡, 兩個變數以上之常態分佈很重要, 本節我們介紹二變數常態分佈。此分佈具有大部分多維常態分佈的特性, 不但是一很重要的多維常態分佈, 且二變數之相關係數, 亦為其聯合p.d.f.之一參數。先給一定義。

定義 1.設隨機向量為有參數 $\mu_1,\mu_2,\sigma_1,\sigma_2,\rho$ 之二變數常態分佈, 以 ${\cal N}(\mu_1,\mu_2,\sigma^2_1,\sigma^2_2,\rho)$ (或 $\mathcal{BVN}(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$ )表之, 其中 $\mu_1,\mu_2 \in R$ , $\sigma_1,\linebreak\sigma_2>0, -1<\rho<1$ , 若其聯合p.d.f.為

$\displaystyle f(x,y)=\frac{1}{2\pi \sigma_1\sigma_2\sqrt{1-\rho^2}}e^{-q/2},x,y\in R,$

(6.1)

其中

$\displaystyle q=\frac{1}{1-\rho^2}(\frac{(x-\mu _{1})^{2}}{\sigma _{1}^{2}}-2\r... ...2}}{\sigma _{2}}+\frac{(y-\mu _{2})^{2}}{\sigma _{2}^{2}})\raisebox{-1.2mm}{。}$

(6.2)

　　雖然上述p.d.f.看起來是如此不可親, 不過此為一極常出現之二變數的分佈。此分佈並有不少好的性質, 我們列出一些如下。

　　(i) 之邊際分佈, 分別為 ${\cal N}(\mu_1,\sigma_1^2),{\cal N}(\mu_2,\sigma_2^2)$ 。

　　(ii) $\rho(X,Y)=\rho$ 。

　　(iii) 對任二常數 $a,b\in R$ , 且 $a^2+b^2\neq 0$ , 有

　　　 ${\cal N}(a\mu_1+b\mu_2, a^2\sigma_1^2+b^2\sigma_2^2+2ab\rho\sigma_1\sigma_2)$ 分佈。

　　(iv) 與獨立, 若且唯若 $\rho=0$ 。

　　性質(iii)為二變數常態分佈之一特性。即只有二變數常態分佈才有性質(iii)。因此性質(iii)可刻劃二變數常態分佈。

　　性質(iv)的證明可藉助定理2.1。由於之聯合p.d.f.如(6.1)式, 可看出要能寫成的型式, 若且唯若 $\rho=0$ 。性質(iv)是比較特別的, 因 $\rho$ 為之相關係數, 而我們已數次強調, 二隨機變數之相關係數為0, 不表此二變數獨立。但對二變數之常態分佈, 其獨立與否, 就依 $\rho$ 是否為0而定。可見 $\rho$ 在此分佈中之重要角色。

　　底下我們來證明(6.1)式所定義之確為一p.d.f.。首先可改寫為

$\displaystyle f(x,y)$	$\textstyle =$	$\displaystyle \frac{1}{\sigma _{2}\sqrt{1-\rho ^{2}}\sqrt{2\pi }}e^{-\frac{1}{2... ...{2}(1-\rho ^{2})}(y-(\mu _{2}+\rho (\sigma _{2}/\sigma _{1})(x-\mu _{1})))^{2}}$	(6.3)
		$\displaystyle \qquad\quad\cdot \frac{1}{\sigma _{1}\sqrt{2\pi }}e^{-\frac{1}{2\sigma _{1}^{2}}(x-\mu _{1})^{2}}$
	$\textstyle =$	$\displaystyle A(x,y)B(x),$

這只要經過一些代數運算即可。可看出在給定之下, 為 ${\cal N}(\mu_2+\rho(\sigma_2/\sigma_1)(x-\mu_1),\sigma_2^2(1-\rho^2))$ 分佈之p.d.f., 而為 ${\cal N}(\mu_1,\sigma_1^2)$ 分佈之p.d.f.。即

$\begin{eqnarray*} \int_{-\infty}^\infty A(x,y)dy=\int_{-\infty}^\infty B(x)dx=1\raisebox{-1.2mm}{。} \end{eqnarray*}$

故

$\begin{eqnarray*} &&\int_{-\infty}^\infty\int_{-\infty}^\infty f(x,y)dydx\\ &&=... ...)dy)dx\\ &&=\int_{-\infty}^\infty B(x)dx=1\raisebox{-1.2mm}{。} \end{eqnarray*}$

得證為一p.d.f.。

　　在上述推導中, 因之邊際p.d.f.為

$\begin{eqnarray*} f_X(x)=\int_{-\infty}^\infty f(x,y)dy=B(x)\int_{-\infty}^\infty A(x,y)dy=B(x), \end{eqnarray*}$

故之邊際分佈為 ${\cal N}(\mu_1,\sigma_1^2)$ 。同理可得之邊際分佈為 ${\cal N}(\mu_2,\sigma_2^2)$ 。得證性質(i)。

　　由於 $Y\vert X=x$ 之p.d.f.為

$\begin{eqnarray*} f(y\vert x)=\frac{f(x,y)}{f_X(x)}=\frac{A(x,y)B(x)}{B(x)}=A(x,y)\raisebox{-1.2mm}{。} \end{eqnarray*}$

即得二變數常態分佈之另一性質:

　　(v) $Y\vert X=x$ 及 $X\vert Y=y$ 等二條件分佈, 皆仍為常態分佈, 且

$Y\vert X=x$ $\sim {\cal N}(\mu_2+\rho(\sigma_2/\sigma_1)(x-\mu_1),\sigma_2^2(1-\rho^2))$ , $X\vert Y=y\sim {\cal N}(\mu_1+\rho(\sigma_1/\sigma_2)(y-\mu_2),\sigma_1^2(1-\rho^2))$ 。

　　由性質(v)再度看出, 若與獨立, 則 $\rho$ 須為0。又

$\displaystyle E(Y\vert X=x)=\mu_2+\rho(\sigma_2/\sigma_1)(x-\mu_1),$	(6.4)
$\displaystyle \mbox{Var}(Y\vert X=x)=\sigma_2^2 (1-\rho^2)\raisebox{-1.2mm}{。}$	(6.5)

此二式可與定理5.5相對應。當然亦可寫出 $E(X\vert Y=y)$ 及 $\mbox{Var}(X\vert Y=y)$ 。注意此處條件變異數 $\mbox{Var}(Y\vert X=x)$ 與無關。由(6.5)式即得

$\begin{eqnarray*} E(\mbox{Var}(Y\vert X))=\mbox{Var}(Y\vert X=x)=\sigma^2_2(1-\rho^2)\raisebox{-1.2mm}{。} \end{eqnarray*}$

故(6.5)式較(5.23)式的結果還強。又在統計學裡, $E(Y\vert X=x)$ 有時稱為迴歸函數。而 $E(Y\vert X=x)$ 之圖形則稱為給定下之迴歸曲線。(6.4)式指出, 對二變數常態分佈, 有線性迴歸函數。

　　我們常以(6.4)式右側, 做為給定, 之預測值。當 $\sigma_1=\sigma_2$ , 且 $0<\rho<1$ , 則之預測值 $y=\mu_2+\rho(x-\mu_1)$ 滿足

$\begin{eqnarray*} && 0<y-\mu_2<x-\mu_1,\quad x>\mu_1,\\ && 0<\mu_2-y<\mu_1-x,\quad x<\mu_1\raisebox{-1.2mm}{。} \end{eqnarray*}$

即之預測值有向之期望值 $\mu_2$ 靠近之傾向。此現象稱為迴歸效應。第一次考試考較好的學生, 第二次考試成績較可能下降; 第一次考試考較差的學生, 第二次考試成績則較可能上升。不過原先成績較高的, 其預測值仍然較高。又只有當 $\rho=1$ 時, $y-\mu_2=x-\mu_1$ , 即與期望值之差距不會改變。

　　這並不是太奇怪的事。考試考得好, 除了實力外, 總是運氣也不錯, 下一次考試不見得又有這麼好的運氣, 因此成績下降之可能性較大。考試考差的情況則反過來。

　　上述討論是在正相關之下。至於若負相關( $\rho<0$ ), 則第一次考高分, 第二次考低分就反而是較可能發生了。又上述討論雖是在 $\sigma_1=\sigma_2$ 之下, 當 $0<\rho<1$ , 即使 $\sigma_1\neq \sigma_2$ , 仍有

$\begin{eqnarray*} && 0<\frac {y-\mu_2}{\sigma_2}<\frac {x-\mu_1}{\sigma_1},\quad... ..._2}<\frac {\mu_1-x}{\sigma_1},\quad x<\mu_1\raisebox{-1.2mm}{。} \end{eqnarray*}$

到底或, 何者較接近期望值, 考慮相對差距是較合理的。

　　由於 $\vert\rho\vert< 1$ , 除非 $\rho=0$ (此時與獨立), 否則

$\displaystyle \mbox{Var}(Y\vert X=x)\leq \mbox{Var}(Y),$

(6.6)

顯示知道之值後, 對提供了一些資訊。由於對了解較多, 因此使變異數 $\mbox{Var}(Y\vert X=x)$ 減小。又當 $\vert\rho\vert$ 接近時, 條件變異數 $\sigma_2^2(1-\rho^2)$ 接近0。此時條件分佈 $Y\vert X=x$ 集中在直線 $y=\mu_2+\rho(\sigma_2/\sigma_1)(x-\mu_1)$ 附近。此印證之前我們所說的, 當相關係數較接近或時, 與有較強的線性關係。

　　利用性質(v)及總機率法則, 可證明前述性質(ii):

$\begin{eqnarray*} E(XY)&=&E(E(XY\vert X))\\ &=&E(XE(Y\vert X))\\ &=&E(X(\mu_2+... ...mu_1^2(\sigma_2/\sigma_1)\\ &=&\mu_1\mu_2+\rho\sigma_1\sigma_2, \end{eqnarray*}$

故

$\begin{eqnarray*} \mbox{Cov}(X,Y)&=&E(XY)-\mu_1\mu_2\\ &=&(\mu_1\mu_2+\rho\sigm... ...ma_2)-\mu_1\mu_2\\ &=&\rho\sigma_1\sigma_2\raisebox{-1.2mm}{。} \end{eqnarray*}$

由此即得 $\rho(X,Y)=\rho$ 。

　　(vi) 之聯合特徵函數為

$\displaystyle \phi(s,t)=E(e^{isX+itY})$	(6.7)
$\displaystyle =\mbox{exp}\{i\mu_1 s+i\mu_2 t-(\sigma_1^2 s^2+\sigma_2^2 t^2+2\sigma_1 \sigma_2 \rho st)/2 \}, s,t\in R,$

動差母函數則為

$\displaystyle M(s,t) = E(e^{sX+tY})$	(6.8)

(6.7)式與(6.8)式等價。底下我們利用性質(v)來證明(6.8)式:

　　首先由總機率法則,

$\begin{eqnarray*} M(s,t) &=& E(e^{sX+tY})\\ &=& E(E(e^{sX+tY}\vert X))\\ &=& E(e^{sX}E(e^{tY}\vert X))\raisebox{-1.2mm}{。} \end{eqnarray*}$

而因 $Y\vert X=x\sim \mathcal{N}(\mu_2+\rho(\sigma_2/\sigma_1)(x-\mu_1), \sigma_2^2(1-\rho^2))$ , 利用第二章(3.25)式, 得

故

證畢。

　　由性質(vi)可得性質(ii): 之動差母函數為

$\begin{eqnarray*} && E(e^{t(aX+bY)})\\ && =E(e^{atX+btY})\\ && =\mbox{exp} \{ ... ...sigma_2^2+2ab\rho \sigma_1 \sigma_2)t^2/2\}\raisebox{-1.2mm}{。} \end{eqnarray*}$

與第二章(3.25)式比較, 即得 $aX+bY\sim \mathcal{N}(a\mu_1+b\mu_2, a^2\sigma_1^2+b^2 \sigma_2^2+2ab\rho \sigma_1 \sigma_2)$ 。

利用(6.8)式, 及二變數之聯合動差母函數可唯一決定其聯合分佈, 即得下述性質。此亦為性質(iii)之推廣。

　　(vii) 令, , 且 $a_1 b_2-a_2 b_1\neq 0$ , 則有 $\mathcal{N}(\eta_1,\eta_2,\tau_1^2,\tau_2^2,\gamma)$ 分佈, 其中

$\displaystyle \hspace*{0.26in}\eta_1=a_1\mu_1+b_1\mu_2,\quad \eta_2=a_2\mu_1+b_2\mu_2,$	(6.9)
$\displaystyle \hspace*{0.26in} \tau_1^2=a_1^2\sigma_1^2+b_1^2\sigma_2^2+2a_1b_1... ...a_2,\quad \tau_2^2=a_2^2\sigma_1^2+b_2^2\sigma_2^2+2a_2b_2\rho\sigma_1\sigma_2,$
$\displaystyle \hspace*{0.26in} \gamma=(a_1a_2\sigma_1^2+b_1b_2\sigma_2^2+(a_1b_2+a_2b_1)\rho\sigma_1\sigma_2)/(\tau_1\tau_2)\raisebox{-1.2mm}{。}$

由此也可看出與獨立, 若且唯若

$\displaystyle a_1a_2\sigma_1^2+b_1b_2\sigma_2^2+(a_1b_2+a_2b_1)\rho\sigma_1\sigma_2=0\raisebox{-1.2mm}{。}$

(6.10)

又若與獨立, 即 $\rho=0$ , 則上述 $\tau_1, \tau_2, \gamma$ 可簡化不少。

　　利用定理5.5, 此處檢驗 $\gamma$ 確如(6.9)式中所給。首先

$\begin{eqnarray*} && \mbox{Cov}(Z_1,Z_2)=\mbox{Cov}(a_1X+b_1Y, a_2X+b_2Y)\\ && ... ...gma_2^2+(a_1b_2+a_2b_1)\rho\sigma_1\sigma_2\raisebox{-1.2mm}{。} \end{eqnarray*}$

而

$\begin{eqnarray*} \rho(Z_1,Z_2)=\frac {\mbox{Cov}(Z_1,Z_2)}{\sqrt{\mbox{Var}(Z_... ...=\frac {\mbox{Cov}(Z_1,Z_2)}{\tau_1\tau_2}\raisebox{-1.2mm}{。} \end{eqnarray*}$

故 $\gamma=\rho(Z_1,Z_2)$ 確如(6.9)式中所給。

　　雖然二變數常態分佈, 其邊際分佈必皆亦為常態分佈, 但其逆不真。即若之邊際分佈皆有常態分佈, 並不一定導致有二變數常態分佈。當然此時這兩個變數必不獨立。原因是兩獨立的常態分佈, 其聯合p.d.f.為邊際p.d.f.之乘積, 故有(6.1)式的型式(且 $\rho=0$ )。

　　例如, 設隨機變數之聯合p.d.f.為

$\displaystyle f(x,y)=\frac{1}{2\pi}e^{-(x^2+y^2)/2}(1-\frac{xy}{(1+x^2)(1+y^2)}),x,y\in R\raisebox{-1.2mm}{。}$

(6.11)

則並無二變數常態分佈, 但可證明之邊際分佈皆為常態。由(6.11)式, 讀者不難寫出許多邊際分佈為常態, 但並非二變數常態分佈之聯合p.d.f.。

　　Anderson(1984)曾以幾何的方法給下述著名的例子。設有二變數常態分佈, 且期望值皆為0。在圖6.1中, 有四個正方形, A與D, C與B分別對稱於軸; A與C, D與B分別對稱於軸。將A中之機率移至C中, B中之機率移至D中, 則得到的兩個變數, 其邊際分佈仍分別與相同, 也就是皆有常態分佈。但之聯合分佈不為二變數常態分佈。

圖6.1 非二變數之常態分佈但邊際分佈為常態

另外, 一般而言, 若為二無相關之隨機變數, 且皆有常態分佈, 則與並不一定獨立。由性質(iv)知, 此時必非二變數之常態分佈。下例為Broffitt(1986)所給。

例 1. 設隨機變數有 ${\cal N}(0,1)$ 分佈, 與獨立, 且 , 又令。由

$\begin{eqnarray*} P(Y\leq y\vert Z=1) &=& P(ZX\leq y\vert Z=1)=P(X\leq y\vert Z=... ...\vert Z=-1)=P(-X\leq y\vert Z=-1)\\ &=& P(-X\leq y)=P(X\leq y), \end{eqnarray*}$

注意 $X\stackrel{d}{=}(-X)$ , 得

$\begin{eqnarray*} P(Y\leq y\vert Z=1)=P(Y\leq y\vert Z=-1), y\in R\raisebox{-1.2mm}{。} \end{eqnarray*}$

故與獨立。因此

$\begin{eqnarray*} P(Y\leq y)=P(Y\leq y\vert Z=1)=P(X\leq y) \ , \end{eqnarray*}$

即亦有 ${\cal N}(0,1)$ 分佈。現因 , 且

$\begin{eqnarray*} \mbox{Cov}(X,Y)=E(XY)-E(X)E(Y)=E(ZX^2)=E(Z)E(X^2)=0, \end{eqnarray*}$

故與無相關, 但明顯地與並不獨立。因此無二變數常態分佈, 雖然其邊際分佈皆為常態。

　　在一維的情況, 若 $X\sim \mathcal{N}(\mu,\sigma^2)$ , 令 $Z=(X-\mu)/\sigma$ , 則 $Z\sim \mathcal{N}(0,1)$ 。因此只需一個標準常態分佈之機率值表, 便能求出任一常態分佈之機率值。在二維的情況, 設 $(X,Y)\sim \mathcal{N}(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$ 。令 $Z_1=(X-\mu_1)/\sigma_1$ , $Z_2=(Y-\mu_2)/\sigma_2$ , 則 $(Z_1,Z_2)\sim \mathcal{N}(0,0,1,1,\rho)$ 。皆有標準常態分佈, 而之相關係數不變仍為 $\rho$ 。因此

$\begin{eqnarray*} F_{X,Y}(a,b) &=& P(X\leq a, Y\leq b)\\ &=& P(\frac {X-\mu_1}{... ...mu_1}{\sigma_1}, \frac {b-\mu_2}{\sigma_2})\raisebox{-1.2mm}{。} \end{eqnarray*}$

任一二變數常態之隨機變數, 經由

$\begin{eqnarray*} Z_1=\frac {X-\mu_1}{\sigma_1},\quad Z_2=\frac {Y-\mu_2}{\sigma_2} \end{eqnarray*}$

之變數代換, 可轉為標準二變數常態隨機變數。雖然只有一個一維的標準常態分佈, 卻有無限多個標準二變數常態分佈, 每一相關係數 $\rho$ 便有一個。所以二變數標準常態分佈之機率值表是較麻煩的, 因 $F_{Z_1,Z_2}(h,k)$ 有三個變數: $h,k,\rho$ 。本書並不給出這種表。但對有些特殊情況, 可以求出有關二變數之機率。見下二例。

例 2. 某地區男性的身高可以 $\mathcal{N}(170,7.2^2)$ 當做其分佈, 女性身高可以
$\mathcal{N}(165,5.4^2)$ 當做其分佈。男性與女性的身高假設為相互獨立。任選一男性及一女性。試求女性身高高於男性之機率。

例 3. 承上例。設 $\rho(X,Y)=0.6$ 。例如, 可表一家庭中男孩之身高, 表女孩之身高, 通常與不獨立。試求。

　　一般對二變數常態分佈, 若涉及的本質上只是一維的常態分佈, 如, 便可求出其機率值。例 3中所求即為關於一維變數之機率。

進一步閱讀資料：黃文璋 (2003) . 二維常態分佈。數理統計講義第三章。國立高雄大學應用數學系。