條件分佈及獨立性

當觀測兩個隨機變數$X$與$Y$時, 兩個變數有時並非不相干。例如, 令$X$表某位學生第一次考試的成績, $Y$表第二次考試的成績。 如果知道$X=100$, 則$Y=0$的機率應是很低的。 又如身高$(X)$與體重$(Y)$, 如果知道$X=180$(公分), 則$Y \geq 60$(公斤)的機率, 應比$X=140$(公分)時, $Y \geq 60$(公斤)的機率高。上述這些例子顯示, 有時知道$X$的值, 是會提供一些關於$Y$的資訊。

設$(X,Y)$為離散型的隨機向量, 因$\{X=x\}$及$\{Y=y\}$為二事件, 故可以第一章(定義2.1)事件之條件機率的定義, 來定義條件機率$P(Y=y\vert X=x)$。即只要$P(X=x)>0$, 則

$$P(Y=y\vert X=x)=\frac{P(Y=y,X=x)}{P(X=x)}\raisebox{-1.2mm}{。}$$ (1.1)

上式也可以p.d.f.表示, 我們給一定義如下。

定義1.1 設$(X,Y)$為離散型的隨機向量, 以$f(x,y)$為聯合p.d.f., $f_X(x)$, $f_Y(y)$為邊際p.d.f.。對任意$x$, 只要$f_X(x)>0$, 在給定$X=x$之下, $Y$之條件p.d.f.$f(y\vert x)$為

$$f(y\vert x)=P(Y=y\vert X=x)=\frac{f(x,y)}{f_X(x)}\raisebox{-1.2mm}{。}$$ (1.2)

對任意$y$, 只要$f_Y(y)>0$, 在給定$Y=y$之下, $X$之條件p.d.f.$f(x\vert y)$為

$$f(x\vert y)=P(X=x\vert Y=y)=\frac{f(x,y)}{f_Y(y)}\raisebox{-1.2mm}{。}$$ (1.3)

    

有時為了清楚隨機變數為何, 且避免混淆, 我們會以$f_{Y\vert X}(y\vert x)$表在給定$X=x$之下, $Y$的條件p.d.f.。 也常簡單地以$Y\vert X$之分佈, 或$Y\vert X$之p.d.f., 分別表條件分佈及條件p.d.f.。另外, 既然$f(y\vert x)$被稱為一條件`` p.d.f.'', 它必須滿足p.d.f.的要求。這當然沒問題。首先, 因 $f_X(x)>0,f(x,y) \geq 0$, 故$f(y\vert x) \geq 0$。其次

$$\begin{eqnarray*} \sum_y f(y\vert x)=\sum_y \frac {f(x,y)}{f_X(x)}=\frac{\sum_y f(x,y)}{f_X(x)}=\frac{f_X(x)}{f_X(x)}=1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

故$f(y\vert x)$的確是一p.d.f.。

例1.1 設$(X,Y)$之聯合p.d.f.如下:

$y\setminus x$	1	2	$f_Y(y)$
1	$\frac{1}{8}$	$\frac{1}{4}$	$\frac{3}{8}$
2	$\frac{9}{16}$	$\frac{1}{16}$	$\frac{5}{8}$
$f_X(x)$	$\frac{11}{16}$	$\frac{5}{16}$	1

我們也求出邊際p.d.f.$f_X(x)$及$f_Y(y)$, 一併填入上表。則

$$\begin{eqnarray*} f_{Y\vert X}(1\vert 1)&=&\frac{f(1,1)}{f_X(1)}=\frac{1/8}{11/1... ...2,2)}{f_X(2)}=\frac{1/16}{5/16}=\frac{1}{5}\raisebox{-1.2mm}{。} \end{eqnarray*}$$

至於$f_{X\vert Y}(x\vert y)$留給各位自行求出。可看出

$$\begin{eqnarray*} \sum_y f_{Y\vert X}(y\vert 1)&=&f_{Y\vert X}(1\vert 1)+f_{Y\ve... ...vert X}(2\vert 2)=\frac{4}{5}+\frac{1}{5}=1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

但

$$\begin{eqnarray*} \sum_x f_{Y\vert X}(1\vert x)&=&f_{Y\vert X}(1\vert 1)+f_{Y\ve... ...}(2\vert 2)=\frac{9}{11}+\frac{1}{5} \neq 1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

    

上例顯示, 雖 $\sum_y f_{Y\vert X}(y\vert x)=1$, 但 $\sum_x f_{Y\vert X}(y\vert x)$卻不一定等於$1$, 其中原因應不難想通。

利用條件p.d.f.可求出各種條件機率。例如,

$$P(Y \leq y\vert X=x)=\sum_{v \leq y}f_{Y\vert X}(v\vert x)\raisebox{-1.2mm}{。}$$ (1.4)

若$(X,Y)$為連續型的隨機向量, 則 $P(X=x)=0,\forall x \in R$, 因此無法利用事件的機率來定義給定$X=x$之下, $Y$的條件機率, 不過經由機率理論的推導, 參照離散型隨機變數的情況, 我們給出下述定義。

定義1.2 設$(X,Y)$為連續型的隨機向量, 以$f(x,y)$為聯合p.d.f., $f_X(x)$,
$f_Y(y)$為邊際p.d.f.。對任意$x$, 只要$f_X(x)>0$, 在給定$X=x$之下, $Y$之條件p.d.f.為

$$f(y\vert x)=\frac{f(x,y)}{f_X(x)}\raisebox{-1.2mm}{。}$$ (1.5)

對任意$y$, 只要$f_Y(y)>0$, 在給定$Y=y$之下, $X$之條件p.d.f.為

$$f(x\vert y)=\frac{f(x,y)}{f_Y(y)}\raisebox{-1.2mm}{。}$$ (1.6)

    

如同離散型的情況, 亦可證明$f(y\vert x)$及$f(x\vert y)$皆確為p.d.f.。

例1.2 承例1.3。可求出

$$\begin{eqnarray*} f(y\vert x)&=&\frac{f(x,y)}{f_X(x)}=\frac{24xy}{12x(1-x)^2} \\... ...c{2y}{(1-x)^2}, 0 \leq y \leq 1-x, 0< x < 1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

同理

$$\begin{eqnarray*} f(x\vert y)=\frac{2x}{(1-y)^2}, 0 \leq x \leq 1-y, 0 < y < 1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

注意因 $f_X(0)=f_Y(0)=0$, 且 $f_X(1)=f_Y(1)=0$, 故在$f(y\vert x)$中, $x \neq 0, 1$, 在$f(x\vert y)$中, $y \neq 0,1$。又可驗證$f(y\vert x)$及 $f(x\vert y)$都確為p.d.f.。即

$$\begin{eqnarray*} \int_0^{1-x}\frac{2y}{(1-x)^2}dy=\int_0^{1-y}\frac{2x}{(1-y)^2}dx=1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

又 $P(Y \leq 1/2\vert x)$是否等於

$$\begin{eqnarray*} \int_0^{1/2}f(y\vert x)dy=\int_0^{1/2}\frac{2y}{(1-x)^2}dy=\frac{1}{4(1-x)^2}? \end{eqnarray*}$$

要注意的是$y$的範圍要滿足 $0 \leq y \leq 1-x$, 而$1/2$不一定小於$1-x$。正確的答案為(參考附圖)

$$\begin{eqnarray*} P(Y \leq \frac{1}{2}\vert x)&=&\int_0^{\mbox{min}(1/2,1-x)}f(y... ...&, \frac{1}{2} < x < 1\raisebox{-1.2mm}{。} \end{array} \right. \end{eqnarray*}$$

figure=3x.eps, height=4cm

    

條件p.d.f.亦可用來求條件期望值。對一函數$g$, 在給定$X=x$之下, $g(Y)$之條件期望值, 以$E(g(Y)\vert x)$表之, 定義為

$$E(g(Y)\vert x)=\left\{ \begin{array}{ll} \sum_yg(y)f(y\vert x) & ... ...nfty}g(y)f(y\vert x)dy &, \mbox{連續型}\raisebox{-1.2mm}{。} \end{array}\right.$$ (1.7)

條件期望值仍具有第一章定理6.1所列出的一般的期望值之特性。 譬如說, 由於$E(Y\vert x)$為一$x$的函數, 故當給定$X=x$, $E(Y\vert x)$便非隨機了。因此(利用第一章(6.5)及(6.6)式)

$$E(E(Y\vert x)\vert x)=E(Y\vert x),$$ (1.8)

$$E(YE(Y\vert x)\vert x)=E(Y\vert x)\cdot E(Y\vert x)=(E(Y\vert x))^2\raisebox{-1.2mm}{。}$$ (1.9)

又在誤差的平方之期望值最小下, $E(Y\vert X)$為在知道$X$之下, $Y$之最佳預測值。這是第一章定理6.2之推廣, 我們留在習題中讓各位自行完成。

例1.3 承例2.1。則

$$\begin{eqnarray*} E(Y\vert X=1)&=&\sum_y yf(y\vert 1)=1\cdot\frac{2}{11}+2\cdot\... ...ot\frac{4}{5}+2\cdot\frac{1}{5}=\frac{6}{5}\raisebox{-1.2mm}{。} \end{eqnarray*}$$

    

例1.4 承例2.2。

$$\begin{eqnarray*} E(Y\vert X=x)&=&\int_0^{1-x}yf(y\vert x)dy \\ &=&\int_0^{1-x}... ...3(1-x)^2} \\ &=&\frac{2}{3}(1-x), 0 <x < 1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

又

$$\begin{eqnarray*} &&E(Y^2\vert X=x)\\ &&=\int_0^{1-x}y^2\frac{2y}{(1-x)^2}dy \\... ...frac{1}{2}(1-x)^4=\frac{1}{2}(1-x)^2, 0<x<1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

因此     

$$\begin{eqnarray*} &&E(2Y^2+3Y\vert X=x)\\ &&=2E(Y^2\vert X=x)+3E(Y\vert X=x) \\ &&=(1-x)^2+2(1-x)=(1-x)(3-x), 0<x<1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

    

在給定$X=x$之下, 除了可求條件期望值$E(Y\vert X=x)$, 亦可求條件變異數 $\mbox{Var}(Y\vert X=x)$, 或以 $\mbox{Var}(Y\vert x)$表之, 其定義為

$$\mbox{Var}(Y\vert x)=E((Y-E(Y\vert x))^2\vert x)\raisebox{-1.2mm}{。}$$ (1.10)

以上式來定義條件變異數是有道理的。 變異數是量測一變數(此處為$Y$)與其期望值(此處為$E(Y\vert x)$)之離差平方(此處為$(Y-E(Y\vert x))^2$)的期望值(此處為給定$X=x$之下的期望值), 故得(2.10)式。由(2.10)式立即導致(證明留在習題第3題)

$$\mbox{Var}(Y\vert x)=E(Y^2\vert x)-(E(Y\vert x))^2\raisebox{-1.2mm}{。}$$ (1.11)

    

例1.5 承例1.3, 2.2, 及2.4。可得

$$\begin{eqnarray*} \mbox{Var}(Y\vert x)&=&E(Y^2\vert x)-(E(Y\vert x))^2 \\ &=&\f... ...-x)^2 \\ &=&\frac{1}{18}(1-x)^2, 0 < x < 1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

變異數與$x$有關。當 $x\rightarrow 1$時, 變異數$\rightarrow 0$, 這是合理的, 由例1.3中的圖形可看出, 當 $x\rightarrow 1$時, $y\rightarrow 0$, 變異愈來愈小, 變異數自然也愈來愈小。 甚至因$x$愈大時, $y$的活動範圍愈小( $0 \leq y \leq 1-x$), 變異也就愈小。 事實上, 我們所求出的 $\mbox{Var}(Y\vert x)$在$0 < x < 1$間, 的確為$x$的漸減函數。

例1.6 設$X,Y$之聯合p.d.f.為

$$\begin{eqnarray*} f(x,y)=\frac {1}{64}(x+y), 0\leq x,y\leq 4\raisebox{-1.2mm}{。} \end{eqnarray*}$$

試求(i) $f_X(x)$, (ii) $f(y\vert x)$, (iii) $E(Y\vert x)$, 及(iv) $\mbox{Var}(Y\vert x)$, $0\leq x\leq 4$。
解.(i) 依定義, 即得     

$$\begin{eqnarray*} f_X(x)=\int_0^4 \frac {1}{64}(x+y)dy=\frac {1}{16}x+\frac 18, 0\leq x\leq 4\raisebox{-1.2mm}{。} \end{eqnarray*}$$

(ii) 利用(i)得

$$\begin{eqnarray*} f(y\vert x)=\frac {f(x,y)}{f_X(x)}=\frac {(x+y)/64}{x/16+1/8}=... ...c {x+y}{4x+8}, 0\leq y\leq 4, 0\leq x\leq 4\raisebox{-1.2mm}{。} \end{eqnarray*}$$

(iii) 利用(ii)得

$$\begin{eqnarray*} E(Y\vert x) &=& \int_0^4 y\cdot f(y\vert x) dy\\ &=& \int_0^4... ...3}{4x+8}=\frac {6x+16}{3x+6}, 0\leq x\leq 4\raisebox{-1.2mm}{。} \end{eqnarray*}$$

(iv) 先求出

$$\begin{eqnarray*} E(Y^2\vert x) &=& \int_0^4 y^2\cdot f(y\vert x)dx\\ &=& \int_... ... &=& \frac {64x/3+64}{4x+8}=\frac {16x+48}{3x+6}, 0\leq x\leq 4, \end{eqnarray*}$$

因此

$$\begin{eqnarray*} \mbox{Var}(Y\vert x) &=& E(Y^2\vert x)-(E(Y\vert x))^2\\ &=& ... ...rac {12x^2+48x+32}{(3x+6)^2}, 0\leq x\leq 4\raisebox{-1.2mm}{。} \end{eqnarray*}$$

    

例1.7 設$(X,Y)$在$xy$平面上, 以$(0,0)$, $(8,0)$及$(0,4)$為三頂點之三角形內(不含三邊)均勻分佈。 試求$f(y\vert x)$, $E(Y\vert x)$, 及 $\mbox{Var}(Y\vert x)$。
解. 首先$(X,Y)$之聯合p.d.f.為

$$\begin{eqnarray*} f(x,y)=\left\{ \begin{array}{ll} 1/16 & ,0<x<8, 0<y<4-x/2,\cr 0 & ,\mbox{其他}\raisebox{-1.2mm}{。} \end{array}\right. \end{eqnarray*}$$

    

    

由此得

$$\begin{eqnarray*} f_X(x)=\int_0^{4-x/2} \frac {1}{16} dy=\frac {4-x/2}{16}=\frac {8-x}{32}, 0<x<8\raisebox{-1.2mm}{。} \end{eqnarray*}$$

則

$$\begin{eqnarray*} f(y\vert x)=\frac {1/16}{(8-x)/32}=\frac {2}{8-x}, 0<y<4-x/2, 0<x<8\raisebox{-1.2mm}{。} \end{eqnarray*}$$

可看出給定$X=x$, $Y$在區間$(0,4-x/2)$均勻分佈。最後, 利用對$\forall a>0$, 有 $\mathcal{U}(0,a)$分佈之隨機變數的期望值為$a/2$, 變異數為$a^2/12$, 即得

$$\begin{eqnarray*} && E(Y\vert x)=\frac 12(4-\frac x2)=2-\frac x4, 0<x<8, \\ && ... ...} (4-\frac x2)^2=\frac {(8-x)^2}{48}, 0<x<8\raisebox{-1.2mm}{。} \end{eqnarray*}$$

讀者亦可自行求出$X\vert Y=y$有 $\mathcal{U}(0,8-2y)$分佈, 且$E(X\vert y)=4-y$, $\mbox{Var}(Y\vert x)=(4-y)^2/3$, $0<y<4$。

註1.1 設$A$為平面上一區域, 且設$A$的面積(以$S(A)$表之)存在且為正。 則
$(X,Y)$在$A$上均勻分佈, 表$(X,Y)$之聯合p.d.f.為

$$\begin{eqnarray*} f(x,y)=\frac {1}{S(A)}, (x,y)\in A\raisebox{-1.2mm}{。} \end{eqnarray*}$$

    

例1.8 設$(X,Y)$之聯合p.d.f.為

$$\begin{eqnarray*} f(x,y)=\frac {1}{2} x^3e^{-x(1+y)}, x,y>0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

試求$f(y\vert x)$, $E(Y\vert x)$及 $\mbox{Var}(Y\vert x)$。
解.首先

$$\begin{eqnarray*} f_X(x)=\int_0^{\infty} \frac {1}{2} x^3e^{-x(1+y)}dy=\frac 12 x^2 e^{-x}, x>0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

因此

$$\begin{eqnarray*} f(y\vert x)=\frac {x^3 e^{-x(1+y)}/2}{x^2 e^{-x}/2}=xe^{-xy}, y>0, x>0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

即$Y\vert X=x$有 $\mathcal{E}(x)$分佈。因此

$$\begin{eqnarray*} E(Y\vert x)=\frac 1x,\quad \mbox{Var}(Y\vert x)=\frac {1}{x^2}, x>0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

讀者亦可自行求出 $f_Y(y)=3(1+y)^{-4}$, $y>0$。由此可得對$\forall y>0$, $X\vert Y=y$有 $\Gamma(4, (1+y)^{-1})$分佈, 且 $E(X\vert y)=4/(1+y)$, $\mbox{Var}(X\vert y)=4/(1+y)^2$, $y>0$。

例1.9 設有一函數

$$\begin{eqnarray*} f(x,y)=\left\{ \begin{array}{ll} 4xy-2x-2y+2 & ,0<x,y<1,\cr 0 & ,\mbox{其他}\raisebox{-1.2mm}{。} \end{array}\right. \end{eqnarray*}$$

(i) 試證$f$為一二維之p.d.f.;

(ii) 假設$(X,Y)$以$f$為聯合p.d.f., 試求$f(y\vert x)$, $E(Y\vert x)$及 $\mbox{Var}(Y\vert x)$。
解.(i) 對$0<x,y<1$,

$$\begin{eqnarray*} 4xy-2x-2y+2=2xy+2(1-x)(1-y)>0, \end{eqnarray*}$$

即$f$為非負。又

$$\begin{eqnarray*} \int_0^1 \int_0^1 f(x,y)dydx &=& \int_0^1 \int_0^1 (4xy-2x-2y+2) dydx \\ &=& 1-1-1+2=1, \end{eqnarray*}$$

故$f$為一二維之p.d.f.。

(ii) 首先

$$\begin{eqnarray*} f_X(x) &=& \int_0^1 (4xy-2x-2y+2) dy\\ &=& 2x-2x-1+2=1, 0<x<1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

因此

$$\begin{eqnarray*} f(y\vert x)=4xy-2x-2y+2, 0<y<1, 0<x<1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

利用上述條件p.d.f., 即得

$$\begin{eqnarray*} E(Y\vert x) &=& \int_0^1 y(4xy-2x-2y+2) dy=\frac 13 (1+x), 0<x... ...x)^2\\ &=& \frac {1}{18}(1+2x-2x^2), 0<x<1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

讀者可否看出$X,Y$之邊際分佈皆為 $\mathcal{U}(0,1)$, 但$(X,Y)$並無二維的均勻分佈。又可否立即看出, 對本例, $f(x\vert y)$, $E(X\vert y)$及 $\mbox{Var}(X\vert y)$分別為何?

由例2.1及2.2知, 給定$X=x$之下, $Y$的分佈可能會隨$x$而變。 所以在求條件分佈時, 我們得到一分佈族: 對每一$x$有一分佈。 若我們想描述整個分佈族, 可以``$Y\vert X$''($Y$給定$X$, 或說給定$X$之下$Y$之分佈)來表示。

例如, 若$X$為一取正整數值之隨機變數, 且在給定$X=x$之下, $Y$有
${\cal B}(x,p)$分佈, 則可以說$Y\vert X$有${\cal B}(X,p)$分佈。採用符號``$Y\vert X$'', 或是分佈中有一參數為隨機變數, 則我們便描述出一條件分佈族。 同樣地, $E(g(Y)\vert x)$亦為一$x$的函數, 而$E(g(Y)\vert X)$則為一隨機變數, 其值依$X$之值而定。若$X=x$, 則隨機變數$E(g(Y)\vert X)$之值便為$E(g(Y)\vert x)$。例如, 在例2.4中, 我們可以寫

$$\begin{eqnarray*} E(Y\vert x)=\frac{2}{3}(1-x),\quad E(Y^2\vert x)=\frac{1}{2}(1-x)^2\raisebox{-1.2mm}{。} \end{eqnarray*}$$

在前述幾個例子中, 給定$X=x$, $Y$之分佈均隨$x$而變。但有些時候, 給定$X=x$, $Y$之分佈並未改變, 亦即知道$X$之值, 對$Y$並未提供任何資訊。此時我們說$X$與$Y$獨立。

定義1.3 設二隨機變數$X,Y$之聯合p.d.f.為$f(x,y)$, 邊際p.d.f.分別為 $f_X(x),\linebreak f_Y(y)$。若

$$f(x,y)=f_X(x)f_Y(y), \forall x,y \in R,$$ (1.12)

便稱$X$與$Y$獨立。

由定義2.1及2.2知, 對離散型或連續型的隨機向量$(X,Y)$,

$$f(y\vert x)=\frac{f(x,y)}{f_X(x)}, \mbox{只要}f_X(x)>0\raisebox{-1.2mm}{。}$$ (1.13)

因此

$$f(x,y)=f(y\vert x)f_X(x), \mbox{只要}f_X(x)>0\raisebox{-1.2mm}{。}$$ (1.14)

若$X$與$Y$獨立, 則(2.12)式成立, 因此

$$f(y\vert x)=f_Y(y), \mbox{只要}f_X(x)>0\raisebox{-1.2mm}{。}$$ (1.15)

由上式又得對 $\forall A \subset R$, 只要$f_X(x)>0$, 則

$$\begin{eqnarray*} P(Y \in A\vert x)=\int_Af(y\vert x)dy=\int_Af_Y(y)dy=P(Y \in A), \end{eqnarray*}$$

即知道$X=x$之值, 對求$Y$的機率並無影響。

例1.10 在例2.1中, 因

$$\begin{eqnarray*} f_X(1)f_Y(1)=\frac{11}{16}\cdot\frac{3}{8}\neq \frac{1}{8}=f(1,1), \end{eqnarray*}$$

故$X$與$Y$不獨立。 當然由$f(y\vert x)$之值與$x$有關亦可判定$X$與$Y$不獨立。

例1.11 設$(X,Y)$有如例2.8之聯合p.d.f., 即

$$\begin{eqnarray*} f(x,y)=\frac 12 x^3 e^{-x(1+y)}, x,y>0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

試判斷$X$與$Y$是否獨立。
解.首先由例2.8, $X,Y$之邊際p.d.f.分別為

$$\begin{eqnarray*} && f_X(x)=\frac 12 x^2 e^{-x}, x>0,\\ && f_Y(y)=\frac {3}{(1+y)^4}, y>0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

顯然

$$\begin{eqnarray*} f(1,1)=\frac 12 e^{-2}\neq \frac 12 e^{-1} \cdot \frac {3}{(1+1)^4}=f_X(1)\cdot f_Y(1)\raisebox{-1.2mm}{。} \end{eqnarray*}$$

故$X$與$Y$不獨立。

要利用(2.12)式來決定$X$與$Y$是否獨立, 便須知$X$與$Y$之邊際p.d.f.$f_X(x)$
及$f_Y(y)$。 利用下述定理, 有時可讓檢驗工作容易些。

定理1.1 設隨機向量$(X,Y)$以$f(x,y)$為聯合p.d.f.。則$X$與$Y$獨立, 若且唯若存在函數$g(x)$及$h(y)$, 使得對 $\forall x,y \in R$,

$$f(x,y)=g(x)h(y)\raisebox{-1.2mm}{。}$$ (1.16)

證明.若$X$與$Y$獨立, 依定義(2.12)式便成立。取 $g(x)=f_X(x),h(y)=f_Y(y)$, 則(2.16)式成立。這便證明了`` 唯若''的部分。 對``若''的部分, 我們先證連續型隨機變數的情況。

假設存在$g(x)$及$h(y)$, 使得(2.16)式成立。令

$$\begin{eqnarray*} a=\int_{-\infty}^{\infty}g(x)dx,\quad b=\int_{-\infty}^{\infty}h(y)dy, \end{eqnarray*}$$

則

$$ab = \int_{-\infty}^{\infty}g(x)dx \cdot \int_{-\infty}^{\infty}h(y)dy$$ (1.17)

$$= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty}g(x)h(y)dxdy$$

$$= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty}f(x,y)dxdy$$

$$= 1,$$

最後一等式成立, 是因$f(x,y)$為一聯合p.d.f.。

另外, (2.16)式導致

$$f_X(x) = \int_{-\infty}^{\infty}g(x)h(y)dy=g(x)b,$$ (1.18)

$$f_Y(y) = \int_{-\infty}^{\infty}g(x)h(y)dx=h(y)a\raisebox{-1.2mm}{。}$$ (1.19)

利用(2.17)、(2.18)及(2.19)式得

$$\begin{eqnarray*} f(x,y)=g(x)h(y)=g(x)h(y)ab=f_X(x)f_Y(y)\raisebox{-1.2mm}{。} \end{eqnarray*}$$

得證$X$與$Y$獨立。

至於離散型的情況, 只要將上述積分皆改為和即可。

下述系理為定理2.1之一立即的推論。

系理1.1 設隨機向量$(X,Y)$以$F(x,y)$為其聯合分佈函數, 則$X$與$Y$獨立, 若且唯若

$$F(x,y)=F_X(x)F_Y(y), x,y \in R,$$ (1.20)

若且唯若存在函數$G(x)$及$H(y)$, 使得對 $\forall x,y \in R$,

$$F(x,y)=G(x)H(y)\raisebox{-1.2mm}{。}$$ (1.21)

    

利用定理2.1, 立即可判定例2.11中的$X$與$Y$不獨立。 底下再給一例。

例1.12 設$(X,Y)$之聯合p.d.f.為

$$\begin{eqnarray*} f(x,y)=\frac{1}{121,\!500}x^3y^2e^{-x/3-y/5},x,y>0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

則由定理2.1知, $X$與$Y$獨立。 又讀者宜練習由$f(x,y)$看出$X,Y$分別有 $\Gamma(4,\linebreak 3)$及$\Gamma(3,5)$分佈。

在利用獨立的定義, 或定理2.1, 以檢驗二隨機變數是否獨立, 要留意的是使$f(x,y)>0$之$(x,y)$的集合, 必須是 $\{(x,y)\vert x \in A, y \in B\}$的型式, 其中 $A=\{x\vert f_X(x)>0\},B=\{y\vert f_Y(y)>0\}$, 即為$R^2$上一有``乘積''型式的區域, 通常以$A \times B$表之。換句話說, $x, y$的範圍要彼此無關。在例1.3中, 雖然$f(x,y)=24xy$, 表面上看起來, 可寫成$g(x)h(y)$的型式, 但使$f(x,y)>0$之$x, y$的集合為 $\{0 \leq x \leq 1$, $0 \leq y \leq 1$, $x+y \leq 1\}$, 為平面上一三角形, 並無$A \times B$的型式。 範圍如果是 $x^2+y^2 \leq 4$當然也不行。更明確地說, 例1.3中之$f(x,y)$應寫成

$$\begin{eqnarray*} f(x,y)=24xyI_{\{0 \leq x \leq 1,0 \leq y \leq 1,x+y \leq 1\}}\raisebox{-1.2mm}{。} \end{eqnarray*}$$

因其中指示函數的部分, 無法寫成一個$x$的函數乘上一個$y$的函數, 所以
$X$與$Y$不獨立。

當$X$與$Y$獨立時, 有關$X$與$Y$的機率或期望值都會較好求。 我們給一定理。

定理1.2 設$X,Y$為二獨立的隨機變數。則

(i) 對 $\forall A,B \subset R$,

$$\begin{eqnarray*} P(X \in A,Y \in B)=P(X \in A)P(Y \in B), \end{eqnarray*}$$

即事件$\{X \in A\}$與$\{Y \in B\}$相互獨立。

(ii) 設有函數$g(x)$及$h(y)$, 滿足$E(g(X))$及$E(h(Y))$皆存在。則

$$\begin{eqnarray*} E(g(X)h(Y))=E(g(X)) \cdot E(h(Y))\raisebox{-1.2mm}{。} \end{eqnarray*}$$

證明.我們仍只證連續型隨機變數的情況。先證(ii)。 由於$X$與$Y$獨立,
$f(x,y)=f_X(x)f_Y(y)$, 故

$$\begin{eqnarray*} E(g(X)h(Y))&=&\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(... ...y}h(y)f_Y(y)dy \\ &=&E(g(X)) \cdot E(h(Y))\raisebox{-1.2mm}{。} \end{eqnarray*}$$

得證(ii)。

其次對於(i)的部分, 可仿(ii)的證明, 或利用(ii)來證明。 事實上(ii)是比(i)更一般的結果。

取

$$\begin{eqnarray*} g(x)=I_A(x),\quad h(y)=I_B(y), \end{eqnarray*}$$

分別表$A,B$之指示函數。則$g(x)h(y)$為$R^2$上之集合$C$ 之指示函數, 其中 $C=\{(x,y)\vert x \in A, y \in B \}$。又

$$\begin{eqnarray*} &&E(g(X))=P(X \in A),\quad E(h(Y))=P(Y \in B), \\ &&E(g(X)h(Y))=P((X,Y)\in C)\raisebox{-1.2mm}{。} \end{eqnarray*}$$

故得

$$\begin{eqnarray*} P(X \in A,Y \in B)&=&P((X,Y)\in C) \\ &=&E(g(X)h(Y)) \\ &=&E(g(X))E(h(Y)) \\ &=&P(X \in A)P(Y \in B)\raisebox{-1.2mm}{。} \end{eqnarray*}$$

證畢。

例1.13 設$X,Y$為二獨立的隨機變數, $X$有${\cal E}(2)$分佈, $Y$有 ${\cal U}[0, 3]$分佈。則

$$\begin{eqnarray*} P(X \geq 3,Y \geq 2)&=&P(X \geq 3)P(Y \geq 2) \\ &=&\int_3^\i... ...t_2^3\frac{1}{3}dy \\ &=&\frac{1}{3}e^{-6}\raisebox{-1.2mm}{。} \end{eqnarray*}$$

又

$$\begin{eqnarray*} E(XY^2)&=&E(X)\cdot E(Y^2)=\frac{1}{2}\cdot \int_0^3\frac{1}{3}y^2dy \\ &=&\frac{1}{2}\cdot 3=\frac{3}{2}\raisebox{-1.2mm}{。} \end{eqnarray*}$$

    

例1.14 設$U_1, U_2$為二獨立的隨機變數, 且皆有 $\mathcal{U}(0,1]$分佈。又設平面上有一隨機的矩形$A$, 四個頂點之座標分別為$(0,0)$, $(U_1,0)$, $(U_1,U_2)$及$(0,U_2)$。
則$A$之面積的期望值與中位數何者為大?
解.首先面積$U_1U_2$之期望值為

$$\begin{eqnarray*} E(U_1 U_2)=E(U_1)E(U_2)=\frac 12\cdot \frac 12=\frac 14\raisebox{-1.2mm}{。} \end{eqnarray*}$$

次比較面積$U_1U_2$之中位數與期望值之大小。對 $\forall 0<y\leq 1$,

$$\begin{eqnarray*} P(U_1 U_2\geq y) &=& \int_y^1 (\int_{y/u_1}^1 du_2)du_1\\ &=&... ...u_1)\right\vert _{y}^1\\ &=& 1-y(1-\log y)\raisebox{-1.2mm}{。} \end{eqnarray*}$$

而若$y>1$, 則 $P(U_1 U_2\geq y)=0$, 若$y\leq 0$, 則 $P(U_1 U_2\geq y )=1$。由此即得

$$\begin{eqnarray*} P(U_1 U_2\geq \frac 14)=1-\frac {1}{4}(1+\log 4)\doteq 0.403\raisebox{-1.2mm}{。} \end{eqnarray*}$$

故$U_1U_2$之中位數小於$1/4$。即$U_1U_2$之中位數比期望值小。

例1.15 自區間$(0,1)$隨機地取兩數, 以$X$及$Y$表之。求最接近$X/Y$的 整數恰為一偶數之機率。
解.具有對稱性概念的人, 看到又是均勻分佈, 又是奇數、偶數, 會以為此機率應為$1/2$。 底下我們來看對不對。首先由題意知, $X,Y$為二獨立的隨機變數,且皆有${\cal U}(0,1)$分佈。 故$(X,Y)$之聯合p.d.f.為

$$\begin{eqnarray*} f(x,y)=1,0<x,y<1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

對任意$X$及$Y$, 最接近$X/Y$的整數恰為偶數, 若且唯若$X/Y<0.5$, 或存在一正整數$n$, 使得 $2n-0.5<X/Y<2n+0.5$。現因

$$\begin{eqnarray*} P(X/Y<0.5)=P(2X<Y)=\int_{0}^{0.5}\int_{2x}^1 dydx=\frac{1}{4}, \end{eqnarray*}$$

又

$$\begin{eqnarray*} && P(2n-0.5<X/Y<2n+0.5) \\ && =P(\frac{2X}{4n+1}<Y<\frac{2X... ...4n-1}-\frac{2x}{4n+1})dx \\ && =\frac{1}{4n-1}-\frac{1}{4n+1}, \end{eqnarray*}$$

故

$$\begin{eqnarray*} && P(\mbox{最接近~$X/Y$~的整數恰為一偶數}) \\ && =\frac{1}{... ...\pi}{4}=\frac{5-\pi}{4}<\frac{1}{2} \mbox{\raisebox{-1.2mm}{。}} \end{eqnarray*}$$

事實上我們所求即為$X/Y \in S$之機率, 其中

$$\begin{eqnarray*} S=(0,0.5)\cup (1.5,2] \cup (2,2.5) \cup (3.5,4] \cup(4,4.5) \cup \cdots, \end{eqnarray*}$$

包含每一整數區間 $(i,i+1],i\geq 0$, 的一半部分。 但此機率卻小於$1/2$, 即使$X,Y$原來均有獨立的均勻分佈。

註1.2 此處用到

$$\begin{eqnarray*} \arctan x=x-\frac{1}{3}x^3+\frac{1}{5}x^5+ \cdots + \frac{(-1)^n}{2n+1}x^{2n+1} + \cdots ,\vert x\vert\leq 1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

    

底下檢驗二隨機變數獨立的定理,亦為定理2.1之一推論。 我們略去其證明。

定理1.3 設有二隨機變數$X,Y$。則$X$與$Y$獨立, 若且唯若

$$\psi(s,t)=E(e^{isX+itY})=E(e^{isX})E(e^{itY}), s,t\in R\raisebox{-1.2mm}{。}$$ (1.22)

    

上式左側稱為$X,Y$之聯合特徵函數。 定理2.3即是說$X$與$Y$獨立, 若且唯若其聯合特徵函數等於$X,Y$各自特徵函數之積。 定理2.3也有母函數(針對取非負整數值之隨機變數), 拉普拉斯轉換(針對取非負整數值之隨機變數)及動差母函數之版本。 只要這些轉換至少在一二維的開區間存在(母函數及拉普拉斯轉換沒問題, 動差母函數 $M(s,t)=E(e^{sX+tY})$有時只有在$s=t=0$才存在)。

定理2.3有下述一重要的推論。

系理1.2 設$X,Y$為二獨立的隨機變數。則

$$E(e^{it(X+Y)})=E(e^{itX})E(e^{itY}), t \in R\raisebox{-1.2mm}{。}$$ (1.23)

    

同樣地,系理2.2亦有關於其他三個轉換的版本。

例1.16 設$X,Y$為二獨立的隨機變數, 各有 $\mathcal{P}(\lambda)$及 $\mathcal{P}(\mu)$的分佈。則由系理2.2, $X+Y$之拉普拉斯轉換為

$$\begin{eqnarray*} \phi(s)=E(e^{-s(X+Y)})&=&E(e^{-sX})E(e^{-sY}) \\ &=&e^{-\lamb... ... &=&e^{-(\lambda + \mu)(1-e^{-s})},s \geq 0\raisebox{-1.2mm}{。} \end{eqnarray*}$$

可看出 $e^{-(\lambda + \mu)(1-e^{-s})}$ 對應 $\mathcal{P}(\lambda + \mu)$分佈之拉普拉斯轉換, 故$X+Y$有 $\mathcal{P}(\lambda + \mu)$分佈。

利用適當的轉換, 可求出一些具有常見分佈(參數可能不同)之隨機變數和的分佈。 我們列出如下, 證明則留在習題。

定理1.4 設$X_1,X_2$為二獨立的隨機變數。令$S=X_1+X_2$。 則對$i=1,2$,

(i) 若$X_i$有 ${\cal P}(\lambda_i)$分佈, 則$S$有 ${\cal P}(\lambda_1+\lambda_2)$分佈;

(ii) 若$X_i$有 ${\cal B}(n_i,p)$分佈, 則$S$有 ${\cal B}(n_1+n_2,p)$分佈;

(iii) 若$X_i$有 $\Gamma (\alpha_i,\beta)$分佈, 則$S$有 $\Gamma(\alpha_1+\alpha_2,\beta)$分佈;

(iv) 若$X_i$有$\chi^2_{n_i}$分佈, 則$S$有 $\chi^2_{n_1+n_2}$分佈;

(v) 若$X_i$有 ${\cal N}(\mu_i,\sigma_i^2)$分佈, 則$S$有 ${\cal N}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$分佈;

(vi) 若$X_i$有自0開始之${\cal G}e(p)$分佈, 則$S$有 ${\cal NB}(2,p)$分佈;

(vii) 若$X_i$有 ${\cal NB}(r_i,p)$分佈, 則$S$有 ${\cal NB}(r_1+r_2,p)$分佈。

並非所有獨立的同一類分佈之隨機變數的和仍有同一類分佈(當然如果將幾何分佈視為負二項分佈, 則(vi)為(vii)之一特例)。定理2.4(vi)為一例。另外, 設$X_1,X_2$獨立。則當$X_1,X_2$皆有${\cal U}(0,1)$分佈時, $X_1+X_2$並無均勻分佈。讀者也可練習再找一些例子。

我們再給一有趣的例子。

例1.17 對一正整數$i$, 假設任選一正整數是$i$的倍數之機率為$1/i$。 這個假設是合理的, 原因則讓大家自行想想。利用

$$\sum_{i=1}^{\infty}\frac{1}{i^2}=\frac{\pi^2}{6}\raisebox{-1.2mm}{。}$$ (1.24)

試求任選二正整數互質的機率$p$。
解.任選的二正整數以$X,Y$表之, 依題意$X$與$Y$應獨立。 以$(X,Y)$表$X$與$Y$
之最大公因數, 互質就是$(X,Y)=1$。 $(X,Y)=i$, 表$X=iU,Y=iV$, 其中$(U,V)=1$。 $X,Y$皆要屬於$i$的倍數之集合 $\{i \cdot 1, i \cdot 2,\cdots \}$, 此機率為 $(1/i) \cdot (1/i)=1/{i^2}$, 又$P((U,V)=1)=p$。 故 $P((X,Y)=i)=(1/{i^2})\cdot p=p/{i^2}$。因此

$$\begin{eqnarray*} 1=\sum_{i=1}^{\infty}P((X,Y)=i)=\sum_{i=1}^{\infty}\frac{p}{i^2}\raisebox{-1.2mm}{。} \end{eqnarray*}$$

故得

$$\begin{eqnarray*} p=(\sum_{i=1}^{\infty}\frac{1}{i^2})^{-1}=\frac{6}{\pi^2}\doteq 0.6079\raisebox{-1.2mm}{。} \end{eqnarray*}$$

即任選二正整數互質比不互質較可能發生。

我們再給兩個補充說明。首先, 若(2.12)(或(2.16))式在一集合$A$不成立, 但 $\int\int_Adxdy=0$, 則$X$與$Y$仍為獨立的隨機變數。例如, 若

$$\begin{eqnarray*} f(x,y)=\left\{ \begin{array}{lll} e^{-\lambda x-\mu y} &, x,... ...ambda xy} &, x,y>0,x=y\raisebox{-1.2mm}{。} \end{array} \right. \end{eqnarray*}$$

令 $A=\{(x,y)\vert x,y>0,x=y\}$。由於

$$\begin{eqnarray*} \int\int_A dxdy=\int_0^\infty \int_y^y 1 dxdy=\int_0^\infty 0 dy=0, \end{eqnarray*}$$

故$X$與$Y$獨立。

其次,若$X$與$Y$獨立, 由(2.15)式, 可得

$$\begin{eqnarray*} E(Y\vert X)=E(Y), \end{eqnarray*}$$

條件期望值與給定的$X$無關。反之若上式成立, 是否導致$X$與$Y$獨立呢?此答案我們留在第3.4節的習題第5題。

本節最後我們來介紹偏斜常態分佈(skew normal distribution)。 此分佈族包含常態分佈, 且與常態分佈有一些相同或相似的性質。 但此分佈由於有一偏斜參數(skewness parameter), 適合當做有偏斜數據(即p.d.f.並非左右對稱, 期望值也不等於中位數)的機率模型。

一隨機變數$Z$, 若其p.d.f.為

$$f(z)=2\phi(z)\Phi(\lambda z), -\infty<z<\infty,$$ (1.25)

其中$\lambda\in R$, 且$\phi(z)$, $\Phi(z)$分別為 $\mathcal{N}(0,1)$分佈之p.d.f.及分佈函數, 便稱為有參數 $\mbox{\mathversion{bold}{$\lambda$}}$之偏斜常態分佈, 以 $\mathcal{SN}(\lambda)$表之。

圖2.1給出兩個 $\mathcal{SN}(\lambda)$分佈p.d.f.的圖形。 可看出圖形是有偏斜的, 不像常態分佈的圖形為左右對稱。

圖2.1 $\mathcal{SN}(2)$及 $\mathcal{SN}(5)$p.d.f.之圖形

我們列出一些偏斜常態分佈簡單的性質如下。

(i) $\mathcal{SN}(0)=\mathcal{N}(0,1)$;

(ii) 若 $Z\sim \mathcal{SN}(\lambda)$, 則 $-Z\sim \mathcal{SN}(-\lambda)$;

(iii) 若 $Z\sim \mathcal{SN}(\lambda)$, 則 $Z^2\sim \chi_1^2$;

(iv) 若 $Z\sim \mathcal{SN}(\lambda)$, 則$Z$之分佈函數為

$$\begin{eqnarray*} \Phi(z;\lambda)=P(Z\leq z)=2\int_{-\infty}^{z}\int_{-\infty}^{\lambda t}\phi(t) \phi(u) dudt; \end{eqnarray*}$$

(v) $1-\Phi(-z;\lambda)=\Phi(z;-\lambda)$;

(vi) $\Phi(z;1)=(\Phi(z))^2$。

上述這些性質的證明並不困難, 因此留在習題中, 其他性質可參考
Azzalini(1985)。

由表面的形式, 一時可能不易看出(2.25)式的確定義出一p.d.f.。 即使由性質(iv), 也不易看出

$$\begin{eqnarray*} \lim_{z\rightarrow \infty} \Phi(z; \lambda)=2\int_{-\infty}^{\... ...-\infty}^{\lambda t} \phi(t) \phi(u) dudt=1\raisebox{-1.2mm}{。} \end{eqnarray*}$$

事實上, 設$X,Y$為二獨立的隨機變數, 且皆有 $\mathcal{N}(0,1)$分佈, 因 $X\stackrel{d}{=}(-X)$, $Y\stackrel{d}{=}(-Y)$, 故

$$\begin{eqnarray*} -(X-\lambda Y)=(-X)-\lambda (-Y)\stackrel{d}{=}X-\lambda Y\raisebox{-1.2mm}{。} \end{eqnarray*}$$

因此

$$\begin{eqnarray*} P(X-\lambda Y<0)=\frac 12\raisebox{-1.2mm}{。} \end{eqnarray*}$$

又

$$\begin{eqnarray*} \frac 12=P(X-\lambda Y<0) &=& P(X<\lambda Y)\\ &=& \int_{-\in... ...\infty}^{\infty} \phi(y) \Phi(\lambda y) dy\raisebox{-1.2mm}{。} \end{eqnarray*}$$

由於 $2\phi(z)\Phi(\lambda z)\geq 0$, 且

$$\begin{eqnarray*} \int_{-\infty}^{\infty} 2\phi(z)\Phi(\lambda z) dz=1, \end{eqnarray*}$$

故 $2\phi(z)\Phi(\lambda z)$為一p.d.f.。 習題裡我們會給出較一般的結果。底下先給一例。

例1.18 設$X,Y$為二獨立的隨機變數, 且皆有 $\mathcal{N}(0,1)$分佈。 令

$$\begin{eqnarray*} Z=\left\{ \begin{array}{ll} X & ,\mbox{若}\lambda X>Y,\cr -X & ,\mbox{若}\lambda X\leq Y, \end{array}\right. \end{eqnarray*}$$

試證對 $\forall \lambda\in R$, $Z$有 $\mathcal{SN}(\lambda)$分佈。
證明.我們只證$\lambda>0$的情況, $\lambda\leq 0$的情況可類似地證出。 底下來求$Z$之分佈函數。

$$F(z)=P(Z\leq z)$$ (1.26)

$$=P(Z\leq z, \lambda X>Y)+P(Z\leq z, \lambda X\leq Y)$$

$$=P(X\leq z, X>Y/\lambda)+P(-X\leq z, \lambda X\leq Y)$$

$$=P(Y/\lambda< X\leq z, Y\leq \lambda z)+P(-z\leq X\leq Y/\lambda, Y\geq -\lambda z)$$

$$=\int_{-\infty}^{\lambda z}\int_{y/\lambda}^z \phi(x) \phi(y) dxdy+\int_{-\lambda z}^{\infty} \int_{-z}^{y/\lambda} \phi(x)\phi(y)dxdy$$

$$=\int_{-\infty}^{\lambda z}(\Phi(z)-\Phi(y/\lambda))\phi(y) dy+\int_{-\lambda z}^{\infty} (\Phi(y/\lambda)-\Phi(-z))\phi(y)dy$$

$$=\Phi(z)\Phi(\lambda z)-\int_{-\infty}^{\lambda z}\Phi(y/\lambda)\phi(y)dy$$

$$\hspace*{0.26in}+\int_{-\lambda z}^{\infty} \Phi(y/\lambda) \phi(y) dy-\Phi(-z)(1-\Phi(-\lambda z))\raisebox{-1.2mm}{。}$$

此處用到

$$\begin{eqnarray*} && P(X\leq z, X>Y/\lambda, Y>\lambda z)=0,\\ && P(-X\leq z, \... ...lambda, Y\leq \lambda z)=P(Y/\lambda< X\leq z, Y\leq \lambda z), \end{eqnarray*}$$

且

$$\begin{eqnarray*} P(-X\leq z, \lambda X\leq Y, Y\geq -\lambda z)=P(-z\leq X\leq Y/\lambda, Y\geq -\lambda z)\raisebox{-1.2mm}{。} \end{eqnarray*}$$

現利用

$$\begin{eqnarray*} \phi(z)=\phi(-z),\quad \Phi(-z)=1-\Phi(z), \end{eqnarray*}$$

及微積分基本定理, 由(2.26)式即得     

$$\frac {d F(z)}{dz}=2\phi(z)\Phi(\lambda z), -\infty<z<\infty\raisebox{-1.2mm}{。}$$ (1.27)

得證$Z$有 $\mathcal{SN}(\lambda)$分佈。