« 確率と分布関数(4)(特殊分布(連続))」 | トップページ | 確率と分布関数(6)(特性関数,極限定理) »

2010年2月22日 (月)

確率と分布関数(5)(積率,母関数)

 確率と分布関数の続きです。期待値,分散などの積率を求めるための母関数の項目に入ります。

[定義7-1]:確率変数Xが離散型ならその確率分布{pj}はΣj|xj|pj<∞を満たし,Xが連続型なら分布関数は絶対連続で密度関数f(x)が存在して∫-∞|x|f(x)dx<∞を満たすとする。

 

 この条件下でXが離散型ならE[X]をE[X]≡Σjjj,Xが連続型ならE[X]≡∫-∞xf(x)dxと定義し,これを確率変数Xの期待値(expectation value)と呼ぶ。

より一般的には,スティルチェス積分を用いて∫-∞|x|dF<∞の条件下でE[X]≡∫-∞xdFと定義することもできます。

以下では,Xが連続型確率変数のときには確率密度関数f(x)が存在する場合を仮定します。

[例7-2]:Xが∫-∞|x|f(x)dx<∞を満たす連続型変数でx<0 ならF(x)=P(X≦x)=0 の正値確率変数のとき,Xの期待値はE[X]=∫0xf(x)dx=∫0{1-F(x)}dxを満たす。

(証明) ∫0xf(x)dx=limα→∞0αxf(x)dx=limα→∞[αF(α)-∫0αF(x)dx]=limα→∞[-α{1-F(α)}+∫0α{1-F(x)}dx]です。

ところが,∫0|x|f(x)dx=∫0α|x|f(x)dx+∫α|x|f(x)dx<∞ よりlimα→∞α|x|f(x)dx=0 です。

 

したがって,0≦α{1-F(α)}=α∫αf(x)dx≦∫α|x|f(x)dx → 0です。

以上から,∫0xf(x)dx=∫0{1-F(x)}dx]を得ます。(証明終わり)

[例7-3]:集合A∈Fの指示関数(定義関数)IAの期待値はE(IA)=1・P(A)+0・P(Ac)=P(A)です。

[例7-4]:特殊な離散分布の期待値 

(ⅰ)幾何分布:P(X=j)=pqj-1 (j=1,2,..;p>0,q=1-p>0) (j=0,1,2,..;p>0,q=1-p>0)の場合

 

 E[X]=Σj=1jpqj-1ですからqE[X]=Σj=1jpqj=Σj=1jpqj=Σj=2(j―1)pqj-1です。

 

 故に,(1-q)E[X]=pE[X]=p+Σj=2pqj-1=p+(1-p)=1であり,したがってE[X]=1/pを得ます。

(ⅱ)2項分布:P(X=j)=njjn-jの場合

  

 E[X]=Σj=0njjn-j=npΣj=1[(n-1)!/{(j-1)!(n-j)!}pj-1n-j=np

(ⅲ)ポアソン(Poisson)分布:P(X=j)=λjexp(-λ)/j! (j=0,1,2,..;λ>0)の場合

 

 E[X]=Σj=0jλjexp(-λ)/j!=λΣj=1λj-1exp(-λ)/(j-1)!=λ

[例7-5]:確率変数Xが正規分布:N[μ,σ2]を持つなら,その期待値はE[X]=μである。

(証明) 正規分布:N[μ,σ2]の確率密度関数はf(x)=(2π)-1/2σ-1exp{-(x-μ)2/(2σ2)}(-∞<x<∞)です。

 これについては,∫-∞|x|f(x)dx=(2π)-1/2σ-1-∞|x|exp{-(x-μ)2/(2σ2)}dx=(2π)-1/2σ-10xdx[exp{-(x-μ)2/(2σ2)}+xexp{-(x+μ)2/(2σ2)}です。

 

 変数置換すると,∫-∞|x|f(x)dx=π-1/2-μ/(√2σ)(√2σy+μ)exp(-y2)dy+π-1/2μ/(√2σ)(√2σz-μ)exp(-z2)dzより,∫-∞|x|f(x)dx<∞ です。

 そして,E[X]=∫-∞xf(x)dx=(2π)-1/2σ-1-∞xexp{-(x-μ)2/(2σ2)}dx=(2π)-1/2-∞yexp(-y2)dy+(2π)-1/2μ∫-∞exp(-y2)dy=μです。(証明終わり)

[例7-6]:特殊な連続分布の期待値

(ⅰ)指数分布:p.d.f:f(x)=λexp(-λx) (0≦x<∞;λ>0),f(x)=0 (x<0)の場合

 

 E[X]=∫-∞xf(x)dx=∫0λxexp(-λx)dx=[-xexp(-λx)] 0+∫0exp(-λx)dx=1/λ

(ⅱ)χ2分布:p.d.f:f(x)=[1/{2n/2Γ(n/2)}xn/2-1exp(-x/2) (x>0),f(x)=0 (x≦0)の場合

 

 E[X]=∫-∞xf(x)dx=[1/{2n/2Γ(n/2)}∫0n/2exp(-x/2)dx={2/Γ(n/2)}∫0n/2exp(-t)dt=2Γ(n/2+1)/Γ(n/2)=n

(ⅲ)ベータ分布:β(x;p,q):p.d.f:f(x)=Β-1(p,q)xp-1(1-x)q-1 (0<x<1,p,q>0),f(x)=0 (その他)の場合

 

 E[X]=∫-∞xf(x)dx=Β-1(p,q)∫01p(1-x)q-1dx=Β(p+1,q)/Β(p,q)=Γ(p+1)Γ(q)Γ(p+q)/[Γ(p+1+q)Γ(p)Γ(q)]=p/(p+q)

※(注1):確率変数Xの関数g(X)が確率変数となるとき,その期待値はXが離散型ならE[g(X)]=Σjg(xj)pj<∞,連続型ならE[g(X)]=∫-∞g(x)f(x)dxです。

 

 これらをまとめると,E[g(X)]=∫-∞g(x)dFです。

確率変数Xの関数g1(X),g2(X)が共に確率変数のとき,ag1(X)+bg2(X)も確率変数であり,E[ag1(X)+bg2(x)]=aE[g1(X)]+bE[g2(x)]です。

 

これを,期待値の線形性(linearity)といいます。特に,E[aX+b]=aE[X]+bです。

(証明)g1(X),g2(X)が共に確率変数のとき,ag1(X)+bg2(X)も確率変数となることは自明です。

 

 そして,E[ag1(X)+bg2(X)]=∫(ag1(x)+bg2(x))dF=a∫g1(x)dF+b∫g2(x)dF=aE[g1(X)]+bE[g2(x)]です。(証明終わり) ※

[定義7-7]:確率変数Xの関数Xk(k=1,2,..)の期待値:E[Xk]をXのk次の積率(moment)といい,これをμk'と表わす。特に,μ1'=E[X]は単にμと表記し,これをXの平均(mean)と呼ぶ。

[定義7-8]:確率変数Xの関数:(X-μ)k(k=1,2,..)の期待値μk≡E[(X-μ)k]を,Xの平均の周りのk次の積率という。

 

 特にσ2≡μ2=E[(X-μ)2]をXの分散(variance)と呼ぶ。これをVar[X]と表記することもある。さらに,σ=E[(X-μ)2]1/2=(Var[X])1/2を標準偏差(standard deviation)と呼ぶ。

※(注2):Xの分散はσ2=E[(X-μ)2]=E[X2-2μX+μ2]=E[X2]-2μE[X]+μ2=E[X2]-μ2=μ2'-μ2と表わせます。 ※

[定理7-9]:チェビシェフの不等式(Chebyshev's inequality)

 確率変数Xが平均μ,分散σ2を持つなら,任意の正の数kに対して,不等式:P(|x-μ|≧kσ)≦1/k2,あるいはP(|x-μ|≧k)≦σ2/k2が成り立つ。

(証明)σ2=E[(X-μ)2]=∫-∞(x-μ)2dF=∫-∞μ-kσ(x-μ)2dF+∫μ-kσμ+kσ(x-μ)2dF+∫μ+kσ(x-μ)2dF≧∫|x-μ|≧kσ(x-μ)2dF≧k2σ2|x-μ|≧kσdF=k2σ2P(|x-μ|≧kσ)です。

 そこで,P(|x-μ|≧kσ)≦1/k2が成立します。

 

 この式で,k=K/σと置けばP(|x-μ|≧K)≦σ2/K2を得ます。(証明終わり)

※(注3):確率変数X,Yの関数g(X,Y)が確率変数となる場合

 

 X,Yが離散型で同時確率分布がp(xi,yj)≡P(X=xi,Y=yj)で与えられるなら,g(X,Y)の期待値はE[g(X,Y)]=ΣiΣjg(xi,yj)p(xi,yj)です。

一方,X,Yが連続型で同時確率密度関数:f(x,y)が存在するとき,E[g(X,Y)]=∫-∞-∞g(x,y)f(x,y)dxdyです。

 

離散型と連続型をまとめた表現では,E[g(X,Y)]=∫g(x,y)dFと書けます。特に,E[aX+bY]=∫(ax+by)dF=aE[X]+bE[Y]です。

 

これを拡張して,一般にX1,X2,..,Xn をn個の確率変数とするとき,任意の定数:a1,a2,..,anに対して,E[Σjjj]=ΣjjE[Xj]が成立します。

また,E[XY]=∫xydF=ΣiΣjijp(xi,yj)(離散型),E[XY]=∫xydF=∫-∞-∞xyf(x,y)dxdy(連続型)と書けます。

特に,XとYが独立の場合には,X,Yが連続型のときを例に取ると,f(x,y)=fX(x)fY(y)によって,E[XY]=∫xydF=∫-∞-∞xyf(x,y)dxdy=∫-∞-∞xyfX(x)fY(y)dxdy=E[X]E[Y]となります。

 

実際にはX,Yが連続型,離散型によらずXとYが独立ならE[XY]=E[X]E[Y]が成立します。 ※

[定義7-10]:X,Yが連続型確率変数で同時確率密度関数f(x,y)が存在してfY(y)=∫-∞f(x,y)dx>0 のとき,Y=yの下でのXの条件付確率密度をf(x|y)≡f(x,y)/fY(y)とする。

 

 このとき,Y=yの下でのXの条件付期待値をEX|Y=y[X]=E[X|Y=y]≡∫-∞xf(x|y)dxで定義する。

(X,Yが離散型のときには,p(xi|yj)≡p(xi,yj)/{Σip(xi,yj)},EX|Y=yj[X]=E[X|Y=yj]=Σiip(xi|yj)である。)

 

※(注4):E[XY]=∫xydF=∫-∞-∞xyf(x,y)dxdy=∫-∞-∞xyf(x|y)fY(y)dxdy=∫-∞dyfY(y)[∫-∞xyf(x|y)dx]=∫-∞X|Y=y[XY]fY(y)dyです。

 

 すなわち,E[XY]==EY[EX|Y=y[XY]]を得ます。

一般に,E[g(X,Y)]=EY[EX|Y=y[g(X,Y)]が成立します。

 

条件付期待値については,2007年7/7の記事「条件付確率と条件付期待値」に詳述してあるのでこれ以上深入りしません。 ※

[定理7-11]:シュワルツの不等式(Schwarz's inequality)

 ,Yが2次の積率:E[X2],E[Y2]を持てば,E[XY]も存在してE[XY]2≦E[X2]E[Y2]である。

(証明)E[X2]<∞,E[Y2]<∞ ならE[X2+Y2]<∞ です。そして,|ab|≦(a2+b2)なので,E[XY]も存在します。

 

 そして,∀t∈Rについて(tX+Y)2≧0 よりE[(tX+Y)2]=t2E[X2]+2tE[XY]+E[Y2]≧0 が成立します。

 

 故に,左辺をtの2次式と見たときの判別式は非正:D/4=E[XY]2-E[X2]≦0 です。等号の成立は,確率1でY=-tXとなる,つまり確率1でXとYが比例関係にある場合だけです。(証明終わり)

[定義7-12]:E[X],E[Y],E[XY]が存在するとき,Cov[X,Y]≡E[(X-E[X])(Y―E[Y])]=E[XY]-E[X]E[Y]をXとYの共分散(covariance)という。

 

※(注5):特に,XとYが独立ならE[XY]=E[X]E[Y]なので,共分散:Cov[X,Y]=E[XY]-E[X]E[Y]=0 です。

確率変数X,YについてVar[X+Y]=E[(X+Y)2]-E[X+Y]2=E[X2]+2E[XY]+E[Y2]-{E[X]2+2E[X]E[Y]+E[Y]2}=Var[X]+Var[Y]-2Cov[X,Y]です。

一般に,n個の確率変数X1,X2,..,Xn と任意定数a1,a2,..,anに対して,Var[Σj=1njj]=Σj=1nj2Var[Xj]+2Σi>jnijCov[Xi,Xj]が成立します。

 

特に,X1,X2,..,Xn が全て独立変数なら,Var[Σj=1njj]=Σj=1nj2Var[Xj]となります。

ここで,E[Xj]=μ,Var[Xj]=σ2(j=1,2,..,n)の場合,<X>≡(X1+X2+..+Xn)/nと置けばE[<X>]=μですが,aj=1/n(j=1,2,..,n)とすれば上の等式はVar[<X>]=σ2/nを意味します。

[定義7-13]:XとYがそれぞれ平均の周りの2次の積率:Var[X]≠0,Var[Y]≠0を持つとき,ρ≡Cov[X,Y]/{Var[X]Var[Y]}1/2をXとYの相関係数(correlation coefficient)という。

ここで,XとYが独立ならCov[X,Y]=0 よりρ=0 です。これをXとYは無相関であると言うこともあります。

[定理7-14]:XとYの相関係数:ρは-1≦ρ≦1を満たす。等号はXとYの間に1次関係が存在するときに限られる。

(証明)X1=X-E[X],Y1=Y-E[Y]と置けば,Var[X]=E[X12],Var[Y]=E[Y12],Cov[X,Y]=E[X11]です。

 

 そして,[定理7-11]のシュワルツの不等式からE[X11]2≦E[X12]E[Y12]なので,Cov[X,Y]2≦Var[X]Var[Y]です。

 

 よって,Var[X]≠0,Var[Y]≠0 なら,ρ2≦1 or -1≦ρ≦1です。

[定理7-11]より,等号はX1=X-E[X]とY1=Y-E[Y]が比例関係にあるとき,つまり,aX1+bY1=0,or aX+bY=aE[X]+bE[Y]のときだけです。

 

そして,aX+bY=kなら,常にaE[X]+bE[Y]=kとなりますから,X1とY1が比例関係にあることはXとYがaX+bY=kなる1次関係を有することと同値です。(証明終わり)

[定義8-1]:実数列{aj}j=0,1,..の母関数(generating function)A(z)は次のzのベキ級数の右辺が収束するときA(z)≡Σj=0jj (|z|<R0;R0は適当な正の実数)によって定義される。

そして,離散型確率変数Xの確率分布をpj=P(X=xj)とするときG(z)=Σj=0jj=E(zX)(|z|≦1)をXの確率母関数という。

 

※(注6):(確率母関数の性質)

 

明らかに,G(1)=Σj=0j=1です。また,pj=[djG/dzj]z=0/j!=G(j)(0)/j!です。

  

G'(1)=Σj=1jpj=E[X]です。

 

さらに,G"(1)=Σj=2j(j-1)pj=Σj=02j-Σj=0jpj=E[X2]-E[X]です。それ故,E[X2]=G"(1)+G'(1),Var[X]=G"(1)+G'(1)-[G'(1)]2です。 ※

[定理8-2]:離散型確率変数Xの確率分布:pj=P(X=xj)において,{xj}j=0,1,..がx1≦x2≦..と順序付けられているとする。

 

 このとき,Qr≡P(X>x)=Σj=r+1jと定義すると{Qr}r=0,1,..の母関数Q(z)=Σr=0rrと,確率母関数G(z)=Σj=0jjの間に式:Q(z)={1-G(z)}/(1-z)が成り立つ。

(証明):Q(z)=Σr=0rr=Σr=0rj=r+1j)=Σj=1r=0j-1r)pj=(1-z)-1Σj=1(1-zj)pj={1-G(z)}/(1-z)です。(証明終わり)

[定理8-2の系]:E[X]=G'(1)=lim z→1{G(z)-G(1)}/(z-1)=limz→1Q(z)である。

 

※(注7):1,X2,..,Xkが互いに独立な確率変数なら,X≡X1+X2+..+Xkの確率母関数G(z)はG(z)=E[zX]=E[zX1+X2+..+Xk]=E[zX1]E[zX2]..E[zXk]=Πj=1kXj(z)となります。

 

 特に,X1,X2,..,Xkが全て同一の分布を持つ独立変数列ならGX1(z)=GX2(z)=..=GXk(z)より,G(z)=[GX1(z)]kです。 ※

[例8-3]:X1,X2,..,Xkが互いに独立で,次の同一分布pjを持つ確率変数のとき,X≡Σj=1kj=X1+X2+..+Xkの確率母関数:G(z),および確率分布:Pjを求めます。

(ⅰ)pj=pj1-j(j=0,1;0<p<1,q=1-p),pj=0 (その他)

(解)GXj(z)=q+pz,故に,G(z)=(q+pz)kkjjk-jj,sこで確率分布はPjkjjk-j=b(x;k,p)(2項分布)

(ⅱ)pj=exp(-λ)λj/j! (j=0,1,2,..)のポアソン分布(パラメータλ>0) 

(解)GXj(z)=exp(-λ)Σj=0λjj/j!=exp(-λ)exp(λz)=exp{-λ(1-z)},故にG(z)=exp{-kλ(1-z)}=exp(-kλ)Σj=0(kλ)jj/j!です。

 

 そこで,Xの確率分布はPj=exp(-kλ)(kλ)j/j!(パラメータkλのポアソン分布)になります。

(ⅲ)pj=pqj (j=0,1,2,..;p>0,q=1-p>0) (幾何分布) 

(解)GXj(z)=pΣj=0jj=p/(1-qz),故にG(z)=pk(1-qz)-k=Σj=0{(k-1+j)..(k+1)k/j!}pkjj,

 

 そこで,Xの確率分布はPjk-1+jkkjです。

[例8-4]:(複合分布){Xj,1≦j≦N}を共通な確率分布:pi;i=0,1,2,..,および確率母関数:GX(z)を持つ独立離散確率変数とする。

 

 Nは全てのXjと独立な離散確率変数で確率分布:φ(n),n=1,2,..,と確率母関数GN(z)を持つとき,Y≡X1+X2+..+XNの確率母関数:GY(z),およびE[Y],Var[Y]を求める。

(解)p(k,n)≡P(Y=k,N=n)と置けば,p(k|n)=p(k,n)/φ(n),or p(k,n)=p(k|n)φ(n)です。故にP(Y=k)=Σn=1p(k,n)=Σn=1p(k|n)φ(n)です。

 ところが,p(k|n)=P(X1+X2+..+Xn=k)なので,P(Y=k)=Σn=1P(X1+X2+..+Xn=k)φ(n)です。

それ故,GY(z)=E[zY]=ΣkkP(Y=k)=Σn=1ΣkkP(X1+X2+..+Xn=k)φ(n)=Σn=1E[zX1+X2+..Xn]φ(n)です。

 

ところが,{Xj,1≦j≦n}は独立確率分布なので,(注7)で述べたようにE[zX1+X2+..Xn]={E[zX1]}n={GX(z)}nです。

 したがって,結局,GY(z)=E[zY]=E[zX1+X2+..XN]=Σn=1{GX(z)}nφ(n)=GN[GX(z)]なる合成確率母関数が得られます。

 これから,GY'(z)=dGY/dz=(dGY/dGx)(dGX/dz)=GN'[GX(z)]GX'(z)です。

 

 GX(1)=GN(1)=1,GN'(1)=E[N],GX'(1)=E[X]ですから,E[Y]=GY'(1)=GN'(1)GX'(1)=E[N]E[X]が得られます。

 さらに,GY"(z)=GN"[GX(z)]{GX'(z)}2+GN'[GX(z)]GX"(z)より,GY"(1)=GN"(1){GX'(1)}2+GN'(1)GX"(1)です。

そして,Var[Y]=GY"(1)+GY'(1)-{GY'(1)}2です。

 

右辺=GN"(1){GX'(1)}2+GN'(1)GX"(1)-{GN'(1)GX'(1)}2=[GN"(1)+GN'(1)-{GN'(1)}2]{GX'(1)}2+GN'(1)[GX"(1)+GX'(1)]-{GX'(1)}2]です。

 

以上から,Var[Y]=Var[N]{E[X]}2+E[N]Var[X]を得ます。

ここでまた一休みします。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

  

ブックオフオンライン 

iconオンライン書店 boople.com(ブープル)

|

« 確率と分布関数(4)(特殊分布(連続))」 | トップページ | 確率と分布関数(6)(特性関数,極限定理) »

309. 確率・統計」カテゴリの記事

コメント

正値でないときに一般化もできます。

期待値=「F 逆関数の [0,1] 区間積分」
=「逆関数グラフの正値側面積」-「負値側面積」
=「1-F の [0,∞) 積分」-「F の (-∞,0] 積分」

投稿: hirota | 2010年12月14日 (火) 13時06分

[例7-2] の直感的意味は、
期待値を確率空間での積分と考えると、y=F(x) のグラフの y 軸 (0≦y≦1) が確率空間に対応するから、グラフの x, y 軸を入れ替えた逆関数グラフの平均値が期待値となります。( y 軸を確率空間として F の逆関数を確率変数とすると分布関数は F になる)
ですから、逆関数グラフが正値の場合は「期待値=逆関数の面積={ (x , y) | 0≦x, F(x)≦y≦1 }の面積」となるわけです。

投稿: hirota | 2010年11月19日 (金) 19時38分

コメントを書く



(ウェブ上には掲載しません)




トラックバック


この記事へのトラックバック一覧です: 確率と分布関数(5)(積率,母関数):

« 確率と分布関数(4)(特殊分布(連続))」 | トップページ | 確率と分布関数(6)(特性関数,極限定理) »