« ニコニコ動画テスト。。柴犬の子供 | トップページ | 最近考えていること(場の理論等覚え書き) »

2010年3月18日 (木)

確率と分布関数(9)(推定2)

 確率と分布関数(推定)の続きです。 

[定義12-1]:X1,X2,..,Xnを確率分布p(x;θ)を持つ母集団からのn個の任意標本とし,未知母数θの推定量をθ^=θ^(X1,X2,..,Xn)とするとき,∀ε>0 に対してlimn→∞P(|θ^-θ|≧ε)=0 (θ^→Pθ)が成立するならθ^をθの一致推定量(consistent estimator)という。

[定理12-2]:X1,X2,..,Xnを正規母集団:N[θ,σ2](σ2は既知)からの任意標本とする。このとき,<X>n≡(X1+X2+..+Xn)/nはθの一致推定量である。

(証明):平均がμ,分散がσ2の確率変数Xに対するチェビシェフの不等式P(|X-μ|>k)≦σ2/k2を,今の平均がθ,分散がσ2/nの確率変数<X>nに適用すると任意のε>0 に対し 0≦P(|<X>n-θ|≧ε)≦σ2/(nε2)となります。

 そこで,limn→∞σ2/(nε2)=0 からlimn→∞P(|<X>n-θ|≧ε)=0 (<X>nPθ)が従います。すなわち,<X>n=(X1+X2+..+Xn)/nはθの一致推定量です。(証明終わり)

[定理12-3]:θ^がlimn→∞Var[θ^]=0 を満たすθの漸近不偏推定量であればθ^はθの一致推定量である。

(証明):漸近不偏推定量の定義によって,limn→∞E[θ^]=θです。そこで,任意の正の数ε>0 に対しある自然数N0=N0(ε)が存在してn≧N0なら|E[θ^]-θ|≦ε/2です。

ω∈{ω∈Ω:|θ^(ω)-θ|≧ε}とすると,ε≦|θ^(ω)-θ|≦|θ^(ω)-E[θ^]|+|E[θ^]-θ|より,ε-|θ^(ω)-E[θ^]|≦|E[θ^]-θ|です。

そこで,n≧N0ならε-|θ^(ω)-E[θ^]|≦ε/2,つまり|θ^(ω)-E[θ^]|≧ε/2となります。故に,n≧N0なら{ω∈Ω:|θ^(ω)-θ|≧ε}⊂{ω∈Ω:|θ^(ω)-E[θ^]|≧ε/2}が成立します。

 

この結果とチェビシェフの不等式:P(|θ^-E[θ^]|≧ε/2)≦{Var[θ^]/(ε/2)2}から,P(|θ^-θ|≧ε)≦4Var[θ^]/ε2なる不等式を得ます。

 

仮定によりlimn→∞Var[θ^]=0 ですから,先に与えたε>0 と他の任意の数δ>0 による数:ε2δ/4 に対して自然数N1=N1(δ)が存在してn≧N1ならVar[θ^]<ε2δ/4 が成立します。

そこで,N0(ε)とN1(δ)のうちの大きい方をN=N(ε,δ)と書けば,n≧Nに対してP(|θ^-θ|≧ε)≦δとなります。

そこで,θ^のθへの確率収束:θ^→Pθ:limn→∞P(|θ^-θ|≧ε)=0 が成立します。(証明終わり)

[補題12-4]:Xj(1≦j≦n)が全て標準正規分布:N[0,1]を持つ独立確率変数で,Tがn×nの直交行列:TtT=tTT=I(単位行列)なら,列ベクトルX=t(X1,X2,..,Xn)に対してt(Y1,Y2,..,Yn)≡Tで定義される列ベクトルの成分Yj(1≦j≦n)もまた全て分布:N[0,1]を持つ独立確率変数である。

(証明):1≦j≦nを満たす各々のjについて変数XjはN[0,1]を持ちますから,確率密度関数はfXj(xj)=(2π)-1/2exp(-xj2/2)です。

  

 そしてXjは全て独立ですから,確率変数の族:t=(X1,X2,..,Xn)の同時確率密度関数fX();t(x1,x2,..,xn)はfX()=Πj=1nXj(xj)=(2π)-n/2exp{-(Σj=1nj2)/2}=(2π)-n/2exp{-(txx)/2}と書けます。

=Tより,=Tとすればx=t,かつtx=tTなので,fX()=(2π)-n/2exp{-(txx)/2}=(2π)-n/2exp{-(tt)/2}=(2π)-n/2exp{-(tyy)/2}です。

dy1dy2..dyn=(detT)dx1dx2..dxnですから,dx1dx2..dxn=(detT)-1dy1dy2..dynです。そこで,fX()dx1dx2..dxn=(detT)-1X()dy1dy2..dynとなります。

したがって, t=(Y1,Y2,..,Yn)=ttTの同時確率密度関数f()はfY()=(detT)-1X()で与えられます。

※(注):今の当面の変数変換は=Tの線形変換ですが,一般の変換()でも,局所的にd=J()dと無限小線形変換で表わされる点においては,(detT)-1=det(T-1)をdet(J-1)=det(∂/∂)で置き換えることで,fY()=det(∂/∂)fX()となります。

 

 なお,J()=(∂/∂)はヤコービ行列です。(注終わり)※

そして,直交行列Tに対しては,1=det(TtT)=(detT)2よりdetT=(detT)-1=±1ですが,今の確率変数の場合にはfY()=|detT|-1X()=(2π)-n/2exp{-(tyy)/2}を得ます。(証明終わり)

[定理12-3の系]:X1,X2,..,Xnを正規母集団:N[μ,σ2]からの任意標本とするとき,不偏分散:σ2^≡Σj=1n(Xj-<X>)2/(n-1)は分散:σ2の一致推定量である。

(証明):n次の正方行列:T=(tij)の成分をtij=1/n1/2(i=1),tij=1/{i(i-1)}1/2(i≧2,j<i),tij=-(i-1)/{i(i-1)}1/2(i≧2,j=i),tij=0 (i≧2,j>i)で与えれば,TtT=tTT=Iとなることが示せるのでTは直交行列です。

一方,Xj(1≦j≦n)は全て正規分布:N[μ,σ2]を持つので,Zj≡(Xj-μ)/σ(1≦j≦n)と定義すると,これらは全て標準正規分布:N[0,1]を持ちます。

 列ベクトルt(Z1,Z2,..,Zn)に対して,t(Y1,Y2,..,Yn)≡Tを定義すると,[補題12-4]によりYj(1≦j≦n)もまた全てN[0,1]を持ちます。

特に,Y1=Σj=1nj/n1/2=n1/2<Z>です。また,TtT=IによりtYYttTT,つまりΣj=1nj2=Σj=1nj2です。そこで,Σj=1n(Zj-<Z>)2=Σj=1nj2-n<Z>2=Σj=1nj2-Y12=Y22+..+Yn2です。

 

つまり,Σj=1n(Zj-<Z>)2は全てが標準正規分布N[0,1]を持つ(n-1)個の確率変数の和ですから,この変数は自由度(n-1)のχ2分布に従います。

(注):2/19の記事「確率と分布関数(4)(特殊分布(連続))」の[定理6-15]:X1,X2,..,Xnが全て標準正規分布を持つn個の独立確率変数ならばχ2≡Σj=1nj2=X12+X22+..+Xn2は自由度nのχ2分布を持つ。を参照しました。(注終わり) ※

そして,Zj-<Z>=(Xi-μ)/σ-(<X>-μ)/σ=(Xj-<X>)/σ,およびσ2^=Σj=1n(Xj-<X>)2/(n-1)から,Σj=1n(Zj-<Z>)2=Σj=1n(Xj-<X>)22=(n-1)σ2^/σ2を得ます。

そこで,(n-1)σ2^/σ2は自由度(n-1)のχ2分布に従うことが

わかりました。

 

故に,χ2分布の特性からE[(n-1)σ2^/σ2]=n-1,Var[(n-1)σ2^/σ2]=2(n-1)です。したがって,E[σ2^]=σ2,Var[σ2^]=2σ4/(n-1)です。

以上から不偏分散:σ2^≡Σj=1n(Xj-<X>)2/(n-1)は分散σ2の不偏推定量であり,そこでσ2の漸近不偏推定量です。

 

さらに,limn→∞Var[σ2^]=0 ですから[定理12-3]によってσ2^はσ2の一致推定量です。(証明終わり)

(別証明):以前の項目で示したように不偏分散σ2^はその呼称通り分散σ2の不偏推定量です。つまり,E[σ2^]=σ2ですから,σ2^はもちろんσ2の漸近不偏推定量です。

そして,前の記事の[例11-17]によれば,Var[σ2^]=2σ4/(n-1)ですから,limn→∞Var[σ2^]=0 も成立します。(証明終わり)

[定義12-5]:母集団分布がp(x;θ)である母集団データx1,x2,..,xnに対し,量L(θ)≡Πj=1np(xj;θ)を最大にするθの値をθ^*=θ^(x1,x2,..,xn)と書いて,これをθの最尤推定値(maximum likelihood estimate)と呼ぶ。

 また,L(θ)を尤度関数という。上記母集団からの任意標本X1,X2,..,Xnに対し,θ^(X1,X2,..,Xn)を最尤推定量(maximum likelihood estimator)という。

(注)尤度(ゆうど:likelihood)とは,尤もらしさ(もっともらしさ:liklihood)を意味します。※

[例題12-6]:X1,X2,..,Xnが次の確率分布を持つ母集団からの任意標本であるとき,未知母数の最尤推定量を求めよ。

(1)  一様分布:p(x;θ)=1/θ (0≦x≦θ),0 (その他)

(2)  正規分布N[μ,σ2]:p(x;μ,σ2)=(2π)-1/2σ-1exp{-(x-μ)2/(2σ2)}(-∞<x<∞)

(解)(1)L(θ)=1/θn (0≦x≦θ),0 (その他)となるので,L(θ)はθの単調減少関数でdL/dθ=0 となるθは存在しません。したがってθがゼロに近いほどL(θ)は大きいことになります

そして,母集団データx1,x2,..,xnを固定すればθの最小値はmax(x1,x2,..,xn)です。それ故,最尤推定量はθ^=max(X1,X2,..,Xn)で与えられます。

(2)この場合,θ=(μ,σ2)であり尤度関数はL(θ)=L(μ,σ2)=(2π)-n/2σ-nexp{-Σj=1n(xj-μ)2/(2σ2)}です。これの対数を取るとlogL(μ,σ2)=-(n/2){log(2π)+logσ2}-{Σj=1n(xj-μ)2/(2σ2)}です。

 尤度の最大値を与える方程式:∂{logL(μ,σ2)}/∂μ=Σj=1n(xj-μ)/σ2=(Σj=1nj-nμ)/σ2=0,∂{logL(μ,σ2)}/∂σ2={-n/(2σ2)}+Σj=1n(xj-μ)2/(2σ4)=0 解けばμ^=<x>=Σj=1nj/n,およびσ2^=Σj=1n(xj-<x>)2/nを得ます。

 したがって,μ,およびσ2の最尤推定量はそれぞれ<X>=Σj=1nj/n,およびΣj=1n(Xj-<X>)2/nです。(終わり)

[定理12-7]:θ^がθの最尤推定量でμ=g(θ)がθの一価関数ならμは最尤推定量μ^=g(θ^)を持つ。

(証明):μ=g(θ)はθの一価関数なので逆関数θ=g-1(μ)が存在して尤度関数はL(θ)=Πj=1np(xj;θ)=L(g-1(μ))と書けます。

最尤推定量の定義によって尤度関数L(θ)はθ=θ^=g-1(μ)で最大となります。一価関数μ=g(θ)ではθ^=g-1(μ)はμ=g(θ^)と同値ですから,μは最尤推定量μ^=g(θ^)を持つことになります。(証明終わり)

[定義12-8]:X1,X2,..,Xnを確率分布p(x;θ)を持つ母集団からの任意標本とし,未知母数θの推定量θ^に対する確率密度関数をg(θ^;θ)とする。(dP=g(θ^;θ)dθ^とする。)

一方,母集団データ(x1,x2,..,xn)を(θ^,y1,y2,..,yn-1)に変換してθ^=θ^(x1,x2,..,xn)を与えたときのY1,Y2,..,Yn-1の結合確率密度関数(j.p.d.f)をh(y1,y2,..,yn-1|θ^;θ)とする。

ただし,∂θ^/∂xk,∂yj/∂xk,(k=1,2,..,n;j=1,2,..,n-1)が全て存在して連続関数とする。

(x1;θ)p(x2;θ)..p(xn;θ)dx1dx2..dxn=g(θ^;θ)h(y1,y2,..,yn-1|θ^;θ)dθ^dy1dy2..dyn-1と置いたとき,h(y1,y2,..,yn-1|θ^;θ)がθを含まない(θに依存しない,θに独立)ならばθ^=θ^(X1,X2,..,Xn)をθの充足推定量(sufficient estimator)という。

※(注):p(x1;θ)p(x2;θ)..p(xn;θ)dx1dx2..dxn=g(θ^;θ)h(y1,y2,..,yn-1|θ^;θ)dθ^dy1dy2..dyn-1=L(θ)dx1dx2..dxnです。※

[例12-9]:X1,X2,..,Xnを2項母集団からの任意標本とする。確率分布(今の場合,2項母集団の離散分布なので密度関数ではない)をp(1;θ)=θ,p(0;θ)=1-θ(0<θ<1)とすると,T≡Σj=1njはθの充足推定量である。

(証明):p(x1;θ)p(x2;θ)..p(xn;θ)=Πj=1nθxj(1-θ)1-xj=θΣxj(1-θ)n-Σxj=θt(1-θ)n-t(xjは 0,または1)です。

一方,T≡Σj=1njの確率分布G(t;θ)はG(t;θ)=ntθt(1-θ)n-tで与えられます。

 

p(x1;θ)p(x2;θ)..p(xn;θ)=G(t;θ)H(x1,x2,..,xn|t;θ)から,H(x1,x2,..,xn|t;θ)=p(x1;θ)p(x2;θ)..p(xn;θ)/G(t;θ)=1/ntですが,これはθに依存しないのでT=Σj=1njはθの充足推定量です。(証明終わり)

[定理12-10]:ネイマンの分解基準(Neyman factorization criterion)

 確率密度関数(p.d.f)f(x;θ)を持つ母集団の任意標本X1,X2,..,Xnの関数θ^=θ^(X1,X2,..,Xn)がθの充足推定量であるための必要十分条件は,全てのθに対してΠj=1nf(xj;θ)=H(x1,x2,..,xn)g(θ^;θ)なる形の式が成立することである。

(証明):Πj=1n(xj;θ)dxj=h(y1,y2,..,yn-1|θ^;θ)g(θ^;θ)dθ^dy1dy2..dyn-1で,Πj=1ndxj=|detJ|dθ^dy1dy2..dyn-1です。(J≡∂(x1,x2,..,xn)/∂(θ^,y1,y2,..,yn-1))

(y1,y2,..,yn-1|θ^;θ)=|detJ|-1Πj=1nf(xj;θ)/g(θ^;θ)ですが,θ^=θ^(X1,X2,..,Xn)がθの充足推定量なら,h(y1,y2,..,yn-1|θ^;θ)はθに依りま戦せん。

 

1,y2,..,yn-1,θ^は全て(x1,x2,..,xn)の関数で,|detJ|-1=|detJ-1|,J-1=∂(θ^,y1,y2,..,yn-1)/∂(x1,x2,..,xn)も(x1,x2,..,xn)の関数です。

これをH(x1,x2,..,xn)と書けば,Πj=1nf(xj;θ)=H(x1,x2,..,xn)g(θ^;θ)です。

逆に,Πj=1n(xj;θ)=H(x1,x2,..,xn)g(θ^;θ)なら,θ^=θ^(x1,x2,..,xn),yj≡xj(j=1,2,..,n-1)と置けば,h(y1,y2,..,yn-1|θ^;θ)=|detJ|-1Πj=1nf(xj;θ)/g(θ^;θ)=|detJ|-1H(x1,x2,..,xn)です。

 

detJ=∂(x1,x2,..,xn)/∂(y1,y2,..,yn-1,θ^)=∂xn/∂θ^なので,h(y1,y2,..,yn-1|θ^;θ)=H(x1,x2,..,xn)|∂xn/∂θ^|-1であり,θに依存しないのでθ^はθの充足推定量です。

 

なぜなら,h(y1,y2,..,yn-1|θ^;θ)の因子H(x1,x2,..,xn)=H(y1,y2,..,yn-1,xn)でxn=xn(y1,y2,..,yn-1,θ^),∂xn/∂θ^も(y1,y2,..,yn-1,θ^)の関数ですからθに無関係です。(証明終わり)

 

[定理12-11]:(1)θの充足推定量θ^が存在する場合には,尤度方程式∂{logL(θ)}/∂θ=0 の任意の解はθ^の関数である。

  

(2)θの充足推定量θ1^,および有効推定量θ2^が存在すればθ2^はθ1^の関数である。

 

(証明):(1)任意標本値をx1,x2,..,xnと置けば,θ^はθの充足推定量なので,θ^の密度関数をg(θ^;θ)とすると尤度関数はL(θ)=g(θ^;θ)h(x1,x2,..,xn|θ^)と表現できます。

 

 そこで,尤度方程式∂{logL(θ)}/∂θは∂{logg(θ^;θ)}/∂θ=0 となります。この方程式の左辺はθ^,θのみの関数なのでθについて解いた解θ(最尤推定量)は充足推定量θ^の関数です。

 

(2)θの任意の不偏推定量をU^,充足推定量のθ1^の密度関数をg(θ1^;θ)と置きます。

 

 充足推定量の定義から,(x1,x2,..,xn)を(θ1^,y1,y2,..,yn-1)に変換してΠj=1n(xj;θ)dxjg(θ1^;θ)h(y1,y2,..,yn-11^,θ)dθ1^dy1dy2..dyn-1と置けば,h(y1,y2,..,yn-11^;θ)はθを含みません。

 

 一方,U^はθの不偏推定量なので,θ=E[U^]=∫..∫ug(θ1^;θ)h(y1,y2,..,yn-11^)dθ1^dy1dy2..dyn-1=∫k(θ1^)g(θ1^;θ)dθ1^が成立します。ただし,k(θ1^)≡∫..∫uh(y1,y2,..,yn-11^)dy1dy2..dyn-1です。

 

 θ=∫k(θ1^)g(θ1^;θ)dθ1^はk(θ1^)がθの不偏推定量であることを意味しています。

  

 E[U^]=θ,U^-θ=U^-k(θ1^)+k(θ1^)-θより,E[k(θ1^)]=θですから,Var[U^]=∫..∫(u-θ)2Πj=1n(xj;θ)dxj=∫..∫[u-k(θ1^)]2Πj=1n(xj;θ)dxj+∫..∫[k(θ1^)-θ]2Πj=1n(xj;θ)dxjと書けます。

  

 故に,Var[U^]≧∫[k(θ1^)-θ]2g(θ1^;θ)dθ1^ですが,この不等式でU^=θ2^と置けば有効推定量の分散の最小性から,等号:Var[θ2^]=∫[k(θ1^)-θ]2g(θ1^;θ)dθ1^が成立します。

  

 そこで,∫..∫[θ2^-k(θ1^)]2Πj=1n(xj;θ)dxj=E[{θ2^-k(θ1^)}2]=0 なのでθ2^=k(θ1^)です。(証明終わり)

 

 今日はここまでにします。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

    

 

ブックオフオンライン 

iconオンライン書店 boople.com(ブープル) 

|

« ニコニコ動画テスト。。柴犬の子供 | トップページ | 最近考えていること(場の理論等覚え書き) »

309. 確率・統計」カテゴリの記事

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック


この記事へのトラックバック一覧です: 確率と分布関数(9)(推定2):

« ニコニコ動画テスト。。柴犬の子供 | トップページ | 最近考えていること(場の理論等覚え書き) »