確率と分布関数(8)(推定1)
確率と分布関数の続きです。推定(statistical inference)の項目に入ります。
[定義11-1]:母集団の分布p(x;θ)に含まれている未知母数(パラメータ)θを,この母集団から抽出した任意標本(samples):X1,X2,..,Xnの関数θ^(X1,X2,..,Xn)によって推定する方法を点推定法という。
X1,X2,..,Xnがそれぞれx1,x2,..,xnなる値(標本値)と決まれば,θは1つの実現値θ*=θ^(x1,x2,..,xn)を取るので,このθ*をθの推定値という。また変量θ^(X1,X2,..,Xn)を推定量という。
[定義11-2]:未知母数θの推定量θ^がE[θ^]=θを満たすときθ^は不偏性(unbiasedness)を持つといい,このθ^をθの不偏推定量(unbiased estimate)という。
また,b(θ^)≡E[θ^]-θを推定量θ^の偏りという。ここで期待値EはX1,X2,..,Xnの同時分布にわたって取られる。
[定理11-3]:X1,X2,..,Xnが母平均μを持つ任意の母集団からの任意標本であるならば,標本平均:<X>≡(X1,X2,..,Xn)/n(=μ^)はμの1つの不偏推定量である。
(証明):E[Xj]=μ (j=1,2,..,n)よりE[<X>]=(1/n)Σj=1nE[Xj]=μです。(証明終わり)
[例11-4];母集団の分布は 0<x≦θに対してp(x;θ)=1/θ,それ以外ではp(x;θ)=0 の一様分布とする。
この一様母集団からの大きさnの任意標本:X1,X2,..,Xnに対し,<X>≡(X1,X2,..,Xn)/n,X(n)≡max(X1,X2,..,Xn)とおく。(今の場合,p(x;θ)はxの確率密度関数である。)
このとき,θ^1≡2<X>,θ^2≡(n+1)X(n)/nは共にθの不偏推定量である。
(証明):j=1,2,..,nに対してE[Xj]=∫0θ(x/θ)dx=θ/2ですから,E[θ^1]=E[2<X>]=θです。
次に,Xjの分布関数はx>θならP(Xj≦x)=1,0<x≦θならP(Xj≦x)=x/θ,x≦0 ならP(Xj≦x)=0 です
そして,{X(n)≦x}=∩j=1∞{Xj≦x}で,X1,X2,..,Xnは独立なので,X(n)の分布関数はF(x)≡P(X(n)≦x)=P(∩j=1∞{Xj≦x}=Πj=1∞P(Xj≦x)となります。
そこで,x>θならF(x)=1,0<x≦θならF(x)=xn/θn,x≦0 ならF(x)=0 です。
確率密度関数はf(x)=dF/dxで与えられます。これは,0<x≦θならf(x)=nxn-1/θn,それ以外ではf(x)= 0です。
それ故,E[X(n)]=∫0∞xf(x)dx=(n/θn)∫0θxn/dxθn =nθ/(n+1)です。故に,E[θ^2]=E[(n+1)X(n)/n]=θです。(証明終わり)
[定理11-5]:母集団分布に母分散σ2が存在するとき,分布型に関係なE[{Σj=1n(Xj-<X>)2}/(n-1)]=σ2が成り立つ。
(証明):母平均をE[Xj]=μ(j=1,2,..,n)とすると,Xj-<X>=(Xj-μ)-(<X>-μ)よりE[(Xj-<X>)2]=E[(Xj-μ)2-2(Xj-μ)(<X>-μ)+(<X>-μ)2]と書けます。
ところがE[(Xj-μ)2]=σ2,E[Σj=1n(Xj-μ)(<X>-μ)]=nE[(<X>-μ)2],また,明らかにE[(<X>-μ)2]=σ2/nです。
それ故,E[{Σj=1n(Xj-<X>)2}]=nσ2-2nσ2/n+nσ2/n=(n-1)σ2です。以上から,E[{Σj=1n(Xj-<X>)2}/(n-1)]=σ2が得られます。
※(注):S02≡{Σj=1n(Xj-<X>)2}/(n-1)を不偏分散(unbiased variance)という。
[定義11-6]:平均がμ,分散がσ2の母集団からの大きさnの任意標本X1,X2,..,Xnに対してμの推定量としてμ^≡c1X1+c2X2+..+cnXnを取る。
標本の線形関数:μ^がVar[μ^]を最小にする不偏推定量となるように定数cj(j=1,2,..,n)を定める。このときのμ^をμの最良線形不偏推定量という。
[例11-7]:μ^≡c1X1+c2X2+..+cnXnがμの最良線形不偏推定量ならμ^は不偏推定量なのでE[μ^]=Σj=1ncjE[Xj]=μ(Σj=1ncj)=μです。故にΣj=1ncj=1です。
一方,Var[μ^]=Σj=1ncj2Var[Xj]=(Σj=1ncj2)σ2です。
以上から,最良線形不偏推定量を求めるには,Σj=1ncj=1の下でΣj=1ncj2を最小にすればいいことになります。
Σj=1ncj=1,および.Σj=1ncj2=1の微分はそれぞれd(Σj=1ncj)=Σj=1ndcj=0,およびd(Σj=1ncj2)=2Σj=1ncjdcj=0 です。
λをラグランジュの未定係数として,極小条件:Σj=1n(λ+2cj)dcj=0 より,cj=-λ/2=(一定)を得られます。
よって,Σj=1ncj=1よりcj=1/nがμ^≡c1X1+c2X2+..+cnXnの最良線形不偏推定量を与えることがわかります。(証明終わり)
[定義11-8]:θ^1とθ^2が共にθの不偏推定量であるとき,Var[θ^1]<Var[θ^2]ならθ^1の方がθ^2よりも有効である(efficient)という。
そして,母数θの全ての不偏推定量のうち最も分散の小さいものを,最も有効な推定量,または最良(best)推定量という。
[定理11-9]:(クラーメル・ラオの不等式(Cramer-Rao inequality),or C-R不等式)
母集団分布p(x;θ)は次の4つの条件:正則条件(1)~(4)満たすとする。(ただし,ここではp(x;θ)をp.d.f.とみなす。)
(1)-∞<x<∞の全てのxに対して∂p(x;θ)/∂θが存在する。
(2)∫-∞∞∫-∞∞..∫-∞∞Πj=1np(xj;θ)dx1dx2.. dxnは積分と微分∂/∂θの順序の交換ができる。
(3)E[{∂logp(X;θ)/∂θ}2]<∞
(4)∫-∞∞∫-∞∞..∫-∞∞θ^(x1,x2,..,xn) Πj=1np(xj;θ)dx1dx2.. dxnはθに関して微分可能である。
この正則条件の下でθの不偏推定量θ^(X1,X2,..,Xn)の分散はVar[θ^]≧1/(nE[{∂[logp(X;θ)]/∂θ}2])なる不等式を満たす。
等号の成立は,Σj=1n[{∂[logp(Xj;θ)]/∂θ}=k{θ^(X1,X2,..,Xn)-θ}を満たすn,θによらない定数kが存在するときです。
(証明):θ^が不偏推定量であるという仮定から,θ=∫-∞∞∫-∞∞..∫-∞∞θ^(x1,x2,..,xn)Πj=1np(xj;θ)dx1dx2.. dxnです。
両辺をθで微分すると,1=∫-∞∞∫-∞∞..∫-∞∞θ^(x1,x2,..,xn)[Σj=1nΠk=1,k≠jnp(xk;θ){∂p(xj;θ)/∂θ}]dx1dx2..dxn=∫-∞∞∫-∞∞..∫-∞∞Πj=1nθ^(x1,x2,..,xn)[Σj=1nΠk=1,np(xk;θ){∂[logp(xj;θ)]/∂θ}]dx1dx2..dxnです。
よって,1=Σj=1nE[θ^(X1,X2,..,Xn){∂{logp(xj;θ)]/∂θ}]が成立します。
一方,明らかに,1=∫-∞∞∫-∞∞..∫-∞∞Πj=1np(xj;θ)dx1dx2..dxnです。
これも両辺をθで微分すると,上と同様にして 0=Σj=1nE[∂[logp(Xj;θ)]/∂θ]を得ます。
したがって,1=E[{θ^(X1,X2,..,Xn)-θ}{Σj=1n∂[logp(Xj;θ)]/∂θ}]と書けます。
これにシュワルツの不等式(Schwarz inequality)を適用すれば1≦E[{θ^(X1,X2,..,Xn)-θ}2]/E[{Σj=1n∂logp(xj;θ)/∂θ}2]が得られます。
そして,Var(θ^)=E[{θ^(X1,X2,..,Xn)-θ}2]より,これはVar(θ^)≧1/E[{Σj=1n∂logp(Xj;θ)/∂θ}2])を満たします。
等号はΣj=1n{∂[logp(xj;θ)]/∂θ}=k[{θ^(X1,X2,..,Xn)-θ}を満たす定数kが存在するときに限られます。
なぜなら,一般にシュワルツの不等式は数空間のベクトルx,yに対して|(xy)|2≦|x|2|y|2が成立するというもので,等号はxとyが同じ方向のベクトルのとき,例えばy=kxと書ける場合だけ成立します。
さて,∀jに対して∫-∞∞p(xj;θ)dxj=1より,∫-∞∞{∂logp(xj;θ)/∂θ}p(xj;θ)dxj=0 です。したがってE[∂[logp(Xj;θ)]/∂θ]=0 です。
それ故,j≠kならE[{∂[logp(Xj;θ)]/∂θ}{∂[logp(Xk;θ)]/∂θ}]=∫-∞∞∫-∞∞..∫-∞∞{∂[logp(xj;θ)]/∂θ}{∂[logp(xk;θ)]/∂θ}Πj=1np(xj;θ)dx1dx2.. dxn=E[∂[logp(Xj;θ)]/∂θ]E[∂log[p(Xk;θ)]/∂θ]=0 です。
そこでE[{Σj=1n∂[logp(Xj;θ)]/∂θ}2]=Σj=1nE[{∂[logp(Xj;θ)]/∂θ}2]=nE[{∂[logp(x;θ)]/∂θ}2]を得ます。故に,Var(θ^)≧1/(nE[{∂[logp(xj;θ)]/∂θ}2])です。
これをクラーメル・ラオの不等式(Cramer-Rao inequality),or C-R不等式といいます。(証明終わり)
[定義11-10]:C-R不等式で等号を成り立たせるθ^,つまりΣj=1n{∂[logp(xj;θ)]/∂θ}=k[{θ^(X1,X2,..,Xn)-θ}を満たすkが存在するようなθ^を有効推定量,または最小分散不偏推定量(minimum-variance unbiased estimator)という。
[例11-11]:母集団分布がp(x;λ)=λx exp(-λ)/x! (x=0,1,2,..)なる分布のポアソン(Poisson)母集団のパラメータλの有効推定量は<X>=(X1+X2+..+Xn)/nである。
(証明):logp(x;λ)=xlogλ-λ-log(x!)ですから,∂[logp(x;λ)]/∂λ=-1+x/λです。
故に,nE[{∂[logp(X;θ)]/∂θ}2]=nE[(-1+x/λ)2]=n{E[1]-2E[X]/λ+E[X2]/λ2}=n{1+2λ/λ+(λ2+λ)/λ2}=n/λとなります。
一方,Var[<X>]=Σj=1nVar[Xj]/n2=λ/nです。したがって,Var[<X>]=1/(nE[{∂[logp(Xj;θ)]/∂θ}2])を満たします。
等号が成り立っていますから,<X>=(X1+X2+..+Xn)/nは有効推定量です。(証明終わり)
[例11-12]:正規母集団N[μ,σ2]からの任意標本をX1,X2,..,Xnとすれば,標本平均<X>=(X1+X2+..+Xn)/nは母平均μの有効推定量である。
(証明):p(x;μ)=(2π)-1/2σ-1exp{-(x-μ)2/(2σ2)}(-∞<x<∞)ですから,∂logp(x;μ)/∂μ=(x-μ)/σ2です。故に,E[{∂[logp(X;μ)]/∂μ}2]=E[(x-μ)]/σ4=1/σ2です。
そこで,1/(nE[{∂[logp(X;μ)]/∂μ}2])=σ2/nです。一方,Var[<X>]=Σj=1n Var[Xj]/n2=σ2/nです。故に,<X>は有効推定量です。(証明終わり)
[例11-13]:X1,X2,..,Xnが次の各確率分布を持つ母集団からの任意標本であるとき,θの有効推定量を求めます。
(1)p(x;θ)=NCxθx(1-θ)N-X (x=0,1,2,..,N,0<θ<1)
(2)p(x;θ)={1/(Γ(α)θα)}xα-1exp(-x/θ)(x≧0,αは定数)
(解):(1)logp(x;θ)=log NCx+xlogθ+(N-x)log(1-θ),故に∂[logp(x;θ)]/∂θ=x/θ-(N-x)/(1-θ)=(x-Nθ)/{θ(1-θ)}です。
したがって,E[{∂[logp(X;θ)]/∂θ}2]=E[(x-Nθ)2]/{θ2(1-θ)2}=Nθ(1-θ)/{θ2(1-θ)2}=N/{θ(1-θ)},それ故,1/(nE[{∂[logp(X;θ)]/∂θ}2])=θ(1-θ)/(nN)です。
ところで,<X>≡(X1+X2+..+Xn)/nと置くとE[<X>]=Nθ,Var[<X>]=Nθ(1-θ)/n,すなわち,Var[<X>/N]=θ(1-θ)/(nN)=1/(nE[{∂[logp(X;θ)]/∂θ}2])です。
θの有効推定量は<X>/N=(X1+X2+..+Xn)/(nN)です。
(2)logp(x;θ)=-logΓ(α)-αlogθ+(α-1)logx-x/θ,故に∂[logp(x;θ)]/∂θ=-α/θ+x/θ2=(x-αθ)/θ2です。
したがって,E[{∂[logp(X;θ)]/∂θ}2]=E[(x-αθ)2]/θ4=αθ2/θ4=α/θ2,それ故,1/(nE[{∂[logp(X;θ)]/∂θ}2])=θ2/(nα)です。
<X>≡(X1+X2+..+Xn)/nと置くと,E[<X>]=αθ,Var[<X>]=αθ2/n,すなわち,Var[<X>/α]=θ2/(nα)=1/(nE[{∂[logp(X;θ)]/∂θ}2])です。
θの有効推定量は<X>/α=(X1+X2+..+Xn)/(nα)です。
[定義11-14]:サンプル数をnとするとき,E[θ^]≠θであるがlimn→∞E[θ^]=θが成立するとき,θ^=θ^(X1,X2,..,Xn)をθの漸近不偏推定量(asymptotic unbiased estimator)という。
[定義11-15]:e[θ^]≡(nE[{∂[logp(X;θ)]/∂θ}2]Var[θ^])-1をθ^の有効性(efficiency)という。
これを用いるとC-R不等式は 0<e[θ^]≦1と書けます。
[例11-16]:X1,X2,..,Xnを正規母集団N[0,σ2]からの任意標本とし,σ2の推定量をσ2^≡Σj=1nXj2/nとするときe[σ2^]を求める。
(解)p(x;σ2)=(2π)-1/2σ-1exp{-x2/(2σ2)}より,logp(x;σ2)=-(1/2)log(2π)-(1/2)logσ2-x2/(2σ2)なので,∂[logp(x;σ2)]/∂σ2=-1/(2σ2)+x2/{2(σ2)2}となります。
故に,E[{∂[logp(X;σ2)]/∂σ2}2]=(2π)-1/2σ-1∫-∞∞[-1/(2σ2)+x2/{2(σ2)2}]2exp{-x2/(2σ2)}dx=(2π)-1/2{1/(4σ4)}∫-∞∞(1-2t2+t4) 2exp(-t2/2)dt=1/(2σ4)を得ます。
それ故,nE[{∂[logp(X;σ2)]/∂σ2}2]=n/(2σ4)です。
一方,Var[σ2^]=Var[Σj=1nXj2/n]=Var[X2]/nで,Var[X2]=E[(X2-E[X2])2]=E[X4]-E[X2]2です。
E[X]=0 なのでE[X2]=Var[X]=σ2です。また,E[X4]=(2π)-1/2σ-1∫-∞∞x4exp{-x2/(2σ2)}dx=3σ4より,Var[X2]=2σ4,Var[σ2^]=2σ4/nです。
以上から,e[σ2^]=(nE[{∂[logp(X;σ2)]/∂σ2}2]Var[σ2^])-1=1です。(終わり)
[例11-17]:X1,X2,..,Xnを正規母集団N[0,σ2]からの任意標本とし,σ2の推定量を不偏分散σ2^≡Σj=1n(Xj-<X>)2/(n-1)とするとき有効性e[σ2^]を求める。
(解)p(x;σ2)=(2π)-1/2σ-1exp{-x2/(2σ2)}よりnE[{∂[logp(X;σ2)]/∂σ2}2]=n/(2σ4)です。(すぐ前の[例11-16]参照)
一方,Var[σ2^]=Var[Σj=1n(Xj-<X>)2/(n-1)]=E[(Σj=1n(Xj-<X>)2/(n-1)-σ2)2]=E[(Σj=1nXj2-n<X>2)2]/(n-1)2-σ4=(n2-1)/(n-1)2-σ4=2σ4/(n-1)です。(計算略)
したがって,e[σ2^]=(nE[{∂[logp(X;σ2)]/∂σ2}2]Var[σ2^])-1=(n-1)/n<1です。(終わり)
途中ですが今日はここまでにします。(つづく)
参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会),ラダクリシュナ-ラオ著(奥野忠一,篠崎信雄,古河陽子,鷲見泰俊,長田 洋,広崎昭太,矢島敬二 訳)「統計的推測とその応用」(東京図書)
PS:依然として風邪が治りません。
以前は市販のカゼ薬を飲んで寝ていれば長くても3日くらいで完治したし,そもそも風邪など5年に1度くらいしか引きませんでした。ずっと臨時雇いだったので本格的に病気になると職を失いますから気を張っていたこともあったでしょうね。
しかし,2006年暮れから2007年の初めに心臓病のせいで肺に水がたまり,その後2度目の入院で心臓手術して退院した後は,世間の気候の通りに病気になりやすく,最初のうち軽くて治ったかなと思ったときからが長くていつも10日以上もかかります。糖尿病のせいもあるでしょう。
一人では立ち上がって部屋を出るのさえ苦しいので,医者までたどりつくこともできないし,食欲もないので最低限飲み物だけで2,3日臥せっています。
3日分の薬もなくなりました。睡眠薬で無理やり寝てますが飯島愛さんの例もあるし,睡眠しているうちに肺炎で死ぬこともありますね。
高校を出て一人暮らしを始めて以来42年足らず,いわば天涯孤独なので病気で寝込むというのは慣れているはずなのですが,何もする気力がなく無理に動くと苦しくなるので困ることが多いですね。
41年前,故郷を出てからは,医者とか,看護師とか,お金を払って世話してもらう以外には,看病してもらったのは20代後半の頃,利尻島出身で白山に住んでいたガールフレンドの家で布団に寝て濡れタオルを額に乗せてもらったり,おカユ?(焼きそば?)を作ってもらったという記憶しかないですね。さびしい人生だな。。
↑ また弱音を吐いて同情でも買おうと考えてる。。自分のことばかりで,お前は他人の看病もしたことないじゃないか。。。
PS2:このブログを書くために数時間根をつめていたら心持ち症状が軽くなったような気がします。
| 固定リンク
「309. 確率・統計」カテゴリの記事
- 確率と分布関数(補遺)(2010.04.03)
- 確率と分布関数(11)(区間推定)(終了)(2010.03.24)
- 確率と分布関数(10)(線形回帰の基礎)(2010.03.23)
- 確率と分布関数(9)(推定2)(2010.03.18)
- 確率と分布関数(8)(推定1)(2010.03.12)
この記事へのコメントは終了しました。
コメント
どもサンガツさん。。TOSHIです。
このブログを書いたのは11日の夜中から12日に入った当たりでしたが,金曜日朝から夜まで10時間以上寝たらほぼ治りました。
どうもお見舞いのコメントありがとうございます。
結局,例によって週末には行きつけの安くて親切な飲み屋でアルコールが入ったら急に元気になったので,本物のアル中?(アル依存症?)なのかもしれません。
イヤ,自宅でもチャットじゃなくてそれなりの人間の話相手がいればお茶気だけでもテンションは上がるはずなのですがそれも近所迷惑だし,貧乏だけれど社交がないと生きていけないのでしょうがないという趣味なのですからどうなのかわかりませんが。。。
TOSHI
投稿: TOSHI | 2010年3月14日 (日) 13時07分
えらいこっちゃやでこれは・・・
お大事に
投稿: サンガツ | 2010年3月13日 (土) 07時19分