確率と分布関数(6)(特性関数,極限定理)
確率と分布関数の続きです。
前回の離散変数中心の話題から連続変数を主とする話題に移ります。
[定義9-1]:確率変数Xの積率母関数(moment generating function)を,
MX(θ)≡E[exp(θX)] で定義する。
ただし,E[exp(θX)]は∀θ∈Rについて常に存在するとは限らないので,この定義は右辺が存在するときに限られる。
そこで,MX(θ)=E[exp(θX)]においてθをit(t∈R)に置き換えたもの:Xの特性関数(characteristic function)を,
φ(t)≡E[exp(itX)](-∞<t<∞) で定義する。
iは虚数:√-1を表わす。
この定義では,E[exp(itX)]は∀t∈Rに対し絶対収束する。
※(注1):特性関数の定義によれば,特にXが離散確率変数で前記事で定義した確率母関数:G(z)=E[zX]を持つなら,
φ(t)=E[exp(itX)]=E[exp(it)X]=G(exp(it)) です。
また,Xが正値確率変数,つまりx<0 ならP(X≦x)=0 で,確率密度関数f(x)を持つ連続型変数のとき,
f(x)のLaplace変換は,
L{f(x)}≡∫0∞exp(-sx)f(x)dx
で定義されます。
そこで,L{f(x)}=E[exp(-sx)]ですが,右辺は
E[exp(-sx)]=Σj=0∞{(-s)j}/j!}E[Xj]
のように,sのベキ級数に展開されます。
故に,[dL{f(x)}/ds]x=0=-E[X],
[d2L{f(x)}/ds2]x=0=E[X2],etc.が成立します。
他方,Xが正値とは限らず一般の確率密度関数f(x)を持つ連続変数のとき,特性関数は,
φ(t)=E[exp(itX)]=∫-∞∞exp(itx)f(x)dx です。
これは,f(x)のFourier変換:F{f(x)}ですね。私にはこちらの方がLaplace変換より馴染み深いです。※
[例9-2]:確率密度関数(p.d.f)が正規分布:N[μ,σ2]:
f(x)=(2π)-1/2σ-1exp{-(x-μ)2/(2σ2)}(-∞<x<∞)
のとき,
E[exp(-sx)]=∫-∞∞exp(-sx)f(x)dx を求める。
(解): E[exp(-sx)]
=(2π)-1/2σ-1∫-∞∞exp{-(x-μ)2/(2σ2)-sx}dx
=π-1/2∫-∞∞exp{-(u2+21/2σsu+μs)}du
=π-1/2exp(σ2s2/2-μs)∫-∞∞exp{-(u+21/2σs/2)2}du
=exp(σ2s2/2-μs)
です。
※(注2):E[exp(-sx)]=exp(σ2s2/2-μs)に,s=-itを代入するとE[exp(itX)]=exp(iμt-t2σ2/2)を得ます。
よってN[μ,σ2]の特性関数はφ(t)=exp(iμt-t2σ2/2) です。
特に標準正規分布N[0,1]ならφ(t)=exp(-t2/2)です。 ※
[定理9-3]:(特性関数の性質)
(1) φ(0)=1
(2)|φ(t)|≦1.
(3)φ(k)(0)=ikE(Xk)
(4)Y=aX+bの特性関数はexp(itb)φ(at)である。
(5)確率密度関数f(x)が存在して偶関数:f(-x)=f(x)なら,
φ(t)は実関数である。
(証明):(1)φ(0)=E(1)=∫-∞∞dF=1 です。
(2)|φ(t)|=|E[exp(itX)]=|∫-∞∞exp(itX)dF|です。
そして,|∫-∞∞exp(itX)dF|≦∫-∞∞|exp(itX)|dF=∫-∞∞dF=1 です。
(3)φ(t)=E[exp(itX)]=E[Σk=0∞iktkXk/k!]=Σk=0∞iktkE[Xk]/k!です。そこで,φ(k)(0)=ikE[Xk]が成立します。
(4)φY(t)=E[exp(itY)]=E[exp{it(aX+b)}]
=exp(itb)E[exp{i(at)X}]=exp(itb)φ(at) です。
(5)φ(t)=E[exp(itX)]=∫-∞∞exp(itx)f(x)dx
=(1/2)∫0∞{exp(itx)f(x)+exp(-itx)f(-x)}dxです。
故にf(-x)=f(x)なら,φ(t)=∫0∞f(x)[{exp(itx)f(x)+exp(-itx)}/2]dx=∫0∞f(x)∫0∞f(x)cos(tx)dxです。
cos(tx)も密度関数f(x)も実関数ですから,φ(t)も実関数と結論できます。(証明終わり)
※(注3):この定理における性質(3)φ(k)(0)=ikE(Xk)から,
E[X]=-iφ'(0),Var[X]=E[X2]-E[X]2=-φ"(0)+{φ'(0)}2によって特性関数によるXの平均,分散の表現が得られます。 ※
[定理9-4]:確率変数Xの分布関数F(x)は特性関数φ(t)によって一意的に決定される。
(証明)φ(t)≡E[exp(itX)]なる定義から,F(x)=P(X≦x)=∫-∞xf(x)dxを満たす確率密度関数f(x)が存在すればφ(t)=∫-∞∞exp(itx)f(x)dx=F{f(x)}と書けます。
これのFourier逆変換から,逆に特性関数φ(t)が与えられれば密度関数はf(x)=(2π)-1∫-∞∞exp(-itx)φ(t)dtによって一意的に決まります。
そして,-∞<x1<x2<∞なる任意の2実数x1,x2に対してF(x2)-F(x1)=P(x1<X≦x2)=∫x1x2f(x)dx=-(2πi)-1∫-∞∞[{exp(-itx2)-exp(-itx1)}φ(t)/t]dtと書けます。
証明は省略しますが,密度関数が存在するとは限らない一般のφ(t)=∫-∞∞exp(itx)dFなる表現の場合でも,
F(x)の連続点x1<x2においてF(x2)-F(x1)=P(x1<X≦x2)=-(2πi)-1∫-∞∞{φ(t)/t}{exp(-itx2)-exp(-itx1)}dtが成立します。(証明終わり)
[定義9-5]:k次元確率変数X=(X1,X2,..,Xk)に対して
Xの特性関数を,φ(t)≡E[exp(itX)]=E[exp(iΣj=1ktjXj)],
t=(t1,t2,..,tk)によって定義する。
※(注4):上記のφ(t)に対しても,1変数の式:
P(x1<X≦x2)=-(2πi)-1∫-∞∞{φ(t)/t}{exp(-itx2)-exp(-itx1)}dtを拡張した,
P(X∈I)=(-2πi)-kΠj=1k∫-∞∞dt[{exp(-itbj)-exp(-itaj)}/tj]φ(t)が成立します。
ここに,I≡{x=(x1,x2,..,xk)|aj<xj≦bj;1≦j≦k},∫-∞∞dt≡∫-∞∞dt1∫-∞∞dt2d..∫-∞∞dtkです。
特にX1,X2,..,Xkが全て独立な確率変数で,それぞれ特性関数:
φX1(t),φX2(t),..,φXk(t)を持つなら,
φ(t)=φX1(t1)φX2(t2)..φXk(tk)です。
逆に,φ(t)=φX1(t1)φX2(t2)..φXk(tk)なら,X1,X2,..,Xkは独立です。※
[定理9-6]:X1,X2が独立で共に標準正規分布:N[0,1]を持つとき,
Y=X1-X2,Z=X1+X2は独立で共に正規分布:N[0,2]を持つ。
(証明)定義によって(Y,Z)の特性関数は,
φ(Y,Z)(t1,t2)=E[exp(it1Y+it2Z)]=E[exp{i(t1+t2)X1+(t1-t2)X2}]です。
ところがX1,X2は独立で特性関数は
φXj(t)=exp(-t2/2)(j=1,2)ですから,
E[exp{i(t1+t2)X1+(t1-t2)X2}]=E[exp{i(t1+t2)X1}]E[exp{i(t1-t2)X2}]です。
そこで,φ(Y,Z)(t1,t2)=φX1(t1+t2)φX2(t1-t2)=exp{-(t1+t2)2/2}exp{-(t1-t2)2/2}=exp(-t12)exp(-t22)です。
つまり,φ(Y,Z)(t1,t2)=E[exp(it1Y+it2Z)]=exp(-t12)exp(-t22)となりt1だけの関数とt2だけの関数の積に分解されます。
これは,E[exp(it1Y+it2Z)]=E[exp(it1Y)]E[exp(it2Z)]であって,E[exp(it1Y)]=exp(-t12),E[exp(it2Z)]=exp(-t22)を意味します。
したがって,Y=X1-X2,Z=X1+X2は独立で共に正規分布:N[0,2]を持つことが示されました。(証明終わり)
※次に極限定理(limit theorem)をいくつか与えます。
[定理9-7]:ベルヌーイの大数の法則(Bernoulli's law of large numbers)
P(Xj=1)=p,P(Xj=0)=q=1-pのベルヌーイ試行(独立試行):X1,X2,..において,Sn≡X1+X2+..Xnとおけば,
∀ε>0 に対してlimn→∞P(|(Sn/n)-p|<ε)=1が成り立つ。
(証明)この各試行XjではE[Xj]=p,Var[Xj]=(1-p)2p+(0-p)2q=pq=p(1-p)(j=1,2,..,n)です。
そして,ベルヌーイ試行=独立試行ですから
E[Sn]=E[X1+X2+..Xn]=np,Var[Sn]=Var[X1+X2+..Xn]=np(1-p)です。
そこで,E[Sn/n]=E[(X1+X2+..Xn)/n]=p,
Var[Sn/n]=Var[(X1+X2+..Xn)/n]=p(1-p)/n です。
先に示したチェビシェフの不等式:
P(|X-μ|≧kσ)≦1/k2において,
X=Sn/n,μ=p,σ={p(1-p)/n}1/2,
k=ε/σ=εn1/2p-1/2(1-p)-1/2とすると,
P(|Sn/n-p|≧ε)≦p(1-p)/(nε2)≦1/(4nε2)
となります。
それ故,limn→∞P(|(Sn/n)-p|≧ε)=0,
あるいはlimn→∞P(|(Sn/n)-p|<ε)=1-limn→∞P(|(Sn/n)-p|≧ε)=1 得ます。(証明終わり)
[定理9-8]:大数の法則(大数の弱法則)(weak law of large numbers)
{Xn}n=1,2,.は互いに独立な確率変数列で各Xnが有限な分散:σn2=Var[Xn](n=1,2,..)を持ち,
lim n→∞(Σj=1nσj2/n2)=0 なら,変数Sn≡Σj=1nXj=X1+X2+..Xnに対して,∀ε>0 について,
lim n→∞P(|(Sn/n)-E[Sn/n]|<ε)=1 が成り立つ。
(証明) Var[Σj=1nXj/n]=Σj=1nσj2/n2です。
そこでチェビシェフの不等式:P(|X-μ|≧kσ)≦1/k2において,
X=Sn/n,μ=E[Sn/n],σ=(Σj=1nσj2/n2)1/2,
k=ε/σとすると,
P(|Sn/n-E[Sn/n]|≧ε)≦(Σj=1nσj2)/(n2ε2)を得ます。
そこで,lim n→∞(Σj=1nσj2/n2)=0 なら
lim n→∞P(|(Sn/n)-E[Sn/n]|≧ε)=0,
あるいは,
lim n→∞P(|(Sn/n)-E[Sn/n]|<ε)=1-limn→∞P(|(Sn/n)-E[Sn/n]|≧ε)=1 です。(証明終わり)
[定理9-9]:中心極限定理(central limit theorem)
X1,X2,..,Xnは,それぞれ分布関数F1(x),F2(x),..,Fn(x)を持つ互いに独立な確率変数で,
有限な平均μj=E[Xj],有限な分散σj2=Var[Xj](j=1,2,..,n)
を持つと仮定する。
Sn2≡Var[X1+X2+..Xn]=σ12+σ22+..σn2 (Sn>0)は,
:"ε>0 に対してlimn→∞(1/Sn2)Σj=1n∫|x-μj|≧εSn(x-μj)2dFj(x)=0 "
というLindbergの条件を満たすと仮定する。
このとき,Yn≡{(X1+X2+..Xn)-E[X1+X2+..Xn]}/Snの分布は
n→∞ の極限で正規分布:N[0,1]に収束する。
(証明) Uj≡Xj-E[Xj]=Xj-μjとおけば,
E[Uj]=0,Var[Uj]=σj2です。
以下では,
Ujの分布関数をF~j(u)≡Fj(x-μj)と書くことにします。
さて,Yn={Σj=1nUj}/Snの特性関数を
φYn(t)=E[exp(itYn)] と書きます。
Uj(1≦j≦n)は全て独立なので,φYn(t)はUjの特性関数φj(t)=E[exp(itUj)]の積として
φYn(t)=Πj=1nφj(t/Sn)と書けます。
対数表現ではlog{φYn(t)}=Σj=1nlog{φj(t/Sn)}です。
さらに,log{φj(t/Sn)}={φj(t/Sn)-1}-(1/2){φj(t/Sn)-1}2+(1/3)){φj(t/Sn)-1}3-..なる級数展開から,
|log{φj(t/Sn)}-{φj(t/Sn)-1}|≦(1/2)|φj(t/Sn)-1|2/{1-|φj(t/Sn)-1|} なる評価式を得ます。
そこで,|log{φYn(t)}-Σj=1n{φj(t/Sn)-1}|
≦(1/2)max(1≦j≦n)|φj(t/Sn)-1|/{1-|max(1≦j≦n)|φj(t/Sn)-1|}Σj=1n|φj(t/Sn)-1| です。
ところで,φj(t)=E[exp(itUj)]
=∫-∞∞exp(itu)dF~j(u)Σj=1n|φj(t/Sn)-1|
=Σj=1n|∫-∞∞{exp(itu/Sn)-1}dF~j(u)| です。
そして,exp(itu/Sn)はTaylor展開と平均値の定理から,
exp(itu/Sn)=1+itu/Sn+θt2u2/(2Sn2) (|θ|≦1)
と書けます。
故に,Σj=1n|φj(t/Sn)-1|
=Σj=1n |(it/Sn)∫-∞∞udF~j+t2/(2Sn2))∫-∞∞θu2dF~j|
≦{t2/(2Sn2)}Σj=1n∫-∞∞u2dF~j|≦t2Sn2/(2Sn2) です。
すなわち,Σj=1n|φj(t/Sn)-1|≦t2/2です。
Lindbergの条件から,n→ ∞の極限で∀ε>0 に対して
Σj=1n∫|x-μj|≧εSndFj(x)≦{1/(ε2Sn2)}[Σj=1n∫|x|≧εSnx2dFj ] → 0 です。
つまり,十分大きい正整数n1を取れば,n≧n1を満たす正整数nに対して,常にΣj=1n∫|x-μj|≧εSndFj(x)<εが成り立ちます。
これはUjの言葉ではΣj=1n∫|u|≧εSndF~j(u)<εです。
また,|exp(itu/Sn)-1|≦2,|exp(itu/Sn)-1|≦|tu|/Snですから,
|φj(t/Sn)-1|≦|∫|u|>εSn{exp(itu/Sn)-1}dF~j(u)|+|∫|u|≦εSn{exp(itu/Sn)-1}dF~j(u)|
≦2∫|u|>εSndF~j(u)+(|t|/Sn|)(εSn)∫|u|≦εSndF~j(u)
です。
そこで,r>0 に対し|t|<rなら
|φj(t/Sn)-1|≦2∫|u|>εSndF~j(u)+rε が成立します。
つまり,n≧n1,かつ|t|<rなら,max(1≦j≦n)|φj(t/Sn)-1|<(2+r)εです。
これはn→∞ のとき,|t|<rで一様にmax(1≦j≦n)|φj(t/Sn)-1|→ 0 となることを意味します。
それ故,n→∞では,log{φj(t/Sn)}→{φj(t/Sn)-1},あるいはlog{φYn(t)}→Σj=1n{φj(t/Sn)-1}となることがわかります。
さらに,exp(itu/Sn)=1+itu/Sn-t2u2/(2Sn2)+θ't3u3/(6Sn3)(|θ'|≦1)であり,
σj2=∫-∞∞u2dF~j(u)です。
これと先の2次までの展開近似:
exp(itu/Sn)=1+itu/Sn-θt2u2/(2Sn2)(|θ|≦1)
を併用してΣj=1n{φj(t/Sn)-1}の極限値を評価します。
Σj=1n{φj(t/Sn)-1}
=Σj=1n∫-∞∞{exp(itu/Sn)-1}dF~j(u)
=Σj=1n[-t2σj2/(2Sn2)+(1-θ)t2/(2Sn2)∫|u|>εSnu2dF~j(u)+∫|u|≦εSn{-t2u2/(2Sn2)+θ't3u3/(6Sn3)}dF~j(u)]
と書けます。
Lindbergの条件:limn→∞(1/Sn2)Σj=1n∫|u|>εSnu2dF~j(u)=0 によれば,
∀ε>0 に対してn≧n1,かつ|t|<rなら|Σj=1n{φj(t/Sn)-1}+t2/2|=|Σj=1n{φj(t/Sn)-1+(t2σj2)/(2Sn2)}|<εr2/2+ε2r2/2+ε3r3/6 が成立します。
ε>0,r>0 は任意ですから,n→ ∞で
Σj=1n{φj(t/Sn)-1}→ (-t2/2)より,
log{φYn(t)}→ (-t2/2),
あるいはφYn(t)→ exp(-t2/2)を得ます。
そして,exp(-t2/2)は標準正規分布:[0,1]の特性関数です。
以上から,
分布に対する特性関数の一意性により定理の結論が従います。(証明終わり)
まあ,ここでの確率の母関数とか特性関数とかいうのは,物理学での統計物理学における分配関数,または状態和と呼ばれる関数と同じく,
それ自身の明確な意味はいま一つわからないが,その中に実際上必要な情報がほとんど含まれているようなものですね。
今日はここまでにします。(つづく)
参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会),
ヒンチン(河野繁雄 訳)「統計力学の数学的基礎」(東京図書),
清水良一 著「中心極限定理」(教育出版)
PS:女子フィギュアのSP見ました。
キム・ヨナも19歳の割りに色っぽくてよかったけど,私の中ではアメリカの高校生:レイチェル・フラットが最高でした。
フィギアスケートの演技というよりダンスとして見てました。。。
真央ちゃんは,まだ親方に連れられた角兵衛獅子?というか子供の軽業師(差別語?)というか?
まだ大人の女性という感じがしません。
女子の体操競技であれば,昔の子供だったコマネチのように技術だけあれば十分で芸術という側面は小さいのでしょうが。。。
↑(何見とるんじゃ?>エロオヤジ
女子フィギュアスケートはストリップ・ショーじゃないぞ。。)
| 固定リンク
「309. 確率・統計」カテゴリの記事
- 確率と分布関数(補遺)(2010.04.03)
- 確率と分布関数(11)(区間推定)(終了)(2010.03.24)
- 確率と分布関数(10)(線形回帰の基礎)(2010.03.23)
- 確率と分布関数(9)(推定2)(2010.03.18)
- 確率と分布関数(8)(推定1)(2010.03.12)
この記事へのコメントは終了しました。

































コメント