確率と分布関数(7)(極限定理の続き,収束の種類)

　確率と分布関数の続きです。 

色々と中断中のテーマはあるのですが,１つ１つコツコツと終わらせていくつもりです。今は,科学ブログを書いている限りブログネタには困りません。毎回悩んでいた昔が懐かしいくらいです。

[定理9-9]:中心極限定理(central limit theorem)(同一分布の場合)

有限な平均:μ＝Ｅ[Ｘ_j],有限な分散:σ²＝Var[Ｘ_j]の同一分布を持つ独立確率変数列:Ｘ₁,Ｘ₂,..に対して,lim_n→∞Ｐ({(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)}≦ｘ)＝(2π)^-1/2∫_-∞^xexp(－ｕ²/2)ｄｕ(－∞＜ｘ＜∞)が成立する。

(証明) Ｕ_j≡Ｘ_j－μと置くと,Ｅ[Ｕ_j]＝Ｅ[Ｘ_j]－μ＝0,Ｅ[Ｕ_j²]＝Var[Ｘ_j]＝σ²です。

　Ｙ_n＝(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)＝(Σ_j=1ⁿＵ_j)/(ｎ^1/2σ)と定義して,その特性関数をφ_n(ｔ)と書けば,Ｕ₁,Ｕ₂,..が全て独立ですから,φ_n(ｔ)＝Ｅ[exp(iｔＹ_n)]＝Π_j=1ⁿＥ[exp{iｔＵ_j/(ｎ^1/2σ)}]となります。

　ところで指数関数はexp(iｔｕ)＝1＋iｔｕ－(1/2)ｔ²ｕ²＋(θ/6)(iｔｕ)³,(|θ|≦1)より,Ｅ[exp(iｔＵ_j)]＝1－(1/2)ｔ²σ²＋Ｏ(ｔ³)と近似展開されます。

　そこで,Π_j=1ⁿＥ[exp{iｔＵ_j/(ｎ^1/2σ)}]＝{1－ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}ⁿ＝{1＋ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}^-n＝[{1＋ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}^{1/{t2/(2n)＋Ｏ(n-3/2)}}]^{-t2/2＋Ｏ(n-3/2)}と書けます。

　ここで,公式:lim_n→∞(1＋1/ｎ)ⁿ＝ｅから,lim_n→∞{1＋ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}^{1/{t2/(2n)＋Ｏ(n-3/2)}}＝ｅを得ます。

それ故,lim_n→∞φ_n(ｔ)＝exp(－ｔ²/2)となります。右辺のexp(－ｔ²/2)は標準正規分布Ｎ[0,1]の特性関数に一致しています。

φ(ｔ)＝exp(－ｔ²/2)と置いてフーリエ反転公式:Ｆ(ｘ₂)－Ｆ(ｘ₁)＝∫_-∞^∞[{exp(－iｔｘ₂)－exp(－iｔｘ₂)}φ(ｔ)/(－iｔ)]ｄｔを用いると,Ｆ(ｘ₂)－Ｆ(ｘ₁)＝(2π)^-1/2∫_x1^x2exp(－ｕ²/2)ｄｕを得ます。

したがって,Ｆ(ｘ)＝lim_n→∞Ｐ(Ｙ_n≦ｘ)＝(2π)^-1/2∫_-∞^xexp(－ｕ²/2)ｄｕ (－∞＜ｘ＜∞)が成立します。(証明終わり)

[例9-10]:上記の中心極限定理から大数の法則(law of large numbers)を導きます。

(解)ｕの関数exp(－ｕ²/2)の性質から,任意のε₁＞0 に対して,あるｘ＞0 が存在して(2π)^-1/2∫_-x^xexp(－ｕ²/2)ｄｕ＝1－ε₁が成立することがわかります。

　そして,別に任意のε＞0 を与えて,ｎ≧σ²ｘ²/ε²となるようなｎを取ります。このとき,ｘ≦ｎ^1/2ε/σです。

そこで,中心極限定理によりＰ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|≦ε)＝Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)|≦(ｎ^1/2ε/σ))≧Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)|≦ｘ) → (2π)^-1/2∫_-x^xexp(－ｕ²/2)ｄｕ＝1－ε₁ (as ｎ→∞)となります。

　したがって,十分大きいｎに対して,Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|≦ε)＞1－2ε₁,すなわち,Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|＞ε)＜2ε₁です。

　ε₁＞0 は任意でしたから,lim_n→∞Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|＞ε)＝0 を得ます。これは先に述べた大数の法則です。(終わり)

[定理9-11]:ラプラス-ド・モアブルの定理(Laplace-de Moivre)

　各試行の結果,排反事象Ｔ,Ｈのどちらか１つが起きるようなｎ回の"ベルヌーイ試行＝独立試行"で,各試行の結果がＴなら１,Ｈなら0 を割り当てる確率変数をＸ_j(ｊ＝1,2,..,)とする。

　このとき,ｎ回の試行のうちでＴが出る回数をＳ_nとすればＳ_n＝Ｘ₁＋Ｘ₂＋..＋Ｘ_n＝Σ_j=1ⁿＸ_jである。

そこで,Ｐ(Ｘ_j＝1)＝ｐ,Ｐ(Ｘ_j＝0)＝ｑ＝1－ｐのときＹ_n≡(Ｓ_n－ｎｐ)/(ｎｐｑ)^1/2と置けば,Ｙ_nのｄ.ｆ:Ｆ_n(ｙ)＝Ｐ(Ｙ_n≦ｙ)に対してlim_n→∞Ｆ_n(ｙ)＝(2π)^-1/2∫_-∞^yexp(－ｕ²/2)ｄｕが成立する。

(ｙについて一様収束である。)

(証明) Ｅ[Ｘ_j]＝ｐ,Var[Ｘ_j]＝ｐｑより[定理9-9]を適用すれば自明。(証明終わり)

[定理9-12]:コルモゴロフの不等式(Kolmogorov's inequality)

平均がゼロで分散が有限の独立確率変数列:Ｘ₁,Ｘ₂,..について,Ｓ_k≡Ｘ₁＋Ｘ₂＋..＋Ｘ_kと置けば任意のε＞0 に対し,Ｐ(max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε)≦(1/ε²){Σ_k=1ⁿ Var[Ｘ_k]}が成立する。

(証明):集合ＡをＡ≡{ω∈Ω|max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε}と定義し,集合列:{Ａ_k}_k=1,2,.をＡ₁≡{ω∈Ω||Ｓ₁|≧ε},Ａ_k≡{ω∈Ω||Ｓ_j|＜ε(ｊ＝1,2,..,ｋ－1),|Ｓ_k|≧ε)(ｋ＝2,3,..,ｎ)で定義すれば,Ａ＝Ａ₁＋Ａ₂＋..＋Ａ_n＝Σ_k=1ⁿＡ_kです。

　このとき,Ａ,Ａ_k(ｋ＝1,2,..,ｎ)の指示関数Ｉ_A,Ｉ_Akについて,明らかにＩ_A＝Σ_k=1ⁿＩ_Akが成立します。故にＰ(Ａ)＝Σ_k=1ⁿＰ(Ａ_k)＝Σ_k=1ⁿＰ(Ｉ_Ak＝1)です。

　一方,Ｓ_n＝Ｓ_k＋(Ｓ_n－Ｓ_k)で,Ｓ_k＝Ｘ₁＋Ｘ₂＋..＋Ｘ_k,(Ｓ_n－Ｓ_k)＝Ｘ_k+1＋Ｘ_k+2＋..＋Ｘ_nです。

　そして,Ｓ_nとＳ_kは独立ですから,Val[Ｓ_n]＝Var[Ｓ_k]＋Var[Ｓ_n－Ｓ_k]であり,Ｅ[Ｓ_k]＝Ｅ[Ｓ_n－Ｓ_k]＝0 です。

　故に,Ｅ[Ｉ_AkＳ_n²]＝Ｅ[Ｉ_AkＳ_k²]＋Ｅ[Ｉ_Ak(Ｓ_n－Ｓ_k)²]≧Ｅ[Ｉ_AkＳ_k²]≧ε²Ｐ(Ｉ_Ak＝1)＝ε²Ｐ(Ａ_k)なる不等式が得られます。

　そこで,Σ_k=1ⁿVar[Ｘ_k]＝Ｅ[Ｓ_n²]≧Ｅ[Ｉ_AＳ_n²]＝Σ_k=1ⁿＥ[Ｉ_AkＳ_n²]≧ε²Σ_k=1ⁿＰ(Ａ_k)＝ε²Ｐ(Ａ)＝Ｐ(max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε)が成立します。(証明終わり)

[定理9-13]:独立確率変数列:Ｘ₁,Ｘ₂,..があって,それぞれ平均ゼロと有限の分散和:Σ_k=1^∞Var[Ｘ_k]＜∞を持てば,Ｐ(Σ_k=1^∞Ｘ_kが収束する)＝1が成り立つ。

(これを"Σ_k=1^∞Ｘ_kは概収束する。",あるいは,"ほとんど到るところで収束する。"という。)

(証明)Ｓ_k≡Ｘ₁＋Ｘ₂＋..＋Ｘ_k＝Σ_j=1^kＸ_jと置けば,Ｓ_n+k－Ｓ_n＝Ｘ_n+1＋Ｘ_n+2＋..＋Ｘ_n+k-1です。

　一方,上記の[定理9-12]によれば,Ｐ(max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε)≦(1/ε²){Σ_k=1ⁿ Var[Ｘ_k]}ですから,0≦Ｐ(max_1≦ｋ≦N(|Ｓ_n+k－Ｓ_n|)≧ε)≦(1/ε²){Σ_j=n+1^n+N Var[Ｘ_j]}(Ｎ≧1)です。

両辺のＮ→ ∞ の極限を取ると, 0≦Ｐ(max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)≧ε)≦(1/ε²){Σ_j=n+1^∞ Var[Ｘ_j]}ですが,Σ_k=1^∞Var[Ｘ_k]＜∞ なる仮定によって,ｎ→ ∞ に対して,右辺＝Σ_j=n+1^∞ Var[Ｘ_j] → 0です。

そこで,(1/2^ν)³＞0 に対してｐ_νが存在してΣ_j=pν+1^∞ Var[Ｘ_j]＜(1/2^ν)³＝2^-3νとなります。

よって,ε＝1/2^νと置けば,0 ≦Ｐ(max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)≧＝1/2^ν)≦2^2ν{Σ_{j= pν+1}^∞ Var[Ｘ_j]}＜2^-ν＝1/2^νが成立します。

したがって,Ｅ_ν≡{ω∈Ω|max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)≧1/2^ν}と置けばＰ(∪_ν=1^∞Ｅ_ν)≦Σ_ν=1^∞Ｐ(Ｅ_ν)＜Σ_ν=1^∞2^-ν＝1となります。そこで,ｎ→∞ に対して,Ｐ(∪_ν=n^∞Ｅ_ν)→ 0 です。

それ故,Ｅ≡∩_n=1^∞∪_ν=n^∞Ｅ_νと置けば,0 ≦Ｐ(Ｅ)≦Ｐ(∪_ν=n^∞Ｅ_ν)→ 0,つまりＰ(Ｅ)＝0 です。

そこで,Ｐ(Ｅ^c)＝1 ですが,Ｅ^c＝∪_n=1^∞∩_ν=n^∞Ｅ_ν^c,Ｅ_ν^c＝{ω∈Ω|max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)＜1/2^ν}＝{ω∈Ω|max_ｋ≧1[|Σ_{j= pν+1} ^pν+kＸ_j(ω)|]＜1/2^ν}です。

よって,ω∈Ｅ^cのとき,ある自然数ｎが存在してν≧ｎならω∈Ｅ_ν^c,つまり,|Σ_{j= pν+1} ^pν+kＸ_j(ω)|＜1/2^ν≦1/2ⁿ (ｋ≧1)です。

ω∈Ｅ^cならω∈Ｅ_n^cですから,ｎ≦ｐ_n≦ｍのとき|Σ_j=m+1 ^∞Ｘ_j(ω)|＝|Σ_j=pn+1 ^∞Ｘ_j(ω)－Σ_j=pn+1 ^mＸ_j(ω)|≦|Σ_j=pn+1 ^∞Ｘ_j(ω)|＋Σ_j=pn+1 ^mＸ_j(ω)|≦1/2^n-1です。

つまり,ω∈Ｅ^cならｎ→ ∞ に対し|Σ_j=m+1 ^∞Ｘ_j(ω)|→ 0 です。それ故,Ｐ(Ｅ^c)≦Ｐ({ω∈Ω||Σ_j=m+1 ^∞Ｘ_j(ω)|→ 0 })です。

以上から,1＝Ｐ(Ｅ^c)＝Ｐ(∪_n=1^∞∩_ν=n^∞Ｅ_ν^c)＝Ｐ(Σ_j=1 ^∞Ｘ_jが収束する。) が成り立ちます。 (証明終わり)

※(注)これは2007年６/25の記事「ブラウン運動と伊藤積分(3)」で与えた(ボレル・カンテリ(Borel-Cantelli)の補題)とほぼ同じ内容です。

　すなわち,"{Ａ_n}_n=1,2,．を集合列としＡをこれらの集合の無限個の共通に含まれる要素の集合,Ｐを確率測度とする。このとき,(ａ)ΣＰ(Ａ_n)＜∞ ならＰ(Ａ)＝0 (ｂ)ΣＰ(Ａ_n)＝∞ で事象:Ａ_nが独立ならＰ(Ａ)＝1である。"という定理です。

(上記補題の証明):(ａ)Ａ＝∩_r=1^∞∪_n=r^∞Ａ_nと書けます。よって∀ｒについてＡ⊂∪_n=r^∞Ａ_nです。

ΣＰ(Ａ_n)が収束するので,ε＞0 を任意に取れば十分大きいｒに対してＰ(Ａ)≦Ｐ(∪_n=r^∞Ａ_n)≦Σ_n=r^∞Ｐ(Ａ_n)＜εです。そして,ε＞0 が任意なのでＰ(Ａ)＝0 です。

(ｂ)Ａ＝∩_r=1^∞∪_n=r^∞Ａ_nより,Ａ^c＝∪_r=1^∞∩_n=r^∞Ａ_n^cです。

故に,1－Ｐ(Ａ)＝Ｐ(Ａ^c)＝Ｐ(∪_r=1^∞∩_n=r^∞Ａ_n^c)≦Σ_r=1^∞Ｐ(∩_n=r^∞Ａ_n^c)≦Σ_r=1^∞Π_n=r^∞[1－Ｐ(Ａ_n)]です。

ここで,ΣＰ(Ａ_n)＝∞ なので各ｒについて右辺の無限積は 0 に発散します。(Σlog[1－Ｐ(Ａ_n)]≦－ΣＰ(Ａ_n)＝－∞ よりΠ_n=r^∞[1－Ｐ(Ａ_n)]＝exp(－∞)＝0 です。) 故に,Ｐ(Ａ)＝1です。(証明終わり)(注終わり)※

[定理9-14]:大数の強法則(strong rule of large numbers)

独立確率変数列:Ｘ₁,Ｘ₂,..が,各々平均:Ｅ[Ｘ_j]＝μ_j(－∞＜μ_j＜∞),分散:Var[Ｘ_j]＝σ_j²＜∞を持てば,Ｓ_n≡Ｘ₁＋Ｘ₂＋..＋Ｘ_nと置くとＥ[Ｓ_n]＝μ₁＋μ₂＋..＋μ_n＝ｍ_nである。

もしも,Σ_j=1 ^∞σ_j²＜∞ なら,Ｐ(lim_n→∞(Ｓ_n－ｍ_n)/ｎ＝0)＝1 が成り立つ。

(証明):Ｕ_j≡(Ｘ_j－μ_j)/ｊと置けば,Ｅ[Ｕ_j]＝0,かつVar[Ｕ_j]＝σ_j²/ｊ²です。

仮定によって,Σ_j=1^∞Var[Ｕ_j]＝Σ_j=1 ^∞σ_j²＜∞ ですから,[定理9-13]よりＰ(Σ_j=1^∞Ｕ_j＝Σ_j=1^∞(Ｘ_j－μ_j)/ｊが収束する。)＝1 が成立します。そこで,Ｓ_n'≡Σ_j=1ⁿＵ_j＝Σ_j=1ⁿ(Ｘ_j－μ_j)/ｊと置けばＰ(ｎ→∞でＳ_n'が収束する)＝1 です。

ところで,Ｓ₁'＝Ｕ₁＝Ｘ₁－μ₁,Ｓ_n'－Ｓ_n-1'＝Ｕ_n(n≧2),つまりｎ(Ｓ_n'－Ｓ_n-1')＝Ｘ_n－μ_n(ｎ≧2)なので,(Ｓ_n－ｍ_n)/ｎ＝(1/ｎ){Ｓ₁'＋2(Ｓ₂'－Ｓ₁')＋..＋ｎ(Ｓ_n'－Ｓ_n-1')}＝Ｓ_n'－(Σ_j=1^n-1Ｓ_j')/ｎと書けます。

Ｐ(ｎ→∞でＳ_n'が収束する)＝1 を,ほとんど到るところでlim_n→∞Ｓ_n'＝Ｓと表現すれば,ほとんどいたるところでlim_n→∞(Σ_j=1^n-1Ｓ_j')/ｎ＝Ｓです。

したがってＰ(lim_n→∞(Ｓ_n－ｍ_n)/ｎ＝0)＝1 を得ます。(証明終わり)

※ 独立確率変数の平均がほとんど到るところで平均値の平均に収束するというこの定理を大数の強法則といいます。※ 

次に確率関連の収束の種類をまとめます。 

1.確率収束(convergence in probability)

[定義10.1]:確率変数の列:{Ｘ_n}_n=1,2..があって∀ε＞0 に対しlim_n→∞Ｐ(|Ｘ_n－Ｘ|＞ε)＝0 が成り立つとき,Ｘ_nはＸに確率収束するといい,Ｘ_n → ^PＸと書く。

[定理10.2]:独立確率変数列:Ｘ₁,Ｘ₂,..が同一の平均Ｅ[Ｘ_j]＝μ,分散Var[Ｘ_j]＝σ²を持てば,∀α＞0 に対して,{(Ｘ₁＋Ｘ₂＋..＋Ｘ_n－ｎμ)/ｎ^1/2＋α}_n → ^P 0 (ｎ→∞)である。

(証明) Ｙ_n≡(Ｘ₁＋Ｘ₂＋..＋Ｘ_n－ｎμ)/ｎ^1/2＋αと置けば,Ｅ[Ｙ_n]＝0 ,Val(Ｙ_n)＝ｎσ²/ｎ^1＋2α＝σ²/ｎ^2αです。

　よって,平均がμ,分散がσ²の確率変数Ｘに対するチェビシェフの不等式:Ｐ(|Ｘ－μ|＞ｋ)≦σ²/ｋ²を適用すればＰ(|Ｙn|＞ε)≦σ²/(ε²ｎ^2α)→ 0 (ｎ→∞)です。(証明終わり)

2.法則収束(convergence in distibution)

[定義10.3]:確率変数の列{Ｘ_n}_n=1,2..,と別にある１つの独立変数ＸがあってＸの分布関数Ｆ(ｘ)の全ての連続点において,Ｘ_nの分布関数Ｆ_n(ｘ)がlim_n→∞Ｆ_n(ｘ)＝Ｆ(ｘ)を満たすなら,{Ｘ_n}はＸに法則収束するといい,Ｘ_n → ^dＸ,またはｄlimＸ_n＝Ｘと書く。

[例10.4]: 確率変数Ｘの確率分布が,Ｐ(Ｘ＝0)＝Ｐ(Ｘ＝1)＝1/2のとき,確率変数列:{Ｘ_n}をＸ_n≡1＋1/ｎ－Ｘで定義すれば,Ｘ_n → ^dＸ (ｎ→∞)が成り立つ。

(証明):Ｘ_n≡1＋1/ｎ－Ｘなので,Ｘ＝0 ⇔ Ｘ_n＝1＋1/ｎ;Ｘ＝1 ⇔ Ｘ_n＝1/ｎです。そこでＰ(Ｘ_n＝1＋1/ｎ)＝Ｐ(Ｘ＝0)＝1/2,Ｐ(Ｘ_n＝1/ｎ)＝Ｐ(Ｘ＝1)＝1/2です。

　一方,Ｘの具体的な分布関数は,Ｆ(ｘ)＝Ｐ(Ｘ≦ｘ)＝ 0 (for ｘ＜ 0),1/2 (for 0≦ｘ＜1),1(for ｘ≧1)です。

　そして,ｘ≦0 に対しては明らかにＦ_n(ｘ)＝Ｐ(Ｘ_n≦ｘ)＝0 です。0＜ｘ≦1 に対してはｎ→∞で1/ｎ≦ｘより,limＰ(Ｘ_n≦ｘ)＝1/2です。そしてｘ＞1ならｎ→∞で1＋1/ｎ≦ｘより,limＰ(Ｘ_n≦ｘ)＝1です。(証明終わり)

[定理10.5]:確率変数列{Ｘ_n}が確率収束(Ｘ_n → ^PＸ)するなら法則収束(Ｘ_n → ^dＸ)する。

(証明) {Ｘ_n}が確率収束(Ｘ_n →^PＸ)するとします。

すると,Ｆ_n(ｘ)＝Ｐ(Ｘ_n≦ｘ)＝Ｐ(Ｘ_n≦ｘ,Ｘ≦ｘ＋ε)＋Ｐ(Ｘ_n≦ｘ,Ｘ＞ｘ＋ε)≦Ｐ(Ｘ≦ｘ＋ε)＋Ｐ(Ｘ_n≦ｘ,Ｘ＞ｘ＋ε)≦Ｐ(Ｘ≦ｘ＋ε)＋Ｐ(|Ｘ_n－Ｘ|≦ε)です。

一方,Ｐ(Ｘ≦ｘ－ε)＝Ｐ(Ｘ_n≦ｘ,Ｘ≦ｘ－ε)＋Ｐ(Ｘ_n＞ｘ,Ｘ≦ｘ－ε)≦Ｐ(Ｘ_n≦ｘ)＋Ｐ(Ｘ_n＞ｘ,Ｘ≦ｘ－ε)≦Ｐ(Ｘ_n≦ｘ)＋Ｐ(|Ｘ_n－Ｘ|≦ε)です。

　以上から,Ｐ(Ｘ≦ｘ－ε)－Ｐ(|Ｘ_n－Ｘ|≦ε)≦Ｐ(Ｘ_n≦ｘ)≦Ｐ(Ｘ≦ｘ＋ε)＋Ｐ(|Ｘ_n－Ｘ|≦ε)ですが,Ｘ_n →^P Ｘ,つまりlim_n→∞Ｐ(|Ｘ_n－Ｘ|≦ε)＝0 ですからＰ(Ｘ≦ｘ－ε)≦lim_n→∞Ｐ(Ｘ_n≦ｘ)≦Ｐ(Ｘ≦ｘ＋ε)が成立します。

　それ故,Ｆ(ｘ)＝Ｐ(Ｘ≦ｘ)と置けばＦ(ｘ－ε)≦lim_n→∞Ｆ_n(ｘ)≦Ｆ(ｘ＋ε)です。そしてε＞0 が任意なのでｘがＦ(ｘ)の連続点ならlim_n→∞Ｆ_n(ｘ)≦Ｆ(ｘ),or Ｘ_n → ^dＸが成立します。(証明終わり)

[定理10-6]:確率変数列Ｘ₁,Ｘ₂,..が全て独立で,それぞれ平均:Ｅ[Ｘ_j]＝μ_j,分散:Var[Ｘ_j]＝σ_j²(ｊ＝1,2,..)を持つとする。このときＵ_n≡ｎ^-1/2Σ_j=1ⁿ{(Ｘ_j－μ_j)/σ_j}と置けば,各Ｘ_jの３次の積率が有限のｔきＵ_nはあるＵに法則収束する。すなわち,Ｕ_n → ^d Ｕである。

ただし,Ｕは標準正規分布Ｎ[0.1]を持つ確率変数である。

(証明):Ｙ_j≡(Ｘ_j－μ_j)/σ_jと置くと,Ｅ[Ｙ_j]＝0,Var[Ｙ_j]＝1です。

　そこで中心極限定理により,分布関数の連続点ではｎ→∞ に対してＰ(Ｕ_n≦ｘ)＝Ｐ({(Ｙ₁＋Ｙ₂＋.. ＋Ｙ_n)/ｎ^1/2}≦ｘ_j))→ (2π)^-1/2∫_-∞^xexp(－ｕ²/2)ｄｕです。

　したがって,Ｕ_n → ^d Ｕで,ＵはＮ[0,1]を持つ確率変数です。(証明終わり)

3.概収束(almosut sure convergence)

[定義10-7]:確率空間(Ω,Ｆ,Ｐ)上の確率変数列:{Ｘ_n}_n=1,2..,およびある１つの確率変数Ｘに対して,Ｐ({ω∈Ω|lim_n→∞Ｘ_n(ω)＝Ｘ(ω)})＝1 が成立するとき,Ｘ_nはＸに概収束するといい,Ｘ_n → ^a.s Ｘと書く。

　ただし,ａ.ｓ.はalmosut surely(ほとんど確実に)を意味します。ａ.ｓ.の代わりにａ.ｅ.＝almost everywhere(ほとんど到るところで)を用いることもあります。

[定理10-8]:∀ε＞0 に対してlim_n→∞Ｐ(∪_j≧n{ω∈Ω||Ｘ_j(ω)－Ｘ(ω)|≧ε})＝0 は,Ｘ_n → ^a.s Ｘと同値である。

(証明):Ｅ_j(ε)≡{ω∈Ω||Ｘ_j(ω)－Ｘ(ω)|≧ε}と置きます。すると定理の仮定は,lim_n→∞Ｐ(∪_j≧nＥ_j(ε))＝0 と書き直せます。

∩_n=1^∞∪_j≧nＥ_j(ε)⊂∪_j≧nＥ_j(ε)ですから,0≦Ｐ(∩_n=1^∞∪_j≧nＥ_j(ε))≦Ｐ(∪_j≧nＥ_j(ε))→ 0 (ｎ→∞),つまりＰ(limsupＥ_n(ε))＝lim_n→∞Ｐ(∩_n=1^∞∪_j≧nＥ_j(ε))＝0 です。

そこで,Ｅ≡∪_p=1^∞∩_n=1^∞∪_j≧nＥ_j(1/ｐ))と置けば,0≦Ｐ(Ｅ)≦Σ_p=1^∞Ｐ(∩_n=1^∞∪_j≧nＥ_j(1/ｐ))＝0 ,すなわちＰ(Ｅ)＝0 です。

それ故,Ｐ(Ｅ^c)＝1で,Ｅ^c＝∩_p=1^∞∪_n=1^∞∩_j≧n{Ｅ_j(1/ｐ)}^cです。

　そして,ω∈Ｅ^cとすると,任意の自然数ｐに対して,あるｎが存在してｊ≧ｎなら|Ｘ_j(ω)－Ｘ(ω)|＜1/ｐが成り立ちます。

　そこで,ω∈Ｅ^cならlim_n→∞Ｘ_j(ω)＝Ｘ(ω)です。故に,Ｅ^c⊂{ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)}です。

　したがって,１＝Ｐ(Ｅ^c)≦Ｐ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})≦1が成り立ちます。故に,Ｐ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})＝1,つまり,Ｘ_n → ^a.s Ｘです。

　逆に,Ｘ_n → ^a.s Ｘ (ｎ→∞),すなわちＰ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})＝1 とします。

ω∈{ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)}のとき,任意の自然数ｐに対しあるｎが存在してｊ≧ｎなら|Ｘ_j(ω)－Ｘ(ω)|＜1/ｐが成立します。

すなわち,任意の自然数ｐに対して適当なｎを取ればω∈∩_j=n^∞{Ｅ_j(1/ｐ)}^cですが,これはω∈∩_p=1^∞∪_n=1^∞∩_j=n^∞{Ｅ_j(1/ｐ)}^c＝Ｅ^cを意味します。

つまり,{ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)}⊂Ｅ^cですから仮定により１＝Ｐ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})≦Ｐ(Ｅ^c)≦1です。それ故,Ｐ(Ｅ^c)＝1 です。故にＰ(Ｅ)＝0 です。

　Ｅ＝∪_p=1^∞∩_n=1^∞∪_j=n^∞Ｅ_j(1/ｐ)より,任意のｐに対して∩_n=1^∞∪_j=n^∞Ｅ_j(1/ｐ)⊂ＥなのでＰ(∪_j=n^∞Ｅ_j(1/ｐ))＝0 です。

　つまり,lim_m→∞Ｐ(∩_n=1^m∪_j=n^∞Ｅ_j(1/ｐ))＝0 ,またはlim_m→∞Ｐ(∪_j=m^∞Ｅ_j(1/ｐ))＝0 です。

　ところで,任意のε＞0 に対しε≧1/ｐなるｐを採用すると,ω⊂Ｅ_j(ε)のとき|Ｘ_j(ω)－Ｘ(ω)|≧ε≧1/ｐによってω⊂Ｅ_j(1/ｐ),つまりＥ_j(ε)⊂Ｅ_j(1/ｐ)です。

　そこで,∪_j=m^∞Ｅ_j(ε)⊂∪_j=m^∞Ｅ_j(1/ｐ)ですから,0 ≦Ｐ(∪_j=m^∞Ｅ_j(ε))⊂Ｐ(∪_j=m^∞Ｅ_j(1/ｐ))→ 0 です。

　したがって,任意のε＞0 に対して,lim_n→∞Ｐ(∪_j=m^∞Ｅ_j(ε))＝0 が成立します。(証明終わり)

[例10-9]:確率変数Ｘが(0,1)上の一様分布を持つとき,確率変数列:{Ｘ_n}をＸ_n≡Ｘ＋δ_n(Ｘ)で定義する。ただし,δ_n(ｘ)は,0≦ｘ≦1/ｎならδ_n(ｘ)＝1,それ以外ではδ_n(ｘ)＝0 なる関数である。このとき,Ｘ_n → ^a.s Ｘ (ｎ→∞)が成立する。

(証明) Ｘ_j－Ｘ＝δ_j(Ｘ)ですから,0＜ε≦1を満たす任意のεに対して,|Ｘ_j－Ｘ|＞εとなるのはδ_j(Ｘ)＝1 のとき,つまり,0≦Ｘ≦1/jのときだけです。

　ｊ≧ｎなら1/j≦1/ｎですから,0≦ε≦1/ｎなら∪_j≧n{|Ｘ_j－Ｘ|＞ε}＝{|Ｘ_j－Ｘ|＞1/ｎ}＝{0≦Ｘ≦1/ｎ}です。また,ε＞1 なら∪_j≧n{|Ｘ_j－Ｘ|＞ε}＝φです。

　Ｘが(0,1)上の一様分布を持つことから,これはＰ(∪_j≧n{|Ｘ_j－Ｘ|＞ε})≦1/ｎを意味します。

したがって,lim_n→∞Ｐ(∪_j≧n{|Ｘ_j－Ｘ|＞ε})＝0 です。故に,[定理10-8]からＸ_n → ^a.s Ｘ (ｎ→∞)です。(証明終わり)

[例10-10]:確率変数列:{Ｘ_n}は各々の平均がゼロで分散:Var[Ｘ_n]の和:が有限:Σ_n=1^∞Var[Ｘ_n]＜∞ であるとする。このとき,Ｘ_n → ^a.s 0 (ｎ→∞)が成り立つ。

(証明):平均がμ,分散がσ²の確率変数Ｘに対するチェビシェフの不等式:Ｐ(|Ｘ－μ|＞ｋ)≦σ²/ｋ²は今の場合Ｐ(|Ｘ_j|＞ε)≦Var[Ｘ_j]/ε²となります。

　それ故,Ｐ(∪_j≧n{|Ｘ_j|＞ε})≦{Σ_j=n^∞ Var[Ｘ_j]}/ε² → 0 (as ｎ→∞)となります。故に,[定理10-8]からＸ_n → ^a.s 0 (ｎ→∞)です。(証明終わり)

[定理10-11]:確率変数列:{Ｘ_n}が概収束(Ｘ_n →^a.s.Ｘ)するなら確率収束(Ｘ_n →^PＸ)する。

(証明):{Ｘ_n}が概収束するとします。

ε＞0 を任意に取って,Ｅ_j(ε)≡{ω∈Ω}|Ｘ_j(ω)－Ｘ(ω)|＞ε}と置けばＥ_j(ε)^c＝{ω∈Ω}|Ｘ_j(ω)－Ｘ(ω)|≦ε}です。

仮定:Ｘ_n →^a.s.ＸよりＰ(lim_n→∞Ｘ_n ＝Ｘ)＝1 ですから,lim_n→∞Ｐ(∩_j=n^∞Ｅ_j(ε)^c)＝1,故にlim_n→∞Ｐ(∪_j=n^∞Ｅ_j(ε))＝0 です。

一方,Ｐ(|Ｘ_n－Ｘ|≧ε)＝Ｐ({ω∈Ω||Ｘ_n(ω)－Ｘ(ω)|≧ε})≦Ｐ(∪_j=n^∞{ω∈Ω||Ｘ_j(ω)－Ｘ(ω)|≧ε})＝Ｐ(∪_j=n^∞Ｅ_j(ε))ですから,任意のε＞0 に対してlim_n→∞Ｐ(|Ｘ_n－Ｘ|≧ε)＝0,すなわち,Ｘ_n →^PＸが成立します。(証明終わり)

※(注):逆命題の「確率変数列{Ｘ_n}が確率収束(Ｘ_n →^PＸ)するなら概収束(Ｘ_n →^a.s.Ｘ)する。」は一般には成立しません。

実際,任意のε＞0,δ＞0 を与えると,Ｘ_n →^a.s.Ｘ(概収束)の場合,あるＮが存在してＰ(∪_n=N^∞{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|＞ε})≦δ,つまりＰ(∩_n=N^∞{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε})＞1－δが成立します。

　一方,Ｘ_n →^PＸ(確率収束)の場合,あるＭが存在してｎ≧ＭならＰ({ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε})＞1－δが成立します。

上記の評価式は,概収束の場合はｎ＝Ｎ,Ｎ＋1,Ｎ＋2,..について{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε}が同時に起こる確率が１に近いことを示していますが,確率収束の場合はｎ＝Ｍ,Ｍ＋1,Ｍ＋2,..のそれぞれついて{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε}が起こる確率が１に近いことを示しているに過ぎません。

したがって,確率収束する場合,収束が起こる集合:{ω∈Ω|Ｘ_M(ω)－Ｘ(ω)|≦ε}と集合:{ω∈Ω|Ｘ_M+1(ω)－Ｘ(ω)|≦ε}の間に何の関係も要求されず,ただ,それぞれの確率が１に近いだけです。

一方,概収束する場合は{ω∈Ω|Ｘ_M(ω)－Ｘ(ω)|≦ε}と{ω∈Ω|Ｘ_M+1(ω)－Ｘ(ω)|≦ε}の共通集合の確率が１に近いことを意味するため,確率収束する場合より条件が厳しいです。(注終わり)※

4.二乗平均収束(convergebce in mean square)

[定義10-12]:確率変数列{Ｘ_n}_n=1,2..,およびある１つの確率変数Ｘに対して,lim_n→∞Ｅ[(Ｘ_n－Ｘ)²]＝0 が成立するとき,Ｘ_nはＸに二乗平均収束するという。

[定理10-13]: 確率変数列{Ｘ_n}が二乗平均収束するなら確率収束(Ｘ_n →^PＸ)する。

(証明):平均がμ,分散がσ²の確率変数Ｘに対するチェビシェフの不等式:Ｐ(|Ｘ－μ|＞ｋ)≦σ²/ｋ²を今の場合に適用すると, 0 ≦Ｐ(|Ｘ_j－Ｘ|＞ε)≦Var[Ｘ_j]/ε²＝Ｅ[(Ｘ_n－Ｘ)²]/ε²となります。

そこで,{Ｘ_n}が二乗平均収束するなら,lim_n→∞Ｅ[(Ｘ_n－Ｘ)²]＝0 よりlim_n→∞Ｐ(|Ｘ_j－Ｘ|＞ε)＝0 ,or Ｘ_n →^PＸです。(証明終わり)

今日はここまでにします。

当初の目的の重回帰係数のｔ検定の項目まで後一息です。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)