確率と分布関数(補遺)

　ブログという形式は,本来数式を用いて厳密な議論をする場としては向いてないと私自身も思ってはいますが,敢えて私的な思考体験の覚え書きの場として使っています。

私の場合は,内容の概念的咀嚼不足,語彙的解釈,国語的解釈の不足や説明力不足が多々あるため,自然科学についての話を数式のない文章だけで済ますというのは事実上不可能です。

　確率と分布というテーマの記事シリーズについても,教科書から昔まとめたノートの羅列を単に垂れ流しているだけで,自分自身でも概念の本質を理解しているかどうか定かでないものもあるようです。

　ノートの中で,コーヒー・ブレイク,あるいは息抜きとして書いてあった部分も記事として残しておきます。

まず,簡単な確率論の歴史についての覚え書きです。

※数学としての確率論は17世紀に２人の幾何学者パスカル(Pascal)とフェルマー(Fermat)とのカルタ遊び(賭博？)に関する往復書簡に始まるとされています。

それ以来発展してきた古典確率論は,事象に内在する先験確率論が起源です。そして,統計的研究が進むにつれて経験的確率論も唱えられました。

古典確率論の流れは,順列・組合わせ,および２項係数やその三角形の図形的配置(パスカルの三角形)との関係,魔方陣などの幾何学的確率論へと続いてゆき,やがてニュートン(Newton),ライプニッツ(Leibniｚ)に始まる微分積分学の発展と結び付いていわゆる解析的確率論が出現しました。

そして,これはラプラス(Laolace)の「確率の解析的理論」(1812)で集大成されました。

一方,近代確率論はコルモゴロフ(Kolmogorlov)の「確率論の基本概念(1933)」により基礎が確立された測度論的確率論に始まるものです。

これは数学的にはカントール(Cantor)によって体系化された集合論やルベーグ(Lebesgue)に始まる測度論に負うところが多く,数学として曖昧な確率概念を明確に定義し,幾つかの公理から出発して抽象数学の一分野として扱うというだけですから,古典確率論と概念的に対立するというわけではないようです。※

続いて情報理論の基礎に関しての小トピックです。

[定義１]:ある事象の予測確率がｐであるとき,Ｉ(ｐ)≡log(1/ｐ)＝－logｐを自己情報量(self-information)という。そして,底を2としたときの自己情報量の単位をビット(bit)という。

[定義２]:ｎ個の互いに排反な事象Ａ₁,Ａ₂,..,Ａ_nがあって,その生起確率がそれぞれｐ₁,ｐ₂,..,ｐ_n (Σ_j=1ⁿｐ_j＝1)であるとき,情報量log₂(1/ｐ_j)＝－log₂ｐ_jの期待値(平均値)をＳ(ｐ₁,ｐ₂,..,ｐ_n)で表わし,これを情報エントロピー(information entropy),または平均情報量(average information)という。

すなわち,Ｓ(ｐ₁,ｐ₂,..,ｐ_n)≡－ｐ₁log₂ｐ₁－ｐ₂log₂ｐ₂－..－ｐ_nlog₂ｐ_n＝－Σ_j=1ⁿｐ_jlog₂ｐ_jである。

[例]:無作為に投げて落ちたとき表の出る確率が正確に1/2の硬貨を繰り返し投げてはじめて表が出るまでの試行回数(最後の回も含める)を情報として伝達してもらう場合の情報エントロピーを求める。

(解):はじめて表が出るまでの試行回数がｎである事象をＡ_nとすると,ｐ_n＝Ｐ(Ａ_n)＝1/2ⁿ (ｎ＝1,2,..,)です。

　そこでＳ(ｐ₁,ｐ₂,..)＝－Σ_n=1^∞ｐ_nlog₂ｐ_n＝Σ_n=1^∞ｎ/2ⁿ＝[Σ_n=1^∞ｎｘⁿ]_x=1/2＝[ｘ(ｄ/ｄｘ){1/(1－ｘ)}]_x=1/2＝[ｘ/(1－ｘ)²]_x=1/2＝2です。(終わり)

◎(注１):Ｓ(ｐ₁,ｐ₂,..)＝Ｓ(1/2,1/4,1/8,1/16,..)＝1/2＋2/4＋3/8＋4/16＋..＝2なる事実は,表が出る確率が1/2のコインで,表が出るまでの平均試行回数が２回であるという至極当然なことを意味しているだけです。(注１終わり)

[性質1]:Ｓ(ｐ₁,ｐ₂,..,ｐ_n)≧0であり,等号はある1つのｉに対してｐ_i＝1,ｐ_k＝0 (ｋ≠i)のときのみ成り立つ。

(証明):0≦ｘ≦1のとき,－∞＜log₂ｘ≦0より－ｘlog₂ｘ≧0です。0≦ｐ_j≦1なので－ｐ_jlog₂ｐ_j≧0 (ｊ＝1,2,..,ｎ)よりＳ(ｐ₁,ｐ₂,..,ｐ_n)＝－Σ_j=1ⁿｐ_jlog₂ｐ_j≧0 を得ます。

　等号は－ｐ₁log₂ｐ₁＝－ｐ₂log₂ｐ₂＝..＝－ｐ_nlog₂ｐ_n＝0 のときだけです。

　0≦ｐ_j≦1より－ｐ_jlog₂ｐ_j＝0 は,ｐ_j＝0,またはlog₂ｐ_j＝0 ,つまり,ｐ_j＝0,またはｐ_j＝1 を意味します。

　しかし,Σ_j=1ⁿｐ_j＝1 ですから,これはある1つのｉに対してｐ_i＝1,それ以外:ｋ≠iではｐ_k＝0 を意味します。(証明終わり)

◎(注２):情報エントロピーＳが最小値:ゼロを取るのは,生起する可能性のあるｎ個の事象Ａ₁,Ａ₂,..,Ａ_nのうち,既にある１つの事象Ａ_iを取ることが100％確定していて曖昧さは全くない場合です。(注２終わり)

[性質２]:Ｓ(ｐ₁,ｐ₂,..,ｐ_n)≦Ｓ(1/ｎ,1/ｎ,..,1/ｎ)＝log₂ｎ

(証明):関数ｆをｆ(ｐ₁,ｐ₂,..,ｐ_n)≡ｐ₁＋ｐ₂＋..＋ｐ_n－1＝Σ_j=1ⁿｐ_j－1で定義するとΣ_j=1ⁿｐ_j＝1,つまりｆ(ｐ₁,ｐ₂,..,ｐ_n)＝0 のときΣ_j=1ⁿ(∂ｆ/∂ｐ_j)ｄｐ_j＝0です。

　そこでｆ(ｐ₁,ｐ₂,..,ｐ_n)＝0 の条件付きでＳ(ｐ₁,ｐ₂,..,ｐ_n)が最大になるための条件は,ラグランジュの未定係数法によりΣ_j=1ⁿ{(∂Ｓ/∂ｐ_j)＋λ(∂ｆ/∂ｐ_j)}ｄｐ_j＝0 です。

　これから,(∂Ｓ/∂ｐ_j)＋λ(∂ｆ/∂ｐ_j)＝0 (ｊ＝1,2,..,ｎ)ですが,Ｓ(ｐ₁,ｐ₂,..,ｐ_n)＝－Σ_j=1ⁿｐ_jlog₂ｐ_jより∂Ｓ/∂ｐ_j＝－log₂ｐ_j－log₂ｅ,∂ｆ/∂ｐ_j＝1なので,－log₂ｐ_j－log₂ｅ＋λ＝0 を得ます。

　故にｐ_j＝2^λ/ｅ＝(一定)です。

そこで,Σ_j=1ⁿｐ_j＝1 よりｐ_j＝1/ｎ(一定)がＳ(ｐ₁,ｐ₂,..,ｐ_n)のΣ_j=1ⁿｐ_j＝1 の条件付き極値を与えます。このとき,2^λ＝ｅ/ｎ,λ＝log₂ｅ－log₂ｎで,Ｓ(ｐ₁,ｐ₂,..,ｐ_n)＝log₂ｎです。

　これが,Ｓ(ｐ₁,ｐ₂,..,ｐ_n)の"唯一の極大値＝最大値"を与えることは自明です。(証明終わり)

◎(注３):情報エントロピーが最大値を取るのは,可能なｎ個の事象Ａ₁,Ａ₂,..,Ａ_nのうち,事象Ａ_iを取る確率が全て等しい場合,つまり,可能性が最も曖昧で情報の与える状態が最も乱雑な場合です。

例えば,空間の対称性という意味では,それが一様で等方的なら最もエントロピーが高いのですが,もしも対称性が破れてある位置やある方向が特別になればエントロピーは小さくなります。

生物の進化のような複雑化の現象は無方向性の混沌状態に特別な方向性を与えるものと考えられ,こうしたものは散逸構造に由来すると言われています。(注３終わり)

[性質３]:ｐ_j≧0,ｑ_j≧0 (ｊ＝1,2,..,ｎ)がΣ_j=1ⁿｐ_j＝1,Σ_j=1ⁿｑ_j＝1を満たすならば,－Σ_j=1ⁿｐ_jlog₂ｐ_j≦－Σ_j=1ⁿｐ_jlog₂ｑ_jなる不等式が成り立つ。

(証明):一般に,自然数の組:ｋ₁,ｋ₂,..,ｋ_nと非負の実数の組:ａ₁,ａ₂,..,ａ_nに対し,不等式(ａ₁^k1ａ₂^k2..ａ_n^kn)^{1/ m}≦(Σ_j=1ⁿｋ_jａ_j)/ｍ；ｍ≡ｋ₁＋ｋ₂＋..＋ｋ_nが成立します。

　ただし,等号はａ₁＝ａ₂＝..＝ａ_nのときです。

これは,統計学で有名な(相加平均)≧(相乗平均)という公式です。(2006年９/３の記事「ｎ変数の相加平均と相乗平均)」を参照)

　この不等式でｐ_j＝ｋ_j/ｍと置けば,ａ₁^p1ａ₂^p2..ａ_n^pn≦Σ_j=1ⁿｐ_jａ_jとなります。さらにａ_j＝ｑ_j/ｐ_jなら,(ｑ₁/ｐ₁)^p1(ｑ₂/ｐ₂)^p2..(ｑ_n/ｐ_n)^pn≦Σ_j=1ⁿｑ_j＝1です。

　等号はｑ₁/ｐ₁＝ｑ₂/ｐ₂＝..＝ｑ_n/ｐ_n(＝1)のときです。

つまり,ｐ₁^p1ｐ₂^p2..ｐ_n^pn≧ｑ₁^p1ｑ₂^p2..ｑ_n^pnが成立して,等号はｐ_j＝ｑ_j (ｊ＝1,2,..,ｎ)のときだけです。

この両辺の２の対数を取れば,－Σ_j=1ⁿｐ_jlog₂ｐ_j≦－Σ_j=1ⁿｐ_jlog₂ｑ_jが得られます。(証明おわり)

[性質４]:ｎ個の互いに排反事象Ａ₁,Ａ₂,..,Ａ_nの生起確率をそれぞれｐ₁,ｐ₂,..,ｐ_n (Σ_j=1ⁿｐ_j＝1)とする。

　さらに,特にｐ_n＝ｑ₁＋ｑ₂＞0；ｑ₁≧0,ｑ₂≧0 なら,Ｓ(ｐ₁,ｐ₂,..,ｐ_n-1,ｑ₁,ｑ₂)＝Ｓ(ｐ₁,ｐ₂,..,ｐ_n-1,ｐ_n)＋ｐ_nＳ(ｑ₁/ｐ_n,ｑ₂/ｐ_n)なる等式が成立する。

(証明):Ｓ(ｐ₁,ｐ₂,..,ｐ_n-1,ｑ₁,ｑ₂)＝－ｐ₁log₂ｐ₁－ｐ₂log₂ｐ₂－..－ｐ_n-1log₂ｐ_n-1－ｑ₁log₂ｑ₁－ｑ₂log₂ｑ₂＝－ｐ₁log₂ｐ₁－ｐ₂log₂ｐ₂－..－ｐ_n-1log₂ｐ_n-1－ｐ_nlog₂ｐ_n＋(ｑ₁＋ｑ₂) log₂ｐ_n－ｑ₁log₂ｑ₁－ｑ₂log₂ｑ₂ です。

そして,右辺＝Ｓ(ｐ₁,ｐ₂,..,ｐ_n-1,ｐ_n)－ｑ₁log₂(ｑ₁/ｐ_n)－ｑ₂log₂(ｑ₂/ｐ_n)＝Ｓ(ｐ₁,ｐ₂,..,ｐ_n-1,ｐ_n)＋ｐ_n{－(ｑ₁ｐ_n)log₂(ｑ₁/ｐ_n)－(ｑ₂ｐ_n)log₂(ｑ₂/ｐ_n)}＝Ｓ(ｐ₁,ｐ₂,..,ｐ_n-1,ｐ_n)＋ｐ_nＳ(ｑ₁/ｐ_n,ｑ₂/ｐ_n) です。(証明おわり)

[例２]:(情報路の容量)

送信信号,受信信号の集合を,それぞれ,Ｘ≡{ｘ₁,ｘ₂,..,ｘ_m},Ｙ≡{ｙ₁,ｙ₂,..,ｙ_n}と置く。

ｙ_jを受信したとき,どの信号が送られたかに関する曖昧さ(ambiguity)は,エントロピー:Ｓ(Ｘ|ｙ_j)≡－Σ_i=1^mＰ(ｘ_i|ｙ_j)log₂Ｐ(ｘ_i|ｙ_j)で表現されると考えられる。

　ここにＰ(ｘ_i|ｙ_j)は条件付確率:Ｐ(ｘ_i|ｙ_j)≡Ｐ(ｘ_i,ｙ_j)/Ｐ(ｙ_j)を表わす。

(解説):Ｓ(Ｘ|ｙ_j)を全ての受信信号Ｙ＝{ｙ₁,ｙ₂,..,ｙ_n}について平均したものを,"Ｙが与えられた下でのＸに関する平均の曖昧さ"といい,Ｓ(Ｘ|Ｙ)≡Σ_j=1ⁿＰ(ｙ_j)Ｓ(Ｘ|ｙ_j)で表わすことにします。

Ｓ(Ｘ)がＸの情報エントロピー:Ｓ(Ｘ)＝－Σ_i=1^mＰ(ｘ_i)log₂Ｐ(ｘ_i)のとき,"(Ｙを観測することによって除かれるＸに関する平均の曖昧さ)＝(伝達される情報)"は,Ｔ(Ｘ,Ｙ)≡Ｓ(Ｘ)－Ｓ(Ｘ|Ｙ)(＝エントロピーの減少量)で与えられます。

そこで,Ｘ→Ｙの情報路の容量(capacity)ＣをＣ≡max_P(xi)Ｔ(Ｘ,Ｙ)なる式によって定義します。

もしも,任意のｊに対し,ｘ_i＝ｙ_jならＰ(ｘ_i|ｙ_j)＝1でｘ_i≠ｙ_jならＰ(ｘ_i|ｙ_j)＝0 の場合なら,Ｓ(Ｘ|ｙ_j)＝0 (ｊ＝1,2,..,ｎ)なので,Ｓ(Ｘ|Ｙ)＝Σ_j=1ⁿＰ(ｙ_j)Ｓ(Ｘ|ｙ_j)＝0です。

したがって.容量はＣ≡max_P(xi)Ｓ(Ｘ)＝max_P(xi){－Σ_i=1^mＰ(ｘ_i)log₂Ｐ(ｘ_i)}となります。つまり,受信により獲得する完全な情報量は最大エントロピーに等しいです。(了)

[性質４]:エントロピー:Ｓ(Ｘ,Ｙ)＝－Σ_i=1^mΣ_j=1ⁿＰ(ｘ_i,ｙ_j)log₂Ｐ(ｘ_i,ｙ_j)は次の性質を持つ。

(1)Ｓ(Ｘ,Ｙ)≦Ｈ(Ｘ)＋Ｈ(Ｙ)が成り立つ。ただし等号はＰ(ｘ_i,ｙ_j)＝Ｐ(ｘ_i)Ｐ(ｙ_j)のときである。

(2)Ｈ(Ｘ|Ｙ)≦Ｈ(Ｘ)が成り立つ。

(3)Ｈ(Ｘ,Ｙ)＝Ｈ(Ｙ)＋Ｈ(Ｘ|Ｙ)が成り立つ。

(4)Ｙの結果がＸの結果を一意的に決定するならＨ(Ｘ,Ｙ)＝Ｈ(Ｙ)

(証明):(4)のみ証明します。(3):Ｈ(Ｘ,Ｙ)＝Ｈ(Ｙ)＋Ｈ(Ｘ|Ｙ)においてＨ(Ｘ|Ｙ)＝0 より,Ｈ(Ｘ,Ｙ)＝Ｈ(Ｙ)です。(証明終わり)

※情報エントロピーは統計物理学におけるボルツマン(Boltzmann)のＨ定理で常に減少関数であることが示される関数Ｈに対し,Ｓ＝－Ｈで与えられる量です。

ただし,統計熱物理学における熱平衡時のエントロピーＳは,その歴史的経緯から単位が異なっており,ｋ_Bをボルツマン定数:ｋ_B＝Ｒ/Ｎ_A(Ｒはモル気体定数,Ｎ_Aはアボガドロ(Avogadro)数)としてＳ＝－ｋ_BＨなる量で与えられます。

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会),豊田 正 著「情報の物理学」(講談社)

PS:プロ野球界のキムタク,37歳はまだ若い,クモ膜は回復可能だ。何とかガンバレ。。。http://sports.yahoo.co.jp/news/20100403-00000001-ykf-spo.html

PS2:頼まれもしないのに急に宣伝です。

　北島忠雄 著「初級者将棋上達の方程式,手筋の公式(基礎編)」(日本将棋連盟) ,北島忠雄の将棋講座「すぐに使える一手損角換わり戦法」全26回 1050円 他 将棋チャンネルDVD発売中!!

　

 

確率と分布関数(11)(区間推定)(終了)

　確率と分布関数の続きです。今日の記事でこの課題は終わりです。 

[定義14-1]:母集団分布ｐ(ｘ;θ)を持つ母集団からの任意標本をＸ₁,Ｘ₂,..,Ｘ_nとし,適当な正の数:(1－α)＞0 (例えば 0.95(α＝0.05),0.90(α＝0.10),..)を与えます。

これに対して,これらの標本の適当な関数θ^₁(Ｘ₁,Ｘ₂,..,Ｘ_n),θ^₂(Ｘ₁,Ｘ₂,..,Ｘ_n)を選んでＰ(θ^₁(Ｘ₁,Ｘ₂,..,Ｘ_n)＜θ＜θ^₂(Ｘ₁,Ｘ₂,..,Ｘ_n))＝1－αが成立するようにできるとき,この区間(θ^₁,θ^₂)を信頼度(confidence level)が(1－α)×100％の信頼区間(confidence interval)という。

また,θ^₁,θ^₂の値を信頼限界(confidence limit)という。

[例14-2]:信頼度:(1－α)×100％の信頼区間(θ^₁,θ^₂)を求める方法

(1)任意標本をＸ₁,Ｘ₂,..,Ｘ_nと母数θを含む確率変数(統計量):Ｔ(Ｘ₁,Ｘ₂,..,Ｘ_n;θ)であって,その確率密度関数:ｇ(ｔ)がθを含まないものを選ぶ。

(2)Ｐ(ｔ₁＜Ｔ(Ｘ₁,Ｘ₂,..,Ｘ_n;θ)＜ｔ₂)＝∫_t1^t2ｇ(ｔ)ｄｔ＝1－α (0＜α＜1)を満たすｔ₁,ｔ₂を求める。

(3)左辺のｔ₁＜Ｔ(Ｘ₁,Ｘ₂,..,Ｘ_n;θ)＜ｔ₂を変形してＰ(θ^₁(Ｘ₁,Ｘ₂,..,Ｘ_n)＜θ＜θ^₂(Ｘ₁,Ｘ₂,..,Ｘ_n))＝1－αを満たす(θ^₁,θ^₂)を求める。

[例14-3]:正規母集団(normal population):Ｎ[μ,σ²]の母平均μの区間推定

(1)σ²が既知(σ²＝σ₀²)の場合

　母集団分布の確率密度関数はｐ(ｘ;μ)＝(2π)^-1/2σ₀^-1exp{－(ｘ－μ)²/(2σ₀²)}です。

任意標本Ｘ₁,Ｘ₂,..,Ｘ_nに対し,標本平均を＜Ｘ＞≡Σ_j=1ⁿＸ_j/ｎと置き,＜Ｘ＞をμの推定量とすると,これは明らかにＥ[＜Ｘ＞]＝μを満たすのでμの不偏推定量(unbiased estimator)です。

また,Var[＜Ｘ＞]＝σ₀²/ｎにより推定量の有効性(efficiency)はｅ[＜Ｘ＞]≡(ｎＥ[{∂[logｐ(Ｘ;μ)]/∂μ}²]Var[＜Ｘ＞])^-1＝1です。そしてlim _n→∞ Ｐ(|＜Ｘ＞－μ|≧ε)＝0 も成立するため,＜Ｘ＞は有効推定量,一致推定量(consistent estimator)でもあります。

そして,変数＜Ｘ＞は正規分布:Ｎ[μ,σ₀²/ｎ]に従うため,変数:ｎ^1/2(＜Ｘ＞－μ)/σ₀は標準正規分布:Ｎ[0,1]に従います。

それ故,1－α＝Ｐ(－ｘ₀＜ｎ^1/2(＜Ｘ＞－μ)/σ₀＜ｘ₀)＝Ｐ(＜Ｘ＞－ｘ₀σ₀/ｎ^1/2＜μ＜＜Ｘ＞＋ｘ₀σ₀/ｎ^1/2)；(2π)^-1/2∫_-x0^x0exp(－ｔ²/2)ｄｔ＝1－α,or (2π)^-1/2∫₀^x0exp(－ｔ²/2)ｄｔ＝(1－α)/2と表現できます。

　μ^₁≡＜Ｘ＞－ｘ₀σ₀/ｎ^1/2,μ^₂≡＜Ｘ＞＋ｘ₀σ₀/ｎ^1/2と置くと,これらはＸ₁,Ｘ₂,..,Ｘ_nの関数です。結局,この場合の(1－α)×100％信頼区間は,(μ^₁,μ^₂)≡(＜Ｘ＞－ｘ₀σ₀/ｎ^1/2,＜Ｘ＞＋ｘ₀σ₀/ｎ^1/2)となります。

μ^₁,μ^₂は確率変数ですが,区間の長さは(μ^₂－μ^₁)＝2ｘ₀σ₀/ｎ^1/2で一定です。

　もしも,α＝0.05を与えて 1－α＝0.95,or (1－α)/2＝0.475 とすればｘ₀≒1.96なので,95％信頼区間は,(＜Ｘ＞－1.96σ₀/ｎ^1/2,＜Ｘ＞＋1.96σ₀/ｎ^1/2)で与えられることがわかります。

(2)σ²が未知の場合

　任意標本Ｘ₁,Ｘ₂,..,Ｘ_nに対して,標本平均を＜Ｘ＞≡Σ_j=1ⁿＸ_j/ｎと置き,やはり＜Ｘ＞をμの推定量μ^とします。前と同様,Ｅ[＜Ｘ＞]＝μであり＜Ｘ＞はμの不偏推定量です。

また,Ｓ²≡Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/ｎとします。こうすればｎＳ²/σ²＝Σ_j=1ⁿ{(Ｘ_j－＜Ｘ＞)²/σ²}です。

ただし,今はμの推定量＜Ｘ＞を問題にしているので余談になりますが,３/12の記事「確率と分布関数(8)」の[定理11-5]:"Ｅ[{Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²}/(ｎ－1)]＝σ²"によれば,分散σ²の不偏推定量はＳ²ではなく不偏分散:Ｓ₀²≡Σ_j=1ⁿ{(Ｘ_j－＜Ｘ＞)²/(ｎ－1)}です。

そして,ｎ変数:Ｘ₁－＜Ｘ＞,Ｘ₂－＜Ｘ＞,..,Ｘ_n－＜Ｘ＞は全て正規分布:Ｎ[0,σ²]を持ちますが,Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)＝0 ですから,独立な確率変数は(ｎ－1)個だけです。

そこで,２/19の記事「確率と分布関数(4)」の[定理6-15の系]:"Ｘ₁,Ｘ₂,..,Ｘ_nが全て正規分布Ｎ[μ,σ²]を持つｎ個の独立確率変数ならばΣ_j=1ⁿ{(Ｘ_j－μ)²/σ²}は自由度ｎのχ²分布を持つ。"からｎＳ²/σ²＝Σ_j=1ⁿ{(Ｘ_j－＜Ｘ＞)²/σ²}は自由度(ｎ－1)のχ²分布に従います。

　また,(＜Ｘ＞－μ)/(σ/ｎ^1/2)は標準正規分布:Ｎ[0,1]に従うことがわかっています。

「確率と分布関数(4)」の[定理6-17]:"確率変数ＸとＹが独立でＸがＮ[0,1],Ｙが自由度ｎのχ²分布を持つならばＴ≡Ｘ/(Ｙ/ｎ)^1/2は自由度ｎのｔ分布を持つ。"により,Ｔ≡{(＜Ｘ＞－μ)/(σ/ｎ^1/2)}/[ｎＳ²/{(ｎ－1)σ²}]^1/2＝(ｎ－1)^1/2(＜Ｘ＞－μ)/Ｓ＝(＜Ｘ＞－μ)/Ｓ₀と置けばＴは自由度(ｎ－1)のｔ分布に従います。

　よって,1－α＝Ｐ(－ｔ₀＜(＜Ｘ＞－μ)/Ｓ₀＜ｔ₀)＝Ｐ(＜Ｘ＞－ｔ₀Ｓ₀＜μ＜＜Ｘ＞＋ｘ₀Ｓ₀);[Γ(ｎ/2)/{(ｎ－1)πΓ((ｎ－1)/2)}^1/2]∫_-t0^t0{1＋ｔ²/(ｎ－1)}^-n/2ｄｔ＝1－α,or );[Γ(ｎ/2)/{(ｎ－1)πΓ((ｎ－1)/2)}^1/2]∫₀^t0{1＋ｔ²/(ｎ－1)}^-n/2ｄｔ＝(1－α)/2を得ます。

そこで,この場合は(1－α)×100％信頼区間は(μ^₁,μ^₂)≡(＜Ｘ＞－ｔ₀Ｓ₀,＜Ｘ＞＋ｔ₀Ｓ₀)となります。

ここまで,簡単なケースについて母集団からの標本によって母数の「区間推定(interval estimation)」を行うという概念を紹介しましたが,この他,同じく母集団からの標本に基づいて,"ある仮説＝帰無仮説(null hypothesis)"の「仮説検定(test of hypothesis)」を行なうという概念もあります。

こちらは,"標本から得られる統計量が有意水準(significance level):αの母集団の確率分布の(1－α)の範囲からはずれていれば,母数に関する仮説が誤っている可能性が強い。"と判断します。

まあ,推定と検定はその推論の向きが逆の関係であるというだけで本質的な差異はないと思われるので,検定の詳細は省略します。

少し具体的な検定の例として2007年３/23の記事「タミフルと異常行動の因果性」があるので,よかったら参照してください。

さて,重回帰式(multiple regression):Ｙ＝ｘ₁β₁＋ｘ₂β₂＋..＋ｘ_pβ_p＋ε＝Σ_k=1^pｘ_kβ_k＋εの回帰係数(regression voefficients):β^₁,β^₂,..β^_pの区間推定,または有意性検定を論じるために,前記事「確率と分布関数(10)」の最後の部分を再掲します。

◎(再掲記事):

[定義13-5]:ｎ個の標本Ｙ₁,Ｙ₂,..,Ｙ_nをＹ_j＝ｘ_j1β₁＋ｘ_j2β₂＋..＋ｘ_jpβ_p＋ε_j＝Σ_k=1^pｘ_jkβ_k＋ε_j (ｊ＝1,2,..,ｎ)と置く。ただしβ_k(ｋ＝1,2,..,ｐ)は未知母数でありｘ_jk(j＝1,2,..,ｎ;ｋ＝1,2,..,ｐ)は既知定数である。

ε_j(ｊ＝1,2,..,ｎ)は誤差で,これらは互いに独立な確率変数であって全てＮ[0,σ²]に従うと仮定する。これを線形回帰モデルという。

β^_kをβ_kの推定量とするとき,Ｙ_j－Σ_k=1^pｘ_jkβ^_k(ｊ＝1,2,..,ｎ)を残差(residual)という。残差の平方和:Ｑ(β^)＝Σ_j=1ⁿ(Ｙ_j－Σ_k=1^pｘ_jkβ^_k)²を最小にする回帰係数:β^＝(β^₁,β^₂,.., β^_p)を求める方法を最小二乗法(method of minimum square)という。

先にＱ(β^₁,β^₂)の最小値を与えるβ^₁,β^₂を回帰係数とする回帰直線ｙ＝β^₁＋β^₂ｘを求めた手続きを単回帰(sigle redression)と呼ぶのに対して上記のｐ≧3の手続きを重回帰(multiple linear regression)という。

そして,Ｑ(β^)が最小になるための必要条件:－(1/2)(∂Ｑ/∂β^_k)＝Σ_j=1ⁿ[ｘ_jk{Ｙ_j－(ｘ_j1β^₁＋ｘ_j2β^₂＋..＋ｘ_jpβ^_p)}]＝0 (ｋ＝1,2,..,ｐ)を正規方程式(normal equations)と呼ぶ。

※(注):具体的に正規方程式を解きます。

正規方程式はΣ_j=1ⁿ(ｘ_jkｘ_j1β^₁＋ｘ_jkｘ_j2β^₂＋..＋ｘ_jkｘ_jpβ^_p)＝Σ_j=1ⁿｘ_jkＹ_j (ｋ＝1,2,..,ｐ)です。

Ｓ_kl≡Σ_j=1ⁿｘ_jkｘ_jl,Ｄ_k≡Σ_j=1ⁿｘ_jkＹ_jと置けば,正規方程式はΣ_l=1^pＳ_klβ^_l＝Ｄ_k (ｋ＝1,2,..,ｐ)と書けます。これは(ｐ×ｐ)係数行列Ｓとｐ次元縦ベクトル:β^≡^t(β^₁,β^₂,..,β^_p),Ｄ≡^t(Ｄ₁,Ｄ₂,..,Ｄ_p)による行列表現ではＳβ^＝Ｄです。

また,Ｙ＝^t(Ｙ₁,Ｙ₂,..,Ｙ_n),ｘ_k≡^t(ｘ_1k,ｘ_2k,..,ｘ_nk) (ｋ＝1,2,..,ｐ)なるｎ次元縦ベクトルを用いるとＳ_kl＝Σ_j=1ⁿｘ_jkｘ_jl＝^tｘ_kｘ_l,Ｄ_k＝Σ_j=1ⁿｘ_jkＹ_j＝^tｘ_kＹ(ｋ,ｌ＝1,2,..,ｐ)ですから,(ｎ×ｐ)行列ＸをＸ≡(ｘ₁,ｘ₂,..,ｘ_p)で定義すると,Ｓ＝^tＸＸ,Ｄ＝^tＸＹと書けます。

さらに,Ｙ_j＝Σ_k=1^pｘ_jkβ_k＋ε_j (ｊ＝1,2,..,ｎ)もβ≡^t(β₁,β₂,..,β_p),ε≡^t(ε₁,ε₂,..,ε_n)により,Ｙ＝Ｘβ＋εですからＤ＝^tＸＹ＝Ｓβ＋^tＸεです。

Ｓ＝^tＸＸについてdetＳ≠0と仮定すれば,Ｔ＝(ｔ_ij)≡Ｓ^-1が存在するので正規方程式Ｓβ^＝Ｄから,"β^＝Ｓ^-1Ｄ＝ＴＤなる解＝回帰係数"が得られます。

Ｘ＝(ｘ₁,ｘ₂,..,ｘ_p)は既知定数成分の行列なのでＳ＝^tＸＸ,Ｔ＝Ｓ^-1も確率変数ではないため,Ｅ[β^]＝Ｓ^-1Ｅ[Ｄ]＝Ｓ^-1Ｅ[Ｓβ＋^tＸε]＝Ｅ[β]＋Ｓ^{-1 t}ＸＥ[ε]＝βよりβ^はβの不偏推定量です。(注終わり)※

[定理13-6]:Cov(β^_i,β^_j)＝ｔ_ijσ²,特にVar(β^_i)＝ｔ_iiσ² (ｉ,ｊ＝1,2,..,ｐ),またＱ(β^)＝Σ_j=1ⁿＹ_j²－Σ_k=1^pＤ_kβ^_kであり,Ｅ[Ｑ]＝(ｎ－ｐ)σ²である。(再掲終わり)◎

さて,Ｑ(β^)を改めてＳ_e²≡Σ_j=1ⁿ(Ｙ_j－Σ_k=1^pｘ_jkβ^_k)²と定義すれば,定理からＥ[Ｓ_e²]＝Ｅ[Ｑ]＝(ｎ－ｐ)σ²です。そしてコクラン(Cochran)によれば,Ｓ_e²/σ²は自由度(ｎ－ｐ)のχ²分布に従います。

ｐ個の説明変数ｘ₁,ｘ₂,..,ｘ_pと定数項β₀を持つ重回帰式:Ｙ＝β₀＋ｘ₁β₁＋..＋ｘ_pβ_p＋ε＝β₀＋Σ_k=1^pｘ_kβ_k＋εは,(ｐ＋1)個の説明変数ｘ₁,ｘ₂,..,ｘ_p+1による式:Ｙ＝ｘ₁β₁＋ｘ₂β₂＋..＋ｘ_p+1β_p+1＋ε＝Σ_k=1^p+1ｘ_kβ_k＋εにおいてｘ₁＝1とした後,変数の添字を(ｘ_k,β_k) → (ｘ_k-1,β_k-1)とシフトしたものに一致します。

そこで,このときの誤差の二乗和Ｓ_e²＝Σ_j=1ⁿ(Ｙ_j－β^₀－Σ_k=1^pｘ_jkβ_k^)²から作った統計量Ｓ_e²/σ²は自由度(ｎ－ｐ)ではなく自由度(ｎ－ｐ－1)のχ²分布に従います。

そこで,Ｖ_e≡Ｓ_e²/(ｎ－ｐ－1)と置くと,これはＥ[Ｖ_e]＝σ²を満たすので,これが重回帰モデルにおける不偏分散です。

これは,確かに単回帰Ｙ＝β^₁＋β^₂ｘ(ｐ＋1＝2)のときの不偏分散Ｓ_e²/(ｎ－2)の拡張になっています。

不偏分散Ｖ_eを用いると,(ｎ－ｐ－1)Ｖ_e＝Ｓ_e²/σ²が自由度(ｎ－ｐ－1)のχ²分布に従うと表現できます。

一方,回帰係数:β^_i(ｉ＝0,1,2,..,ｐ)はβ^＝Ｓ^-1Ｄ＝ＴＤ,Ｄ＝^tＸＹでＥ[β^_i]＝β_i,Var(β^_i)＝ｔ_iiσ²により,正規分布Ｎ[β_i,ｔ_iiσ²]に従うことがわかります。そこで(β_i－β_i)/(ｔ_ii^1/2σ)は標準正規分布Ｎ[0,1]に従います。

そこで,再び先述の「確率と分布関数(4)」の[定理6-17]:"確率変数ＸとＹが独立でＸがＮ[0,1],Ｙが自由度ｎのχ²分布を持つならばＴ≡Ｘ/(Ｙ/ｎ)^1/2は自由度ｎのｔ分布を持つ。"から,(β^_i－β_i)/(ｔ_iiＶ_e)^1/2は自由度(ｎ－ｐ－1)のｔ分布に従うことが言えます。

以上から,ｔ分布の(1－α)信頼区間:(－ｔ₀,ｔ₀)を,1－α＝Ｐ(－ｔ₀＜(β^_i－β_i)/(ｔ_iiＶ_e)^1/2＜ｔ₀)で与えることができます。

このｔ₀値を具体的にｔ分布表から読めば(1－α)信頼区間が得られるわけです。例えば自由度が(ｎ－ｐ－1)＝60の場合にα＝0,05,1－α＝0.95の95％信頼区間を与えるｔ₀はｔ₀＝2.00です。

なお,これを書く動機となった先輩から受けた質問の2010年２/５の２度目のメールの内容は以下の通りです。

◎:一寸,多重回帰で質問です。

「ｔ値」って分かりやすい言葉で説明したらどうなりますか？

ｔ値の式は,[変量ｉのt値(i)]＝[回帰係数(i)／標準誤差(i)]です。

ただし,標準誤差(i)＝root(ｓ_ii・Ｖ_e)

ｓ_ii：偏差平方和,偏差積和行列の逆行列のii成分

Ｖ_e：不偏分散＝(残差平方和)/(ｎ－ｐ－1)

ｎ：サンプル数

ｐ：説明変量の数,です。

この変量ｉの標準誤差(i)が良く分かりません。

又,(ｓ_ii:偏差平方和,偏差積和行列の逆行列のii成分)とは何のことかも分かりません。

　EXCELである説明変量を100倍して回帰を取ったら,ちゃんと回帰係数は元の100分の1になるけれどｔ値は変わらないんだね。

　標準誤差が偏差平方和,偏差積和行列の逆行列を基にして求められているからだろうと思うけれど。

それと一般に(ネットで見たけれど),ｔ値の絶対値が２以上だったら良いというのはどういう理由か分かりますか？

以上,簡単な日本語で説明できればお願いします。◎

※(注):メール上の行列Ｓ＝(ｓ_ij)は私の説明ではＴ＝(ｔ_ij)＝Ｓ^-1なので,ｓ_iiにはｔ_iiが対応している他は,共通の記号を使用しています。これで質問に対する回答は全て答えたと思います。(了)※

しかし,ちょっとした質問を動機にして昔(約20年前)勉強したノ－ト３冊全部を読み直し,自分の復習やより深い理解を目指してくどい説明をしたためウザイと取られたと想像します。

しかし,私の勝手な自己満足の方は十分充足されました。

取り合えず,シリーズ記事の１つのテーマは片付いたので,次から別の課題に集中できます。

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

ＰＳ:３/25(木) 朝起きたら頭が痛くて寒気がする。。ウーン,この身体は天侯,気温通りだなあ。。部屋の中に古い精神安定剤が落ちてたのでそれを飲んで寝ます。

　

　

 

確率と分布関数(10)(線形回帰の基礎)

確率と分布関数の続きです。 

　まず,最小二乗法の話をします。これは必ずしも確率の話ではなく,実際の観測値をモデル予測式を想定して予測する手法の１つです。

すなわち,多数の実測値データとモデル式による予測値の差の二乗和を最小にする予測モデル式中の最適パラメータ値を求める方法です。

[定義13-1]:ｘ-ｙ平面上にｎ個の点(ｘ_j,ｙ_j)(ｊ＝1,2,..,ｎ)(散布図)が与えられているとする。

幾つかのパラメータを持つモデル式:ｙ＝ｆ(ｘ)に対し,ｘ＝ｘ_jにおける実測値ｙ_jと予測値ｙ＝ｆ(ｘ_j)の差ε_j≡ｙ_j－ｆ(ｘ_j)の二乗和:Ｑ≡ε₁²＋ε₂²＋..＋ε_n²＝Σ_j=1ⁿ[ｙ_j－ｆ(ｘ_j)]²を最小にする曲線(＝回帰曲線:regression curve)ｆ(ｘ)(またはそのパラメータ)を定める方法を最小二乗法(method of minimum square)という。

　特に,予測式:ｆ(ｘ)が直線ｆ(ｘ)＝β₁＋β₂ｘの場合はｘ＝ｘ_jにおける差はε_j≡ｙ_j－(β₁＋β₂ｘ_j)(ｊ＝1,2,..,ｎ)である。二乗和:Ｑ＝Ｑ(β₁,β₂)≡ε₁²＋ε₂²＋..＋ε_n²＝Σ_j=1ⁿ[ｙ_j－(β₁＋β₂ｘ_j)]²を最小にするβ₁,β₂の値を求める方法は特に線形最小二乗法(linear method)といわれる。

線形最小二乗法でＱの最小値を与える係数値をβ₁＝β^₁,β₂＝β^₂とするとき,最適直線ｙ＝β^₁＋β^₂ｘを回帰直線(regression line),係数β^₁,β^₂を回帰係数(regression coefficients)と呼ぶ。

Ｑ(β₁,β₂)が最小になるための２つの必要条件は∂Ｑ/∂β₁＝－2Σ_j=1ⁿ[ｙ_j－(β₁＋β₂ｘ_j)]＝0 ,および∂Ｑ/∂β₂＝－2Σ_j=1ⁿ[ｘ_j{ｙ_j－(β₁＋β₂ｘ_j)}]＝0 である。これを正規方程式(normal equations)という。

正規方程式を満たす解の値β₁＝β^₁,β₂＝β^₂を解けば,β^₂＝{Σ_j=1ⁿｘ_jｙ_j－ｎ＜ｘ＞＜ｙ＞}/{Σ_j=1ⁿｘ_j²－ｎ＜ｘ＞²}＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(ｙ_j－＜ｙ＞)/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²},β^₁＝＜ｙ＞－β^₂＜ｘ＞を得る。

ただし,＜＞は標本平均,すなわち＜ｘ＞≡Σ_j=1ⁿｘ_j/ｎ,＜ｙ＞≡Σ_j=1ⁿｙ_j/ｎである。

さらに,∂Ｑ²/∂β₁²＝2ｎ,∂Ｑ²/∂β₁∂β₂＝2Σ_j=1ⁿｘ_j,∂Ｑ²/∂β₂²＝2Σ_j=1ⁿｘ_j²なので,(∂Ｑ²/∂β₁∂β₂)²－(∂Ｑ²/∂β₁²)(∂Ｑ²/∂β₂²)＝4(Σ_j=1ⁿｘ_j)²－4ｎ(Σ_j=1ⁿｘ_j²)＝－4ｎΣ_j=1ⁿ (ｘ_j²－＜ｘ＞)²≦0 が成り立つ。

それ故,β₁＝β^₁,β₂＝β^₂は確かにＱの"唯一の極小値＝最小値"を与える。

[定理13-2]:ある変量Ｙが他の変数ｘに対してＹ＝β₁＋β₂ｘ＋ε (εは正規分布:Ｎ[0,σ²]に従う誤差)と表わされるとき,最尤法におけるβ₁,β₂の推定値は最小二乗法による回帰係数と一致する。

(証明):ｘ＝ｘ_jのときのＹの測定値をｙ_jとすると,Ｙは正規分布Ｎ[β₁＋β₂ｘ_j,σ²]に従うため,"Ｙ₁,Ｙ₂,..,Ｙ_nの同時確率分布関数＝尤度関数"はＬ＝(2πσ²)^-n/2exp[－Σ_j=1ⁿ{ｙ_j－(β₁＋β₂ｘ_j)}²/(2σ²)]＝(2πσ²)^-n/2exp[－Ｑ(β₁,β₂)/(2σ²)]で与えられます。

　したがって,尤度(likelihood)Ｌを最大にするβ₁,β₂がＱ＝Ｑ(β₁,β₂)を最小にするβ₁,β₂に等しいことは明らかです。(証明終わり)

[定理13-3]:[定理13-2]と同じ条件下でＹ＝β₁＋β₂ｘ＋εを与える推定量β₁＝β^₁,β₂＝β^₂は不偏推定量(unbiased estimator)である。

(証明):今のケースではβ^₂＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(Ｙ_j－＜Ｙ＞)/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²},β^₁＝＜Ｙ＞－β^₂＜ｘ＞です。

ｘ₁,ｘ₂,..,ｘ_nが確定値であるのに対し,これらに対応するＹ₁,Ｙ₂,..,Ｙ_nは様々な値を取る母集団の任意標本であると考えられます。

すると,Ｙ_j＝β₁＋β₂ｘ_j＋ε_j,かつＥ[ε_j]＝0 からＥ[β^₂]＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)Ｅ[Ｙ_j－＜Ｙ＞]/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞){β₂(ｘ_j－＜ｘ＞)}/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}＝β₂,Ｅ[β^₁]＝Ｅ[＜Ｙ＞－β^₂＜ｘ＞]＝β₁＋β₂＜ｘ＞－β₂＜ｘ＞＝β₁を得ます。(証明終わり)

[定理13-4]:回帰係数β^₁,β^₂の分散,共分散は次の性質を有する。

(1)Var[β^₁]＝σ²(Σ_j=1ⁿｘ_j²)/{ｎΣ_j=1ⁿ(ｘ_j－＜ｘ＞)²},Var[β^₂]＝σ²/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²},Cov[β^₁,β^₂]＝－σ²＜ｘ＞/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}である。

(2)Ｖ≡Σ_j=1ⁿ{Ｙ_j－(β₁＋β₂ｘ_j)}²/(ｎ－2)は,"分散:σ²の不偏推定量＝不偏分散"である。

(証明):(1)β^₂＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(Ｙ_j－＜Ｙ＞)/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}にＹ_j＝β₁＋β₂ｘ_j＋ε_j,および＜Ｙ＞＝β₁＋β₂＜ｘ＞＋＜ε＞を代入すると,β^₂＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞){β₂(ｘ_j－＜ｘ＞)＋ε_j－＜ε＞}/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}となります。

　そこで,β^₂－β₂＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(ε_j－＜ε＞)/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}ですが,Ｅ[β^₂－β₂]＝0 なのでVar[β^₂]＝Ｅ[(β^₂－Ｅ[β₂])²]＝Ｅ[(β^₂－β₂)²]＝Ｅ[{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(ε_j－＜ε＞)}²]/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}²を得ます。

ところが,Ｅ[ε_j]＝Ｅ[＜ε＞]＝0,Ｅ[ε_j]＝σ²なのでVar[β^₂]＝Ｅ[Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²(ε_j－＜ε＞)²]/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}²＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²Ｅ[(ε_j－＜ε＞)²]/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}²＝Ｅ[ε_j²]/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}＝σ²/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}です。

それ故,Var[β^₁]＝Var[Ｙ－β^₂＜ｘ＞]＝Var[Ｙ]＋＜ｘ＞²Var[β^₂]＝σ²/ｎ＋σ²＜ｘ＞²/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}＝σ²(Σ_j=1ⁿｘ_j²)/{ｎΣ_j=1ⁿ(ｘ_j－＜ｘ＞)²}が得られます。

また,Cov[β^₁,β^₂]＝Ｅ[β^₁β^₂]－β₁β₂＝Ｅ[(＜Ｙ＞－β^₂＜ｘ＞)β^₂]－β₁β₂＝Ｅ[＜Ｙ＞β^₂]－(Var[β^₂]＋β₂²)＜ｘ＞－β₁β₂です。

ここで＜Ｙ＞＝β₁＋β₂＜ｘ＞＋＜ε＞,Ｅ[β^₂]＝β₂より,Ｅ[＜Ｙ＞β^₂]＝β₁β₂＋β₂²＜ｘ＞＋Ｅ[β^₂＜ε＞]です。

右辺最後の項は,Ｅ[β^₂＜ε＞]＝Ｅ[Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(Ｙ_j－＜Ｙ＞)＜ε＞]/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}です。

しかし,Ｙ_j－＜Ｙ＞＝β₂(ｘ_j－＜ｘ＞)＋ε_j－＜ε＞より,右辺の分子＝Ｅ[Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(Ｙ_j－＜Ｙ＞)＜ε＞]＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)Ｅ[(Ｙ_j－＜Ｙ＞)＜ε＞]＝β₂Ｅ[＜ε＞]Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²＋Σ_j=1ⁿ(ｘ_j－＜ｘ＞)Ｅ[(ε_j－＜ε＞)＜ε＞]＝0 です。

故に,結局Cov[β^₁,β^₂]＝β₁β₂＋β₂²＜ｘ＞－(Var[β^₂]＋β₂²)＜ｘ＞－β₁β₂＝－＜ｘ＞Var[β^₂]＝－σ²＜ｘ＞/{Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²}を得ます。

(2)＜Ｙ＞＝β^₁＋β^₂＜ｘ＞＋＜ε＞なので,Ｙ_j－β^₁－β^₂ｘ_j＝Ｙ_j－＜Ｙ＞－β^₂(ｘ_j－＜ｘ＞)です。

そこで,Σ_j=1ⁿ(Ｙ_j－β^₁－β^₂ｘ_j)²＝Σ_j=1ⁿ(Ｙ_j－＜Ｙ＞)²＋Σ_j=1ⁿβ^₂²(ｘ_j－＜ｘ＞)²－2β^₂Σ_j=1ⁿ(Ｙ_j－＜Ｙ＞)(ｘ_j－＜ｘ＞)＝Σ_j=1ⁿ(Ｙ_j－＜Ｙ＞)²＋Σ_j=1ⁿβ^₂²(ｘ_j－＜ｘ＞)²－2β^₂Σ_j=1ⁿ(ｘ_j－＜ｘ＞){β^₂(ｘ_j－＜ｘ＞)＋ε_j－＜ε＞}です。

つまり,Σ_j=1ⁿ(Ｙ_j－β^₁－β^₂ｘ_j)²＝Σ_j=1ⁿ(Ｙ_j－＜Ｙ＞)²－Σ_j=1ⁿβ^₂²(ｘ_j－＜ｘ＞)²－2β^₂Σ_j=1ⁿ(ｘ_j－＜ｘ＞)(ε_j－＜ε＞)と書けます。

故に,Ｅ[Σ_j=1ⁿ(Ｙ_j－β^₁－β^₂ｘ_j)²]＝Σ_j=1ⁿＥ[(Ｙ_j－＜Ｙ＞)²]－Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²Ｅ[β^₂²]－2Σ_j=1ⁿ(ｘ_j－＜ｘ＞)Ｅ[β^₂(ε_j－＜ε＞)]＝Σ_j=1ⁿＥ[Ｙ_j²]－ｎＥ[＜Ｙ＞²]－Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²Ｅ[β^₂²]なる式を得ます。

ところが,Ｅ[Ｙ_j²]＝Var[Ｙ_j]＋Ｅ[Ｙ_j]²＝σ²＋(β₁＋β₂ｘ_j)²,Ｅ[＜Ｙ＞²]＝Var[＜Ｙ＞]＋Ｅ[＜Ｙ＞]²＝σ²/ｎ＋(β₁＋β₂＜ｘ＞)²,Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²Ｅ[β^₂²]＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²(Var[β^₂]＋Ｅ[β^₂]²)＝σ²＋β₂²Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²です。

　したがって,Ｅ[Σ_j=1ⁿ(Ｙ_j－β^₁－β^₂ｘ_j)²]＝ｎσ²＋Σ_j=1ⁿ(β₁＋β₂ｘ_j)²－σ²－ｎ(β₁＋β₂＜ｘ＞)²－σ²＋β₂²Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²＝(ｎ－2)σ²となります。

以上から,Ｅ[Σ_j=1ⁿ{Ｙ_j－(β^₁＋β^₂ｘ_j)}²/(ｎ－2)]＝σ²が示されました。(証明終わり)

さて,これまでの論議は線形最小二乗法において,変量Ｙ＝β₁＋β₂ｘ＋εなる式の独立変数がｘ個だけのいわゆる単回帰です。

以下では,これをＹ＝ｘ₁β₁＋ｘ₂β₂＋..＋ｘ_pβ_p＋ε＝Σ_k=1^pｘ_kβ_k＋εなのように独立変数がｐ個の多変数ｘ₁,ｘ₂..,ｘ_pの重回帰モデルに拡張します。(ただし,ｘ₁β₁が単に定数β₁があるようなｘ＝1(一定)の式も含みます。)

[定義13-5]:ｎ個の標本Ｙ₁,Ｙ₂,..,Ｙ_nをＹ_j＝ｘ_j1β₁＋ｘ_j2β₂＋..＋ｘ_jpβ_p＋ε_j＝Σ_k=1^pｘ_jkβ_k＋ε_j (ｊ＝1,2,..,ｎ)と置く。ただしβ_k(ｋ＝1,2,..,ｐ)は未知母数であり,ｘ_jk(j＝1,2,..,ｎ;ｋ＝1,2,..,ｐ)は既知定数である。

ε_j(ｊ＝1,2,..,ｎ)は誤差で,これらは互いに独立な確率変数であって全てＮ[0,σ²]に従うと仮定する。これを線形回帰モデルという。

β^_kをβ_kの推定量とするとき,Ｙ_j－Σ_k=1^pｘ_jkβ^_k (ｊ＝1,2,..,ｎ)を残差(residual)という。残差の平方和:Ｑ(β^)＝Σ_j=1ⁿ(Ｙ_j－Σ_k=1^pｘ_jkβ_k^)²を最小にする回帰係数:β^＝(β^₁,β^₂,..,β^_p)を求める方法を最小二乗法という。

先にＱ(β^₁,β^₂)の最小値を与えるβ^₁,β^₂を係数とする回帰直線ｙ＝β^₁＋β^₂ｘを求めた手続きを単回帰と呼ぶのに対して,上記のｐ≧3の手続きを重回帰(multiple linear regression)という。

そして,Ｑ(β^)が最小になるための必要条件:－(1/2)(∂Ｑ/∂β^_k)＝Σ_j=1ⁿ[ｘ_jk{Ｙ_j－(ｘ_j1β^₁＋ｘ_j2β^₂＋..＋ｘ_jpβ^_p)}]＝0 (ｋ＝1,2,..,ｐ)を正規方程式と呼ぶ。

※(注):具体的に正規方程式を解きます。

正規方程式はΣ_j=1ⁿ(ｘ_jkｘ_j1β^₁＋ｘ_jkｘ_j2β^₂＋..＋ｘ_jkｘ_jpβ^_p)＝Σ_j=1ⁿｘ_jkＹ_j (ｋ＝1,2,..,ｐ)です。

Ｓ_kl≡Σ_j=1ⁿｘ_jkｘ_jl,Ｄ_k≡Σ_j=1ⁿｘ_jkＹ_jと置けば,正規方程式はΣ_l=1^pＳ_klβ^_l＝Ｄ_k (ｋ＝1,2,..,ｐ)と書けます。これはｐ×ｐの係数行列Ｓとｐ次元縦ベクトル:β^≡^t(β^₁,β^₂,..,β^_p),Ｄ≡^t(Ｄ₁,Ｄ₂,..,Ｄ_p)による行列表現ではＳβ^＝Ｄです。

また,Ｙ＝^t(Ｙ₁,Ｙ₂,..,Ｙ_n),ｘ_k≡^t(ｘ_1k,ｘ_2k,..,ｘ_nk) (ｋ＝1,2,..,ｐ)なるｎ次元縦ベクトルを用いるとＳ_kl＝Σ_j=1ⁿｘ_jkｘ_jl＝^tｘ_kｘ_l,Ｄ_k＝Σ_j=1ⁿｘ_jkＹ_j＝^tｘ_kＹ(ｋ,ｌ＝1,2,..,ｐ)ですから,ｎ×ｐ行列ＸをＸ≡(ｘ₁,ｘ₂,..,ｘ_p)で定義すると,Ｓ＝^tＸＸ,Ｄ＝^tＸＹと書けます。

さらに,Ｙ_j＝Σ_k=1^pｘ_jkβ_k＋ε_j (ｊ＝1,2,..,ｎ)もβ≡^t(β₁,β₂,..,β_p),ε≡^t(ε₁,ε₂,..,ε_n)により,Ｙ＝Ｘβ＋εですからＤ＝^tＸＹ＝Ｓβ＋^tＸεです。

Ｓ＝^tＸＸについてdetＳ≠0 と仮定すれば,Ｔ＝(ｔ_ij)≡Ｓ^-1が存在するので正規方程式:Ｓβ^＝Ｄから,"β^＝Ｓ^-1Ｄ＝ＴＤなる解＝回帰係数"が得られます。

Ｘ＝(ｘ₁,ｘ₂,..,ｘ_p)は既知定数成分の行列なのでＳ＝^tＸＸ,Ｔ＝Ｓ^-1も確率変数ではないため,Ｅ[β^]＝Ｓ^-1Ｅ[Ｄ]＝Ｓ^-1Ｅ[Ｓβ＋^tＸε]＝Ｅ[β]＋Ｓ^{-1 t}ＸＥ[ε]＝βよりβ^はβ^の不偏推定量です。(注終わり)※

[定理13-6]:Cov(β^_i,β^_j)＝ｔ_ijσ²,特にVar(β^_i)＝ｔ_iiσ² (ｉ,ｊ＝1,2,..,ｐ)である。またＱ(β^)＝Σ_j=1ⁿＹ_j²－Σ_k=1^pＤ_kβ^_kであり,Ｅ[Ｑ]＝(ｎ－ｐ)σ²である。

(証明):Cov[Ｄ_i,Ｄ_j]＝Cov[Σ_k=1ⁿｘ_kiＹ_k,Σ_l=1ⁿｘ_ljＹ_l],Cov[Ｙ_k,Ｙ_l]＝Cov[ε_k,ε_l]＝δ_klσ²,故にCov[Ｄ_i,Ｄ_j]＝Σ_k=1ⁿｘ_kiｘ_kjσ²＝Ｓ_ijσ²です。

これとβ^＝Ｓ^-1Ｄ＝ＴＤによってCov[β^_i,β^_j]＝(Ｓ^-1)_ik(Ｓ^-1)_jlＳ_klσ²＝(Ｓ^-1)_ijσ²を得ます。すなわち,Cov[β^_i,β^_j]＝ｔ_ijσ²,特にｊ＝ｉならVar[β^_i]＝ｔ_iiσ² (ｉ,ｊ＝1,2,..,ｐ)です。

また,Ｑ(β^)＝Σ_j=1ⁿ(Ｙ_j－Σ_k=1^pｘ_jkβ^_k)²＝Σ_j=1ⁿＹ_j²－2Σ_j=1ⁿΣ_k=1^pｘ_jkＹ_jβ^_k＋Σ_j=1ⁿ(Σ_k=1^pｘ_jkβ^_k)²＝Σ_j=1ⁿＹ_j²－2Σ_k=1^pＤ_kβ^_k＋Σ_k,l=1^pＳ_klβ^_kβ^_l＝Σ_j=1ⁿＹ_j²－2Σ_k=1^pＤ_kβ^_k＋Σ_k=1^pＤ_kβ^_k＝Σ_j=1ⁿＹ_j²－Σ_k=1^pＤ_kβ^_kと書けます。

また,Ｕ_j≡Ｙ_j－Σ_k=1^pｘ_jkβ^_kと置けばＱ(β^)＝Σ_j=1ⁿＵ_j²であり,σ²＝Var[Ｙ_j]＝Var[Σ_k=1^pｘ_jkβ^_k]＋Var[Ｕ_j]＝Σ_k,l=1^pｘ_jkｘ_jlCov[β^_k,β^_l]＋Var[Ｕ_j]です。

したがって,Var[Ｕ_j]＝σ²－Σ_k,l=1^pｘ_jkｘ_jlｔ_klσ²を得ます。そしてＥ[Ｕ_j]＝Ｅ[Ｙ_j－Σ_k=1^pｘ_jkβ^_k]＝0です。

それ故,Ｅ[Ｑ]＝Ｅ[Σ_j=1ⁿＵ_j²]＝Σ_j=1ⁿＥ[Ｕ_j²]＝Σ_j=1ⁿ Var[Ｕ_j]＝ｎσ²－Σ_j=1ⁿΣ_k,l=1^pｘ_jkｘ_jlｔ_klσ²＝ｎσ²－Σ_k,l=1^pＳ_klｔ_klσ²＝ｎσ²－Σ_k=1^pσ²＝(ｎ－ｐ)σ²です。(証明終わり)

今日はここまでにします。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

　

　

確率と分布関数(9)(推定２)

　確率と分布関数(推定)の続きです。 

[定義12-1]:Ｘ₁,Ｘ₂,..,Ｘ_nを確率分布ｐ(ｘ;θ)を持つ母集団からのｎ個の任意標本とし,未知母数θの推定量をθ^＝θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)とするとき,∀ε＞0 に対してlim_n→∞Ｐ(|θ^－θ|≧ε)＝0 (θ^→^Pθ)が成立するならθ^をθの一致推定量(consistent estimator)という。

[定理12-2]:Ｘ₁,Ｘ₂,..,Ｘ_nを正規母集団:Ｎ[θ,σ²](σ²は既知)からの任意標本とする。このとき,＜Ｘ＞_n≡(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎはθの一致推定量である。

(証明):平均がμ,分散がσ²の確率変数Ｘに対するチェビシェフの不等式Ｐ(|Ｘ－μ|＞ｋ)≦σ²/ｋ²を,今の平均がθ,分散がσ²/ｎの確率変数＜Ｘ＞_nに適用すると任意のε＞0 に対し 0≦Ｐ(|＜Ｘ＞_n－θ|≧ε)≦σ²/(ｎε²)となります。

　そこで,lim_n→∞σ²/(ｎε²)＝0 からlim_n→∞Ｐ(|＜Ｘ＞_n－θ|≧ε)＝0 (＜Ｘ＞_n→^Pθ)が従います。すなわち,＜Ｘ＞_n＝(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎはθの一致推定量です。(証明終わり)

[定理12-3]:θ^がlim_n→∞Var[θ^]＝0 を満たすθの漸近不偏推定量であればθ^はθの一致推定量である。

(証明):漸近不偏推定量の定義によって,lim_n→∞Ｅ[θ^]＝θです。そこで,任意の正の数ε＞0 に対しある自然数Ｎ₀＝Ｎ₀(ε)が存在してｎ≧Ｎ₀なら|Ｅ[θ^]－θ|≦ε/2です。

ω∈{ω∈Ω:|θ^(ω)－θ|≧ε}とすると,ε≦|θ^(ω)－θ|≦|θ^(ω)－Ｅ[θ^]|＋|Ｅ[θ^]－θ|より,ε－|θ^(ω)－Ｅ[θ^]|≦|Ｅ[θ^]－θ|です。

そこで,ｎ≧Ｎ₀ならε－|θ^(ω)－Ｅ[θ^]|≦ε/2,つまり|θ^(ω)－Ｅ[θ^]|≧ε/2となります。故に,ｎ≧Ｎ₀なら{ω∈Ω:|θ^(ω)－θ|≧ε}⊂{ω∈Ω:|θ^(ω)－Ｅ[θ^]|≧ε/2}が成立します。

この結果とチェビシェフの不等式:Ｐ(|θ^－Ｅ[θ^]|≧ε/2)≦{Var[θ^]/(ε/2)²}から,Ｐ(|θ^－θ|≧ε)≦4Var[θ^]/ε²なる不等式を得ます。

仮定によりlim_n→∞Var[θ^]＝0 ですから,先に与えたε＞0 と他の任意の数δ＞0 による数:ε²δ/4 に対して自然数Ｎ₁＝Ｎ₁(δ)が存在してｎ≧Ｎ₁ならVar[θ^]＜ε²δ/4 が成立します。

そこで,Ｎ₀(ε)とＮ₁(δ)のうちの大きい方をＮ＝Ｎ(ε,δ)と書けば,ｎ≧Ｎに対してＰ(|θ^－θ|≧ε)≦δとなります。

そこで,θ^のθへの確率収束:θ^→^Pθ:lim_n→∞Ｐ(|θ^－θ|≧ε)＝0 が成立します。(証明終わり)

[補題12-4]:Ｘ_j(1≦ｊ≦ｎ)が全て標準正規分布:Ｎ[0,1]を持つ独立確率変数で,Ｔがｎ×ｎの直交行列:Ｔ^tＴ＝^tＴＴ＝Ｉ(単位行列)なら,列ベクトルＸ＝^t(Ｘ₁,Ｘ₂,..,Ｘ_n)に対してＹ＝^t(Ｙ₁,Ｙ₂,..,Ｙ_n)≡ＴＸで定義される列ベクトルＹの成分Ｙ_j(1≦ｊ≦ｎ)もまた全て分布:Ｎ[0,1]を持つ独立確率変数である。

(証明):1≦ｊ≦ｎを満たす各々のｊについて変数Ｘ_jはＮ[0,1]を持ちますから,確率密度関数はｆ_Xj(ｘ_j)＝(2π)^-1/2exp(－ｘ_j²/2)です。

　そしてＸ_jは全て独立ですから,確率変数の族:^tＸ＝(Ｘ₁,Ｘ₂,..,Ｘ_n)の同時確率密度関数ｆ_X(ｘ);ｘ＝^t(ｘ₁,ｘ₂,..,ｘ_n)はｆ_X(ｘ)＝Π_j=1ⁿｆ_Xj(ｘ_j)＝(2π)^-n/2exp{－(Σ_j=1ⁿｘ_j²)/2}＝(2π)^-n/2exp{－(^tｘｘ)/2}と書けます。

Ｙ＝ＴＸより,ｙ＝Ｔｘとすればｘ＝^tＴｙ,かつ^tｘ＝^tｙＴなので,ｆ_X(ｘ)＝(2π)^-n/2exp{－(^tｘｘ)/2}＝(2π)^-n/2exp{－(^tｙＴ^tＴｙ)/2}＝(2π)^-n/2exp{－(^tｙｙ)/2}です。

ｄｙ₁ｄｙ₂..ｄｙ_n＝(detＴ)ｄｘ₁ｄｘ₂..ｄｘ_nですから,ｄｘ₁ｄｘ₂..ｄｘ_n＝(detＴ)^-1ｄｙ₁ｄｙ₂..ｄｙ_nです。そこで,ｆ_X(ｘ)ｄｘ₁ｄｘ₂..ｄｘ_n＝(detＴ)^-1ｆ_X(ｘ)ｄｙ₁ｄｙ₂..ｄｙ_nとなります。

したがって, ^tＹ＝(Ｙ₁,Ｙ₂,..,Ｙ_n)＝^tＸ^tＴの同時確率密度関数ｆ_Ｙ(ｙ)はｆ_Y(ｙ)＝(detＴ)^-1ｆ_X(ｘ)で与えられます。

※(注):今の当面の変数変換はｙ＝Ｔｘの線形変換ですが,一般の変換ｙ＝ｙ(ｘ)でも,局所的にｄｙ＝Ｊ(ｘ)ｄｘと無限小線形変換で表わされる点においては,(detＴ)^-1＝det(Ｔ^-1)をdet(Ｊ^-1)＝det(∂ｘ/∂ｙ)で置き換えることで,ｆ_Y(ｙ)＝det(∂ｘ/∂ｙ)ｆ_X(ｘ)となります。

　なお,Ｊ(ｘ)＝(∂ｙ/∂ｘ)はヤコービ行列です。(注終わり)※

そして,直交行列Ｔに対しては,1＝det(Ｔ^tＴ)＝(detＴ)²よりdetＴ＝(detＴ)^-1＝±1ですが,今の確率変数の場合にはｆ_Y(ｙ)＝|detＴ|^-1ｆ_X(ｘ)＝(2π)^-n/2exp{－(^tｙｙ)/2}を得ます。(証明終わり)

[定理12-3の系]:Ｘ₁,Ｘ₂,..,Ｘ_nを正規母集団:Ｎ[μ,σ²]からの任意標本とするとき,不偏分散:σ²^≡Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/(ｎ－1)は分散:σ²の一致推定量である。

(証明):ｎ次の正方行列:Ｔ＝(ｔ_ij)の成分をｔ_ij＝1/ｎ^1/2(ｉ＝1),ｔ_ij＝1/{ｉ(ｉ－1)}^1/2(ｉ≧2,ｊ＜ｉ),ｔ_ij＝－(ｉ－1)/{ｉ(ｉ－1)}^1/2(ｉ≧2,ｊ＝ｉ),ｔ_ij＝0 (ｉ≧2,ｊ＞ｉ)で与えれば,Ｔ^tＴ＝^tＴＴ＝Ｉとなることが示せるのでＴは直交行列です。

一方,Ｘ_j(1≦ｊ≦ｎ)は全て正規分布:Ｎ[μ,σ²]を持つので,Ｚ_j≡(Ｘ_j－μ)/σ(1≦ｊ≦ｎ)と定義すると,これらは全て標準正規分布:Ｎ[0,1]を持ちます。

　列ベクトルＺ＝^t(Ｚ₁,Ｚ₂,..,Ｚ_n)に対して,Ｙ＝^t(Ｙ₁,Ｙ₂,..,Ｙ_n)≡ＴＺでＹを定義すると,[補題12-4]によりＹ_j(1≦ｊ≦ｎ)もまた全てＮ[0,1]を持ちます。

特に,Ｙ₁＝Σ_j=1ⁿＺ_j/ｎ^1/2＝ｎ^1/2＜Ｚ＞です。また,Ｔ^tＴ＝Ｉにより^tＹＹ＝^tＺ^tＴＴＺ,つまりΣ_j=1ⁿＹ_j²＝Σ_j=1ⁿＺ_j²です。そこで,Σ_j=1ⁿ(Ｚ_j－＜Ｚ＞)²＝Σ_j=1ⁿＺ_j²－ｎ＜Ｚ＞²＝Σ_j=1ⁿＹ_j²－Ｙ₁²＝Ｙ₂²＋..＋Ｙ_n²です。

つまり,Σ_j=1ⁿ(Ｚ_j－＜Ｚ＞)²は全てが標準正規分布Ｎ[0,1]を持つ(ｎ－1)個の確率変数の和ですから,この変数は自由度(ｎ－1)のχ²分布に従います。

※(注):２/19の記事「確率と分布関数(4)(特殊分布(連続))」の[定理６-15]:Ｘ₁,Ｘ₂,..,Ｘ_nが全て標準正規分布を持つｎ個の独立確率変数ならばχ²≡Σ_j=1ⁿＸ_j²＝Ｘ₁²＋Ｘ₂²＋..＋Ｘ_n²は自由度ｎのχ²分布を持つ。を参照しました。(注終わり) ※

そして,Ｚ_j－＜Ｚ＞＝(Ｘ_i－μ)/σ－(＜Ｘ＞－μ)/σ＝(Ｘ_j－＜Ｘ＞)/σ,およびσ²^＝Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/(ｎ－1)から,Σ_j=1ⁿ(Ｚ_j－＜Ｚ＞)²＝Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/σ²＝(ｎ－1)σ²^/σ²を得ます。

そこで,(ｎ－1)σ²^/σ²は自由度(ｎ－1)のχ²分布に従うことが

わかりました。

故に,χ²分布の特性からＥ[(ｎ－1)σ²^/σ²]＝ｎ－1,Var[(ｎ－1)σ²^/σ²]＝2(ｎ－1)です。したがって,Ｅ[σ²^]＝σ²,Var[σ²^]＝2σ⁴/(ｎ－1)です。

以上から不偏分散:σ²^≡Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/(ｎ－1)は分散σ²の不偏推定量であり,そこでσ²の漸近不偏推定量です。

さらに,lim_n→∞Var[σ²^]＝0 ですから[定理12-3]によってσ²^はσ²の一致推定量です。(証明終わり)

(別証明):以前の項目で示したように不偏分散σ²^はその呼称通り分散σ²の不偏推定量です。つまり,Ｅ[σ²^]＝σ²ですから,σ²^はもちろんσ²の漸近不偏推定量です。

そして,前の記事の[例11-17]によれば,Var[σ²^]＝2σ⁴/(ｎ－1)ですから,lim_n→∞Var[σ²^]＝0 も成立します。(証明終わり)

[定義12-5]:母集団分布がｐ(ｘ;θ)である母集団データｘ₁,ｘ₂,..,ｘ_nに対し,量Ｌ(θ)≡Π_j=1ⁿｐ(ｘ_j;θ)を最大にするθの値をθ^^*＝θ^(ｘ₁,ｘ₂,..,ｘ_n)と書いて,これをθの最尤推定値(maximum likelihood estimate)と呼ぶ。

　また,Ｌ(θ)を尤度関数という。上記母集団からの任意標本Ｘ₁,Ｘ₂,..,Ｘ_nに対し,θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)を最尤推定量(maximum likelihood estimator)という。

※(注)尤度(ゆうど:likelihood)とは,尤もらしさ(もっともらしさ:liklihood)を意味します。※

[例題12-6]:Ｘ₁,Ｘ₂,..,Ｘ_nが次の確率分布を持つ母集団からの任意標本であるとき,未知母数の最尤推定量を求めよ。

(1)  一様分布:ｐ(ｘ;θ)＝1/θ (0≦ｘ≦θ),0 (その他)

(2)  正規分布Ｎ[μ,σ²]:ｐ(ｘ;μ,σ²)＝(2π)^-1/2σ^-1exp{－(ｘ－μ)²/(2σ²)}(－∞＜ｘ＜∞)

(解)(1)Ｌ(θ)＝1/θⁿ (0≦ｘ≦θ),0 (その他)となるので,Ｌ(θ)はθの単調減少関数でｄＬ/ｄθ＝0 となるθは存在しません。したがってθがゼロに近いほどＬ(θ)は大きいことになります。

そして,母集団データｘ₁,ｘ₂,..,ｘ_nを固定すればθの最小値はmax(ｘ₁,ｘ₂,..,ｘ_n)です。それ故,最尤推定量はθ^＝max(Ｘ₁,Ｘ₂,..,Ｘ_n)で与えられます。

(2)この場合,θ＝(μ,σ²)であり尤度関数はＬ(θ)＝Ｌ(μ,σ²)＝(2π)^-n/2σ^-nexp{－Σ_j=1ⁿ(ｘ_j－μ)²/(2σ²)}です。これの対数を取るとlogＬ(μ,σ²)＝－(ｎ/2){log(2π)＋logσ²}－{Σ_j=1ⁿ(ｘ_j－μ)²/(2σ²)}です。

　尤度の最大値を与える方程式:∂{logＬ(μ,σ²)}/∂μ＝Σ_j=1ⁿ(ｘ_j－μ)/σ²＝(Σ_j=1ⁿｘ_j－ｎμ)/σ²＝0,∂{logＬ(μ,σ²)}/∂σ²＝{－ｎ/(2σ²)}＋Σ_j=1ⁿ(ｘ_j－μ)²/(2σ⁴)＝0 解けばμ^＝＜ｘ＞＝Σ_j=1ⁿｘ_j/ｎ,およびσ²^＝Σ_j=1ⁿ(ｘ_j－＜ｘ＞)²/ｎを得ます。

　したがって,μ,およびσ²の最尤推定量はそれぞれ＜Ｘ＞＝Σ_j=1ⁿＸ_j/ｎ,およびΣ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/ｎです。(終わり)

[定理12-7]:θ^がθの最尤推定量でμ＝ｇ(θ)がθの一価関数ならμは最尤推定量μ^＝ｇ(θ^)を持つ。

(証明):μ＝ｇ(θ)はθの一価関数なので逆関数θ＝ｇ^-1(μ)が存在して尤度関数はＬ(θ)＝Π_j=1ⁿｐ(ｘ_j;θ)＝Ｌ(ｇ^-1(μ))と書けます。

最尤推定量の定義によって尤度関数Ｌ(θ)はθ＝θ^＝ｇ^-1(μ)で最大となります。一価関数μ＝ｇ(θ)ではθ^＝ｇ^-1(μ)はμ＝ｇ(θ^)と同値ですから,μは最尤推定量μ^＝ｇ(θ^)を持つことになります。(証明終わり)

[定義12-8]:Ｘ₁,Ｘ₂,..,Ｘ_nを確率分布ｐ(ｘ;θ)を持つ母集団からの任意標本とし,未知母数θの推定量θ^に対する確率密度関数をｇ(θ^;θ)とする。(ｄＰ＝ｇ(θ^;θ)ｄθ^とする。)

一方,母集団データ(ｘ₁,ｘ₂,..,ｘ_n)を(θ^,ｙ₁,ｙ₂,..,ｙ_n-1)に変換してθ^＝θ^(ｘ₁,ｘ₂,..,ｘ_n)を与えたときのＹ₁,Ｙ₂,..,Ｙ_n-1の結合確率密度関数(ｊ.ｐ.ｄ.ｆ)をｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)とする。

ただし,∂θ^/∂ｘ_k,∂ｙ_j/∂ｘ_k,(ｋ＝1,2,..,ｎ;ｊ＝1,2,..,ｎ－1)が全て存在して連続関数とする。

ｐ(ｘ₁;θ)ｐ(ｘ₂;θ)..ｐ(ｘ_n;θ)ｄｘ₁ｄｘ₂..ｄｘ_n＝ｇ(θ^;θ)ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)ｄθ^ｄｙ₁ｄｙ₂..ｄｙ_n-1と置いたとき,ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)がθを含まない(θに依存しない,θに独立)ならばθ^＝θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)をθの充足推定量(sufficient estimator)という。

※(注):ｐ(ｘ₁;θ)ｐ(ｘ₂;θ)..ｐ(ｘ_n;θ)ｄｘ₁ｄｘ₂..ｄｘ_n＝ｇ(θ^;θ)ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)ｄθ^ｄｙ₁ｄｙ₂..ｄｙ_n-1＝Ｌ(θ)ｄｘ₁ｄｘ₂..ｄｘ_nです。※

[例12-9]:Ｘ₁,Ｘ₂,..,Ｘ_nを２項母集団からの任意標本とする。確率分布(今の場合,２項母集団の離散分布なので密度関数ではない)をｐ(1;θ)＝θ,ｐ(0;θ)＝1－θ(0＜θ＜1)とすると,Ｔ≡Σ_j=1ⁿＸ_jはθの充足推定量である。

(証明):ｐ(ｘ₁;θ)ｐ(ｘ₂;θ)..ｐ(ｘ_n;θ)＝Π_j=1ⁿθ^xj(1－θ)^1-xj＝θ^Σxj(1－θ)^n-Σxj＝θ^t(1－θ)^n-t(ｘ_jは 0,または1)です。

一方,Ｔ≡Σ_j=1ⁿＸ_jの確率分布Ｇ(ｔ;θ)はＧ(ｔ;θ)＝_nＣ_tθ^t(1－θ)^n-tで与えられます。

ｐ(ｘ₁;θ)ｐ(ｘ₂;θ)..ｐ(ｘ_n;θ)＝Ｇ(ｔ;θ)Ｈ(ｘ₁,ｘ₂,..,ｘ_n|ｔ;θ)から,Ｈ(ｘ₁,ｘ₂,..,ｘ_n|ｔ;θ)＝ｐ(ｘ₁;θ)ｐ(ｘ₂;θ)..ｐ(ｘ_n;θ)/Ｇ(ｔ;θ)＝1/_nＣ_tですが,これはθに依存しないのでＴ＝Σ_j=1ⁿＸ_jはθの充足推定量です。(証明終わり)

[定理12-10]:ネイマンの分解基準(Neyman factorization criterion)

　確率密度関数(ｐ.ｄ.ｆ)ｆ(ｘ;θ)を持つ母集団の任意標本Ｘ₁,Ｘ₂,..,Ｘ_nの関数θ^＝θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)がθの充足推定量であるための必要十分条件は,全てのθに対してΠ_j=1ⁿｆ(ｘ_j;θ)＝Ｈ(ｘ₁,ｘ₂,..,ｘ_n)ｇ(θ^;θ)なる形の式が成立することである。

(証明):Π_j=1ⁿｆ(ｘ_j;θ)ｄｘ_j＝ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)ｇ(θ^;θ)ｄθ^ｄｙ₁ｄｙ₂..ｄｙ_n-1で,Π_j=1ⁿｄｘ_j＝|detＪ|ｄθ^ｄｙ₁ｄｙ₂..ｄｙ_n-1です。(Ｊ≡∂(ｘ₁,ｘ₂,..,ｘ_n)/∂(θ^,ｙ₁,ｙ₂,..,ｙ_n-1))

ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)＝|detＪ|^-1Π_j=1ⁿｆ(ｘ_j;θ)/ｇ(θ^;θ)ですが,θ^＝θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)がθの充足推定量なら,ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)はθに依りま戦せん。

ｙ₁,ｙ₂,..,ｙ_n-1,θ^は全て(ｘ₁,ｘ₂,..,ｘ_n)の関数で,|detＪ|^-1＝|detＪ^-1|,Ｊ^-1＝∂(θ^,ｙ₁,ｙ₂,..,ｙ_n-1)/∂(ｘ₁,ｘ₂,..,ｘ_n)も(ｘ₁,ｘ₂,..,ｘ_n)の関数です。

これをＨ(ｘ₁,ｘ₂,..,ｘ_n)と書けば,Π_j=1ⁿｆ(ｘ_j;θ)＝Ｈ(ｘ₁,ｘ₂,..,ｘ_n)ｇ(θ^;θ)です。

逆に,Π_j=1ⁿｆ(ｘ_j;θ)＝Ｈ(ｘ₁,ｘ₂,..,ｘ_n)ｇ(θ^;θ)なら,θ^＝θ^(ｘ₁,ｘ₂,..,ｘ_n),ｙ_j≡ｘ_j(ｊ＝1,2,..,ｎ－1)と置けば,ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)＝|detＪ|^-1Π_j=1ⁿｆ(ｘ_j;θ)/ｇ(θ^;θ)＝|detＪ|^-1Ｈ(ｘ₁,ｘ₂,..,ｘ_n)です。

detＪ＝∂(ｘ₁,ｘ₂,..,ｘ_n)/∂(ｙ₁,ｙ₂,..,ｙ_n-1,θ^)＝∂ｘ_n/∂θ^なので,ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)＝Ｈ(ｘ₁,ｘ₂,..,ｘ_n)|∂ｘ_n/∂θ^|^-1であり,θに依存しないのでθ^はθの充足推定量です。

なぜなら,ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ^;θ)の因子Ｈ(ｘ₁,ｘ₂,..,ｘ_n)＝Ｈ(ｙ₁,ｙ₂,..,ｙ_n-1,ｘ_n)でｘ_n＝ｘ_n(ｙ₁,ｙ₂,..,ｙ_n-1,θ^),∂ｘ_n/∂θ^も(ｙ₁,ｙ₂,..,ｙ_n-1,θ^)の関数ですからθに無関係です。(証明終わり)

[定理12-11]:(1)θの充足推定量θ^が存在する場合には,尤度方程式∂{logＬ(θ)}/∂θ＝0 の任意の解はθ^の関数である。

(2)θの充足推定量θ₁^,および有効推定量θ₂^が存在すればθ₂^はθ₁^の関数である。

(証明):(1)任意標本値をｘ₁,ｘ₂,..,ｘ_nと置けば,θ^はθの充足推定量なので,θ^の密度関数をｇ(θ^;θ)とすると尤度関数はＬ(θ)＝ｇ(θ^;θ)ｈ(ｘ₁,ｘ₂,..,ｘ_n|θ^)と表現できます。

　そこで,尤度方程式∂{logＬ(θ)}/∂θは∂{logｇ(θ^;θ)}/∂θ＝0 となります。この方程式の左辺はθ^,θのみの関数なのでθについて解いた解θ(最尤推定量)は充足推定量θ^の関数です。

(2)θの任意の不偏推定量をＵ^,充足推定量のθ₁^の密度関数をｇ(θ₁^;θ)と置きます。

　充足推定量の定義から,(ｘ₁,ｘ₂,..,ｘ_n)を(θ₁^,ｙ₁,ｙ₂,..,ｙ_n-1)に変換してΠ_j=1ⁿｐ(ｘ_j;θ)ｄｘ_j＝ｇ(θ₁^;θ)ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ₁^,θ)ｄθ₁^ｄｙ₁ｄｙ₂..ｄｙ_n-1と置けば,ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ₁^;θ)はθを含みません。

　一方,Ｕ^はθの不偏推定量なので,θ＝Ｅ[Ｕ^]＝∫..∫ｕｇ(θ₁^;θ)ｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ₁^)ｄθ₁^ｄｙ₁ｄｙ₂..ｄｙ_n-1＝∫ｋ(θ₁^)ｇ(θ₁^;θ)ｄθ₁^が成立します。ただし,ｋ(θ₁^)≡∫..∫ｕｈ(ｙ₁,ｙ₂,..,ｙ_n-1|θ₁^)ｄｙ₁ｄｙ₂..ｄｙ_n-1です。

　θ＝∫ｋ(θ₁^)ｇ(θ₁^;θ)ｄθ₁^はｋ(θ₁^)がθの不偏推定量であることを意味しています。

　Ｅ[Ｕ^]＝θ,Ｕ^－θ＝Ｕ^－ｋ(θ₁^)＋ｋ(θ₁^)－θより,Ｅ[ｋ(θ₁^)]＝θですから,Var[Ｕ^]＝∫..∫(ｕ－θ)²Π_j=1ⁿｐ(ｘ_j;θ)ｄｘ_j＝∫..∫[ｕ－ｋ(θ₁^)]²Π_j=1ⁿｐ(ｘ_j;θ)ｄｘ_j＋∫..∫[ｋ(θ₁^)－θ]²Π_j=1ⁿｐ(ｘ_j;θ)ｄｘ_jと書けます。

　故に,Var[Ｕ^]≧∫[ｋ(θ₁^)－θ]²ｇ(θ₁^;θ)ｄθ₁^ですが,この不等式でＵ^＝θ₂^と置けば有効推定量の分散の最小性から,等号:Var[θ₂^]＝∫[ｋ(θ₁^)－θ]²ｇ(θ₁^;θ)ｄθ₁^が成立します。

　そこで,∫..∫[θ₂^－ｋ(θ₁^)]²Π_j=1ⁿｐ(ｘ_j;θ)ｄｘ_j＝Ｅ[{θ₂^－ｋ(θ₁^)}²]＝0 なのでθ₂^＝ｋ(θ₁^)です。(証明終わり)

　今日はここまでにします。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

　

　

 

確率と分布関数(8)(推定1)

　確率と分布関数の続きです。推定(statistical inference)の項目に入ります。

[定義11-1]:母集団の分布ｐ(ｘ;θ)に含まれている未知母数(パラメータ)θを,この母集団から抽出した任意標本(samples):Ｘ₁,Ｘ₂,..,Ｘ_nの関数θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)によって推定する方法を点推定法という。

Ｘ₁,Ｘ₂,..,Ｘ_nがそれぞれｘ₁,ｘ₂,..,ｘ_nなる値(標本値)と決まれば,θは1つの実現値θ^*＝θ^(ｘ₁,ｘ₂,..,ｘ_n)を取るので,このθ^*をθの推定値という。また変量θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)を推定量という。

[定義11-2]:未知母数θの推定量θ^がＥ[θ^]＝θを満たすときθ^は不偏性(unbiasedness)を持つといい,このθ^をθの不偏推定量(unbiased estimate)という。

　また,ｂ(θ^)≡Ｅ[θ^]－θを推定量θ^の偏りという。ここで期待値ＥはＸ₁,Ｘ₂,..,Ｘ_nの同時分布にわたって取られる。

[定理11-3]:Ｘ₁,Ｘ₂,..,Ｘ_nが母平均μを持つ任意の母集団からの任意標本であるならば,標本平均:＜Ｘ＞≡(Ｘ₁,Ｘ₂,..,Ｘ_n)/ｎ(＝μ^)はμの１つの不偏推定量である。

(証明):Ｅ[Ｘ_j]＝μ (ｊ＝1,2,..,ｎ)よりＥ[＜Ｘ＞]＝(1/ｎ)Σ_j=1ⁿＥ[Ｘ_j]＝μです。(証明終わり)

[例11-4];母集団の分布は 0＜ｘ≦θに対してｐ(ｘ;θ)＝1/θ,それ以外ではｐ(ｘ;θ)＝0 の一様分布とする。

　この一様母集団からの大きさｎの任意標本:Ｘ₁,Ｘ₂,..,Ｘ_nに対し,＜Ｘ＞≡(Ｘ₁,Ｘ₂,..,Ｘ_n)/ｎ,Ｘ_(n)≡max(Ｘ₁,Ｘ₂,..,Ｘ_n)とおく。(今の場合,ｐ(ｘ;θ)はｘの確率密度関数である。)

　このとき,θ^₁≡2＜Ｘ＞,θ^₂≡(ｎ＋1)Ｘ_(n)/ｎは共にθの不偏推定量である。

(証明):ｊ＝1,2,..,ｎに対してＥ[Ｘ_j]＝∫₀^θ(ｘ/θ)ｄｘ＝θ/2ですから,Ｅ[θ^₁]＝Ｅ[2＜Ｘ＞]＝θです。

　次に,Ｘ_jの分布関数はｘ＞θならＰ(Ｘ_j≦ｘ)＝1,0＜ｘ≦θならＰ(Ｘ_j≦ｘ)＝ｘ/θ,ｘ≦0 ならＰ(Ｘ_j≦ｘ)＝0 です

　そして,{Ｘ_(n)≦ｘ}＝∩_j=1^∞{Ｘ_j≦ｘ}で,Ｘ₁,Ｘ₂,..,Ｘ_nは独立なので,Ｘ_(n)の分布関数はＦ(ｘ)≡Ｐ(Ｘ_(n)≦ｘ)＝Ｐ(∩_j=1^∞{Ｘ_j≦ｘ}＝Π_j=1^∞Ｐ(Ｘ_j≦ｘ)となります。

　そこで,ｘ＞θならＦ(ｘ)＝1,0＜ｘ≦θならＦ(ｘ)＝ｘⁿ/θⁿ,ｘ≦0 ならＦ(ｘ)＝0 です。

　確率密度関数はｆ(ｘ)＝ｄＦ/ｄｘで与えられます。これは,0＜ｘ≦θならｆ(ｘ)＝ｎｘ^n-1/θⁿ,それ以外ではｆ(ｘ)＝ 0です。

　それ故,Ｅ[Ｘ_(n)]＝∫₀^∞ｘｆ(ｘ)ｄｘ＝(ｎ/θⁿ)∫₀^θｘⁿ/ｄｘθⁿ ＝ｎθ/(ｎ＋1)です。故に,Ｅ[θ^₂]＝Ｅ[(ｎ＋1)Ｘ_(n)/ｎ]＝θです。(証明終わり)

[定理11-5]:母集団分布に母分散σ²が存在するとき,分布型に関係なＥ[{Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²}/(ｎ－1)]＝σ²が成り立つ。

(証明):母平均をＥ[Ｘ_j]＝μ(ｊ＝1,2,..,ｎ)とすると,Ｘ_j－＜Ｘ＞＝(Ｘ_j－μ)－(＜Ｘ＞－μ)よりＥ[(Ｘ_j－＜Ｘ＞)²]＝Ｅ[(Ｘ_j－μ)²－2(Ｘ_j－μ)(＜Ｘ＞－μ)＋(＜Ｘ＞－μ)²]と書けます。

ところがＥ[(Ｘ_j－μ)²]＝σ²,Ｅ[Σ_j=1ⁿ(Ｘ_j－μ)(＜Ｘ＞－μ)]＝ｎＥ[(＜Ｘ＞－μ)²],また,明らかにＥ[(＜Ｘ＞－μ)²]＝σ²/ｎです。

　それ故,Ｅ[{Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²}]＝ｎσ²－2ｎσ²/ｎ＋ｎσ²/ｎ＝(ｎ－1)σ²です。以上から,Ｅ[{Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²}/(ｎ－1)]＝σ²が得られます。

※(注):Ｓ₀²≡{Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²}/(ｎ－1)を不偏分散(unbiased variance)という。

[定義11-6]:平均がμ,分散がσ²の母集団からの大きさｎの任意標本Ｘ₁,Ｘ₂,..,Ｘ_nに対してμの推定量としてμ^≡ｃ₁Ｘ₁＋ｃ₂Ｘ₂＋..＋ｃ_nＸ_nを取る。

　標本の線形関数:μ^がVar[μ^]を最小にする不偏推定量となるように定数ｃ_j(ｊ＝1,2,..,ｎ)を定める。このときのμ^をμの最良線形不偏推定量という。

[例11-7]:μ^≡ｃ₁Ｘ₁＋ｃ₂Ｘ₂＋..＋ｃ_nＸ_nがμの最良線形不偏推定量ならμ^は不偏推定量なのでＥ[μ^]＝Σ_j=1ⁿｃ_jＥ[Ｘ_j]＝μ(Σ_j=1ⁿｃ_j)＝μです。故にΣ_j=1ⁿｃ_j＝1です。

一方,Var[μ^]＝Σ_j=1ⁿｃ_j²Var[Ｘ_j]＝(Σ_j=1ⁿｃ_j²)σ²です。

以上から,最良線形不偏推定量を求めるには,Σ_j=1ⁿｃ_j＝1の下でΣ_j=1ⁿｃ_j²を最小にすればいいことになります。

Σ_j=1ⁿｃ_j＝1,および.Σ_j=1ⁿｃ_j²＝1の微分はそれぞれｄ(Σ_j=1ⁿｃ_j)＝Σ_j=1ⁿｄｃ_j＝0,およびｄ(Σ_j=1ⁿｃ_j²)＝2Σ_j=1ⁿｃ_jｄｃ_j＝0 です。

λをラグランジュの未定係数として,極小条件:Σ_j=1ⁿ(λ＋2ｃ_j)ｄｃ_j＝0 より,ｃ_j＝－λ/2＝(一定)を得られます。

よって,Σ_j=1ⁿｃ_j＝1よりｃ_j＝1/ｎがμ^≡ｃ₁Ｘ₁＋ｃ₂Ｘ₂＋..＋ｃ_nＸ_nの最良線形不偏推定量を与えることがわかります。(証明終わり)

[定義11-8]:θ^₁とθ^₂が共にθの不偏推定量であるとき,Var[θ^₁]＜Var[θ^₂]ならθ^₁の方がθ^₂よりも有効である(efficient)という。

　そして,母数θの全ての不偏推定量のうち最も分散の小さいものを,最も有効な推定量,または最良(best)推定量という。

[定理11-9]:(クラーメル・ラオの不等式(Cramer-Rao inequality),or Ｃ-Ｒ不等式)

　母集団分布ｐ(ｘ；θ)は次の４つの条件:正則条件(1)～(4)満たすとする。(ただし,ここではｐ(ｘ；θ)をｐ.ｄ.ｆ.とみなす。)

(1)－∞＜ｘ＜∞の全てのｘに対して∂ｐ(ｘ；θ)/∂θが存在する。

(2)∫_-∞^∞∫_-∞^∞..∫_-∞^∞Π_j=1ⁿｐ(ｘ_j；θ)ｄｘ₁ｄｘ₂.. ｄｘ_nは積分と微分∂/∂θの順序の交換ができる。

(3)Ｅ[{∂logｐ(Ｘ;θ)/∂θ}²]＜∞

(4)∫_-∞^∞∫_-∞^∞..∫_-∞^∞θ^(ｘ₁,ｘ₂,..,ｘ_n) Π_j=1ⁿｐ(ｘ_j；θ)ｄｘ₁ｄｘ₂.. ｄｘ_nはθに関して微分可能である。

　この正則条件の下でθの不偏推定量θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)の分散はVar[θ^]≧1/(ｎＥ[{∂[logｐ(Ｘ;θ)]/∂θ}²])なる不等式を満たす。

等号の成立は,Σ_j=1ⁿ[{∂[logｐ(Ｘ_j;θ)]/∂θ}＝ｋ{θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)－θ}を満たすｎ,θによらない定数ｋが存在するときです。

(証明):θ^が不偏推定量であるという仮定から,θ＝∫_-∞^∞∫_-∞^∞..∫_-∞^∞θ^(ｘ₁,ｘ₂,..,ｘ_n)Π_j=1ⁿｐ(ｘ_j;θ)ｄｘ₁ｄｘ₂.. ｄｘ_nです。

　両辺をθで微分すると,1＝∫_-∞^∞∫_-∞^∞..∫_-∞^∞θ^(ｘ₁,ｘ₂,..,ｘ_n)[Σ_j=1ⁿΠ_k=1,k≠jⁿｐ(ｘ_k；θ){∂ｐ(ｘ_j；θ)/∂θ}]ｄｘ₁ｄｘ₂..ｄｘ_n＝∫_-∞^∞∫_-∞^∞..∫_-∞^∞Π_j=1ⁿθ^(ｘ₁,ｘ₂,..,ｘ_n)[Σ_j=1ⁿΠ_k=1,ⁿｐ(ｘ_k；θ){∂[logｐ(ｘ_j；θ)]/∂θ}]ｄｘ₁ｄｘ₂..ｄｘ_nです。

　よって,1＝Σ_j=1ⁿＥ[θ^(Ｘ₁,Ｘ₂,..,Ｘ_n){∂{logｐ(ｘ_j;θ)]/∂θ}]が成立します。

　一方,明らかに,1＝∫_-∞^∞∫_-∞^∞..∫_-∞^∞Π_j=1ⁿｐ(ｘ_j;θ)ｄｘ₁ｄｘ₂..ｄｘ_nです。

　これも両辺をθで微分すると,上と同様にして 0＝Σ_j=1ⁿＥ[∂[logｐ(Ｘ_j;θ)]/∂θ]を得ます。

　したがって,1＝Ｅ[{θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)－θ}{Σ_j=1ⁿ∂[logｐ(Ｘ_j;θ)]/∂θ}]と書けます。

　これにシュワルツの不等式(Schwarz inequality)を適用すれば1≦Ｅ[{θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)－θ}²]/Ｅ[{Σ_j=1ⁿ∂logｐ(ｘ_j;θ)/∂θ}²]が得られます。

そして,Var(θ^)＝Ｅ[{θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)－θ}²]より,これはVar(θ^)≧1/Ｅ[{Σ_j=1ⁿ∂logｐ(Ｘ_j;θ)/∂θ}²])を満たします。

等号はΣ_j=1ⁿ{∂[logｐ(ｘ_j;θ)]/∂θ}＝ｋ[{θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)－θ}を満たす定数ｋが存在するときに限られます。

なぜなら,一般にシュワルツの不等式は数空間のベクトルｘ,ｙに対して|(ｘｙ)|²≦|ｘ|²|ｙ|²が成立するというもので,等号はｘとｙが同じ方向のベクトルのとき,例えばｙ＝ｋｘと書ける場合だけ成立します。

　さて,∀ｊに対して∫_-∞^∞ｐ(ｘ_j;θ)ｄｘ_j＝1より,∫_-∞^∞{∂logｐ(ｘ_j;θ)/∂θ}ｐ(ｘ_j;θ)ｄｘ_j＝0 です。したがってＥ[∂[logｐ(Ｘ_j;θ)]/∂θ]＝0 です。

それ故,ｊ≠ｋならＥ[{∂[logｐ(Ｘ_j;θ)]/∂θ}{∂[logｐ(Ｘ_k；θ)]/∂θ}]＝∫_-∞^∞∫_-∞^∞..∫_-∞^∞{∂[logｐ(ｘ_j;θ)]/∂θ}{∂[logｐ(ｘ_k；θ)]/∂θ}Π_j=1ⁿｐ(ｘ_j;θ)ｄｘ₁ｄｘ₂.. ｄｘ_n＝Ｅ[∂[logｐ(Ｘ_j;θ)]/∂θ]Ｅ[∂log[ｐ(Ｘ_k;θ)]/∂θ]＝0 です。

　そこでＥ[{Σ_j=1ⁿ∂[logｐ(Ｘ_j;θ)]/∂θ}²]＝Σ_j=1ⁿＥ[{∂[logｐ(Ｘ_j;θ)]/∂θ}²]＝ｎＥ[{∂[logｐ(ｘ;θ)]/∂θ}²]を得ます。故に,Var(θ^)≧1/(ｎＥ[{∂[logｐ(ｘ_j;θ)]/∂θ}²])です。

　これをクラーメル・ラオの不等式(Cramer-Rao inequality),or Ｃ-Ｒ不等式といいます。(証明終わり)

[定義11-10]:Ｃ-Ｒ不等式で等号を成り立たせるθ^,つまりΣ_j=1ⁿ{∂[logｐ(ｘ_j;θ)]/∂θ}＝ｋ[{θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)－θ}を満たすｋが存在するようなθ^を有効推定量,または最小分散不偏推定量(minimum-variance unbiased estimator)という。

[例11-11]:母集団分布がｐ(ｘ;λ)＝λ^x exp(－λ)/ｘ! (ｘ＝0,1,2,..)なる分布のポアソン(Poisson)母集団のパラメータλの有効推定量は＜Ｘ＞＝(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎである。

(証明):logｐ(ｘ;λ)＝ｘlogλ－λ－log(ｘ!)ですから,∂[logｐ(ｘ;λ)]/∂λ＝－1＋ｘ/λです。

　故に,ｎＥ[{∂[logｐ(Ｘ;θ)]/∂θ}²]＝ｎＥ[(－1＋ｘ/λ)²]＝ｎ{Ｅ[1]－2Ｅ[Ｘ]/λ＋Ｅ[Ｘ²]/λ²}＝ｎ{1＋2λ/λ＋(λ²＋λ)/λ²}＝ｎ/λとなります。

　一方,Var[＜Ｘ＞]＝Σ_j=1ⁿVar[Ｘ_j]/ｎ²＝λ/ｎです。したがって,Var[＜Ｘ＞]＝1/(ｎＥ[{∂[logｐ(Ｘ_j;θ)]/∂θ}²])を満たします。

　等号が成り立っていますから,＜Ｘ＞＝(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎは有効推定量です。(証明終わり)

[例11-12]:正規母集団Ｎ[μ,σ²]からの任意標本をＸ₁,Ｘ₂,..,Ｘ_nとすれば,標本平均＜Ｘ＞＝(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎは母平均μの有効推定量である。

(証明):ｐ(ｘ;μ)＝(2π)^-1/2σ^-1exp{－(ｘ－μ)²/(2σ²)}(－∞＜ｘ＜∞)ですから,∂logｐ(ｘ;μ)/∂μ＝(ｘ－μ)/σ²です。故に,Ｅ[{∂[logｐ(Ｘ；μ)]/∂μ}²]＝Ｅ[(ｘ－μ)]/σ⁴＝1/σ²です。

　そこで,1/(ｎＥ[{∂[logｐ(Ｘ;μ)]/∂μ}²])＝σ²/ｎです。一方,Var[＜Ｘ＞]＝Σ_j=1ⁿ Var[Ｘ_j]/ｎ²＝σ²/ｎです。故に,＜Ｘ＞は有効推定量です。(証明終わり)

[例11-13]:Ｘ₁,Ｘ₂,..,Ｘ_nが次の各確率分布を持つ母集団からの任意標本であるとき,θの有効推定量を求めます。

(1)ｐ(ｘ;θ)＝_NＣ_xθ^x(1－θ)^N-X (ｘ＝0,1,2,..,Ｎ,0＜θ＜1)

(2)ｐ(ｘ;θ)＝{1/(Γ(α)θ^α)}ｘ^α-1exp(－ｘ/θ)(ｘ≧0,αは定数)

(解):(1)logｐ(ｘ;θ)＝log _NＣ_x＋ｘlogθ＋(Ｎ－ｘ)log(1－θ),故に∂[logｐ(ｘ;θ)]/∂θ＝ｘ/θ－(Ｎ－ｘ)/(1－θ)＝(ｘ－Ｎθ)/{θ(1－θ)}です。

　したがって,Ｅ[{∂[logｐ(Ｘ;θ)]/∂θ}²]＝Ｅ[(ｘ－Ｎθ)²]/{θ²(1－θ)²}＝Ｎθ(1－θ)/{θ²(1－θ)²}＝Ｎ/{θ(1－θ)},それ故,1/(ｎＥ[{∂[logｐ(Ｘ;θ)]/∂θ}²])＝θ(1－θ)/(ｎＮ)です。

　ところで,＜Ｘ＞≡(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎと置くとＥ[＜Ｘ＞]＝Ｎθ,Var[＜Ｘ＞]＝Ｎθ(1－θ)/ｎ,すなわち,Var[＜Ｘ＞/Ｎ]＝θ(1－θ)/(ｎＮ)＝1/(ｎＥ[{∂[logｐ(Ｘ；θ)]/∂θ}²])です。

　θの有効推定量は＜Ｘ＞/Ｎ＝(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/(ｎＮ)です。

(2)logｐ(ｘ;θ)＝－logΓ(α)－αlogθ＋(α－1)logｘ－ｘ/θ,故に∂[logｐ(ｘ;θ)]/∂θ＝－α/θ＋ｘ/θ²＝(ｘ－αθ)/θ²です。

　したがって,Ｅ[{∂[logｐ(Ｘ;θ)]/∂θ}²]＝Ｅ[(ｘ－αθ)²]/θ⁴＝αθ²/θ⁴＝α/θ²,それ故,1/(ｎＥ[{∂[logｐ(Ｘ;θ)]/∂θ}²])＝θ²/(ｎα)です。

　＜Ｘ＞≡(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎと置くと,Ｅ[＜Ｘ＞]＝αθ,Var[＜Ｘ＞]＝αθ²/ｎ,すなわち,Var[＜Ｘ＞/α]＝θ²/(ｎα)＝1/(ｎＥ[{∂[logｐ(Ｘ；θ)]/∂θ}²])です。

　θの有効推定量は＜Ｘ＞/α＝(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/(ｎα)です。

[定義11-14]:サンプル数をｎとするとき,Ｅ[θ^]≠θであるがlim_n→∞Ｅ[θ^]＝θが成立するとき,θ^＝θ^(Ｘ₁,Ｘ₂,..,Ｘ_n)をθの漸近不偏推定量(asymptotic unbiased estimator)という。

[定義11-15]:ｅ[θ^]≡(ｎＥ[{∂[logｐ(Ｘ;θ)]/∂θ}²]Var[θ^])^-1をθ^の有効性(efficiency)という。

これを用いるとＣ-Ｒ不等式は 0＜ｅ[θ^]≦1と書けます。

[例11-16]:Ｘ₁,Ｘ₂,..,Ｘ_nを正規母集団Ｎ[0,σ²]からの任意標本とし,σ²の推定量をσ²^≡Σ_j=1ⁿＸ_j²/ｎとするときｅ[σ²^]を求める。

(解)ｐ(ｘ;σ²)＝(2π)^-1/2σ^-1exp{－ｘ²/(2σ²)}より,logｐ(ｘ;σ²)＝－(1/2)log(2π)－(1/2)logσ²－ｘ²/(2σ²)なので,∂[logｐ(ｘ;σ²)]/∂σ²＝－1/(2σ²)＋ｘ²/{2(σ²)²}となります。

　故に,Ｅ[{∂[logｐ(Ｘ;σ²)]/∂σ²}²]＝(2π)^-1/2σ^-1∫_-∞^∞[－1/(2σ²)＋ｘ²/{2(σ²)²}]²exp{－ｘ²/(2σ²)}ｄｘ＝(2π)^-1/2{1/(4σ⁴)}∫_-∞^∞(1－2ｔ²＋ｔ⁴) ²exp(－ｔ²/2)ｄｔ＝1/(2σ⁴)を得ます。

　それ故,ｎＥ[{∂[logｐ(Ｘ;σ²)]/∂σ²}²]＝ｎ/(2σ⁴)です。

　一方,Var[σ²^]＝Var[Σ_j=1ⁿＸ_j²/ｎ]＝Var[Ｘ²]/ｎで,Var[Ｘ²]＝Ｅ[(Ｘ²－Ｅ[Ｘ²])²]＝Ｅ[Ｘ⁴]－Ｅ[Ｘ²]²です。

　Ｅ[Ｘ]＝0 なのでＥ[Ｘ²]＝Var[Ｘ]＝σ²です。また,Ｅ[Ｘ⁴]＝(2π)^-1/2σ^-1∫_-∞^∞ｘ⁴exp{－ｘ²/(2σ²)}ｄｘ＝3σ⁴より,Var[Ｘ²]＝2σ⁴,Var[σ²^]＝2σ⁴/ｎです。

以上から,ｅ[σ²^]＝(ｎＥ[{∂[logｐ(Ｘ;σ²)]/∂σ²}²]Var[σ²^])^-1＝1です。(終わり)

[例11-17]:Ｘ₁,Ｘ₂,..,Ｘ_nを正規母集団Ｎ[0,σ²]からの任意標本とし,σ²の推定量を不偏分散σ²^≡Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/(ｎ－1)とするとき有効性ｅ[σ²^]を求める。

(解)ｐ(ｘ;σ²)＝(2π)^-1/2σ^-1exp{－ｘ²/(2σ²)}よりｎＥ[{∂[logｐ(Ｘ;σ²)]/∂σ²}²]＝ｎ/(2σ⁴)です。(すぐ前の[例11-16]参照)

　一方,Var[σ²^]＝Var[Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/(ｎ－1)]＝Ｅ[(Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/(ｎ－1)－σ²)²]＝Ｅ[(Σ_j=1ⁿＸ_j²－ｎ＜Ｘ＞²)²]/(ｎ－1)²－σ⁴＝(ｎ²－1)/(ｎ－1)²－σ⁴＝2σ⁴/(ｎ－1)です。(計算略)

したがって,ｅ[σ²^]＝(ｎＥ[{∂[logｐ(Ｘ;σ²)]/∂σ²}²]Var[σ²^])^-1＝(ｎ－1)/ｎ＜1です。(終わり)

途中ですが今日はここまでにします。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会),ラダクリシュナ-ラオ著(奥野忠一,篠崎信雄,古河陽子,鷲見泰俊,長田 洋,広崎昭太,矢島敬二 訳)「統計的推測とその応用」(東京図書)

ＰＳ:依然として風邪が治りません。

　以前は市販のカゼ薬を飲んで寝ていれば長くても３日くらいで完治したし,そもそも風邪など５年に１度くらいしか引きませんでした。ずっと臨時雇いだったので本格的に病気になると職を失いますから気を張っていたこともあったでしょうね。

　しかし,2006年暮れから2007年の初めに心臓病のせいで肺に水がたまり,その後２度目の入院で心臓手術して退院した後は,世間の気候の通りに病気になりやすく,最初のうち軽くて治ったかなと思ったときからが長くていつも10日以上もかかります。糖尿病のせいもあるでしょう。

　一人では立ち上がって部屋を出るのさえ苦しいので,医者までたどりつくこともできないし,食欲もないので最低限飲み物だけで２,３日臥せっています。

　３日分の薬もなくなりました。睡眠薬で無理やり寝てますが飯島愛さんの例もあるし,睡眠しているうちに肺炎で死ぬこともありますね。

　高校を出て一人暮らしを始めて以来42年足らず,いわば天涯孤独なので病気で寝込むというのは慣れているはずなのですが,何もする気力がなく無理に動くと苦しくなるので困ることが多いですね。

　41年前,故郷を出てからは,医者とか,看護師とか,お金を払って世話してもらう以外には,看病してもらったのは20代後半の頃,利尻島出身で白山に住んでいたガールフレンドの家で布団に寝て濡れタオルを額に乗せてもらったり,おカユ?(焼きそば？)を作ってもらったという記憶しかないですね。さびしい人生だな。。

　↑ また弱音を吐いて同情でも買おうと考えてる。。自分のことばかりで,お前は他人の看病もしたことないじゃないか。。。

ＰＳ２:このブログを書くために数時間根をつめていたら心持ち症状が軽くなったような気がします。

　

　

 

確率と分布関数(7)(極限定理の続き,収束の種類)

　確率と分布関数の続きです。 

色々と中断中のテーマはあるのですが,１つ１つコツコツと終わらせていくつもりです。今は,科学ブログを書いている限りブログネタには困りません。毎回悩んでいた昔が懐かしいくらいです。

[定理9-9]:中心極限定理(central limit theorem)(同一分布の場合)

有限な平均:μ＝Ｅ[Ｘ_j],有限な分散:σ²＝Var[Ｘ_j]の同一分布を持つ独立確率変数列:Ｘ₁,Ｘ₂,..に対して,lim_n→∞Ｐ({(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)}≦ｘ)＝(2π)^-1/2∫_-∞^xexp(－ｕ²/2)ｄｕ(－∞＜ｘ＜∞)が成立する。

(証明) Ｕ_j≡Ｘ_j－μと置くと,Ｅ[Ｕ_j]＝Ｅ[Ｘ_j]－μ＝0,Ｅ[Ｕ_j²]＝Var[Ｘ_j]＝σ²です。

　Ｙ_n＝(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)＝(Σ_j=1ⁿＵ_j)/(ｎ^1/2σ)と定義して,その特性関数をφ_n(ｔ)と書けば,Ｕ₁,Ｕ₂,..が全て独立ですから,φ_n(ｔ)＝Ｅ[exp(iｔＹ_n)]＝Π_j=1ⁿＥ[exp{iｔＵ_j/(ｎ^1/2σ)}]となります。

　ところで指数関数はexp(iｔｕ)＝1＋iｔｕ－(1/2)ｔ²ｕ²＋(θ/6)(iｔｕ)³,(|θ|≦1)より,Ｅ[exp(iｔＵ_j)]＝1－(1/2)ｔ²σ²＋Ｏ(ｔ³)と近似展開されます。

　そこで,Π_j=1ⁿＥ[exp{iｔＵ_j/(ｎ^1/2σ)}]＝{1－ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}ⁿ＝{1＋ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}^-n＝[{1＋ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}^{1/{t2/(2n)＋Ｏ(n-3/2)}}]^{-t2/2＋Ｏ(n-3/2)}と書けます。

　ここで,公式:lim_n→∞(1＋1/ｎ)ⁿ＝ｅから,lim_n→∞{1＋ｔ²/(2ｎ)＋Ｏ(ｎ^-3/2)}^{1/{t2/(2n)＋Ｏ(n-3/2)}}＝ｅを得ます。

それ故,lim_n→∞φ_n(ｔ)＝exp(－ｔ²/2)となります。右辺のexp(－ｔ²/2)は標準正規分布Ｎ[0,1]の特性関数に一致しています。

φ(ｔ)＝exp(－ｔ²/2)と置いてフーリエ反転公式:Ｆ(ｘ₂)－Ｆ(ｘ₁)＝∫_-∞^∞[{exp(－iｔｘ₂)－exp(－iｔｘ₂)}φ(ｔ)/(－iｔ)]ｄｔを用いると,Ｆ(ｘ₂)－Ｆ(ｘ₁)＝(2π)^-1/2∫_x1^x2exp(－ｕ²/2)ｄｕを得ます。

したがって,Ｆ(ｘ)＝lim_n→∞Ｐ(Ｙ_n≦ｘ)＝(2π)^-1/2∫_-∞^xexp(－ｕ²/2)ｄｕ (－∞＜ｘ＜∞)が成立します。(証明終わり)

[例9-10]:上記の中心極限定理から大数の法則(law of large numbers)を導きます。

(解)ｕの関数exp(－ｕ²/2)の性質から,任意のε₁＞0 に対して,あるｘ＞0 が存在して(2π)^-1/2∫_-x^xexp(－ｕ²/2)ｄｕ＝1－ε₁が成立することがわかります。

　そして,別に任意のε＞0 を与えて,ｎ≧σ²ｘ²/ε²となるようなｎを取ります。このとき,ｘ≦ｎ^1/2ε/σです。

そこで,中心極限定理によりＰ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|≦ε)＝Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)|≦(ｎ^1/2ε/σ))≧Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n－ｎμ)/(ｎ^1/2σ)|≦ｘ) → (2π)^-1/2∫_-x^xexp(－ｕ²/2)ｄｕ＝1－ε₁ (as ｎ→∞)となります。

　したがって,十分大きいｎに対して,Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|≦ε)＞1－2ε₁,すなわち,Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|＞ε)＜2ε₁です。

　ε₁＞0 は任意でしたから,lim_n→∞Ｐ(|(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ－μ|＞ε)＝0 を得ます。これは先に述べた大数の法則です。(終わり)

[定理9-11]:ラプラス-ド・モアブルの定理(Laplace-de Moivre)

　各試行の結果,排反事象Ｔ,Ｈのどちらか１つが起きるようなｎ回の"ベルヌーイ試行＝独立試行"で,各試行の結果がＴなら１,Ｈなら0 を割り当てる確率変数をＸ_j(ｊ＝1,2,..,)とする。

　このとき,ｎ回の試行のうちでＴが出る回数をＳ_nとすればＳ_n＝Ｘ₁＋Ｘ₂＋..＋Ｘ_n＝Σ_j=1ⁿＸ_jである。

そこで,Ｐ(Ｘ_j＝1)＝ｐ,Ｐ(Ｘ_j＝0)＝ｑ＝1－ｐのときＹ_n≡(Ｓ_n－ｎｐ)/(ｎｐｑ)^1/2と置けば,Ｙ_nのｄ.ｆ:Ｆ_n(ｙ)＝Ｐ(Ｙ_n≦ｙ)に対してlim_n→∞Ｆ_n(ｙ)＝(2π)^-1/2∫_-∞^yexp(－ｕ²/2)ｄｕが成立する。

(ｙについて一様収束である。)

(証明) Ｅ[Ｘ_j]＝ｐ,Var[Ｘ_j]＝ｐｑより[定理9-9]を適用すれば自明。(証明終わり)

[定理9-12]:コルモゴロフの不等式(Kolmogorov's inequality)

平均がゼロで分散が有限の独立確率変数列:Ｘ₁,Ｘ₂,..について,Ｓ_k≡Ｘ₁＋Ｘ₂＋..＋Ｘ_kと置けば任意のε＞0 に対し,Ｐ(max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε)≦(1/ε²){Σ_k=1ⁿ Var[Ｘ_k]}が成立する。

(証明):集合ＡをＡ≡{ω∈Ω|max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε}と定義し,集合列:{Ａ_k}_k=1,2,.をＡ₁≡{ω∈Ω||Ｓ₁|≧ε},Ａ_k≡{ω∈Ω||Ｓ_j|＜ε(ｊ＝1,2,..,ｋ－1),|Ｓ_k|≧ε)(ｋ＝2,3,..,ｎ)で定義すれば,Ａ＝Ａ₁＋Ａ₂＋..＋Ａ_n＝Σ_k=1ⁿＡ_kです。

　このとき,Ａ,Ａ_k(ｋ＝1,2,..,ｎ)の指示関数Ｉ_A,Ｉ_Akについて,明らかにＩ_A＝Σ_k=1ⁿＩ_Akが成立します。故にＰ(Ａ)＝Σ_k=1ⁿＰ(Ａ_k)＝Σ_k=1ⁿＰ(Ｉ_Ak＝1)です。

　一方,Ｓ_n＝Ｓ_k＋(Ｓ_n－Ｓ_k)で,Ｓ_k＝Ｘ₁＋Ｘ₂＋..＋Ｘ_k,(Ｓ_n－Ｓ_k)＝Ｘ_k+1＋Ｘ_k+2＋..＋Ｘ_nです。

　そして,Ｓ_nとＳ_kは独立ですから,Val[Ｓ_n]＝Var[Ｓ_k]＋Var[Ｓ_n－Ｓ_k]であり,Ｅ[Ｓ_k]＝Ｅ[Ｓ_n－Ｓ_k]＝0 です。

　故に,Ｅ[Ｉ_AkＳ_n²]＝Ｅ[Ｉ_AkＳ_k²]＋Ｅ[Ｉ_Ak(Ｓ_n－Ｓ_k)²]≧Ｅ[Ｉ_AkＳ_k²]≧ε²Ｐ(Ｉ_Ak＝1)＝ε²Ｐ(Ａ_k)なる不等式が得られます。

　そこで,Σ_k=1ⁿVar[Ｘ_k]＝Ｅ[Ｓ_n²]≧Ｅ[Ｉ_AＳ_n²]＝Σ_k=1ⁿＥ[Ｉ_AkＳ_n²]≧ε²Σ_k=1ⁿＰ(Ａ_k)＝ε²Ｐ(Ａ)＝Ｐ(max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε)が成立します。(証明終わり)

[定理9-13]:独立確率変数列:Ｘ₁,Ｘ₂,..があって,それぞれ平均ゼロと有限の分散和:Σ_k=1^∞Var[Ｘ_k]＜∞を持てば,Ｐ(Σ_k=1^∞Ｘ_kが収束する)＝1が成り立つ。

(これを"Σ_k=1^∞Ｘ_kは概収束する。",あるいは,"ほとんど到るところで収束する。"という。)

(証明)Ｓ_k≡Ｘ₁＋Ｘ₂＋..＋Ｘ_k＝Σ_j=1^kＸ_jと置けば,Ｓ_n+k－Ｓ_n＝Ｘ_n+1＋Ｘ_n+2＋..＋Ｘ_n+k-1です。

　一方,上記の[定理9-12]によれば,Ｐ(max(|Ｓ₁|,|Ｓ₂|,..,|Ｓ_n|)≧ε)≦(1/ε²){Σ_k=1ⁿ Var[Ｘ_k]}ですから,0≦Ｐ(max_1≦ｋ≦N(|Ｓ_n+k－Ｓ_n|)≧ε)≦(1/ε²){Σ_j=n+1^n+N Var[Ｘ_j]}(Ｎ≧1)です。

両辺のＮ→ ∞ の極限を取ると, 0≦Ｐ(max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)≧ε)≦(1/ε²){Σ_j=n+1^∞ Var[Ｘ_j]}ですが,Σ_k=1^∞Var[Ｘ_k]＜∞ なる仮定によって,ｎ→ ∞ に対して,右辺＝Σ_j=n+1^∞ Var[Ｘ_j] → 0です。

そこで,(1/2^ν)³＞0 に対してｐ_νが存在してΣ_j=pν+1^∞ Var[Ｘ_j]＜(1/2^ν)³＝2^-3νとなります。

よって,ε＝1/2^νと置けば,0 ≦Ｐ(max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)≧＝1/2^ν)≦2^2ν{Σ_{j= pν+1}^∞ Var[Ｘ_j]}＜2^-ν＝1/2^νが成立します。

したがって,Ｅ_ν≡{ω∈Ω|max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)≧1/2^ν}と置けばＰ(∪_ν=1^∞Ｅ_ν)≦Σ_ν=1^∞Ｐ(Ｅ_ν)＜Σ_ν=1^∞2^-ν＝1となります。そこで,ｎ→∞ に対して,Ｐ(∪_ν=n^∞Ｅ_ν)→ 0 です。

それ故,Ｅ≡∩_n=1^∞∪_ν=n^∞Ｅ_νと置けば,0 ≦Ｐ(Ｅ)≦Ｐ(∪_ν=n^∞Ｅ_ν)→ 0,つまりＰ(Ｅ)＝0 です。

そこで,Ｐ(Ｅ^c)＝1 ですが,Ｅ^c＝∪_n=1^∞∩_ν=n^∞Ｅ_ν^c,Ｅ_ν^c＝{ω∈Ω|max_ｋ≧1(|Ｓ_n+k－Ｓ_n|)＜1/2^ν}＝{ω∈Ω|max_ｋ≧1[|Σ_{j= pν+1} ^pν+kＸ_j(ω)|]＜1/2^ν}です。

よって,ω∈Ｅ^cのとき,ある自然数ｎが存在してν≧ｎならω∈Ｅ_ν^c,つまり,|Σ_{j= pν+1} ^pν+kＸ_j(ω)|＜1/2^ν≦1/2ⁿ (ｋ≧1)です。

ω∈Ｅ^cならω∈Ｅ_n^cですから,ｎ≦ｐ_n≦ｍのとき|Σ_j=m+1 ^∞Ｘ_j(ω)|＝|Σ_j=pn+1 ^∞Ｘ_j(ω)－Σ_j=pn+1 ^mＸ_j(ω)|≦|Σ_j=pn+1 ^∞Ｘ_j(ω)|＋Σ_j=pn+1 ^mＸ_j(ω)|≦1/2^n-1です。

つまり,ω∈Ｅ^cならｎ→ ∞ に対し|Σ_j=m+1 ^∞Ｘ_j(ω)|→ 0 です。それ故,Ｐ(Ｅ^c)≦Ｐ({ω∈Ω||Σ_j=m+1 ^∞Ｘ_j(ω)|→ 0 })です。

以上から,1＝Ｐ(Ｅ^c)＝Ｐ(∪_n=1^∞∩_ν=n^∞Ｅ_ν^c)＝Ｐ(Σ_j=1 ^∞Ｘ_jが収束する。) が成り立ちます。 (証明終わり)

※(注)これは2007年６/25の記事「ブラウン運動と伊藤積分(3)」で与えた(ボレル・カンテリ(Borel-Cantelli)の補題)とほぼ同じ内容です。

　すなわち,"{Ａ_n}_n=1,2,．を集合列としＡをこれらの集合の無限個の共通に含まれる要素の集合,Ｐを確率測度とする。このとき,(ａ)ΣＰ(Ａ_n)＜∞ ならＰ(Ａ)＝0 (ｂ)ΣＰ(Ａ_n)＝∞ で事象:Ａ_nが独立ならＰ(Ａ)＝1である。"という定理です。

(上記補題の証明):(ａ)Ａ＝∩_r=1^∞∪_n=r^∞Ａ_nと書けます。よって∀ｒについてＡ⊂∪_n=r^∞Ａ_nです。

ΣＰ(Ａ_n)が収束するので,ε＞0 を任意に取れば十分大きいｒに対してＰ(Ａ)≦Ｐ(∪_n=r^∞Ａ_n)≦Σ_n=r^∞Ｐ(Ａ_n)＜εです。そして,ε＞0 が任意なのでＰ(Ａ)＝0 です。

(ｂ)Ａ＝∩_r=1^∞∪_n=r^∞Ａ_nより,Ａ^c＝∪_r=1^∞∩_n=r^∞Ａ_n^cです。

故に,1－Ｐ(Ａ)＝Ｐ(Ａ^c)＝Ｐ(∪_r=1^∞∩_n=r^∞Ａ_n^c)≦Σ_r=1^∞Ｐ(∩_n=r^∞Ａ_n^c)≦Σ_r=1^∞Π_n=r^∞[1－Ｐ(Ａ_n)]です。

ここで,ΣＰ(Ａ_n)＝∞ なので各ｒについて右辺の無限積は 0 に発散します。(Σlog[1－Ｐ(Ａ_n)]≦－ΣＰ(Ａ_n)＝－∞ よりΠ_n=r^∞[1－Ｐ(Ａ_n)]＝exp(－∞)＝0 です。) 故に,Ｐ(Ａ)＝1です。(証明終わり)(注終わり)※

[定理9-14]:大数の強法則(strong rule of large numbers)

独立確率変数列:Ｘ₁,Ｘ₂,..が,各々平均:Ｅ[Ｘ_j]＝μ_j(－∞＜μ_j＜∞),分散:Var[Ｘ_j]＝σ_j²＜∞を持てば,Ｓ_n≡Ｘ₁＋Ｘ₂＋..＋Ｘ_nと置くとＥ[Ｓ_n]＝μ₁＋μ₂＋..＋μ_n＝ｍ_nである。

もしも,Σ_j=1 ^∞σ_j²＜∞ なら,Ｐ(lim_n→∞(Ｓ_n－ｍ_n)/ｎ＝0)＝1 が成り立つ。

(証明):Ｕ_j≡(Ｘ_j－μ_j)/ｊと置けば,Ｅ[Ｕ_j]＝0,かつVar[Ｕ_j]＝σ_j²/ｊ²です。

仮定によって,Σ_j=1^∞Var[Ｕ_j]＝Σ_j=1 ^∞σ_j²＜∞ ですから,[定理9-13]よりＰ(Σ_j=1^∞Ｕ_j＝Σ_j=1^∞(Ｘ_j－μ_j)/ｊが収束する。)＝1 が成立します。そこで,Ｓ_n'≡Σ_j=1ⁿＵ_j＝Σ_j=1ⁿ(Ｘ_j－μ_j)/ｊと置けばＰ(ｎ→∞でＳ_n'が収束する)＝1 です。

ところで,Ｓ₁'＝Ｕ₁＝Ｘ₁－μ₁,Ｓ_n'－Ｓ_n-1'＝Ｕ_n(n≧2),つまりｎ(Ｓ_n'－Ｓ_n-1')＝Ｘ_n－μ_n(ｎ≧2)なので,(Ｓ_n－ｍ_n)/ｎ＝(1/ｎ){Ｓ₁'＋2(Ｓ₂'－Ｓ₁')＋..＋ｎ(Ｓ_n'－Ｓ_n-1')}＝Ｓ_n'－(Σ_j=1^n-1Ｓ_j')/ｎと書けます。

Ｐ(ｎ→∞でＳ_n'が収束する)＝1 を,ほとんど到るところでlim_n→∞Ｓ_n'＝Ｓと表現すれば,ほとんどいたるところでlim_n→∞(Σ_j=1^n-1Ｓ_j')/ｎ＝Ｓです。

したがってＰ(lim_n→∞(Ｓ_n－ｍ_n)/ｎ＝0)＝1 を得ます。(証明終わり)

※ 独立確率変数の平均がほとんど到るところで平均値の平均に収束するというこの定理を大数の強法則といいます。※ 

次に確率関連の収束の種類をまとめます。 

1.確率収束(convergence in probability)

[定義10.1]:確率変数の列:{Ｘ_n}_n=1,2..があって∀ε＞0 に対しlim_n→∞Ｐ(|Ｘ_n－Ｘ|＞ε)＝0 が成り立つとき,Ｘ_nはＸに確率収束するといい,Ｘ_n → ^PＸと書く。

[定理10.2]:独立確率変数列:Ｘ₁,Ｘ₂,..が同一の平均Ｅ[Ｘ_j]＝μ,分散Var[Ｘ_j]＝σ²を持てば,∀α＞0 に対して,{(Ｘ₁＋Ｘ₂＋..＋Ｘ_n－ｎμ)/ｎ^1/2＋α}_n → ^P 0 (ｎ→∞)である。

(証明) Ｙ_n≡(Ｘ₁＋Ｘ₂＋..＋Ｘ_n－ｎμ)/ｎ^1/2＋αと置けば,Ｅ[Ｙ_n]＝0 ,Val(Ｙ_n)＝ｎσ²/ｎ^1＋2α＝σ²/ｎ^2αです。

　よって,平均がμ,分散がσ²の確率変数Ｘに対するチェビシェフの不等式:Ｐ(|Ｘ－μ|＞ｋ)≦σ²/ｋ²を適用すればＰ(|Ｙn|＞ε)≦σ²/(ε²ｎ^2α)→ 0 (ｎ→∞)です。(証明終わり)

2.法則収束(convergence in distibution)

[定義10.3]:確率変数の列{Ｘ_n}_n=1,2..,と別にある１つの独立変数ＸがあってＸの分布関数Ｆ(ｘ)の全ての連続点において,Ｘ_nの分布関数Ｆ_n(ｘ)がlim_n→∞Ｆ_n(ｘ)＝Ｆ(ｘ)を満たすなら,{Ｘ_n}はＸに法則収束するといい,Ｘ_n → ^dＸ,またはｄlimＸ_n＝Ｘと書く。

[例10.4]: 確率変数Ｘの確率分布が,Ｐ(Ｘ＝0)＝Ｐ(Ｘ＝1)＝1/2のとき,確率変数列:{Ｘ_n}をＸ_n≡1＋1/ｎ－Ｘで定義すれば,Ｘ_n → ^dＸ (ｎ→∞)が成り立つ。

(証明):Ｘ_n≡1＋1/ｎ－Ｘなので,Ｘ＝0 ⇔ Ｘ_n＝1＋1/ｎ;Ｘ＝1 ⇔ Ｘ_n＝1/ｎです。そこでＰ(Ｘ_n＝1＋1/ｎ)＝Ｐ(Ｘ＝0)＝1/2,Ｐ(Ｘ_n＝1/ｎ)＝Ｐ(Ｘ＝1)＝1/2です。

　一方,Ｘの具体的な分布関数は,Ｆ(ｘ)＝Ｐ(Ｘ≦ｘ)＝ 0 (for ｘ＜ 0),1/2 (for 0≦ｘ＜1),1(for ｘ≧1)です。

　そして,ｘ≦0 に対しては明らかにＦ_n(ｘ)＝Ｐ(Ｘ_n≦ｘ)＝0 です。0＜ｘ≦1 に対してはｎ→∞で1/ｎ≦ｘより,limＰ(Ｘ_n≦ｘ)＝1/2です。そしてｘ＞1ならｎ→∞で1＋1/ｎ≦ｘより,limＰ(Ｘ_n≦ｘ)＝1です。(証明終わり)

[定理10.5]:確率変数列{Ｘ_n}が確率収束(Ｘ_n → ^PＸ)するなら法則収束(Ｘ_n → ^dＸ)する。

(証明) {Ｘ_n}が確率収束(Ｘ_n →^PＸ)するとします。

すると,Ｆ_n(ｘ)＝Ｐ(Ｘ_n≦ｘ)＝Ｐ(Ｘ_n≦ｘ,Ｘ≦ｘ＋ε)＋Ｐ(Ｘ_n≦ｘ,Ｘ＞ｘ＋ε)≦Ｐ(Ｘ≦ｘ＋ε)＋Ｐ(Ｘ_n≦ｘ,Ｘ＞ｘ＋ε)≦Ｐ(Ｘ≦ｘ＋ε)＋Ｐ(|Ｘ_n－Ｘ|≦ε)です。

一方,Ｐ(Ｘ≦ｘ－ε)＝Ｐ(Ｘ_n≦ｘ,Ｘ≦ｘ－ε)＋Ｐ(Ｘ_n＞ｘ,Ｘ≦ｘ－ε)≦Ｐ(Ｘ_n≦ｘ)＋Ｐ(Ｘ_n＞ｘ,Ｘ≦ｘ－ε)≦Ｐ(Ｘ_n≦ｘ)＋Ｐ(|Ｘ_n－Ｘ|≦ε)です。

　以上から,Ｐ(Ｘ≦ｘ－ε)－Ｐ(|Ｘ_n－Ｘ|≦ε)≦Ｐ(Ｘ_n≦ｘ)≦Ｐ(Ｘ≦ｘ＋ε)＋Ｐ(|Ｘ_n－Ｘ|≦ε)ですが,Ｘ_n →^P Ｘ,つまりlim_n→∞Ｐ(|Ｘ_n－Ｘ|≦ε)＝0 ですからＰ(Ｘ≦ｘ－ε)≦lim_n→∞Ｐ(Ｘ_n≦ｘ)≦Ｐ(Ｘ≦ｘ＋ε)が成立します。

　それ故,Ｆ(ｘ)＝Ｐ(Ｘ≦ｘ)と置けばＦ(ｘ－ε)≦lim_n→∞Ｆ_n(ｘ)≦Ｆ(ｘ＋ε)です。そしてε＞0 が任意なのでｘがＦ(ｘ)の連続点ならlim_n→∞Ｆ_n(ｘ)≦Ｆ(ｘ),or Ｘ_n → ^dＸが成立します。(証明終わり)

[定理10-6]:確率変数列Ｘ₁,Ｘ₂,..が全て独立で,それぞれ平均:Ｅ[Ｘ_j]＝μ_j,分散:Var[Ｘ_j]＝σ_j²(ｊ＝1,2,..)を持つとする。このときＵ_n≡ｎ^-1/2Σ_j=1ⁿ{(Ｘ_j－μ_j)/σ_j}と置けば,各Ｘ_jの３次の積率が有限のｔきＵ_nはあるＵに法則収束する。すなわち,Ｕ_n → ^d Ｕである。

ただし,Ｕは標準正規分布Ｎ[0.1]を持つ確率変数である。

(証明):Ｙ_j≡(Ｘ_j－μ_j)/σ_jと置くと,Ｅ[Ｙ_j]＝0,Var[Ｙ_j]＝1です。

　そこで中心極限定理により,分布関数の連続点ではｎ→∞ に対してＰ(Ｕ_n≦ｘ)＝Ｐ({(Ｙ₁＋Ｙ₂＋.. ＋Ｙ_n)/ｎ^1/2}≦ｘ_j))→ (2π)^-1/2∫_-∞^xexp(－ｕ²/2)ｄｕです。

　したがって,Ｕ_n → ^d Ｕで,ＵはＮ[0,1]を持つ確率変数です。(証明終わり)

3.概収束(almosut sure convergence)

[定義10-7]:確率空間(Ω,Ｆ,Ｐ)上の確率変数列:{Ｘ_n}_n=1,2..,およびある１つの確率変数Ｘに対して,Ｐ({ω∈Ω|lim_n→∞Ｘ_n(ω)＝Ｘ(ω)})＝1 が成立するとき,Ｘ_nはＸに概収束するといい,Ｘ_n → ^a.s Ｘと書く。

　ただし,ａ.ｓ.はalmosut surely(ほとんど確実に)を意味します。ａ.ｓ.の代わりにａ.ｅ.＝almost everywhere(ほとんど到るところで)を用いることもあります。

[定理10-8]:∀ε＞0 に対してlim_n→∞Ｐ(∪_j≧n{ω∈Ω||Ｘ_j(ω)－Ｘ(ω)|≧ε})＝0 は,Ｘ_n → ^a.s Ｘと同値である。

(証明):Ｅ_j(ε)≡{ω∈Ω||Ｘ_j(ω)－Ｘ(ω)|≧ε}と置きます。すると定理の仮定は,lim_n→∞Ｐ(∪_j≧nＥ_j(ε))＝0 と書き直せます。

∩_n=1^∞∪_j≧nＥ_j(ε)⊂∪_j≧nＥ_j(ε)ですから,0≦Ｐ(∩_n=1^∞∪_j≧nＥ_j(ε))≦Ｐ(∪_j≧nＥ_j(ε))→ 0 (ｎ→∞),つまりＰ(limsupＥ_n(ε))＝lim_n→∞Ｐ(∩_n=1^∞∪_j≧nＥ_j(ε))＝0 です。

そこで,Ｅ≡∪_p=1^∞∩_n=1^∞∪_j≧nＥ_j(1/ｐ))と置けば,0≦Ｐ(Ｅ)≦Σ_p=1^∞Ｐ(∩_n=1^∞∪_j≧nＥ_j(1/ｐ))＝0 ,すなわちＰ(Ｅ)＝0 です。

それ故,Ｐ(Ｅ^c)＝1で,Ｅ^c＝∩_p=1^∞∪_n=1^∞∩_j≧n{Ｅ_j(1/ｐ)}^cです。

　そして,ω∈Ｅ^cとすると,任意の自然数ｐに対して,あるｎが存在してｊ≧ｎなら|Ｘ_j(ω)－Ｘ(ω)|＜1/ｐが成り立ちます。

　そこで,ω∈Ｅ^cならlim_n→∞Ｘ_j(ω)＝Ｘ(ω)です。故に,Ｅ^c⊂{ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)}です。

　したがって,１＝Ｐ(Ｅ^c)≦Ｐ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})≦1が成り立ちます。故に,Ｐ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})＝1,つまり,Ｘ_n → ^a.s Ｘです。

　逆に,Ｘ_n → ^a.s Ｘ (ｎ→∞),すなわちＰ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})＝1 とします。

ω∈{ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)}のとき,任意の自然数ｐに対しあるｎが存在してｊ≧ｎなら|Ｘ_j(ω)－Ｘ(ω)|＜1/ｐが成立します。

すなわち,任意の自然数ｐに対して適当なｎを取ればω∈∩_j=n^∞{Ｅ_j(1/ｐ)}^cですが,これはω∈∩_p=1^∞∪_n=1^∞∩_j=n^∞{Ｅ_j(1/ｐ)}^c＝Ｅ^cを意味します。

つまり,{ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)}⊂Ｅ^cですから仮定により１＝Ｐ({ω∈Ωlim_n→∞Ｘ_j(ω)＝Ｘ(ω)})≦Ｐ(Ｅ^c)≦1です。それ故,Ｐ(Ｅ^c)＝1 です。故にＰ(Ｅ)＝0 です。

　Ｅ＝∪_p=1^∞∩_n=1^∞∪_j=n^∞Ｅ_j(1/ｐ)より,任意のｐに対して∩_n=1^∞∪_j=n^∞Ｅ_j(1/ｐ)⊂ＥなのでＰ(∪_j=n^∞Ｅ_j(1/ｐ))＝0 です。

　つまり,lim_m→∞Ｐ(∩_n=1^m∪_j=n^∞Ｅ_j(1/ｐ))＝0 ,またはlim_m→∞Ｐ(∪_j=m^∞Ｅ_j(1/ｐ))＝0 です。

　ところで,任意のε＞0 に対しε≧1/ｐなるｐを採用すると,ω⊂Ｅ_j(ε)のとき|Ｘ_j(ω)－Ｘ(ω)|≧ε≧1/ｐによってω⊂Ｅ_j(1/ｐ),つまりＥ_j(ε)⊂Ｅ_j(1/ｐ)です。

　そこで,∪_j=m^∞Ｅ_j(ε)⊂∪_j=m^∞Ｅ_j(1/ｐ)ですから,0 ≦Ｐ(∪_j=m^∞Ｅ_j(ε))⊂Ｐ(∪_j=m^∞Ｅ_j(1/ｐ))→ 0 です。

　したがって,任意のε＞0 に対して,lim_n→∞Ｐ(∪_j=m^∞Ｅ_j(ε))＝0 が成立します。(証明終わり)

[例10-9]:確率変数Ｘが(0,1)上の一様分布を持つとき,確率変数列:{Ｘ_n}をＸ_n≡Ｘ＋δ_n(Ｘ)で定義する。ただし,δ_n(ｘ)は,0≦ｘ≦1/ｎならδ_n(ｘ)＝1,それ以外ではδ_n(ｘ)＝0 なる関数である。このとき,Ｘ_n → ^a.s Ｘ (ｎ→∞)が成立する。

(証明) Ｘ_j－Ｘ＝δ_j(Ｘ)ですから,0＜ε≦1を満たす任意のεに対して,|Ｘ_j－Ｘ|＞εとなるのはδ_j(Ｘ)＝1 のとき,つまり,0≦Ｘ≦1/jのときだけです。

　ｊ≧ｎなら1/j≦1/ｎですから,0≦ε≦1/ｎなら∪_j≧n{|Ｘ_j－Ｘ|＞ε}＝{|Ｘ_j－Ｘ|＞1/ｎ}＝{0≦Ｘ≦1/ｎ}です。また,ε＞1 なら∪_j≧n{|Ｘ_j－Ｘ|＞ε}＝φです。

　Ｘが(0,1)上の一様分布を持つことから,これはＰ(∪_j≧n{|Ｘ_j－Ｘ|＞ε})≦1/ｎを意味します。

したがって,lim_n→∞Ｐ(∪_j≧n{|Ｘ_j－Ｘ|＞ε})＝0 です。故に,[定理10-8]からＸ_n → ^a.s Ｘ (ｎ→∞)です。(証明終わり)

[例10-10]:確率変数列:{Ｘ_n}は各々の平均がゼロで分散:Var[Ｘ_n]の和:が有限:Σ_n=1^∞Var[Ｘ_n]＜∞ であるとする。このとき,Ｘ_n → ^a.s 0 (ｎ→∞)が成り立つ。

(証明):平均がμ,分散がσ²の確率変数Ｘに対するチェビシェフの不等式:Ｐ(|Ｘ－μ|＞ｋ)≦σ²/ｋ²は今の場合Ｐ(|Ｘ_j|＞ε)≦Var[Ｘ_j]/ε²となります。

　それ故,Ｐ(∪_j≧n{|Ｘ_j|＞ε})≦{Σ_j=n^∞ Var[Ｘ_j]}/ε² → 0 (as ｎ→∞)となります。故に,[定理10-8]からＸ_n → ^a.s 0 (ｎ→∞)です。(証明終わり)

[定理10-11]:確率変数列:{Ｘ_n}が概収束(Ｘ_n →^a.s.Ｘ)するなら確率収束(Ｘ_n →^PＸ)する。

(証明):{Ｘ_n}が概収束するとします。

ε＞0 を任意に取って,Ｅ_j(ε)≡{ω∈Ω}|Ｘ_j(ω)－Ｘ(ω)|＞ε}と置けばＥ_j(ε)^c＝{ω∈Ω}|Ｘ_j(ω)－Ｘ(ω)|≦ε}です。

仮定:Ｘ_n →^a.s.ＸよりＰ(lim_n→∞Ｘ_n ＝Ｘ)＝1 ですから,lim_n→∞Ｐ(∩_j=n^∞Ｅ_j(ε)^c)＝1,故にlim_n→∞Ｐ(∪_j=n^∞Ｅ_j(ε))＝0 です。

一方,Ｐ(|Ｘ_n－Ｘ|≧ε)＝Ｐ({ω∈Ω||Ｘ_n(ω)－Ｘ(ω)|≧ε})≦Ｐ(∪_j=n^∞{ω∈Ω||Ｘ_j(ω)－Ｘ(ω)|≧ε})＝Ｐ(∪_j=n^∞Ｅ_j(ε))ですから,任意のε＞0 に対してlim_n→∞Ｐ(|Ｘ_n－Ｘ|≧ε)＝0,すなわち,Ｘ_n →^PＸが成立します。(証明終わり)

※(注):逆命題の「確率変数列{Ｘ_n}が確率収束(Ｘ_n →^PＸ)するなら概収束(Ｘ_n →^a.s.Ｘ)する。」は一般には成立しません。

実際,任意のε＞0,δ＞0 を与えると,Ｘ_n →^a.s.Ｘ(概収束)の場合,あるＮが存在してＰ(∪_n=N^∞{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|＞ε})≦δ,つまりＰ(∩_n=N^∞{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε})＞1－δが成立します。

　一方,Ｘ_n →^PＸ(確率収束)の場合,あるＭが存在してｎ≧ＭならＰ({ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε})＞1－δが成立します。

上記の評価式は,概収束の場合はｎ＝Ｎ,Ｎ＋1,Ｎ＋2,..について{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε}が同時に起こる確率が１に近いことを示していますが,確率収束の場合はｎ＝Ｍ,Ｍ＋1,Ｍ＋2,..のそれぞれついて{ω∈Ω|Ｘ_n(ω)－Ｘ(ω)|≦ε}が起こる確率が１に近いことを示しているに過ぎません。

したがって,確率収束する場合,収束が起こる集合:{ω∈Ω|Ｘ_M(ω)－Ｘ(ω)|≦ε}と集合:{ω∈Ω|Ｘ_M+1(ω)－Ｘ(ω)|≦ε}の間に何の関係も要求されず,ただ,それぞれの確率が１に近いだけです。

一方,概収束する場合は{ω∈Ω|Ｘ_M(ω)－Ｘ(ω)|≦ε}と{ω∈Ω|Ｘ_M+1(ω)－Ｘ(ω)|≦ε}の共通集合の確率が１に近いことを意味するため,確率収束する場合より条件が厳しいです。(注終わり)※

4.二乗平均収束(convergebce in mean square)

[定義10-12]:確率変数列{Ｘ_n}_n=1,2..,およびある１つの確率変数Ｘに対して,lim_n→∞Ｅ[(Ｘ_n－Ｘ)²]＝0 が成立するとき,Ｘ_nはＸに二乗平均収束するという。

[定理10-13]: 確率変数列{Ｘ_n}が二乗平均収束するなら確率収束(Ｘ_n →^PＸ)する。

(証明):平均がμ,分散がσ²の確率変数Ｘに対するチェビシェフの不等式:Ｐ(|Ｘ－μ|＞ｋ)≦σ²/ｋ²を今の場合に適用すると, 0 ≦Ｐ(|Ｘ_j－Ｘ|＞ε)≦Var[Ｘ_j]/ε²＝Ｅ[(Ｘ_n－Ｘ)²]/ε²となります。

そこで,{Ｘ_n}が二乗平均収束するなら,lim_n→∞Ｅ[(Ｘ_n－Ｘ)²]＝0 よりlim_n→∞Ｐ(|Ｘ_j－Ｘ|＞ε)＝0 ,or Ｘ_n →^PＸです。(証明終わり)

今日はここまでにします。

当初の目的の重回帰係数のｔ検定の項目まで後一息です。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

　

　

確率と分布関数(6)(特性関数,極限定理)

　確率と分布関数の続きです。

　前回の離散変数中心の話題から連続変数を主とする話題に移ります。 

[定義9-1]:確率変数Ｘの積率母関数(moment generating function)を,

　Ｍ_X(θ)≡Ｅ[exp(θＸ)]　で定義する。

　ただし,Ｅ[exp(θＸ)]は∀θ∈Ｒについて常に存在するとは限らないので,この定義は右辺が存在するときに限られる。

　そこで,Ｍ_X(θ)＝Ｅ[exp(θＸ)]においてθをiｔ(ｔ∈Ｒ)に置き換えたもの:Ｘの特性関数(characteristic function)を,

　φ(ｔ)≡Ｅ[exp(iｔＸ)](－∞＜ｔ＜∞)　で定義する。

　ｉは虚数:√－1を表わす。

　この定義では,Ｅ[exp(iｔＸ)]は∀ｔ∈Ｒに対し絶対収束する。

※(注1):特性関数の定義によれば,特にＸが離散確率変数で前記事で定義した確率母関数:Ｇ(ｚ)＝Ｅ[ｚ^X]を持つなら,

　φ(ｔ)＝Ｅ[exp(iｔＸ)]＝Ｅ[exp(iｔ)^X]＝Ｇ(exp(iｔ)) です。

また,Ｘが正値確率変数,つまりｘ＜0 ならＰ(Ｘ≦ｘ)＝0 で,確率密度関数ｆ(ｘ)を持つ連続型変数のとき,

ｆ(ｘ)のLaplace変換は,

Ｌ{ｆ(ｘ)}≡∫₀^∞exp(－ｓｘ)ｆ(ｘ)ｄｘ

で定義されます。

そこで,Ｌ{ｆ(ｘ)}＝Ｅ[exp(－ｓｘ)]ですが,右辺は

Ｅ[exp(－ｓｘ)]＝Σ_j=0^∞{(－ｓ)^j}/ｊ!}Ｅ[Ｘ^j]

のように,ｓのベキ級数に展開されます。

故に,[ｄＬ{ｆ(ｘ)}/ｄｓ]_x=0＝－Ｅ[Ｘ],

　[ｄ²Ｌ{ｆ(ｘ)}/ｄｓ²]_x=0＝Ｅ[Ｘ²],etc.が成立します。

他方,Ｘが正値とは限らず一般の確率密度関数ｆ(ｘ)を持つ連続変数のとき,特性関数は,

φ(ｔ)＝Ｅ[exp(iｔＸ)]＝∫_-∞^∞exp(iｔｘ)ｆ(ｘ)ｄｘ です。

これは,ｆ(ｘ)のFourier変換:Ｆ{ｆ(ｘ)}ですね。私にはこちらの方がLaplace変換より馴染み深いです。※

[例9-2]:確率密度関数(p.d.f)が正規分布:Ｎ[μ,σ²]:

　ｆ(ｘ)＝(2π)^-1/2σ^-1exp{－(ｘ－μ)²/(2σ²)}(－∞＜ｘ＜∞)

のとき,

　Ｅ[exp(－ｓｘ)]＝∫_-∞^∞exp(－ｓｘ)ｆ(ｘ)ｄｘ を求める。

(解): Ｅ[exp(－ｓｘ)]

＝(2π)^-1/2σ^-1∫_-∞^∞exp{－(ｘ－μ)²/(2σ²)－ｓｘ}ｄｘ

＝π^-1/2∫_-∞^∞exp{－(ｕ²＋2^1/2σｓｕ＋μｓ)}ｄｕ

＝π^-1/2exp(σ²ｓ²/2－μｓ)∫_-∞^∞exp{－(ｕ＋2^1/2σｓ/2)²}ｄｕ

＝exp(σ²ｓ²/2－μｓ)

です。

※(注2):Ｅ[exp(－ｓｘ)]＝exp(σ²ｓ²/2－μｓ)に,ｓ＝－iｔを代入するとＥ[exp(iｔＸ)]＝exp(iμｔ－ｔ²σ²/2)を得ます。

　よってＮ[μ,σ²]の特性関数はφ(ｔ)＝exp(iμｔ－ｔ²σ²/2) です。

　特に標準正規分布Ｎ[0,1]ならφ(ｔ)＝exp(－ｔ²/2)です。　※

[定理9-3]:(特性関数の性質)

(1)  φ(0)＝1

(2)|φ(ｔ)|≦1.

(3)φ^(ｋ)(0)＝i^kＥ(Ｘ^k)　

(4)Ｙ＝ａＸ＋ｂの特性関数はexp(iｔｂ)φ(ａｔ)である。

(5)確率密度関数ｆ(ｘ)が存在して偶関数:ｆ(－ｘ)＝ｆ(ｘ)なら,

　φ(ｔ)は実関数である。

(証明):(1)φ(0)＝Ｅ(1)＝∫_-∞^∞ｄＦ＝1 です。

(2)|φ(ｔ)|＝|Ｅ[exp(iｔＸ)]＝|∫_-∞^∞exp(iｔＸ)ｄＦ|です。

　そして,|∫_-∞^∞exp(iｔＸ)ｄＦ|≦∫_-∞^∞|exp(iｔＸ)|ｄＦ＝∫_-∞^∞ｄＦ＝1 です。

(3)φ(ｔ)＝Ｅ[exp(iｔＸ)]＝Ｅ[Σ_k=0^∞i^kｔ^kＸ^k/ｋ!]＝Σ_k=0^∞i^kｔ^kＥ[Ｘ^k]/ｋ!です。そこで,φ^(ｋ)(0)＝i^kＥ[Ｘ^k]が成立します。

(4)φ_Y(ｔ)＝Ｅ[exp(iｔＹ)]＝Ｅ[exp{iｔ(ａＸ＋ｂ)}]

＝exp(iｔｂ)Ｅ[exp{i(ａｔ)Ｘ}]＝exp(iｔｂ)φ(ａｔ) です。

(5)φ(ｔ)＝Ｅ[exp(iｔＸ)]＝∫_-∞^∞exp(iｔｘ)ｆ(ｘ)ｄｘ

＝(1/2)∫₀^∞{exp(iｔｘ)ｆ(ｘ)＋exp(－iｔｘ)ｆ(－ｘ)}ｄｘです。

　故にｆ(－ｘ)＝ｆ(ｘ)なら,φ(ｔ)＝∫₀^∞ｆ(ｘ)[{exp(iｔｘ)ｆ(ｘ)＋exp(－iｔｘ)}/2]ｄｘ＝∫₀^∞ｆ(ｘ)∫₀^∞ｆ(ｘ)cos(ｔｘ)ｄｘです。

　cos(ｔｘ)も密度関数ｆ(ｘ)も実関数ですから,φ(ｔ)も実関数と結論できます。(証明終わり)

※(注3):この定理における性質(3)φ^(ｋ)(0)＝i^kＥ(Ｘ^k)から,

　Ｅ[Ｘ]＝－iφ'(0),Var[Ｘ]＝Ｅ[Ｘ²]－Ｅ[Ｘ]²＝－φ"(0)＋{φ'(0)}²によって特性関数によるＸの平均,分散の表現が得られます。　※

[定理9-4]:確率変数Ｘの分布関数Ｆ(ｘ)は特性関数φ(ｔ)によって一意的に決定される。

(証明)φ(ｔ)≡Ｅ[exp(iｔＸ)]なる定義から,Ｆ(ｘ)＝Ｐ(Ｘ≦ｘ)＝∫_-∞^xｆ(ｘ)ｄｘを満たす確率密度関数ｆ(ｘ)が存在すればφ(ｔ)＝∫_-∞^∞exp(iｔｘ)ｆ(ｘ)ｄｘ＝Ｆ{ｆ(ｘ)}と書けます。

これのFourier逆変換から,逆に特性関数φ(ｔ)が与えられれば密度関数はｆ(ｘ)＝(2π)^-1∫_-∞^∞exp(－iｔｘ)φ(ｔ)ｄｔによって一意的に決まります。

そして,－∞＜ｘ₁＜ｘ₂＜∞なる任意の２実数ｘ₁,ｘ₂に対してＦ(ｘ₂)－Ｆ(ｘ₁)＝Ｐ(ｘ₁＜Ｘ≦ｘ₂)＝∫_x1^x2ｆ(ｘ)ｄｘ＝－(2πi)^-1∫_-∞^∞[{exp(－iｔｘ₂)－exp(－iｔｘ₁)}φ(ｔ)/ｔ]ｄｔと書けます。

証明は省略しますが,密度関数が存在するとは限らない一般のφ(ｔ)＝∫_-∞^∞exp(iｔｘ)ｄＦなる表現の場合でも,

Ｆ(ｘ)の連続点ｘ₁＜ｘ₂においてＦ(ｘ₂)－Ｆ(ｘ₁)＝Ｐ(ｘ₁＜Ｘ≦ｘ₂)＝－(2πi)^-1∫_-∞^∞{φ(ｔ)/ｔ}{exp(－iｔｘ₂)－exp(－iｔｘ₁)}ｄｔが成立します。(証明終わり)

[定義9-5]:ｋ次元確率変数Ｘ＝(Ｘ₁,Ｘ₂,..,Ｘ_k)に対して

　Ｘの特性関数を,φ(ｔ)≡Ｅ[exp(iｔＸ)]＝Ｅ[exp(iΣ_j=1^kｔ_jＸ_j)],

　ｔ＝(ｔ₁,ｔ₂,..,ｔ_k)によって定義する。

※(注4):上記のφ(ｔ)に対しても,１変数の式:

Ｐ(ｘ₁＜Ｘ≦ｘ₂)＝－(2πi)^-1∫_-∞^∞{φ(ｔ)/ｔ}{exp(－iｔｘ₂)－exp(－iｔｘ₁)}ｄｔを拡張した,

Ｐ(Ｘ∈Ｉ)＝(－2πi)^-kΠ_j=1^k∫_-∞^∞ｄｔ[{exp(－iｔｂ_j)－exp(－iｔａ_j)}/ｔ_j]φ(ｔ)が成立します。

ここに,Ｉ≡{ｘ＝(ｘ₁,ｘ₂,..,ｘ_k)|ａ_j＜ｘ_j≦ｂ_j;1≦ｊ≦ｋ},∫_-∞^∞ｄｔ≡∫_-∞^∞ｄｔ₁∫_-∞^∞ｄｔ₂ｄ..∫_-∞^∞ｄｔ_kです。

特にＸ₁,Ｘ₂,..,Ｘ_kが全て独立な確率変数で,それぞれ特性関数:

φ_X1(ｔ),φ_X2(ｔ),..,φ_Xk(ｔ)を持つなら,

φ(ｔ)＝φ_X1(ｔ₁)φ_X2(ｔ₂)..φ_Xk(ｔ_k)です。

　逆に,φ(ｔ)＝φ_X1(ｔ₁)φ_X2(ｔ₂)..φ_Xk(ｔ_k)なら,Ｘ₁,Ｘ₂,..,Ｘ_kは独立です。※

[定理9-6]:Ｘ₁,Ｘ₂が独立で共に標準正規分布:Ｎ[0,1]を持つとき,

　Ｙ＝Ｘ₁－Ｘ₂,Ｚ＝Ｘ₁＋Ｘ₂は独立で共に正規分布:Ｎ[0,2]を持つ。

(証明)定義によって(Ｙ,Ｚ)の特性関数は,

φ_(Y,Z)(ｔ₁,ｔ₂)＝Ｅ[exp(iｔ₁Ｙ＋iｔ₂Ｚ)]＝Ｅ[exp{i(ｔ₁＋ｔ₂)Ｘ₁＋(ｔ₁－ｔ₂)Ｘ₂}]です。

ところがＸ₁,Ｘ₂は独立で特性関数は

φ_Xj(ｔ)＝exp(－ｔ²/2)(ｊ＝1,2)ですから,

Ｅ[exp{i(ｔ₁＋ｔ₂)Ｘ₁＋(ｔ₁－ｔ₂)Ｘ₂}]＝Ｅ[exp{i(ｔ₁＋ｔ₂)Ｘ₁}]Ｅ[exp{i(ｔ₁－ｔ₂)Ｘ₂}]です。

そこで,φ_(Y,Z)(ｔ₁,ｔ₂)＝φ_X1(ｔ₁＋ｔ₂)φ_X2(ｔ₁－ｔ₂)＝exp{－(ｔ₁＋ｔ₂)²/2}exp{－(ｔ₁－ｔ₂)²/2}＝exp(－ｔ₁²)exp(－ｔ₂²)です。

つまり,φ_(Y,Z)(ｔ₁,ｔ₂)＝Ｅ[exp(iｔ₁Ｙ＋iｔ₂Ｚ)]＝exp(－ｔ₁²)exp(－ｔ₂²)となりｔ₁だけの関数とｔ₂だけの関数の積に分解されます。

これは,Ｅ[exp(iｔ₁Ｙ＋iｔ₂Ｚ)]＝Ｅ[exp(iｔ₁Ｙ)]Ｅ[exp(iｔ₂Ｚ)]であって,Ｅ[exp(iｔ₁Ｙ)]＝exp(－ｔ₁²),Ｅ[exp(iｔ₂Ｚ)]＝exp(－ｔ₂²)を意味します。

　したがって,Ｙ＝Ｘ₁－Ｘ₂,Ｚ＝Ｘ₁＋Ｘ₂は独立で共に正規分布:Ｎ[0,2]を持つことが示されました。(証明終わり)

※次に極限定理(limit theorem)をいくつか与えます。

[定理9-7]:ベルヌーイの大数の法則(Bernoulli's law of large numbers)

　Ｐ(Ｘ_j＝1)＝ｐ,Ｐ(Ｘ_j＝0)＝ｑ＝1－ｐのベルヌーイ試行(独立試行):Ｘ₁,Ｘ₂,..において,Ｓ_n≡Ｘ₁＋Ｘ₂＋..Ｘ_nとおけば,

　∀ε＞0 に対してlim_n→∞Ｐ(|(Ｓ_n/ｎ)－ｐ|＜ε)＝1が成り立つ。

(証明)この各試行Ｘ_jではＥ[Ｘ_j]＝ｐ,Var[Ｘ_j]＝(1－ｐ)²ｐ＋(0－ｐ)²ｑ＝ｐｑ＝ｐ(1－ｐ)(ｊ＝1,2,..,ｎ)です。

　そして,ベルヌーイ試行＝独立試行ですから

Ｅ[Ｓ_n]＝Ｅ[Ｘ₁＋Ｘ₂＋..Ｘ_n]＝ｎｐ,Var[Ｓ_n]＝Var[Ｘ₁＋Ｘ₂＋..Ｘ_n]＝ｎｐ(1－ｐ)です。

　そこで,Ｅ[Ｓ_n/ｎ]＝Ｅ[(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ]＝ｐ,

　Var[Ｓ_n/ｎ]＝Var[(Ｘ₁＋Ｘ₂＋..Ｘ_n)/ｎ]＝ｐ(1－ｐ)/ｎ　です。

先に示したチェビシェフの不等式:　

Ｐ(|Ｘ－μ|≧ｋσ)≦1/ｋ²において,

Ｘ＝Ｓ_n/ｎ,μ＝ｐ,σ＝{ｐ(1－ｐ)/ｎ}^1/2,　

ｋ＝ε/σ＝εｎ^1/2ｐ^-1/2(1－ｐ)^-1/2とすると,

Ｐ(|Ｓ_n/ｎ－ｐ|≧ε)≦ｐ(1－ｐ)/(ｎε²)≦1/(4ｎε²)

　となります。

それ故,lim_n→∞Ｐ(|(Ｓ_n/ｎ)－ｐ|≧ε)＝0,

あるいはlim_n→∞Ｐ(|(Ｓ_n/ｎ)－ｐ|＜ε)＝1－lim_n→∞Ｐ(|(Ｓ_n/ｎ)－ｐ|≧ε)＝1 得ます。(証明終わり)

[定理9-8]:大数の法則(大数の弱法則)(weak law of large numbers)

　{Ｘ_n}_n=1,2,.は互いに独立な確率変数列で各Ｘ_nが有限な分散:σ_n²＝Var[Ｘ_n](ｎ＝1,2,..)を持ち,

lim _n→∞(Σ_j=1ⁿσ_j²/ｎ²)＝0 なら,変数Ｓ_n≡Σ_j=1ⁿＸ_j＝Ｘ₁＋Ｘ₂＋..Ｘ_nに対して,∀ε＞0 について,

lim _n→∞Ｐ(|(Ｓ_n/ｎ)－Ｅ[Ｓ_n/ｎ]|＜ε)＝1 が成り立つ。

(証明) Var[Σ_j=1ⁿＸ_j/ｎ]＝Σ_j=1ⁿσ_j²/ｎ²です。

　そこでチェビシェフの不等式:Ｐ(|Ｘ－μ|≧ｋσ)≦1/ｋ²において,

　Ｘ＝Ｓ_n/ｎ,μ＝Ｅ[Ｓ_n/ｎ],σ＝(Σ_j=1ⁿσ_j²/ｎ²)^1/2,

　ｋ＝ε/σとすると,

　Ｐ(|Ｓ_n/ｎ－Ｅ[Ｓ_n/ｎ]|≧ε)≦(Σ_j=1ⁿσ_j²)/(ｎ²ε²)を得ます。

　そこで,lim _n→∞(Σ_j=1ⁿσ_j²/ｎ²)＝0 なら

　lim _n→∞Ｐ(|(Ｓ_n/ｎ)－Ｅ[Ｓ_n/ｎ]|≧ε)＝0,

　あるいは,

　lim _n→∞Ｐ(|(Ｓ_n/ｎ)－Ｅ[Ｓ_n/ｎ]|＜ε)＝1－lim_n→∞Ｐ(|(Ｓ_n/ｎ)－Ｅ[Ｓ_n/ｎ]|≧ε)＝1 です。(証明終わり)

[定理9-9]:中心極限定理(central limit theorem)

　Ｘ₁,Ｘ₂,..,Ｘ_nは,それぞれ分布関数Ｆ₁(ｘ),Ｆ₂(ｘ),..,Ｆ_n(ｘ)を持つ互いに独立な確率変数で,

　有限な平均μ_j＝Ｅ[Ｘ_j],有限な分散σ_j²＝Var[Ｘ_j](ｊ＝1,2,..,ｎ)

　を持つと仮定する。

Ｓ_n²≡Var[Ｘ₁＋Ｘ₂＋..Ｘ_n]＝σ₁²＋σ₂²＋..σ_n² (Ｓ_n＞0)は,

:"ε＞0 に対してlim_n→∞(1/Ｓ_n²)Σ_j=1ⁿ∫_{|x－μj|≧εSn}(ｘ－μ_j)²ｄＦ_j(ｘ)＝0 "

というLindbergの条件を満たすと仮定する。

このとき,Ｙ_n≡{(Ｘ₁＋Ｘ₂＋..Ｘ_n)－Ｅ[Ｘ₁＋Ｘ₂＋..Ｘ_n]}/Ｓ_nの分布は

ｎ→∞ の極限で正規分布:Ｎ[0,1]に収束する。

(証明) Ｕ_j≡Ｘ_j－Ｅ[Ｘ_j]＝Ｘ_j－μ_jとおけば,

　Ｅ[Ｕ_j]＝0,Var[Ｕ_j]＝σ_j²です。

　以下では,

　Ｕ_jの分布関数をＦ~_j(ｕ)≡Ｆ_j(ｘ－μ_j)と書くことにします。

　さて,Ｙ_n＝{Σ_j=1ⁿＵ_j}/Ｓ_nの特性関数を

　φ_Yn(ｔ)＝Ｅ[exp(iｔＹ_n)]　と書きます。

　Ｕ_j(1≦ｊ≦ｎ)は全て独立なので,φ_Yn(ｔ)はＵ_jの特性関数φ_j(ｔ)＝Ｅ[exp(iｔＵ_j)]の積として

　φ_Yn(ｔ)＝Π_j=1ⁿφ_j(ｔ/Ｓ_n)と書けます。

　対数表現ではlog{φ_Yn(ｔ)}＝Σ_j=1ⁿlog{φ_j(ｔ/Ｓ_n)}です。

　さらに,log{φ_j(ｔ/Ｓ_n)}＝{φ_j(ｔ/Ｓ_n)－1}－(1/2){φ_j(ｔ/Ｓ_n)－1}²＋(1/3)){φ_j(ｔ/Ｓ_n)－1}³－..なる級数展開から,

|log{φ_j(ｔ/Ｓ_n)}－{φ_j(ｔ/Ｓ_n)－1}|≦(1/2)|φ_j(ｔ/Ｓ_n)－1|²/{1－|φ_j(ｔ/Ｓ_n)－1|} なる評価式を得ます。

　そこで,|log{φ_Yn(ｔ)}－Σ_j=1ⁿ{φ_j(ｔ/Ｓ_n)－1}|

≦(1/2)max_{(1≦ｊ≦n)}|φ_j(ｔ/Ｓ_n)－1|/{1－|max_{(1≦ｊ≦n)}|φ_j(ｔ/Ｓ_n)－1|}Σ_j=1ⁿ|φ_j(ｔ/Ｓ_n)－1| です。

　ところで,φ_j(ｔ)＝Ｅ[exp(iｔＵ_j)]

　＝∫_-∞^∞exp(iｔｕ)ｄＦ~_j(ｕ)Σ_j=1ⁿ|φ_j(ｔ/Ｓ_n)－1|

　＝Σ_j=1ⁿ|∫_-∞^∞{exp(iｔｕ/Ｓ_n)－1}ｄＦ~_j(ｕ)|　です。

　そして,exp(iｔｕ/Ｓ_n)はTaylor展開と平均値の定理から,

　exp(iｔｕ/Ｓ_n)＝1＋iｔｕ/Ｓ_n＋θｔ²ｕ²/(2Ｓ_n²) (|θ|≦1)

　と書けます。

　故に,Σ_j=1ⁿ|φ_j(ｔ/Ｓ_n)－1|

＝Σ_j=1ⁿ |(iｔ/Ｓ_n)∫_-∞^∞ｕｄＦ~_j＋ｔ²/(2Ｓ_n²))∫_-∞^∞θｕ²ｄＦ~_j|

≦{ｔ²/(2Ｓ_n²)}Σ_j=1ⁿ∫_-∞^∞ｕ²ｄＦ~_j|≦ｔ²Ｓ_n²/(2Ｓ_n²) です。

　すなわち,Σ_j=1ⁿ|φ_j(ｔ/Ｓ_n)－1|≦ｔ²/2です。

　 Lindbergの条件から,ｎ→ ∞の極限で∀ε＞0 に対して

Σ_j=1ⁿ∫_{|x－μj|≧εSn}ｄＦ_j(ｘ)≦{1/(ε²Ｓ_n²)}[Σ_j=1ⁿ∫_|x|≧εSnｘ²ｄＦ_j ] → 0 です。

　つまり,十分大きい正整数ｎ₁を取れば,ｎ≧ｎ₁を満たす正整数ｎに対して,常にΣ_j=1ⁿ∫_{|x－μj|≧εSn}ｄＦ_j(ｘ)＜εが成り立ちます。

これはＵ_jの言葉ではΣ_j=1ⁿ∫_|ｕ|≧εSnｄＦ~_j(ｕ)＜εです。

　また,|exp(iｔｕ/Ｓ_n)－1|≦2,|exp(iｔｕ/Ｓ_n)－1|≦|ｔｕ|/Ｓ_nですから,

|φ_j(ｔ/Ｓ_n)－1|≦|∫_|u|＞εSn{exp(iｔｕ/Ｓ_n)－1}ｄＦ~_j(ｕ)|＋|∫_|u|≦εSn{exp(iｔｕ/Ｓ_n)－1}ｄＦ~_j(ｕ)|

≦2∫_|u|＞εSnｄＦ~_j(ｕ)＋(|ｔ|/Ｓ_n|)(εＳ_n)∫_|u|≦εSnｄＦ~_j(ｕ)

　です。

　そこで,ｒ＞0 に対し|ｔ|＜ｒなら

|φ_j(ｔ/Ｓ_n)－1|≦2∫_|u|＞εSnｄＦ~_j(ｕ)＋ｒε　が成立します。

　つまり,ｎ≧ｎ₁,かつ|ｔ|＜ｒなら,max_{(1≦ｊ≦n)}|φ_j(ｔ/Ｓ_n)－1|＜(2＋ｒ)εです。

　これはｎ→∞ のとき,|ｔ|＜ｒで一様にmax_{(1≦ｊ≦n)}|φ_j(ｔ/Ｓ_n)－1|→ 0 となることを意味します。

　それ故,ｎ→∞では,log{φ_j(ｔ/Ｓ_n)}→{φ_j(ｔ/Ｓ_n)－1},あるいはlog{φ_Yn(ｔ)}→Σ_j=1ⁿ{φ_j(ｔ/Ｓ_n)－1}となることがわかります。　

　さらに,exp(iｔｕ/Ｓ_n)＝1＋iｔｕ/Ｓ_n－ｔ²ｕ²/(2Ｓ_n²)＋θ'ｔ³ｕ³/(6Ｓ_n³)(|θ'|≦1)であり,

　σ_j²＝∫_-∞^∞ｕ²ｄＦ~_j(ｕ)です。

　これと先の２次までの展開近似:

　exp(iｔｕ/Ｓ_n)＝1＋iｔｕ/Ｓ_n－θｔ²ｕ²/(2Ｓ_n²)(|θ|≦1)

　を併用してΣ_j=1ⁿ{φ_j(ｔ/Ｓ_n)－1}の極限値を評価します。

　Σ_j=1ⁿ{φ_j(ｔ/Ｓ_n)－1}

＝Σ_j=1ⁿ∫_-∞^∞{exp(iｔｕ/Ｓ_n)－1}ｄＦ~_j(ｕ)

＝Σ_j=1ⁿ[－ｔ²σ_j²/(2Ｓ_n²)＋(1－θ)ｔ²/(2Ｓ_n²)∫_|ｕ|＞εSnｕ²ｄＦ~_j(ｕ)＋∫_|ｕ|≦εSn{－ｔ²ｕ²/(2Ｓ_n²)＋θ'ｔ³ｕ³/(6Ｓ_n³)}ｄＦ~_j(ｕ)]

と書けます。

　Lindbergの条件:lim_n→∞(1/Ｓ_n²)Σ_j=1ⁿ∫_|ｕ|＞εSnｕ²ｄＦ~_j(ｕ)＝0 によれば,

　∀ε＞0 に対してｎ≧ｎ₁,かつ|ｔ|＜ｒなら|Σ_j=1ⁿ{φ_j(ｔ/Ｓ_n)－1}＋ｔ²/2|＝|Σ_j=1ⁿ{φ_j(ｔ/Ｓ_n)－1＋(ｔ²σ_j²)/(2Ｓ_n²)}|＜εｒ²/2＋ε²ｒ²/2＋ε³ｒ³/6 が成立します。

　ε＞0,ｒ＞0 は任意ですから,ｎ→ ∞で

　Σ_j=1ⁿ{φ_j(ｔ/Ｓ_n)－1}→ (－ｔ²/2)より,

　log{φ_Yn(ｔ)}→ (－ｔ²/2),

　あるいはφ_Yn(ｔ)→ exp(－ｔ²/2)を得ます。

　そして,exp(－ｔ²/2)は標準正規分布:[0,1]の特性関数です。

　以上から,

　分布に対する特性関数の一意性により定理の結論が従います。(証明終わり)

まあ,ここでの確率の母関数とか特性関数とかいうのは,物理学での統計物理学における分配関数,または状態和と呼ばれる関数と同じく,

それ自身の明確な意味はいま一つわからないが,その中に実際上必要な情報がほとんど含まれているようなものですね。

今日はここまでにします。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会),

　ヒンチン(河野繁雄 訳)「統計力学の数学的基礎」(東京図書),　

　清水良一 著「中心極限定理」(教育出版)

PS:女子フィギュアのＳＰ見ました。

　キム・ヨナも19歳の割りに色っぽくてよかったけど,私の中ではアメリカの高校生:レイチェル・フラットが最高でした。

　フィギアスケートの演技というよりダンスとして見てました。。。

　真央ちゃんは,まだ親方に連れられた角兵衛獅子？というか子供の軽業師(差別語？)というか？

　まだ大人の女性という感じがしません。

　女子の体操競技であれば,昔の子供だったコマネチのように技術だけあれば十分で芸術という側面は小さいのでしょうが。。。　

↑(何見とるんじゃ？＞エロオヤジ　

　女子フィギュアスケートはストリップ・ショーじゃないぞ。。)

な

　

確率と分布関数(5)(積率,母関数)

　確率と分布関数の続きです。期待値,分散などの積率を求めるための母関数の項目に入ります。

[定義7-1]:確率変数Ｘが離散型ならその確率分布{ｐ_j}はΣ_j|ｘ_j|ｐ_j＜∞を満たし,Ｘが連続型なら分布関数は絶対連続で密度関数ｆ(ｘ)が存在して∫_-∞^∞|ｘ|ｆ(ｘ)ｄｘ＜∞を満たすとする。

　この条件下でＸが離散型ならＥ[Ｘ]をＥ[Ｘ]≡Σ_jｘ_jｐ_j,Ｘが連続型ならＥ[Ｘ]≡∫_-∞^∞ｘｆ(ｘ)ｄｘと定義し,これを確率変数Ｘの期待値(expectation value)と呼ぶ。

より一般的には,スティルチェス積分を用いて∫_-∞^∞|ｘ|ｄＦ＜∞の条件下でＥ[Ｘ]≡∫_-∞^∞ｘｄＦと定義することもできます。

以下では,Ｘが連続型確率変数のときには確率密度関数ｆ(ｘ)が存在する場合を仮定します。

[例7-2]:Ｘが∫_-∞^∞|ｘ|ｆ(ｘ)ｄｘ＜∞を満たす連続型変数でｘ＜0 ならＦ(ｘ)＝Ｐ(Ｘ≦ｘ)＝0 の正値確率変数のとき,Ｘの期待値はＥ[Ｘ]＝∫₀^∞ｘｆ(ｘ)ｄｘ＝∫₀^∞{1－Ｆ(ｘ)}ｄｘを満たす。

(証明) ∫₀^∞ｘｆ(ｘ)ｄｘ＝lim_α→∞∫₀^αｘｆ(ｘ)ｄｘ＝lim_α→∞[αＦ(α)－∫₀^αＦ(ｘ)ｄｘ]＝lim_α→∞[－α{1－Ｆ(α)}＋∫₀^α{1－Ｆ(ｘ)}ｄｘ]です。

ところが,∫₀^∞|ｘ|ｆ(ｘ)ｄｘ＝∫₀^α|ｘ|ｆ(ｘ)ｄｘ＋∫_α^∞|ｘ|ｆ(ｘ)ｄｘ＜∞ よりlim_α→∞∫_α^∞|ｘ|ｆ(ｘ)ｄｘ＝0 です。

したがって,0≦α{1－Ｆ(α)}＝α∫_α^∞ｆ(ｘ)ｄｘ≦∫_α^∞|ｘ|ｆ(ｘ)ｄｘ → 0です。

以上から,∫₀^∞ｘｆ(ｘ)ｄｘ＝∫₀^∞{1－Ｆ(ｘ)}ｄｘ]を得ます。(証明終わり)

[例7-3]:集合Ａ∈Ｆの指示関数(定義関数)Ｉ_Aの期待値はＥ(Ｉ_A)＝1・Ｐ(Ａ)＋0・Ｐ(Ａ^c)＝Ｐ(Ａ)です。

[例7-4]:特殊な離散分布の期待値　

(ⅰ)幾何分布:Ｐ(Ｘ＝j)＝ｐｑ^j-1 (ｊ＝1,2,..;ｐ＞0,ｑ＝1－ｐ＞0) (ｊ＝0,1,2,..;ｐ＞0,ｑ＝1－ｐ＞0)の場合

　Ｅ[Ｘ]＝Σ_j=1^∞ｊｐｑ^j-1ですからｑＥ[Ｘ]＝Σ_j=1^∞ｊｐｑ^j＝Σ_j=1^∞ｊｐｑ^j＝Σ_j=2^∞(ｊ―1)ｐｑ^j-1です。

　故に,(1－ｑ)Ｅ[Ｘ]＝ｐＥ[Ｘ]＝ｐ＋Σ_j=2^∞ｐｑ^j-1＝ｐ＋(1－ｐ)＝1であり,したがってＥ[Ｘ]＝1/ｐを得ます。

(ⅱ)２項分布:Ｐ(Ｘ＝j)＝_nＣ_jｐ^jｑ^n-jの場合

　Ｅ[Ｘ]＝Σ_j=0^∞ｊ_nＣ_jｐ^jｑ^n-j＝ｎｐΣ_j=1^∞[(ｎ－1)!/{(ｊ－1)!(ｎ－ｊ)!}ｐ^j-1ｑ^n-j＝ｎｐ

(ⅲ)ポアソン(Poisson)分布:Ｐ(Ｘ＝j)＝λ^jexp(－λ)/ｊ! (ｊ＝0,1,2,..;λ＞0)の場合

　Ｅ[Ｘ]＝Σ_j=0^∞ｊλ^jexp(－λ)/ｊ!＝λΣ_j=1^∞λ^j-1exp(－λ)/(ｊ－1)!＝λ

[例7-5]:確率変数Ｘが正規分布:Ｎ[μ,σ²]を持つなら,その期待値はＥ[Ｘ]＝μである。

(証明) 正規分布:Ｎ[μ,σ²]の確率密度関数はｆ(ｘ)＝(2π)^-1/2σ^-1exp{－(ｘ－μ)²/(2σ²)}(－∞＜ｘ＜∞)です。

　これについては,∫_-∞^∞|ｘ|ｆ(ｘ)ｄｘ＝(2π)^-1/2σ^-1∫_-∞^∞|ｘ|exp{－(ｘ－μ)²/(2σ²)}ｄｘ＝(2π)^-1/2σ^-1∫₀^∞ｘｄｘ[exp{－(ｘ－μ)²/(2σ²)}＋ｘexp{－(ｘ＋μ)²/(2σ²)}です。

　変数置換すると,∫_-∞^∞|ｘ|ｆ(ｘ)ｄｘ＝π^-1/2∫_-μ/(√2σ)^∞(√2σｙ＋μ)exp(－ｙ²)ｄｙ＋π^-1/2∫_μ/(√2σ)^∞(√2σｚ－μ)exp(－ｚ²)ｄｚより,∫_-∞^∞|ｘ|ｆ(ｘ)ｄｘ＜∞ です。

　そして,Ｅ[Ｘ]＝∫_-∞^∞ｘｆ(ｘ)ｄｘ＝(2π)^-1/2σ^-1∫_-∞^∞ｘexp{－(ｘ－μ)²/(2σ²)}ｄｘ＝(2π)^-1/2∫_-∞^∞ｙexp(－ｙ²)ｄｙ＋(2π)^-1/2μ∫_-∞^∞exp(－ｙ²)ｄｙ＝μです。(証明終わり)

[例7-6]:特殊な連続分布の期待値

(ⅰ)指数分布:ｐ.ｄ.ｆ:ｆ(ｘ)＝λexp(－λｘ) (0≦ｘ＜∞；λ＞0),ｆ(ｘ)＝0 (ｘ＜0)の場合

　Ｅ[Ｘ]＝∫_-∞^∞ｘｆ(ｘ)ｄｘ＝∫₀^∞λｘexp(－λｘ)ｄｘ＝[－ｘexp(－λｘ)] ₀^∞＋∫₀^∞exp(－λｘ)ｄｘ＝1/λ

(ⅱ)χ²分布:ｐ.ｄ.ｆ:ｆ(ｘ)＝[1/{2^n/2Γ(ｎ/2)}ｘ^n/2-1exp(－ｘ/2) (ｘ＞0),ｆ(ｘ)＝0 (ｘ≦0)の場合

　Ｅ[Ｘ]＝∫_-∞^∞ｘｆ(ｘ)ｄｘ＝[1/{2^n/2Γ(ｎ/2)}∫₀^∞ｘ^n/2exp(－ｘ/2)ｄｘ＝{2/Γ(ｎ/2)}∫₀^∞ｔ^n/2exp(－ｔ)ｄｔ＝2Γ(ｎ/2＋1)/Γ(ｎ/2)＝ｎ

(ⅲ)ベータ分布:β(ｘ;ｐ,ｑ):ｐ.ｄ.ｆ:ｆ(ｘ)＝Β^-1(ｐ,ｑ)ｘ^p-1(1－ｘ)^q-1 (0＜ｘ＜1,ｐ,ｑ＞0),ｆ(ｘ)＝0 (その他)の場合

　Ｅ[Ｘ]＝∫_-∞^∞ｘｆ(ｘ)ｄｘ＝Β^-1(ｐ,ｑ)∫₀¹ｘ^p(1－ｘ)^q-1ｄｘ＝Β(ｐ＋1,ｑ)/Β(ｐ,ｑ)＝Γ(ｐ＋1)Γ(ｑ)Γ(ｐ＋ｑ)/[Γ(ｐ＋1＋ｑ)Γ(ｐ)Γ(ｑ)]＝ｐ/(ｐ＋ｑ)

※(注1):確率変数Ｘの関数ｇ(Ｘ)が確率変数となるとき,その期待値はＸが離散型ならＥ[ｇ(Ｘ)]＝Σ_jｇ(ｘ_j)ｐ_j＜∞,連続型ならＥ[ｇ(Ｘ)]＝∫_-∞^∞ｇ(ｘ)ｆ(ｘ)ｄｘです。

　これらをまとめると,Ｅ[ｇ(Ｘ)]＝∫_-∞^∞ｇ(ｘ)ｄＦです。

確率変数Ｘの関数ｇ₁(Ｘ),ｇ₂(Ｘ)が共に確率変数のとき,ａｇ₁(Ｘ)＋ｂｇ₂(Ｘ)も確率変数であり,Ｅ[ａｇ₁(Ｘ)＋ｂｇ₂(ｘ)]＝ａＥ[ｇ₁(Ｘ)]＋ｂＥ[ｇ₂(ｘ)]です。

これを,期待値の線形性(linearity)といいます。特に,Ｅ[ａＸ＋ｂ]＝ａＥ[Ｘ]＋ｂです。

(証明)ｇ₁(Ｘ),ｇ₂(Ｘ)が共に確率変数のとき,ａｇ₁(Ｘ)＋ｂｇ₂(Ｘ)も確率変数となることは自明です。

　そして,Ｅ[ａｇ₁(Ｘ)＋ｂｇ₂(Ｘ)]＝∫(ａｇ₁(ｘ)＋ｂｇ₂(ｘ))ｄＦ＝ａ∫ｇ₁(ｘ)ｄＦ＋ｂ∫ｇ₂(ｘ)ｄＦ＝ａＥ[ｇ₁(Ｘ)]＋ｂＥ[ｇ₂(ｘ)]です。(証明終わり)　※

[定義7-7]:確率変数Ｘの関数Ｘ^k(ｋ＝1,2,..)の期待値:Ｅ[Ｘ^k]をＸのｋ次の積率(moment)といい,これをμ_k'と表わす。特に,μ₁'＝Ｅ[Ｘ]は単にμと表記し,これをＸの平均(mean)と呼ぶ。

[定義7-8]:確率変数Ｘの関数:(Ｘ－μ)^k(ｋ＝1,2,..)の期待値μ_k≡Ｅ[(Ｘ－μ)^k]を,Ｘの平均の周りのｋ次の積率という。

　特にσ²≡μ₂＝Ｅ[(Ｘ－μ)²]をＸの分散(variance)と呼ぶ。これをVar[Ｘ]と表記することもある。さらに,σ＝Ｅ[(Ｘ－μ)²]^1/2＝(Var[Ｘ])^1/2を標準偏差(standard deviation)と呼ぶ。

※(注2):Ｘの分散はσ²＝Ｅ[(Ｘ－μ)²]＝Ｅ[Ｘ²－2μＸ＋μ²]＝Ｅ[Ｘ²]－2μＥ[Ｘ]＋μ²＝Ｅ[Ｘ²]－μ²＝μ₂'－μ²と表わせます。　※

[定理7-9]:チェビシェフの不等式(Chebyshev's inequality)

　確率変数Ｘが平均μ,分散σ²を持つなら,任意の正の数ｋに対して,不等式:Ｐ(|ｘ－μ|≧ｋσ)≦1/ｋ²,あるいはＰ(|ｘ－μ|≧ｋ)≦σ²/ｋ²が成り立つ。

(証明)σ²＝Ｅ[(Ｘ－μ)²]＝∫_-∞^∞(ｘ－μ)²ｄＦ＝∫_-∞^μ-kσ(ｘ－μ)²ｄＦ＋∫_μ-kσ^μ+kσ(ｘ－μ)²ｄＦ＋∫_μ+kσ^∞(ｘ－μ)²ｄＦ≧∫_|x-μ|≧kσ^∞(ｘ－μ)²ｄＦ≧ｋ²σ²∫_|x-μ|≧kσ^∞ｄＦ＝ｋ²σ²Ｐ(|ｘ－μ|≧ｋσ)です。

　そこで,Ｐ(|ｘ－μ|≧ｋσ)≦1/ｋ²が成立します。

　この式で,ｋ＝Ｋ/σと置けばＰ(|ｘ－μ|≧Ｋ)≦σ²/Ｋ²を得ます。(証明終わり)

※(注3):確率変数Ｘ,Ｙの関数ｇ(Ｘ,Ｙ)が確率変数となる場合

　Ｘ,Ｙが離散型で同時確率分布がｐ(ｘ_i,ｙ_j)≡Ｐ(Ｘ＝ｘ_i,Ｙ＝ｙ_j)で与えられるなら,ｇ(Ｘ,Ｙ)の期待値はＥ[ｇ(Ｘ,Ｙ)]＝Σ_iΣ_jｇ(ｘ_i,ｙ_j)ｐ(ｘ_i,ｙ_j)です。

一方,Ｘ,Ｙが連続型で同時確率密度関数:ｆ(ｘ,ｙ)が存在するとき,Ｅ[ｇ(Ｘ,Ｙ)]＝∫_-∞^∞∫_-∞^∞ｇ(ｘ,ｙ)ｆ(ｘ,ｙ)ｄｘｄｙです。

離散型と連続型をまとめた表現では,Ｅ[ｇ(Ｘ,Ｙ)]＝∫ｇ(ｘ,ｙ)ｄＦと書けます。特に,Ｅ[ａＸ＋ｂＹ]＝∫(ａｘ＋ｂｙ)ｄＦ＝ａＥ[Ｘ]＋ｂＥ[Ｙ]です。

これを拡張して,一般にＸ₁,Ｘ₂,..,Ｘ_n をｎ個の確率変数とするとき,任意の定数:ａ₁,ａ₂,..,ａ_nに対して,Ｅ[Σ_jａ_jＸ_j]＝Σ_jａ_jＥ[Ｘ_j]が成立します。

また,Ｅ[ＸＹ]＝∫ｘｙｄＦ＝Σ_iΣ_jｘ_iｙ_jｐ(ｘ_i,ｙ_j)(離散型),Ｅ[ＸＹ]＝∫ｘｙｄＦ＝∫_-∞^∞∫_-∞^∞ｘｙｆ(ｘ,ｙ)ｄｘｄｙ(連続型)と書けます。

特に,ＸとＹが独立の場合には,Ｘ,Ｙが連続型のときを例に取ると,ｆ(ｘ,ｙ)＝ｆ_X(ｘ)ｆ_Y(ｙ)によって,Ｅ[ＸＹ]＝∫ｘｙｄＦ＝∫_-∞^∞∫_-∞^∞ｘｙｆ(ｘ,ｙ)ｄｘｄｙ＝∫_-∞^∞∫_-∞^∞ｘｙｆ_X(ｘ)ｆ_Y(ｙ)ｄｘｄｙ＝Ｅ[Ｘ]Ｅ[Ｙ]となります。

実際にはＸ,Ｙが連続型,離散型によらずＸとＹが独立ならＥ[ＸＹ]＝Ｅ[Ｘ]Ｅ[Ｙ]が成立します。　※

[定義7-10]:Ｘ,Ｙが連続型確率変数で同時確率密度関数ｆ(ｘ,ｙ)が存在してｆ_Y(ｙ)＝∫_-∞^∞ｆ(ｘ,ｙ)ｄｘ＞0 のとき,Ｙ＝ｙの下でのＸの条件付確率密度をｆ(ｘ|ｙ)≡ｆ(ｘ,ｙ)/ｆ_Y(ｙ)とする。

　このとき,Ｙ＝ｙの下でのＸの条件付期待値をＥ_X|Y=y[Ｘ]＝Ｅ[Ｘ|Ｙ＝ｙ]≡∫_-∞^∞ｘｆ(ｘ|ｙ)ｄｘで定義する。

(Ｘ,Ｙが離散型のときには,ｐ(ｘ_i|ｙ_j)≡ｐ(ｘ_i,ｙ_j)/{Σ_iｐ(ｘ_i,ｙ_j)},Ｅ_X|Y=yj[Ｘ]＝Ｅ[Ｘ|Ｙ＝ｙ_j]＝Σ_iｘ_iｐ(ｘ_i|ｙ_j)である。)

※(注4):Ｅ[ＸＹ]＝∫ｘｙｄＦ＝∫_-∞^∞∫_-∞^∞ｘｙｆ(ｘ,ｙ)ｄｘｄｙ＝∫_-∞^∞∫_-∞^∞ｘｙｆ(ｘ|ｙ)ｆ_Y(ｙ)ｄｘｄｙ＝∫_-∞^∞ｄｙｆ_Y(ｙ)[∫_-∞^∞ｘｙｆ(ｘ|ｙ)ｄｘ]＝∫_-∞^∞Ｅ_X|Y=y[ＸＹ]ｆ_Y(ｙ)ｄｙです。

　すなわち,Ｅ[ＸＹ]＝＝Ｅ_Y[Ｅ_X|Y=y[ＸＹ]]を得ます。

一般に,Ｅ[ｇ(Ｘ,Ｙ)]＝Ｅ_Y[Ｅ_X|Y=y[ｇ(Ｘ,Ｙ)]が成立します。

条件付期待値については,2007年７/７の記事「条件付確率と条件付期待値」に詳述してあるのでこれ以上深入りしません。　※

[定理7-11]:シュワルツの不等式(Schwarz's inequality)

　Ｘ,Ｙが２次の積率:Ｅ[Ｘ²],Ｅ[Ｙ²]を持てば,Ｅ[ＸＹ]も存在してＥ[ＸＹ]²≦Ｅ[Ｘ²]Ｅ[Ｙ²]である。

(証明)Ｅ[Ｘ²]＜∞,Ｅ[Ｙ²]＜∞ ならＥ[Ｘ²＋Ｙ²]＜∞ です。そして,|ａｂ|≦(ａ²＋ｂ²)なので,Ｅ[ＸＹ]も存在します。

　そして,∀ｔ∈Ｒについて(ｔＸ＋Ｙ)²≧0 よりＥ[(ｔＸ＋Ｙ)²]＝ｔ²Ｅ[Ｘ²]＋2ｔＥ[ＸＹ]＋Ｅ[Ｙ²]≧0 が成立します。

　故に,左辺をｔの２次式と見たときの判別式は非正:Ｄ/4＝Ｅ[ＸＹ]²－Ｅ[Ｘ²]≦0 です。等号の成立は,確率１でＹ＝－ｔＸとなる,つまり確率１でＸとＹが比例関係にある場合だけです。(証明終わり)

[定義7-12]:Ｅ[Ｘ],Ｅ[Ｙ],Ｅ[ＸＹ]が存在するとき,Cov[Ｘ,Ｙ]≡Ｅ[(Ｘ－Ｅ[Ｘ])(Ｙ―Ｅ[Ｙ])]＝Ｅ[ＸＹ]－Ｅ[Ｘ]Ｅ[Ｙ]をＸとＹの共分散(covariance)という。

※(注5):特に,ＸとＹが独立ならＥ[ＸＹ]＝Ｅ[Ｘ]Ｅ[Ｙ]なので,共分散:Cov[Ｘ,Ｙ]＝Ｅ[ＸＹ]－Ｅ[Ｘ]Ｅ[Ｙ]＝0 です。

確率変数Ｘ,ＹについてVar[Ｘ＋Ｙ]＝Ｅ[(Ｘ＋Ｙ)²]－Ｅ[Ｘ＋Ｙ]²＝Ｅ[Ｘ²]＋2Ｅ[ＸＹ]＋Ｅ[Ｙ²]－{Ｅ[Ｘ]²＋2Ｅ[Ｘ]Ｅ[Ｙ]＋Ｅ[Ｙ]²}＝Var[Ｘ]＋Var[Ｙ]－2Cov[Ｘ,Ｙ]です。

一般に,ｎ個の確率変数Ｘ₁,Ｘ₂,..,Ｘ_n と任意定数ａ₁,ａ₂,..,ａ_nに対して,Var[Σ_j=1ⁿａ_jＸ_j]＝Σ_j=1ⁿａ_j²Var[Ｘ_j]＋2Σ_i>jⁿａ_iａ_jCov[Ｘ_i,Ｘ_j]が成立します。

特に,Ｘ₁,Ｘ₂,..,Ｘ_n が全て独立変数なら,Var[Σ_j=1ⁿａ_jＸ_j]＝Σ_j=1ⁿａ_j²Var[Ｘ_j]となります。

ここで,Ｅ[Ｘ_j]＝μ,Var[Ｘ_j]＝σ²(ｊ＝1,2,..,ｎ)の場合,＜Ｘ＞≡(Ｘ₁＋Ｘ₂＋..＋Ｘ_n)/ｎと置けばＥ[＜Ｘ＞]＝μですが,ａ_j＝1/ｎ(ｊ＝1,2,..,ｎ)とすれば上の等式はVar[＜Ｘ＞]＝σ²/ｎを意味します。

[定義7-13]:ＸとＹがそれぞれ平均の周りの２次の積率:Var[Ｘ]≠0,Var[Ｙ]≠0を持つとき,ρ≡Cov[Ｘ,Ｙ]/{Var[Ｘ]Var[Ｙ]}^1/2をＸとＹの相関係数(correlation coefficient)という。

ここで,ＸとＹが独立ならCov[Ｘ,Ｙ]＝0 よりρ＝0 です。これをＸとＹは無相関であると言うこともあります。

[定理7-14]:ＸとＹの相関係数:ρは－1≦ρ≦1を満たす。等号はＸとＹの間に１次関係が存在するときに限られる。

(証明)Ｘ₁＝Ｘ－Ｅ[Ｘ],Ｙ₁＝Ｙ－Ｅ[Ｙ]と置けば,Var[Ｘ]＝Ｅ[Ｘ₁²],Var[Ｙ]＝Ｅ[Ｙ₁²],Cov[Ｘ,Ｙ]＝Ｅ[Ｘ₁Ｙ₁]です。

　そして,[定理7-11]のシュワルツの不等式からＥ[Ｘ₁Ｙ₁]²≦Ｅ[Ｘ₁²]Ｅ[Ｙ₁²]なので,Cov[Ｘ,Ｙ]²≦Var[Ｘ]Var[Ｙ]です。

　よって,Var[Ｘ]≠0,Var[Ｙ]≠0 なら,ρ²≦1 or －1≦ρ≦1です。

[定理7-11]より,等号はＸ₁＝Ｘ－Ｅ[Ｘ]とＹ₁＝Ｙ－Ｅ[Ｙ]が比例関係にあるとき,つまり,ａＸ₁＋ｂＹ₁＝0,or ａＸ＋ｂＹ＝ａＥ[Ｘ]＋ｂＥ[Ｙ]のときだけです。

そして,ａＸ＋ｂＹ＝ｋなら,常にａＥ[Ｘ]＋ｂＥ[Ｙ]＝ｋとなりますから,Ｘ₁とＹ₁が比例関係にあることはＸとＹがａＸ＋ｂＹ＝ｋなる１次関係を有することと同値です。(証明終わり)

[定義8-1]:実数列{ａ_j}_j=0,1,..の母関数(generating function)Ａ(ｚ)は次のｚのベキ級数の右辺が収束するときＡ(ｚ)≡Σ_j=0^∞ａ_jｚ^j (|ｚ|＜Ｒ₀;Ｒ₀は適当な正の実数)によって定義される。

そして,離散型確率変数Ｘの確率分布をｐ_j＝Ｐ(Ｘ＝ｘ_j)とするときＧ(ｚ)＝Σ_j=0^∞ｐ_jｚ^j＝Ｅ(ｚ^X)(|ｚ|≦1)をＸの確率母関数という。

※(注6):(確率母関数の性質)

明らかに,Ｇ(1)＝Σ_j=0^∞ｐ_j＝1です。また,ｐ_j＝[ｄ^jＧ/ｄｚ^j]_z=0/ｊ!＝Ｇ^(j)(0)/ｊ!です。

Ｇ'(1)＝Σ_j=1^∞ｊｐ_j＝Ｅ[Ｘ]です。

さらに,Ｇ"(1)＝Σ_j=2^∞ｊ(ｊ－1)ｐ_j＝Σ_j=0^∞ｊ²ｐ_j－Σ_j=0^∞ｊｐ_j＝Ｅ[Ｘ²]－Ｅ[Ｘ]です。それ故,Ｅ[Ｘ²]＝Ｇ"(1)＋Ｇ'(1),Var[Ｘ]＝Ｇ"(1)＋Ｇ'(1)－[Ｇ'(1)]²です。　※

[定理8-2]:離散型確率変数Ｘの確率分布:ｐ_j＝Ｐ(Ｘ＝ｘ_j)において,{ｘ_j}_j=0,1,..がｘ₁≦ｘ₂≦..と順序付けられているとする。

　このとき,Ｑ_r≡Ｐ(Ｘ＞ｘ_ｒ)＝Σ_j=r+1^∞ｐ_jと定義すると{Ｑ_r}_r=0,1,..の母関数Ｑ(ｚ)＝Σ_r=0^∞Ｑ_rｚ^rと,確率母関数Ｇ(ｚ)＝Σ_j=0^∞ｐ_jｚ^jの間に式:Ｑ(ｚ)＝{1－Ｇ(ｚ)}/(1－ｚ)が成り立つ。

(証明):Ｑ(ｚ)＝Σ_r=0^∞Ｑ_rｚ^r＝Σ_r=0^∞ｚ^r(Σ_j=r+1^∞ｐ_j)＝Σ_j=1^∞(Σ_r=0^j-1ｚ^r)ｐ_j＝(1－ｚ)^-1Σ_j=1^∞(1－ｚ^j)ｐ_j＝{1－Ｇ(ｚ)}/(1－ｚ)です。(証明終わり)

[定理8-2の系]:Ｅ[Ｘ]＝Ｇ'(1)＝lim _z→1{Ｇ(ｚ)－Ｇ(1)}/(ｚ－1)＝lim_z→1Ｑ(ｚ)である。

※(注7):Ｘ₁,Ｘ₂,..,Ｘ_kが互いに独立な確率変数なら,Ｘ≡Ｘ₁＋Ｘ₂＋..＋Ｘ_kの確率母関数Ｇ(ｚ)はＧ(ｚ)＝Ｅ[ｚ^X]＝Ｅ[ｚ^{X1＋X2＋..＋Xk}]＝Ｅ[ｚ^X1]Ｅ[ｚ^X2]..Ｅ[ｚ^Xk]＝Π_j=1^kＧ_Xj(ｚ)となります。

　特に,Ｘ₁,Ｘ₂,..,Ｘ_kが全て同一の分布を持つ独立変数列ならＧ_X1(ｚ)＝Ｇ_X2(ｚ)＝..＝Ｇ_Xk(ｚ)より,Ｇ(ｚ)＝[Ｇ_X1(ｚ)]^kです。　※

[例8-3]:Ｘ₁,Ｘ₂,..,Ｘ_kが互いに独立で,次の同一分布ｐ_jを持つ確率変数のとき,Ｘ≡_Σj=1^kＸ_j＝Ｘ₁＋Ｘ₂＋..＋Ｘ_kの確率母関数:Ｇ(ｚ),および確率分布:Ｐ_jを求めます。

(ⅰ)ｐ_j＝ｐ^jｑ^1-j(ｊ＝0,1;0＜ｐ＜1,ｑ＝1－ｐ),ｐ_j＝0 (その他)

(解)Ｇ_Xj(ｚ)＝ｑ＋ｐｚ,故に,Ｇ(ｚ)＝(ｑ＋ｐｚ)^k＝_kＣ_jｐ^jｑ^k-jｚ^j,ｓこで確率分布はＰ_j＝_kＣ_jｐ^jｑ^k-j＝ｂ(ｘ；ｋ,ｐ)(２項分布)

(ⅱ)ｐ_j＝exp(－λ)λ^j/ｊ! (ｊ＝0,1,2,..)のポアソン分布(パラメータλ＞0)　

(解)Ｇ_Xj(ｚ)＝exp(－λ)Σ_j=0^∞λ^jｚ^j/ｊ!＝exp(－λ)exp(λｚ)＝exp{－λ(1－ｚ)},故にＧ(ｚ)＝exp{－ｋλ(1－ｚ)}＝exp(－ｋλ)Σ_j=0^∞(ｋλ)^jｚ^j/ｊ!です。

　そこで,Ｘの確率分布はＰ_j＝exp(－ｋλ)(ｋλ)^j/ｊ!(パラメータｋλのポアソン分布)になります。

(ⅲ)ｐ_j＝ｐｑ^j (ｊ＝0,1,2,..;ｐ＞0,ｑ＝1－ｐ＞0) (幾何分布)　

(解)Ｇ_Xj(ｚ)＝ｐΣ_j=0^∞ｑ^jｚ^j＝ｐ/(1－ｑｚ),故にＧ(ｚ)＝ｐ^k(1－ｑｚ)^-k＝Σ_j=0^∞{(ｋ－1＋ｊ)..(ｋ＋1)ｋ/ｊ!}ｐ^kｑ^jｚ^j,

　そこで,Ｘの確率分布はＰ_j＝_k-1+jＣ_kｐ^kｑ^jです。

[例8-4]:(複合分布){Ｘ_j,1≦ｊ≦Ｎ}を共通な確率分布:ｐ_i;ｉ＝0,1,2,..,および確率母関数:Ｇ_X(ｚ)を持つ独立離散確率変数とする。

　Ｎは全てのＸ_jと独立な離散確率変数で確率分布:φ(ｎ),ｎ＝1,2,..,と確率母関数Ｇ_N(ｚ)を持つとき,Ｙ≡Ｘ₁＋Ｘ₂＋..＋Ｘ_Nの確率母関数:Ｇ_Y(ｚ),およびＥ[Ｙ],Var[Ｙ]を求める。

(解)ｐ(ｋ,ｎ)≡Ｐ(Ｙ＝ｋ,Ｎ＝ｎ)と置けば,ｐ(ｋ|ｎ)＝ｐ(ｋ,ｎ)/φ(ｎ),or ｐ(ｋ,ｎ)＝ｐ(ｋ|ｎ)φ(ｎ)です。故にＰ(Ｙ＝ｋ)＝Σ_n=1^∞ｐ(ｋ,ｎ)＝Σ_n=1^∞ｐ(ｋ|ｎ)φ(ｎ)です。

　ところが,ｐ(ｋ|ｎ)＝Ｐ(Ｘ₁＋Ｘ₂＋..＋Ｘ_n＝ｋ)なので,Ｐ(Ｙ＝ｋ)＝Σ_n=1^∞Ｐ(Ｘ₁＋Ｘ₂＋..＋Ｘ_n＝ｋ)φ(ｎ)です。

それ故,Ｇ_Y(ｚ)＝Ｅ[ｚ^Y]＝Σ_kｚ^kＰ(Ｙ＝ｋ)＝Σ_n=1^∞Σ_kｚ^kＰ(Ｘ₁＋Ｘ₂＋..＋Ｘ_n＝ｋ)φ(ｎ)＝Σ_n=1^∞Ｅ[ｚ^X1+X2+..Xn]φ(ｎ)です。

ところが,{Ｘ_j,1≦ｊ≦ｎ}は独立確率分布なので,(注7)で述べたようにＥ[ｚ^X1+X2+..Xn]＝{Ｅ[ｚ^X1]}ⁿ＝{Ｇ_X(ｚ)}ⁿです。

　したがって,結局,Ｇ_Y(ｚ)＝Ｅ[ｚ^Y]＝Ｅ[ｚ^X1+X2+..XN]＝Σ_n=1^∞{Ｇ_X(ｚ)}ⁿφ(ｎ)＝Ｇ_N[Ｇ_X(ｚ)]なる合成確率母関数が得られます。

　これから,Ｇ_Y'(ｚ)＝ｄＧ_Y/ｄｚ＝(ｄＧ_Y/ｄＧ_x)(ｄＧ_X/ｄｚ)＝Ｇ_N'[Ｇ_X(ｚ)]Ｇ_X'(ｚ)です。

　Ｇ_X(1)＝Ｇ_N(1)＝1,Ｇ_N'(1)＝Ｅ[Ｎ],Ｇ_X'(1)＝Ｅ[Ｘ]ですから,Ｅ[Ｙ]＝Ｇ_Y'(1)＝Ｇ_N'(1)Ｇ_X'(1)＝Ｅ[Ｎ]Ｅ[Ｘ]が得られます。

　さらに,Ｇ_Y"(ｚ)＝Ｇ_N"[Ｇ_X(ｚ)]{Ｇ_X'(ｚ)}²＋Ｇ_N'[Ｇ_X(ｚ)]Ｇ_X"(ｚ)より,Ｇ_Y"(1)＝Ｇ_N"(1){Ｇ_X'(1)}²＋Ｇ_N'(1)Ｇ_X"(1)です。

そして,Var[Ｙ]＝Ｇ_Y"(1)＋Ｇ_Y'(1)－{Ｇ_Y'(1)}²です。

右辺＝Ｇ_N"(1){Ｇ_X'(1)}²＋Ｇ_N'(1)Ｇ_X"(1)－{Ｇ_N'(1)Ｇ_X'(1)}²＝[Ｇ_N"(1)＋Ｇ_N'(1)－{Ｇ_N'(1)}²]{Ｇ_X'(1)}²＋Ｇ_N'(1)[Ｇ_X"(1)＋Ｇ_X'(1)]－{Ｇ_X'(1)}²]です。

以上から,Var[Ｙ]＝Var[Ｎ]{Ｅ[Ｘ]}²＋Ｅ[Ｎ]Var[Ｘ]を得ます。

ここでまた一休みします。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

　

確率と分布関数(4)(特殊分布(連続))」

　確率と分布関数の続きです。重要な連続確率分布の例を考えます。

[定義6-1]:一様分布(uniform distribution)

　確率密度(ｐ.ｄ,ｆ)がｆ(ｘ)＝1/(ｂ－ａ)(ａ≦ｘ≦ｂ),ｆ(ｘ)＝0 (その他),分布関数(ｄ.ｆ)Ｆ(ｘ)＝∫_-∞^xｆ(ｘ)ｄｘがＦ(ｘ)＝0 (ｘ＜ａ),Ｆ(ｘ)＝(ｘ－ａ)/(ｂ－ａ) (ａ≦ｘ≦ｂ),Ｆ(ｘ)＝1 (ｘ＞ｂ)で与えられる確率分布を一様分布という。

[例6-2]:確率変数Ｘ,Ｙのｊ.ｐ.ｄ.ｆがｆ(ｘ,ｙ)＝1 (0≦ｘ≦1,0≦ｙ≦1),ｆ(ｘ,ｙ)＝0 (それ以外)であるとき,

同時分布関数(ｍ.ｄ.ｆ)はＦ(ｘ,ｙ)＝∫_-∞^xｄｕ∫_-∞^yｄｖｆ(ｕ,ｖ)より,Ｆ(ｘ,ｙ)＝1 (ｘ≧1,ｙ≧1),Ｆ(ｘ,ｙ)＝ｙ (ｘ≧1,0≦ｙ≦1),Ｆ(ｘ,ｙ)＝ｘ (0≦ｘ≦1,ｙ≧1),Ｆ(ｘ,ｙ)＝ｘｙ (0≦ｘ≦1,0≦ｙ≦1), Ｆ(ｘ,ｙ)＝0 (その他)です。

　周辺分布関数はＦ_X(ｘ)＝lim_y→∞Ｆ(ｘ,ｙ),Ｆ_Y(ｙ)＝lim_x→∞Ｆ(ｘ,ｙ)より,Ｆ_X(ｘ)＝1(ｘ≧1),Ｆ_X(ｘ)＝ｘ (0≦ｘ≦1),Ｆ_X(ｘ)＝0 (その他),およびＦ_Y(ｙ)＝1(ｙ≧1),Ｆ_Y (ｙ)＝ｙ (0≦ｘ≦1),Ｆ_Y(ｙ)＝0 (その他)です。

[定義6-3]:正規分布(normal distribution),またはガウス分布(Gaussian distribution)

確率密度(ｐ.ｄ,ｆ)がｆ(ｘ)＝(2π)^-1/2σ^-1exp{－(ｘ－μ)²/(2σ²)}(－∞＜ｘ＜∞,σ＞0 とμは定数)で,分布関数(ｄ.ｆ)がＦ(ｘ)＝(2π)^-1/2σ^-1∫_-∞^xexp{(ｙ－μ)²/(2σ²)}ｄｙで与えられる連続確率分布を正規分布といい,Ｎ[μ,σ²]で表わす。

特にμ＝0,σ²＝1の正規分布:Ｎ[0,1]を標準正規分布という。これのｐ.ｄ,ｆ:φ(ｕ)はφ(ｕ)＝(2π)^-1/2exp(－ｕ²/2)である。

確率変数Ｘが分布Ｎ[μ,σ²]を持つなら,Ｕ≡(Ｘ－μ)/σは分布Ｎ[0,1]を持ちます。

[定理6-4]:ｘ＞0 のとき,標準正規分布関数:Φ(ｘ)＝(2π)^-1/2∫_-∞^xexp(－ｕ²/2)ｄｕは(2π)^-1/2(1/ｘ－1/ｘ³)exp(－ｘ²/2)＜1－Φ(ｘ)＜(2π)^-1/2(1/ｘ)exp(－ｘ²/2)なる不等式を満たす。

(証明) (ｄ/ｄｘ){(1/ｘ)exp(－ｘ²/2)}＝－(1＋1/ｘ²)exp(－ｘ²/2)なので(1/ｘ)exp(－ｘ²/2)＝∫_x^∞(1＋1/ｕ²)exp(－ｕ²/2)ｄｕ＞∫_x^∞exp(－ｕ²/2)ｄｕです。

また,(ｄ/ｄｘ){(1/ｘ³)exp(－ｘ²/2)}＝－(1/ｘ²＋4/ｘ⁴)exp(－ｘ²/2)より,(ｄ/ｄｘ){(1/ｘ－1/ｘ³)exp(－ｘ²/2)}＝－(1－4/ｘ⁴)exp(－ｘ²/2)です。

故に,(1/ｘ－1/ｘ³)exp(－ｘ²/2)＝∫_x^∞(1－4/ｕ⁴)exp(－ｕ²/2)ｄｕ＜∫_x^∞exp(－ｕ²/2)ｄｕです。

(2π)^-1/2∫_x^∞exp(－ｕ²/2)ｄｕ＝1－Φ(ｘ)ですから,(2π)^-1/2(1/ｘ－1/ｘ³)exp(－ｘ²/2)＜1－Φ(ｘ)＜(2π)^-1/2(1/ｘ)exp(－ｘ²/2)が得られます。(証明終わり)

この定理からｘが大きいときには,1－Φ(ｘ)≒(2π)^-1/2(1/ｘ)exp(－ｘ²/2)と近似できることがわかります。

正規分布Ｎ[μ,σ²]では,ｐ.ｄ.ｆが偶関数なのでＰ(－ｕ₀≦Ｕ≦ｕ₀)＝2Ｐ(0≦Ｕ≦ｕ₀)(ｕ₀＞0)です。この式でｕ₀→∞とすると,Ｐ(Ｕ＞0)＝Ｐ(Ｕ≧0)＝1/2を得ます。

一方,総確率が1であるという性質からＰ(Ｕ≦ｕ)＝1－Ｐ(Ｕ＞ｕ)なので,Ｐ(Ｕ≦0)＝1/2も得られます。

そこで,Ｐ(Ｕ≦ｕ₀)＝Ｐ(Ｕ≦0)＋Ｐ(0≦Ｕ≦ｕ₀)＝1/2＋Ｐ(0≦Ｕ≦ｕ₀),すなわちＰ(0≦Ｕ≦ｕ₀)＝Ｐ(Ｕ≦ｕ₀)－1/2です。

標準正規分布Ｎ[0,1]を持つ確率変数(random variable):Ｕに対してはΦ(ｕ₀)＝Ｐ(Ｕ≦ｕ₀)ですから,Ｐ(0≦Ｕ≦ｕ₀)＝(2π)^-1/2∫₀^u0 exp(－ｕ²/2)ｄｕ＝Φ(ｕ⁰)－1/2です。これの近似値を表示したものは正規分布表として種々の資料に載っています。　

それによると,特にＰ(－1≦Ｕ≦1)≒0.683,Ｐ(－2≦Ｕ≦2)≒0.954,Ｐ(－3≦Ｕ≦3)≒0.997であることがわかります。

[定義6-5]:関数:erf(ｘ)≡(2π)^-1/2∫₀^x exp(－ｖ²)ｄｖを誤差関数(error function)という。

erf(ｘ)＝(2π)^-1/2∫₀^x exp(－ｖ²)ｄｖ＝(2π)^-1/22^-1/2∫₀^√2xexp(－ｕ²/2)ｄｕ＝2{Φ(2^1/2ｘ)－1/2}＝2Φ(2^1/2ｘ)－1です。

[定義6-6]:指数分布(exponential distribution)

確率変数:Ｘのｐ.ｄ,ｆがｆ(ｘ)＝λexp(－λｘ)(0≦ｘ＜∞),ｆ(ｘ)＝0 (ｘ≦0)で,ｄ.ｆＦ(ｘ)＝∫_-∞^xｆ(ｔ)ｄｔがＦ(ｘ)＝1－exp(－λｘ)(0≦ｘ＜∞),Ｆ(ｘ)＝0 (ｘ≦0)で与えられるとき,Ｘはパラメータλの指数分布を持つという。

[定理6-7]:確率変数:Ｘが指数分布を持つとき,Ｐ(Ｘ＞(ｘ＋ｙ)|Ｘ＞ｘ)＝Ｐ(Ｘ＞ｙ)(マルコフ(Markov)性)が成り立つ。

(証明)Ｐ(Ｘ＞(ｘ＋ｙ)|Ｘ＞ｘ)＝Ｐ(Ｘ＞(ｘ＋ｙ),Ｘ＞ｘ)/Ｐ(Ｘ＞ｘ)＝Ｐ(Ｘ＞(ｘ＋ｙ))/Ｐ(Ｘ＞ｘ)＝∫_x+y^∞λexp(－λｔ)ｄｔ/∫_x^∞λexp(－λｔ)ｄｔ＝exp{－λ(ｘ＋ｙ)}/ exp(－λｘ)＝exp(－λｙ)＝∫_y^∞λexp(－λｔ)ｄｔ＝Ｐ(Ｘ＞ｙ) (証明終わり)

[定理6-8]:確率変数:Ｔの分布関数:Ｆ(ｔ)＝Ｐ(Ｔ≦ｔ)がＰ(Ｔ＞(ｔ＋ｓ)|Ｔ＞ｓ)＝Ｐ(Ｔ＞ｔ)を満たすなら,ｔ≧0 においてはある定数λ＞0が存在してＦ(ｔ)＝1－exp(－λｔ)である。

(証明) Ｐ(Ｔ＞(ｔ＋ｓ)|Ｔ＞ｓ)＝Ｐ(Ｔ＞ｔ)を分布関数Ｆ(ｔ)で表わすせば1－Ｆ(ｔ＋ｓ)＝{1－Ｆ(ｔ)}{1－Ｆ(ｓ)}です。

ｚ(ｔ)≡log{1－Ｆ(ｔ)}と置けばｚ(0)＝0 でｚ(ｔ＋ｓ)＝ｚ(ｔ)＋ｚ(ｓ)で 0≦Ｆ(ｔ)≦1ですからｚ(ｔ)≦0 です。ｔ≧0 においてこれを満たす連続関数ｚ(ｔ)はｚ(ｔ)＝－λｔ(λ＝－ｚ(1)＞0)だけです。

故にＦ(ｔ)＝1－exp(－λｔ) (λ＞0)が得られます。(証明終わり)

[定理6-9]:確率変数:Ｘがlim_Δx→0Ｐ(ｘ＜Ｘ＜ｘ＋Δｘ|Ｘ＞ｘ)/Δｘ＝η(ｘ),Ｐ(Ｘ＞0)＝1を満たすなら,Ｘの分布関数Ｆ(ｘ)はＦ(ｘ)＝1－exp{－∫₀^xη(ｔ)ｄｔ} (ｘ＞0),Ｆ(ｘ)＝0 (ｘ≦0)である。

(証明)η(ｘ)＝lim_Δx→0[{Ｆ(ｘ＋Δｘ)－Ｆ(ｘ)}/Δｘ]/{1－Ｆ(ｘ)}＝(ｄＦ/ｄｘ)/1－Ｆ(ｘ)}＝－ｄ[log{1－Ｆ(ｘ)}/ｄｘ,そしてＦ(0)＝1－Ｐ(Ｘ＞0)＝0です。

　それ故,log{1－Ｆ(ｘ)}＝－∫₀^xη(ｔ)ｄｔを得ます。したがって,ｘ＞0 のとき,Ｆ(ｘ)＝1－exp{－∫₀^xη(ｔ)ｄｔ}です。(証明終わり)

　上述の確率変数:Ｘを部品の寿命と見なすときにはη(ｘ)を故障率関数と呼びます。η(ｘ)＝ｆ(ｘ)/{1－Ｆ(ｘ)}ですから,Ｘの分布がパラメータλの指数分布ならη(ｘ)＝λ(一定)(ｘ＞0)となります。

[例6-10]:Ｘのｐ.ｄ,ｆとしてｆ(ｘ)＝αλｘ^α-1exp(－λｘ^α) (ｘ＞0,α＞0,λ＞0),ｆ(ｘ)＝0 (その他)を持つ分布をワイブル分布(Weibull distribution)といいます。

これのｄ.ｆはＦ(ｘ)＝∫_-∞^xｆ(ｔ)ｄｔ＝1－exp(－λｘ^α) (ｘ＞0),Ｆ(ｘ)＝0 (ｘ≦0)です。

このワイブル分布では,故障率関数は一般に一定ではなくて,η(ｘ)＝ｆ(ｘ)/1－Ｆ(ｘ)}＝αλｘ^α-1です。

しかし,もしもα＝1ならワイブル分布は指数分布に一致しますから,η(ｘ)＝λ(一定)です。また,α＞1なら故障率η(ｘ)は増加関数で, 0＜α＜1なら減少関数です。

[定理6-11]:ある事象εの発生がパラメータλのポアソン(Poisson)分布(離散分布の１つ)を持つとき,発生間隔Ｔは同じパラメータλの指数分布を持つ。

　(これは単位時間当たりの平均発生個数がλのポアソン過程です。)

(証明)前記事でのポアソン過程の考察において,時刻 0≦ｔ₁＜ｔ₂に対し(ｔ₁,ｔ₂)内にｊ個が発生する事象をＮ_j(ｔ₁,ｔ₂)と定義しました。

　このとき,時間間隔(0,ｔ)内にｊ個が発生する確率はＰ_j(ｔ)＝Ｐ[Ｎ_j(0,ｔ)]であってＰ_j(ｔ)＝(λｔ)^jexp(－λｔ)/ｊ! (ｊ＝0,1,2,..)とポアソン分布で与えられることを見ました。

そこで,発生間隔Ｔがｘより大きい確率はＰ(Ｔ＞ｘ)＝Ｐ(Ｎ₀(0,ｘ))＝Ｐ₀(ｘ)＝exp(－λｘ)となります。

したがって,発生間隔:Ｔのｐ.ｄ.ｆをｆ(ｘ)とすると,ｄ.ｆがＦ(ｘ)＝Ｐ(Ｔ≦ｘ)＝1－Ｐ(Ｔ＞ｘ)＝1－exp(－λｘ)なのでｆ(ｘ)＝ｄＦ/ｄｘ＝λexp(―λｘ)です。(証明終わり)

[定義6-12]:ガンマ分布:γ(ｘ；α,λ)　

　確率変数Ｘのｐ.ｄ,ｆがｆ(ｘ)＝{1/Γ(α)}λ^αｘ^α-1exp(－λｘ) (ｘ＞0,α＞0,λ＞0),ｆ(ｘ)＝0 (その他)で与えられるとき,Ｘはパラメータ(α,λ)のガンマ分布を持つといい, γ(ｘ；α,λ)で表わす。

ここに,Γ(α)はEulerのガンマ関数でΓ(α)≡∫₀^∞exp(－ｔ)ｔ^α-1ｄｔ(α＞0)で定義されます。

ガンマ分布はα＝ｎ/2,λ＝1/2のときは後述する自由度ｎのχ²分布(カイ二乗分布)のｐ.ｄ,ｆになります。

[定理6-13]:Ｘ₁,Ｘ₂,..,Ｘ_αが互いに独立な確率変数であり,これらが共通のパラメータλの指数分布を持つなら,Σ_k=1^αＸ_k＝Ｘ₁＋Ｘ₂＋..＋Ｘ_αはパラメータ(α,λ)のガンマ分布を持つ。

(証明) まず,α＝1のときＸ₁はパラメータλの指数分布を持ちますが,これはパラメータ(1,λ)のガンマ分布です。

　いま,αまで定理が成立するとしてＺ≡Σ_k=1^αＸ_k＋Ｘ_α+1と置き,これのｐ.ｄ.ｆを求めます。Ｘ＝Ｘ_α+1,Ｙ＝Σ_k=1^αＸ_kと置くと仮定によってＹのｐ.ｄ.ｆはｆ_Y(ｙ)＝{1/Γ(α)}λ^αｙ^α-1exp(－λｙ)です。

　Ｚ＝Ｘ＋Ｙ,Ｔ＝ＹとしてＺ,Ｔのｊ.ｐ.ｄ.ｆを求めるとＸ＝Ｚ－Ｔ,Ｙ＝Ｔかつ|Ｊ|＝1であり,ＸとＹは独立なのでｆ_ZT(ｚ,ｔ)＝ｆ_X(ｘ)ｆ_Y(ｙ)＝ｆ_X(ｚ－ｔ)ｆ_Y(ｔ)です。

　そこで,ｆ_Z(ｚ)＝∫_-∞^∞ｆ_X(ｚ－ｔ)ｆ_Y(ｔ)ｄｔです。

これを計算すると,ｆ_Z(ｘ)＝∫₀^xλexp{－λ(ｘ―ｔ)}ｆ_Y(ｔ)ｄｔ＝∫₀^x{1/Γ(α)}λ^α+1ｔ^α-1exp(－λｘ)ｄｔ＝{1/Γ(α＋1)}λ^α+1ｘ^αexp(－λｘ)を得ます。

以上から,帰納法によって全てのαについて定理の結論の成立することが示されました。(証明終わり)

確率変数Ｘがガンマ分布を持つとき,そのｐ.ｄ,ｆはｆ(ｘ)＝{1/Γ(α)}λ^αｘ^α-1exp(－λｘ) (ｘ＞0)です。ｕ＝λｘと置けば確率変数Ｕ＝λｘのｐ.ｄ.ｆはｆ_Ｕ(ｕ)＝{1/Γ(α)}ｕ^α-1exp(－ｕ) ) (ｕ＞0)となります。

[定義6-14]:χ²分布(chi-squared distribution)

　ｐ.ｄ.ｆがｆ(ｘ)＝[1/{2^n/2Γ(ｎ/2)}ｘ^n/2-1exp(－ｘ/2) (ｘ＞0),ｆ(ｘ)＝0 (ｘ≦0)で与えられる連続確率分布を自由度ｎのχ²分布(カイ二乗分布)という。

　これは,先のガンマ分布のｐ.ｄ,ｆ:ｆ(ｘ)＝{1/Γ(α)}λ^αｘ^α-1exp(－λｘ)(ｘ＞0),ｆ(ｘ)＝0 (ｘ≦0)において,α＝ｎ/2,λ＝1/2としたものと同じです。つまりγ(ｘ；ｎ/2,1/2)ですね。

[定理6-15]:Ｘ₁,Ｘ₂,..,Ｘ_nが全て標準正規分布を持つｎ個の独立確率変数ならば,χ²≡Σ_j=1ⁿＸ_j²＝Ｘ₁²＋Ｘ₂²＋..＋Ｘ_n²は自由度ｎのχ²分布を持つ。

(証明)Ｘ₁²のｐ.ｄ.ｆをｐ₁(ｙ)と書けば,ｙ＞0 のときはｙ＝ｘ²,ｘ＝±ｙ^1/2,|ｄｘ/ｄｙ|＝1/(2ｙ^1/2)を(2π)^-1/2exp(－ｘ²/2)に代入してｐ₁(ｙ)＝(2π)^-1/2ｙ^-1/2exp(－ｙ/2)(ｙ＞0),ｐ₁(ｙ)＝0 (ｙ≦0)なる陽な表式を得ます。

　Γ(1/2)＝π^1/2によって,これは自由度１のχ²分布です。

　また,Ｘ₁²＋Ｘ₂²のｐ.ｄ.ｆをｐ₂(ｘ)と置けばｐ₂(ｘ)＝∫_-∞^∞ｐ₁(ｘ－ｙ)ｐ₁(ｙ)ｄｙ＝(2π)^-1∫₀^x(ｘ－ｙ)^-1/2exp{－(ｘ－ｙ)/2}ｙ^-1/2exp(－ｙ/2)ｄｙです。

　すなわち,ｐ₂(ｘ)＝(2π)^-1exp(－ｘ/2)∫₀^x(ｘｙ－ｙ²)^-1/2ｄｙです。ところが,∫₀^x(ｘｙ－ｙ²)^-1/2ｄｙ＝∫₀^x{ｘ²/4－(ｙ－ｘ)²}^-1/2ｄｙ＝πです。

　そこで,ｐ₂(ｘ)＝2^-1exp(－ｘ/2) (ｘ＞0),ｐ₁(ｘ)＝0 (ｘ≦0)を得ますが,Γ(1)＝1によりこれは自由度２のχ²分布です。

　次に,(ⅰ)ｎ＝2ｋのとき,ｍ＝1,2,..,ｋについて,ｐ_2m(ｘ)＝[1/{2^mΓ(ｍ)}ｘ^m-1exp(－ｘ/2) (ｘ＞0)が全て成立すると仮定します。

　すると,ｐ_2k+2(ｘ)＝∫_-∞^∞ｐ₂(ｘ－ｙ)ｐ_2k(ｙ)ｄｙ＝[1/{2^k+1Γ(ｋ)}exp(－ｘ/2)∫₀^xｙ^k-1ｄｙ＝[1/{2^k+1Γ(ｋ＋1)}ｘ^kexp(－ｘ/2)(ｘ＞0)を得ます。

　ｍ＝(ｋ＋1)でもｐ_2m(ｘ)＝[1/{2^mΓ(ｍ)}ｘ^m-1exp(－ｘ/2) (ｘ＞0)が示されたわけです。

　一方,(ⅱ)ｎ＝2ｋ-1のときにも,ｍ＝1,2,..,ｋについてｐ_2m-1(ｘ)＝[1/{2^m-1/2Γ(ｍ－1/2)}ｘ^m-3/2exp(－ｘ/2) (ｘ＞0)が成立すると仮定します。

　すると,ｐ_2k+1(ｘ)＝∫_-∞^∞ｐ₂(ｘ－ｙ)ｐ_2k-1(ｙ)ｄｙ＝[1/{2^k+1/2Γ(ｋ－1/2)}exp(－ｘ/2)∫₀^xｙ^k-3/2ｄｙ＝[1/{2^k+1/2Γ(ｋ＋1/2)}ｘ^k-1/2exp(－ｘ/2)(ｘ＞0)を得ます。やはり,帰納法の仮定からｍ＝(ｋ＋1)でも同じ式の成立することが導かれます。(証明終わり)

上記の証明で用いた式ｐ_n(ｘ)＝[1/{2^n/2Γ(ｎ/2)}ｘ^n/2-1exp(－ｘ/2) (ｘ＞0)についてＰ(χ²＞χ_α,n²)＝∫_χα,n^2∞ｐ_n(ｘ)ｄｘ＝αを満たすχ_α,n²の値の数表をχ²分布表といいます。

[定理6-15の系]:Ｘ₁,Ｘ₂,..,Ｘ_nが全て正規分布Ｎ[μ,σ²]を持つｎ個の独立確率変数ならばΣ_j=1ⁿ{(Ｘ_j－μ)²/σ²}は自由度ｎのχ²分布を持つ。(証明は略:Ｕ_j≡(Ｘ_j－μ)/σがＮ[0,1]に従うので自明)

[定義6-16]:ｔ分布,またはStudent分布(W.Goset(1908)による)

　ｐ.ｄ.ｆがｆ(ｔ)＝[Γ((ｎ＋1)/2)/{(ｎπ)^1/2Γ(ｎ/2)}](1＋ｔ²/ｎ)^-(n+1)/2 (－∞＜ｔ＜∞)の確率分布を自由度ｎのｔ分布という。

[定理6-17]:確率変数ＸとＹが独立でＸがＮ[0,1],Ｙが自由度ｎのχ²分布を持つならばＴ≡Ｘ/(Ｙ/ｎ)^1/2は自由度ｎのｔ分布を持つ。

(証明)Ｚ≡(Ｙ/ｎ)^1/2と置くとｆ_Y(ｙ)＝[1/{2^n/2Γ(ｎ/2)}]ｙ^n/2-1exp(－ｙ/2) (ｙ＞0)でｚ＝(ｙ/ｎ)^1/2よりｙ＝ｎｚ²,ｄｙ/ｄｚ＝2ｎｚなのでＺのｐ.ｄ.ｆはｆ_Z(ｚ)＝[ｎ^n/2/{2^n/2-1Γ(ｎ/2)}]ｚ^n-1exp(－ｎｚ²/2) (ｚ＞0)となります。

さらにＴ≡Ｘ/ＺよりＷ≡Ｚと置けば(Ｘ,Ｚ)＝(ＷＴ,Ｗ)でＪ≡∂(ｘ,ｚ)/∂(ｔ,ｗ)＝ｗです。

ｆ_ＸＺ(ｘ,ｚ)＝ｆ_Ｘ(ｘ)ｆ_Ｚ(ｚ)＝(2π)^-1/2exp(－ｘ²/2)[ｎ^n/2/{2^n/2-1Γ(ｎ/2)}]ｚ^n-1exp(－ｎｚ²/2) (－∞＜ｘ＜∞,ｚ＞0)ですからｆ_TW(ｔ,ｗ)＝(2π)^-1/2exp{－(ｔｗ)²/2}[ｎ^n/2/{2^n/2-1Γ(ｎ/2)}]ｗⁿexp(－ｎｗ²/2) (－∞＜ｔ＜∞,ｗ＞0)を得ます。

それ故,ｆ_T(ｔ)＝∫₀^∞ (2π)^-1/2exp{－(ｔｗ)²/2}[ｎ^n/2/{2^n/2-1Γ(ｎ/2)}]ｗⁿexp(－ｎｗ²/2)ｄｗ＝[1/{2^(n-1)/2π^1/2Γ(ｎ/2)}]∫₀^∞(ｎ^1/2ｗ)ⁿexp{－ｗ²(ｎ＋ｔ²)/2}ｄｗです。

ｕ＝ｗ²(ｎ＋ｔ²)/2と置換すればｄｕ＝ｗ(ｎ＋ｔ²)ｄｗでｗ＝(2ｕ)^1/2(ｎ＋ｔ²)^-1/2です。ｄｗ＝(2ｕ)^-1/2(ｎ＋ｔ²)^-1/2ｄｕですね。

そこで,ｆ_T(ｔ)＝[1/(ｎπ)^1/2Γ(ｎ/2)]](1＋ｔ²/ｎ)^-(n+1)/2∫₀^∞ｕ^(n+1)/2-1exp(－ｕ)ｄｕ＝[Γ((ｎ＋1)/2)/{(ｎπ)^1/2Γ(ｎ/2)}](1＋ｔ²/ｎ)^-(n+1)/2 (－∞＜ｔ＜∞)を得ます。(証明終わり)

ｔ分布のｐ.ｄ.ｆ:ｆ_T(ｔ)＝[Γ((ｎ＋1)/2)/{(ｎπ)^1/2Γ(ｎ/2)}](1＋ｔ²/ｎ)^-(n+1)/2はオイラーのベータ関数Β(ｐ,ｑ)≡Γ(ｐ)Γ(ｑ)/Γ(ｐ＋ｑ)を用いると,ｆ_T (ｔ)＝ｎ^-1/2Β^-1(1/2,ｎ/2)(1＋ｔ²/ｎ)^-(n+1)/2と表わすこともできます。

ｆ_T(－ｔ)＝ｆ_T(ｔ)(偶関数)ですから,分布関数ではＰ(Ｔ＞－ｔ)＝Ｐ(Ｔ≦ｔ)ですが,Ｐ(Ｔ＞－ｔ)＝1－Ｐ(Ｔ≦－ｔ)ですからＰ(Ｔ≦－ｔ)＝1－Ｐ(Ｔ≦ｔ)です。

そこで,Ｐ(|Ｔ|≦ｔ)＝Ｐ(―ｔ≦Ｔ≦ｔ)＝Ｐ(Ｔ≦ｔ)－Ｐ(Ｔ≦－ｔ)＝2Ｐ(Ｔ≦ｔ)－1です。

通常,資料に載っているｔ分布表では自由度ｎとα＝Ｐ(|Ｔ|＞ｔ^*)を与えたときのｔ^*値が与えられています。

[定義6-18]:ベータ分布:β(ｘ;ｐ,ｑ)

　ｄ.ｆがＦ(ｘ)＝Β^-1(ｐ,ｑ)∫₀^xｕ^p-1(1－ｕ)^q-1ｄｕ (0＜ｘ＜1,ｐ,ｑ＞0),Ｆ(ｘ)＝0 (その他)であるような確率分布をベータ分布といいβ(ｘ;ｐ,ｑ)で表わす。

Β(ｐ,ｑ)はオイラー(Euler)のベータ関数:Β(ｐ,ｑ)≡Γ(ｐ)Γ(ｑ)/Γ(ｐ＋ｑ)ですが,これはΒ(ｐ,ｑ)＝∫₀¹ｕ^p-1(1－ｕ)^q-1ｄｕ (ｐ,ｑ＞0)と表わすこともできます。(証明略)

[定理6-19]:独立な確率変数Ｘ,Ｙがそれぞれｐ.ｄ.ｆとしてパラメータ(ｐ,λ),(ｑ,λ)のベータ分布を持つならＺ≡Ｘ/(Ｘ＋Ｙ)はベータ分布β(ｚ;ｐ,ｑ)を持つ。(証明略)

[定義6-20]:Ｆ分布(スネデカー(Snedecor,G.W)の分布)

確率変数Ｘのｐ.ｄ.ｆがｆ_U(ｘ)＝Β^-1(ｍ/2,ｎ/2)(ｍ/ｎ)^m/2-1ｘ^m/2-1[1＋(ｍ/ｎ)ｘ]^-(m+n)/2 (ｘ＞0),ｆ_U(ｘ)＝0 (ｘ≦0)の場合,この分布を自由度(ｍ,ｎ)のＦ分布という。

[定理6-21]:確率変数Ｘ,Ｙがそれぞれ自由度ｍ,ｎのχ²分布を持てばＵ≡(Ｘ/ｍ)/(Ｙ/ｎ)は自由度(ｍ,ｎ)のＦ分布を持つ。

(証明)ｕ＝(ｘ/ｍ)/(ｙ/ｎ),ｖ＝ｙと置けば(ｘ,ｙ)＝(ｍｕｖ/ｎ,ｖ)であり,∂(ｘ,ｙ)/∂(ｕ,ｖ)＝ｍｖ/ｎです。

　また,ｆ_Ｘ(ｘ)＝[1/{2^m/2Γ(ｍ/2)}]ｘ^m/2-1exp(－ｘ/2) (ｘ＞0),ｆ_Y(ｙ)＝[1/{2^n/2Γ(ｎ/2)}]ｙ^n/2-1exp(－ｙ/2) (ｙ＞0)でｘ＞0,ｙ＞0 はｖ＞0 に対応します。

ＵＶの同時確率密度はｆ_ＵV(ｕ,ｖ)＝ｆ_Ｘ(ｘ)ｆ_Y(ｙ)|∂(ｘ,ｙ)/∂(ｕ,ｖ)|＝[1/{2^(m+n)/2Γ(ｍ/2)Γ(ｎ/2)}](ｍ/ｎ)^m/2-1(ｕｖ)^m/2-1ｖ^n/2-1exp{－ｍｕｖ/(2ｎ)－ｖ/2}(ｍｖ/ｎ) (ｖ＞0)です。

故に,ｆ_Ｕ(ｕ)＝[(ｍ/ｎ)^m/2/{2^(m+n)/2Γ(ｍ/2)Γ(ｎ/2)}ｕ^m/2-1∫₀^∞ｖ^(m+n)/2-1exp{－(1＋ｍｕ/ｎ)ｖ/2}]ｄｖです。

ｔ＝(1＋ｍｕ/ｎ)ｖ/2と置けば,ｄｔ＝(1＋ｍｕ/ｎ)ｄｖ/2です。以下略..でｆ_U(ｕ)＝Β^-1(ｍ/2,ｎ/2)(ｍ/ｎ)^m/2-1ｕ^m/2-1[1＋(ｍ/ｎ)ｕ]^-(m+n)/2 (ｕ＞0)を得ます。(証明終わり)

※Ｆ分布はベータ分布β(ｘ;ｐ,ｑ)＝Β^-1(ｐ,ｑ)ｘ^p-1(1－ｘ)^q-1においてｐ＝ｍ/2,ｑ＝ｎ/2と置いたβ(ｘ;ｍ/2,ｎ/2)＝Β^-1(ｍ/2,ｎ/2)ｘ^m/n-1(1－ｘ)^n/2-1 (ｘ＞0)で,ｕ＝(ｎ/ｍ)ｘ/(1－ｘ) or ｘ＝(ｍ/ｎ)ｕ/{1+(ｍ/ｎ)ｕ}と変換したものに一致します。

また,自由度が１のχ²分布は標準正規分布[0,1]ですから,Ｕ＝(Ｘ/1)/(Ｙ/ｎ)は,[定理6-17]でＸとＹが独立でＸがＮ[0,1],Ｙが自由度ｎのχ²分布を持つならＴ≡Ｘ/(Ｙ/ｎ)^1/2がｔ分布を持つとしたときのＴ²に一致しています。

つまり,Ｔ²＝(Ｘ/1)/(Ｙ/ｎ)ですが,今の定理からこれは自由度(1,ｎ)のＦ分布を持つことがわかります。※

[定理6-22]:確率変数:Ｕが自由度(ｍ,ｎ)のＦ分布を持つなら変数:1/Ｕは自由度(ｎ,ｍ)のＦ分布を持つ。

(証明)Ｕのｐ.ｄ.ｆがｆ_U(ｕ)＝Β^-1(ｍ/2,ｎ/2)(ｍ/ｎ)^m/2-1ｕ^m/2-1[1＋(ｍ/ｎ)ｕ]^-(m+n)/2 (ｕ＞0)のとき,Ｖ≡1/Ｕとおくとｖ＝1/ｕよりｕ＝1/ｖでｄｕ＝ｄｖ/ｖ²です。

　そこで,ｆ_V(ｖ)＝ｆ_U(1/ｖ)/ｖ²＝Β^-1(ｎ/2,ｍ/2)(ｍ/ｎ)^m/2-1ｖ^-m/2-1[1＋ｍ/(ｎｖ)]^-(m+n)/2＝Β^-1(ｎ/2,ｍ/2)(ｎ/ｍ)^m/2-1ｖ^n/2-1[1＋(ｎ/ｍ)ｖ]^-(n+m)/2 (ｖ＞0)を得ます。

　これは自由度(ｎ,ｍ)のＦ分布のｐ.ｄ.ｆです。(証明終わり)

[定理6-22の系]:Ｘ,およびＹがそれぞれ自由度(ｍ,ｎ),および(ｎ,ｍ)のＦ分布を持つとき,任意のｘ＞0 に対してＰ(Ｘ≦ｘ)＝1－Ｐ(Ｙ＜(1/ｘ))が成り立つ。

(証明)Ｙは自由度(ｎ,ｍ)のＦ分布を持つので1/Ｙは自由度(ｍ,ｎ)のＦ分布を持ちます。故にＰ((1/Ｙ)＞ｘ)＝Ｐ(Ｘ＞ｘ)です。したがってＰ(Ｘ≦ｘ) ＝1－Ｐ(Ｘ＞ｘ)＝1－Ｐ(Ｙ＜(1/ｘ))です。(証明終わり)

※Ｆ分布:ｆ_U(ｕ)＝Β^-1(ｍ/2,ｎ/2)(ｍ/ｎ)^m/2-1ｕ^m/2-1[1＋(ｍ/ｎ)ｕ]^-(m+n)/2 (ｕ＞0)において,特にｍ＝1,ｕ＝ｔ²と置けばｄｕ/ｄｔ＝2ｔよりＴのｐ.ｄ.ｆはｆ_Ｔ(ｔ)＝2Β^-1(1/2,ｎ/2)ｎ^1/2(1＋ｔ²/ｎ)^-(n+1)/2とｔ分布になります。

　ただし,ｕ＝ｔ²＞0 にはｔ＝ｕ^1/2＞0 とｔ＝－ｕ^1/2＜0 の２つのｔが対応するため,ｔ＞0 の分布とすれば余分な因子２があります。※

[定理6-23]:自由度ｎのｔ分布のｐ.ｄ.ｆをｆ_n(ｘ)と表わすと,ｎが大きい極限ではlim_n→∞ｆ_n(ｘ)＝(2π)^-1/2exp(－ｘ²/2)(＝標準正規分布Ｎ[0,1])となり,ｔ分布は正規分布Ｎ[0,1]に収束する。(これは中心極限定理の一例です。)

(証明)ｆ_n(ｘ)＝[Γ((ｎ＋1)/2)/{(ｎπ)^1/2Γ(ｎ/2)}](1＋ｘ²/ｎ)^-(n+1)/2＝π^-1/2[Γ((ｎ＋1)/2)/{ｎ^1/2Γ(ｎ/2)}]{(1＋ｘ²/ｎ)^{n/x^2}}^{-(n+1)x^2/(2ｎ)}→π^-1/2exp(－ｘ²/2) as ｎ→∞は明らかです。(証明終わり)

なんかこう教科書を読んで定義,定理,証明とやっていると,行間を埋めながらもブログというより全部書き写しているという感があって大丈夫かな？とも考えます。

しかし,(応用)数学の教科書というのは歴史的に得られた既知の知見の羅列(ある意味ではパクリの連続)であって,それを公開とはいえ個人の日記でかいつまんで紹介しているだけのことですからこれもアリかなと思います。

今日はここで終わります。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

PS：藤田まことさんが死んだから言うわけじゃないが,地球の大多数の人にとっては明日もまたほぼ確実に太陽が昇って日常が始まるのでしょうが,ある人々にとっては明日はもう太陽は昇らないかも知れません。

　少なくともある程度の未来への展望が開けていて明日もまた太陽が昇ると信じられるからこそ,精神の矜持が保たれるのだと思います。

　これまで続いてきた人生が明日にも突然途絶えるかも知れないという心境であれば,普通人の心境はどうなるのでしょう。もしも病気か寿命でわずかしかない余命をハッキリ宣告されたとしたら,私だったらどういう心境になるでしょうか？

　私事では,不摂生な私への脅かしや冗談もあるのでしょうが,これまで病院へ行って持病の診察を受けるといつ死んでもおかしくない体であると言われたり,入院など医者の勧めを断るとその旨を書いたカルテにサインを要求されたりもしてきています。

　現実には３年前の手術のときから,前記のように明日の太陽が昇るかどうか？が結構気になって,あるかもわからない将来についてあくせく考えることが少なくなり,今日明日の１日や２日の取るに足りない程度のことなら真面目に悩むことも比較的少なくなりました。

　生き物としては生命力の喪失だし悲しいことです。無常ですね。。

　藤田まことさんに。。合掌　

　

確率と分布関数(3)(確率変数の関数,特殊分布(離散))

　確率と分布関数の続きです。

　Ｘを(Ω,Ｆ,Ｐ)の確率変数とするとき,

∀ｙ∈Ｒに対して{ω∈Ω|ｇ(Ｘ(ω))≦ｙ}∈Ｆが成り立つならば,

Ｙ≡ｇ(Ｘ)もまた確率変数です。

この確率変数Ｘの関数Ｙの確率変数としての分布を考えます。

[例4-1]:Ｘ,Ｙ＝ｇ(Ｘ)の分布関数,および確率密度関数を,

それぞれＦ_X(Ｘ),Ｆ_Y(Ｙ),およびｆ_X(Ｘ),ｆ_Y(Ｙ)とします。

　Ｘの分布:Ｆ_X(Ｘ),ｆ_X(Ｘ)は既知とします。

(ⅰ)ｇ(ｘ)＝ａｘ＋ｂ (ａ≠0)の場合

分布関数はＦ_Y(Ｙ)＝Ｐ(Ｙ≦ｙ)＝Ｐ(ｇ(Ｘ)≦ｙ)

＝Ｐ(ａＸ＋ｂ≦ｙ)です。

そこで,これは

ａ＞0 ならＦ_Y(Ｙ)＝Ｐ(Ｘ≦(ｙ－ｂ)/ａ)＝Ｆ_X((ｙ－ｂ)/ａ),

ａ＜0 ならＦ_Y(Ｙ)＝Ｐ(Ｘ≧(ｙ－ｂ)/ａ)＝1－Ｆ_X((ｙ－ｂ)/ａ)

です。

　密度関数は,ｆ_Y(Ｙ)＝ｄＦ_Y/ｄＹより,

　ａ＞0 ならｆ_Y(Ｙ)＝(1/ａ)ｆ_X((ｙ－ｂ)/ａ),

　ａ＜0ならｆ_Y(Ｙ)＝－(1/ａ)ｆ_X((ｙ－ｂ)/ａ)　です。

(ⅱ)ｇ(ｘ)＝ｘ²,つまりＹ＝Ｘ²の場合

Ｆ_Y(Ｙ)＝Ｐ(Ｘ²≦ｙ)より,分布関数は,　

ｙ≧0 なら,

Ｆ_Y(Ｙ)＝Ｐ(－ｙ^1/2≦Ｘ²≦ｙ^1/2)＝Ｆ_X(ｙ^1/2)－Ｆ_x(－ｙ^1/2),　

ｙ＜0 なら,Ｆ_Y(Ｙ)＝0

となります。

そこで,密度関数は,

ｙ≧0 ならｆ_Y(Ｙ)＝ｄＦ_Y/ｄＹ＝(1/2){ｆ_X(ｙ^1/2)＋ｆ_X(－ｙ^1/2)},

ｙ＜0 ならｆ_Y(Ｙ)＝0 です。

[定理4-2]:ｇが連続関数で狭義単調関数,かつ微分可能なら,

確率変数Ｙ＝ｇ(Ｘ)の確率密度関数(p.d.f.):ｆ_Y(ｙ)は,

ｆ_Y(ｙ)＝ｆ_X(ｇ^-1(ｙ))|ｄｇ^-1(ｙ)/ｄｙ|で与えられる。

(ｙ＝ｇ(ｘ)が狭義単調関数というのは,逆関数の値ｘ＝ｇ^-1(ｙ)が確定しない停留点が存在しないという意味です。)　(証明略)

※(注);先の例のｇ(ｘ)＝ｘ²,つまりＹ＝Ｘ²の場合:

ｇは狭義単調関数ではないので,狭義単調な区間への場合分けが必要でした。※

[例4-3]:Ｘのp.d.f.ｆ_X(ｘ)が,

　0＜ｘ＜∞に対してはｆ_X(ｘ)＝[1/{2^n/2Γ(ｎ/2)}ｘ^n/2-1exp(－ｘ/2),

それ以外のｘに対してはｆ_X(ｘ)＝0 ,つまり,自由度ｎのχ²分布(カイ二乗分布)の場合,

Ｙ＝Ｘ^1/2のp.d.fを求めます。

ｙ＝ｇ(ｘ)＝ｘ^1/2の逆関数はｘ＝ｇ^-1(ｙ)＝ｙ²です。

そしてｄｇ^-1(ｙ)/ｄｙ＝ｄｘ/ｄｙ＝2ｙです。

これをｆ_y(ｙ)＝ｆ_x(ｇ^-1(ｙ))|ｄｇ^-1(ｙ)/ｄｙ|に代入すると,

0＜ｙ＜∞に対してｆ_Y(ｙ)＝[2/{2^n/2Γ(ｎ/2)}ｙ^n-1exp(－ｙ²/2),

それ以外のｙに対してｆ_Y(ｙ)＝0 　です。

[例4-4]:Ｘのp/d.f.がｆ_X(ｘ)＝(2π)^-1/2exp(－ｘ²/2) ])(－∞＜ｘ＜∞) (標準正規分布:Ｎ[0,1])の場合を考えます。

(ⅰ)Ｙ＝Ｘ²のp.d.f.を求める。

ｙ＞0 のときｙ＝ｇ(ｘ)＝ｘ²とおけば,

ｘの区間(－∞,0)に対応するものはｘ＝ｇ^-1(ｙ)＝－ｙ^1/2で,

ｄｘ/ｄｙ＝－(1/2)ｙ^-1/2,

ｘの区間(0,∞)に対応するものはｘ＝ｇ^-1(ｙ)＝ｙ^1/2で,

ｄｘ/ｄｙ＝(1/2)ｙ^-1/2です。

これらは共にｙ～ｙ＋ｄｙに対応する密度関数に寄与するため,両者の寄与の和を取れば,

ｆ_Y(ｙ)＝(2π)^-1/2{|－(1/2)ｙ^-1/2|exp(－ｙ/2)＋|(1/2)ｙ^-1/2|exp(－ｙ/2)}＝(2π)^-1/2ｙ^-1/2exp(－ｙ/2)となります。

ｙ＜0 のときはｆ_Y(ｙ)＝0 です。

また,ｙ＝0 のときは,分布関数がＦ_Y(0)＝Ｐ(Ｘ²≦0)＝0,

そして,Δｙ＞0 ならＦ_Y(Δｙ)＝Ｆ_Y(Δｙ)＝Ｆ_X((Δｙ)^1/2)－Ｆ_X(－(Δｙ)^1/2)＝(2π)^-1/2exp(－Δｙ/2)(Δｙ)^1/2 ～(2π)^-1/2(Δｙ)^1/2

です。

そこで,Ｆ_Y(ｙ)のｙ＝0 における右導関数が存在して,

それは[ｄＦ_Y/ｄｙ]_ｙ=+0＝lim_Δｙ→+0{(2π)^-1/2(Δｙ)^-1/2}_Δｙ＝+0→ ∞

です。一方,左導関数はゼロです。

結局,ｆ_Y(ｙ)＝(2π)^-1/2ｙ^-1/2exp(－ｙ/2)(ｙ＞0),

ｆ_Y(ｙ)＝0 (ｙ＜0)です。

ｙ＝0 では,分布関数はゼロで有限ですが密度関数は定義できません。

これは後述する自由度が１のχ²分布です。

(ⅱ)Ｙ＝|Ｘ|のp.d.f.

ｙ≧0 のとき,ｙ＝ｇ(ｘ)＝|ｘ|とおけば,

ｘの区間(－∞,0)に対応するものは

ｘ＝ｇ^-1(ｙ)＝－ｙで,ｄｘ/ｄｙ＝－1,

ｘの区間[0,∞)に対応するものは

ｘ＝ｇ^-1(ｙ)＝ｙで,ｄｘ/ｄｙ＝1　です。

ｙ ～ｙ＋ｄｙに対応する密度関数への寄与の和として,

ｆ_Y(ｙ)＝2(2π)^-1/2exp(－ｙ²/2)を得ます。

ｙ＜0 のときはｆ_Y(ｙ)＝0 です。

[定理4-6]:同時確率密度関数(j.p.d.f.)としてｆ(ｘ₁,ｘ₂,..,ｘ_n)を持つｎ個の連続確率変数Ｘ₁,Ｘ₂,..,Ｘ_n.の関数:Ｙ₁,Ｙ₂,..,Ｙ_n

;Ｙ_j＝ｇ_j(Ｘ₁,Ｘ₂,..,Ｘ_n)(ｊ＝1,2,..,n)

　のj.p.d.f.は,

ｆ_Y1..Yn (ｙ₁,..,ｙ_n)＝ｆ(ｇ₁^-1(ｙ₁,..,ｙ_n),..,ｇ_n^-1(ｙ₁,..,ｙ_n))|Ｊ|によって与えられる。

　ここでＪは次式で定義されるJacobian(ヤコービアン):Ｊ≡det{∂(ｇ₁^-1,ｇ₂^-1,..,ｇ_n^-1)/∂(ｙ₁,ｙ₂,..,ｙ_n)}である。

※(注):定理はｎ個の連続確率変数Ｘ₁,Ｘ₂,..,Ｘ_nのｒ≦ｎ個の関数Ｙ₁,Ｙ₂,..,Ｙ_r;Ｙ_j＝ｇ_j(Ｘ₁,Ｘ₂,..,Ｘ_n)(ｊ＝1,2,..,ｒ)のｒ＝ｎの場合のみに対するものです。

　しかし,もしもｒ＜ｎに対してのj.p.d.f.を求めたい場合には残りの(ｎ－ｒ)個の変数としてＹ_r+1＝Ｘ_r+1,..Ｙ_n＝Ｘ_nを加えてｎ個の変数にすれば上記の定理を使えます。

　すなわち,密度関数はｆ(ｘ₁,ｘ₂,..,ｘ_n)ｄｘ₁ｄｘ₂..ｄｘ_n＝ｆ(ｘ₁,ｘ₂,..,ｘ_n){∂(ｘ₁,ｘ₂,..,ｘ_n)/∂(ｙ₁,ｙ₂^-1,..,ｙ_n)}ｄｙ₂..ｄｙ_n＝ｆ_Y1..Yn(ｙ₁,..,ｙ_n)ｄｙ₁ｄｙ₂..ｄｙ_nを満たします。

ｒ＜ｎでｙ_r+1＝ｘ_r+1,..ｙ_n＝ｘ_nなら,

ｆ(ｘ₁,ｘ₂,..,ｘ_n)ｄｘ₁ｄｘ₂..ｄｘ_n＝ｆ(ｘ₁,ｘ₂,..,ｘ_n){∂(ｘ₁,ｘ₂,..,ｘ_n)/∂(ｙ₁,ｙ₂^-1,..,ｙ_n)}ｄｙ₁ｄｙ₂..ｄｙ_rｄｘ_r+1..ｄｘ_nより,

ｆ(ｘ₁,ｘ₂,..,ｘ_n)ｄｘ₁ｄｘ₂..ｄｘ_r＝ｆ(ｘ₁,ｘ₂,..,ｘ_n){∂(ｘ₁,ｘ₂,..,ｘ_n)/∂(ｙ₁,ｙ₂,..,ｙ_n)}ｄｙ₁ｄｙ₂..ｄｙ_r＝ｆ_Y1..Yr(ｙ₁,..,ｙ_r)ｄｙ₁ｄｙ₂..ｄｙ_rです。

このとき,det{∂(ｘ₁,ｘ₂,..,ｘ_n)/∂(ｙ₁,ｙ₂,..,ｙ_n)}

＝det{∂(ｘ₁,ｘ₂,..,ｘ_r)/∂(ｙ₁,ｙ₂,..,ｙ_r)}となります。

(注終わり)※

[例4-7]:Ｘのpd.f.が.偶関数ｆ_X(ｘ)のとき,Ｙ＝ａＸ²(ａ＞0)のp.d.f.ｆ_Y(ｙ)を求めます。

　まず,∀ｘ∈Ｒについてｙ＝ａｘ²≧0 なので,

　ｙ＜0のときｆ_Y(ｙ)＝0です。

そして,ｙ＞0 のとき,

ｆ_X(ｘ)＝ｙとなるｘはｘ＝±(ｙ/ａ)^1/2,ｄｘ/ｄｙ＝±(1/2)(ａｙ)^-1/2 (複号同順)です。

ｘ₁＝－(ｙ/ａ)^1/2,ｘ₂＝(ｙ/ａ)^1/2とおけば,

ｄｘ₁＝－(ａｙ)^-1/2ｄｙ,ｄｘ₂＝(ａy)^-1/2ｄｙより,

ｆ_Y(ｙ)ｄｙ＝ｆ_X(－(ｙ/ａ)^1/2)ｄｘ₁＋ｆ_X((ｙ/ａ)^1/2)ｄｘ₂＝(ａy)^-1/2{ｆ_X(－(ｙ/ａ)^1/2)＋ｆ_X((ｙ/ａ)^1/2)}ｄｙを得ます。

ここではｆ_X(ｘ)が偶関数なのでｆ_Y(ｙ)＝2(ａy)^-1/2{ｆ_X((ｙ/ａ)^1/2)}となります。

[例4-8]:確率変数:Ｘ,Ｙのj.p.d.f.が,

　ｆ(ｘ,y)＝1 (0＜ｘ＜1,0＜ｙ＜1),ｆ(ｘ,y)＝0 (それ以外)のとき,

　Ｚ＝Ｘ＋Ｙのp.d.f.ｆ_Z(ｚ)を求めます。

　そのために,まずＺ＝Ｘ＋Ｙ,Ｔ＝Ｙとおいて,

　ＺとＴのj.p.d.f.ｆ_ZT(ｚ,t)を求めます。

　ｚ＝ｘ＋ｙ,ｔ＝ｙと置けば,ｘ＝ｚ－ｔ,ｙ＝ｔです。

Jacobianは|Ｊ|＝det{∂(ｘ,ｙ)/∂(ｚ,t)}＝1ですから,

　ｆ_zT(ｚ,t)＝ｆ(ｚ－ｔ,ｔ)です。

　そこで,ｆ_ZT(ｚ,t)＝1 (0＜ｔ＜1,0＜ｚ－ｔ＜1),

　ｆ_zT(ｚ,t)＝0 (それ以外)です。

そこで,ｆ_Z(ｚ)＝∫_-∞^∞ｆ_ZT(ｚ,t)ｄｔにより,周辺分布関数としてｆ_Z(ｚ)を得ます。

結局,ｚ≦0,またはｚ≧2ならｆ_Z(ｚ)＝0,

　0≦ｚ≦1ならｆ_Z(ｚ)＝∫₀^zｄｔ＝ｚです。

また,1≦ｚ≦2ならｆ_Z(ｚ)＝∫_z-1¹ｄｔ＝2－ｚです。

さて,よく使われる実用的な特殊確率分布を考察します。

まず,代表的な離散分布を挙げます。

[定義5-1]:超幾何分布(hypergeometric distribution)

　ｐ_x＝Ｐ(Ｘ＝ｘ)＝(_kＣ_x・_N-kＣ_n-x)/(_NＣ_n)(ｘ＝0,1,2,..,min(ｋ,ｎ))なる式で与えられる確率分布を超幾何分布といい,Ｈ(ｘ,ｎ,ｋ,Ｎ)で表わす。

これは,例えば中にｋ個の赤球と(Ｎ－ｋ)個の白球の合計Ｎ個の球が入っている１つの壷からｎ個の球を取り出すとき,その中に含まれる赤球の個数を表わす確率変数をＸとすれば,Ｘ＝ｘである確率ｐ_xが従う確率分布です。

[定理5-2]:超幾何分布:Ｈ(ｘ,ｎ,ｋ,Ｎ)＝(_kＣ_x・_N-kＣ_n-x)/(_NＣ_n)においてｐ≡ｋ/Ｎが一定の要素(例えばＮ個の製品の中にｋ個の不良品がある不良品率:ｐが一定)では,Ｎ→ ∞とすればＨ(ｘ,ｎ,ｋ,Ｎ) → _nＣ_xｐ^x(1－ｐ)^n-x (２項分布)となる。

(証明) Ｈ(ｘ,ｎ,ｋ,Ｎ)＝[ｋ!/{ｘ!(ｋ－ｘ)!}][(Ｎ－ｋ)!/{(ｎ－ｘ)!(Ｎ－ｋ－ｎ＋ｘ)![ｎ!(Ｎ－ｎ)!/Ｎ!]＝_nＣ_x[ｋ(ｋ－1)..(ｋ－ｘ＋1)][(Ｎ－ｋ)(Ｎ－ｋ－1)..(Ｎ－ｋ－ｎ＋ｘ＋1)]/[Ｎ(Ｎ－1)..(Ｎ－ｎ＋1)]です。

右辺は_nＣ_x[ｐ(ｐ－1/Ｎ)..(ｐ－(ｘ－1)/Ｎ)][(1－ｐ)(1－ｐ－1/Ｎ)..(1－ｐ－(ｎ－ｘ＋1)/Ｎ)/[(1－1/Ｎ)..(1－(ｎ－1)/Ｎ)] → _nＣ_xｐ^x(1－ｐ)^n-x as Ｎ → ∞です。(証明終わり)

※ラプラス(Laplace)の近似式:ラプラスによれば離散的な２項分布(以下参照)はΣ_x=a^b _nＣ_xｐ^x(1－ｐ)^n-x ≒(2π)^-1/2∫exp(－ｙ²/2)ｄｙと連続的な正規分布で近似できます。

ただし右辺のｙの積分区間は,(ａ－ｎｐ－1/2)/{ｎｐ(1－ｐ)}^1/2≦ｙ≦(ｂ－ｎｐ＋1/2)/{ｎｐ(1－ｐ)}^1/2で与えられます。※

[定義5-3]:２項分布(binomal distribution)

　確率変数Ｘ'の取り得る値が 0,または 1のみであるとき,ｐ＝Ｐ(Ｘ'＝1),ｑ＝Ｐ(Ｘ'＝0)＝1－ｐとする。

　分布関数はＦ(ｘ)＝0 (ｘ＜0),ｑ (0＜ｘ＜1),1 (ｘ≧1)である。これをベルヌーイ(Beronoulli)分布という。

　例えば硬貨を投げて裏が出ると0,表が出ると1を対応させる関数として上述の確率変数Ｘ'を得る。このように硬貨をｎ回投げるようなゲームの試行をベルヌーイ試行,または独立試行という。

正確なベルヌ－イ試行は次の３つの条件を持つ試行と定義される。

(1)  各試行の結果として排反事象Ｔ,Ｈのどちらか１つが起きる。

(2)  各試行の結果は他のそれと独立である。

(3)  各試行でＨが起こる確率ｐは試行ごとに変わらない。

この試行列の標本空間Ωの元:ωはω＝(ω₁,ω₂,..,ω_n);ω_j＝Ｈ or Ｔ (ｊ＝1,2,..,ｎ)で表現される。

このｎベルヌーイ試行でＨが出る回数をＸと表わせば,ｐ_x≡Ｐ(Ｘ＝ｘ)＝_nＣ_xｐ^xｑ^n-x (ｘ＝0,1,2,..,ｎ;ｑ＝1－ｐ)である。これを２項分布といいｂ(ｘ,ｎ,ｐ)と書く。

これは,確率変数Ｘ＝Ｘ₁'＋Ｘ₂'＋..Ｘ_n'の分布になっている。

[定理5-4]:ｎｐ＝λ(一定)の下でｎ→ ∞(ｐ→ 0)とすれば２項分布ｂ(ｘ,ｎ,ｐ)はＰ(ｘ;λ)＝λ^xexp(－λ)/ｘ! (＝ポアソン(Poisson)分布)に近づく。

(証明) ｂ(ｘ,ｎ,ｐ)＝_nＣ_xｐ^xｑ^n-x＝ｎ(ｎ－1)..(ｎーｘ＋1)(λ/ｎ)^x(1－λ/ｎ)^n-x/ｘ!＝λ^x(1－1/ｎ)..{1－(ｘ－1)/ｎ}(1－λ/ｎ)ⁿ(1－λ/ｎ)^-x/ｘ!→λ^xexp(－λ)/ｘ!(ｎ→∞)です。(証明終わり)

※(注):Σ_x=0^d _nＣ_xｐ^x(1－ｐ)^n-x≒exp(－ｎｐ)Σ_x=0^d(ｎｐ)^x/ｘ!をポアソン近似といいます。

　そこで,ポアソン分布:Ｐ(ｘ;λ)はＨが出る回数の期待値がλ(＝(ｎｐ)_n→∞＝一定)の条件下で,Ｈの出る回数がｘである確率を表わすと考えられます。(注終わり)※

[定理5-5]:時刻ｔ＝1,2,3,..においてそれぞれ１個の硬貨を投げる。各時刻ｔで表(Ｈ),裏(Ｔ)の出る確率をそれぞれｐ,ｑ(ｐ＋ｑ＝1)とし,確率変数Ｙ_tはＨ,Ｔに応じて１,－1を取るとする。すなわち,Ｐ(Ｙ_t＝1)＝ｐ,Ｐ(Ｙ_t＝－1)＝ｑである。

　このとき,Ｘ(ｊ)≡Σ_t=0^jＹ_t＝と置けばＸ(0)＝0 の下でＰ(Ｘ(ｊ)＝ｎ)＝_jＣ_(j+n)/2ｐ^(j+n)/2ｑ^(j-n)/2 (－ｊ≦ｎ≦ｊ)が成り立つ。ただし,(ｊ＋ｎ)が偶数のｎしか実現不可能である。

(証明)このケースでは標本はω＝(ＨＨＴＨＨＨＴＨＴ..)のような形を取ります。Ｘ(ｊ) ≡Σ_t=0^jＹ_t＝ｎのとき,表の回数をｋ,裏の回数をｌとするとｋ＋ｌ＝ｊ,ｋ－ｌ＝ｎです。

そこで,2ｋ＝ｊ＋ｎ,2ｌ＝ｊ－ｎより(ｊ＋ｎ),(ｊ－ｎ)は偶数でｋ＝(ｊ＋ｎ)/2,ｌ＝(ｊ－ｎ)/2です。そこで,Ｐ(Ｘ(ｊ)＝ｎ)＝_jＣ_kｐ^kｑ^l＝_jＣ_(j+n)/2ｐ^(j+n)/2ｑ^(j-n)/2を得ます。(証明終わり)

※この種の現象をランダム・ウォーク(酔歩)といいます。

　つまり,酔っ払いが原点Ｏから右に一歩(＋1)か左に一歩(－1)のどちらかの蛇行を繰り返してｊ歩だけ歩いた後,Ｏから右にｎ歩の位置にいる確率が上記のＰ(Ｘ(ｊ)＝ｎ)です。(2006年９/14のブログ記事「酔歩(ランダム・ウォーク」を参照)※

さて,改めてポアソン分布を次のように定義します。

[定義5-6]:Ｐ(Ｘ＝ｊ)＝λ^jexp(－λ)/ｊ!(ｊ＝0,1,2,..)のときＸはパラメータλのポアソン分布を持つという。

※(注):ポアソン過程によるポアソン分布の導出

　ある事象の発生が時間的にランダムであるとき,一定時間内にそれが発生する個数を考察します。

すなわち,次のような３つの仮定を満たす過程を考察します。これをポアソン過程といいます。

(Ａ1):任意の時間内の発生個数はそれと重ならない時間内の発生個数と独立である。

(Ａ2):微小時間をΔｔとするとＰ({Δｔ内には発生しない})＝1－λΔｔ＋ｏ((Δｔ)²),Ｐ({Δｔ内に１個発生する})＝λΔｔ＋ｏ((Δｔ)²),Ｐ({Δｔ内に２個以上発生する})＝ｏ((Δｔ)²)である。(λ＞0)

(Ａ3):時間間隔(0,ｔ)内にｊ個が発生する確率をＰ_j(ｔ)で表わすとき,ｊ≧0 の全てのｊに関してＰ_j(ｔ)はｔに関して微分可能である。

　以上の仮定の下で,Ｐ_j(ｔ)＝(λｔ)^jexp(－λｔ)/ｊ! (ｊ＝0,1,2,..)が成り立つ

(証明) 0≦ｔ₁＜ｔ₂に対して(ｔ₁,ｔ₂)内にｊ個が発生するという事象をＮ_j(ｔ₁,ｔ₂)で表わします。

　積事象を積で表現すれば,Ｎ₀(0,ｔ＋Δｔ)＝Ｎ₀(0,ｔ)Ｎ₀(ｔ,ｔ＋Δｔ),ｊ≧1ならＮ_j(0,ｔ＋Δｔ)＝Ｎ_j(0,ｔ)Ｎ₀(ｔ,ｔ＋Δｔ)＋Ｎ_j-1(0,ｔ)Ｎ₁(ｔ,ｔ＋Δｔ)＋Σ_k=2^jＮ_j-k(0,ｔ)Ｎ_k(ｔ,ｔ＋Δｔ)です。

　そこで,Ｐ_j(ｔ)＝Ｐ[Ｎ_j(0,ｔ)]ですから確率としては,Ｐ₀(ｔ＋Δｔ)＝Ｐ₀(ｔ){1－λΔｔ＋ｏ((Δｔ)²)},かつＰ_j(ｔ＋Δｔ)＝Ｐ_j(ｔ){1－λΔｔ＋ｏ(((Δｔ)²))＋Ｐ_j-1(ｔ){λΔｔ＋ｏ((Δｔ)²)}＋ｏ((Δｔ)²)(ｊ≧1)です。

　Δｔ→ 0 とするとｄＰ₀/ｄｔ＝－λＰ₀(ｔ),ｄＰ_j/ｄｔ＝－λＰ_j(ｔ)＋λＰ_j-1(ｔ))(ｊ≧1)なる連立１階常微分方程式系を得ます。

　これらを初期条件Ｐ₀(0)＝1,Ｐ_j(0)＝0(ｊ≧1)の下で解けばＰ_j(ｔ)が得られるわけです。

解くべき方程式は定係数の線形方程式で係数が二重対角の三角行列の簡単なものです。計算の詳細は省いて結果だけ書くとＰ_j(ｔ)＝(λｔ)^jexp(－λｔ)/ｊ! !(ｊ＝0,1,2,..)です。(証明終わり)(注終わり)※

[定義5-7]:幾何分布(geometrical distribution)

　無限回のベルヌーイ試行列において初めて裏(Ｔ)が出るまでの試行回数(最後の裏の出た回も含める)をＸと表わせばｊ≧1に対してｐ_j≡Ｐ(Ｘ＝ｊ)＝ｐ^j-1ｑ (ｐ＝Ｐ(Ｈ),ｑ＝1－ｐ＝Ｐ(Ｔ))が成り立つ。

この離散的確率分布{ｐ_j;ｊ＝1,2,..}を幾何分布,またはパスカル(Pascal)分布という。

[定理5-8]:幾何分布{ｐ_j;ｊ≧1}を持つ確率変数Ｘは関係式:Ｐ(Ｘ＝ｎ＋ｊ|Ｘ＞ｎ)＝ｐ_j (ｊ≧1) (＝マルコフ(Markov)性)を満たす。

(証明)Ｐ(Ｘ＝ｎ＋ｊ|Ｘ＞ｎ)＝Ｐ(Ｘ＝ｎ＋ｊかつＸ＞ｎ)/Ｐ(Ｘ＞ｎ)＝Ｐ(Ｘ＝ｎ＋ｊ)/Ｐ(Ｘ＞ｎ)＝ｐ_n+j/(Σ_k=n+1^∞ｐ_k)＝ｐ^n+j-1ｑ/(Σ_k=n+1^∞ｐ^k-1ｑ)＝ｐ^j-1ｑ＝ｐ_jです。(証明終わり)

[定理5-9]:確率分布ｐ_j≡Ｐ(Ｘ＝ｊ)が等式:ｐ_j＝Ｐ(Ｘ＝ｎ＋ｊ|Ｘ＞ｎ) (ｎ,ｊ＝1,2,..)を満たすなら,ｐ_j＝ｐ^j-1ｑ (ｊ＝1,2,..,ｑ＝1－ｐ)である。

(証明)ｐ_j＝ｐ_j+n/(Σ_k=n+1^∞ｐ_k)においてｎ＝1と置けばｐ_j＝ｐ_j+1/(Σ_k=2^∞ｐ_k)です。故にｐ_j+1/ｐ_j＝Σ_k=2^∞ｐ_k＝1－ｐ₁です。

　そこで,ｐ≡1－ｐ₁と置くとｐ_j+1＝ｐｐ_j(等比数列)です。

　したがってｐ_j＝ｐ^j-1ｐ₁＝(1－ｐ)ｐ^j-1＝ｐ^j-1ｑ (ｊ＝1,2,..,ｑ＝1－ｐ)を得ます。(証明終わり)

今日はここで終わります。

次回は特殊な連続確率分布の例に入ります。(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

PS:カナダの冬季オリンピックスピード・スケート500ｍ。。地元のジェレミー・ウォザースプーンは泣いていました。残念でした。

　かつてのアメリカのダン・ジャンセン(最後1000ｍでは勝ったが。。)を思い出してしまいました。。。

　ノルディック複合で当時無敵だった荻原健司も五輪の個人では勝てなかったなあ。。。

　国母くんのことについての私の感想。。中学,高校の髪の毛の色や服装の検査じゃあるまいし。。オリンピックにも校則のようなものがあるんかい？。。ファッションなんて変遷するもんです。