確率と分布関数(1)(確率の定義)

　ちょっと調べる必要があって1988年(38歳でまだ大型コンピュータで仕事をしていてパソコンもネットも知らなかったのどかな時代)にコツコツとまとめた確率と統計のノートから抜粋します。

　最初は定義と定理の列挙です。定理の証明は簡単なものが多いので基本的には省略します。

　まず,Ｒを実数全体の集合とします。

[定義1-1]:Ｒの部分集合族のうちで次の性質を持つ最大の集合族ＢをＲのボレル集合族(Borel family of sets)と呼ぶ。

(1) Ｍ₁,Ｍ₂,..,∈Ｂ なら,∪_k=1^∞Ｍ_k∈Ｂ

(2) Ｍ∈Ｂ,Ｎ∈Ｂ なら,Ｍ－Ｎ∈Ｂ

(3) ａ∈Ｒ,ｂ∈Ｒ,ａ＜ｂなら(ａ,ｂ)∈Ｂ

これから,またＢ は以下の性質も有することがわかります。

(4) Ｒ∈Ｂ,φ∈Ｂ

(5) Ｎ∈ＢならＮ^c≡Ｒ－Ｎ∈Ｂ

(6) Ｍ₁,Ｍ₂,..,∈Ｂ なら∩_k=1^∞Ｍ_k∈Ｂ

(7) ∀ａ∈Ｒについて(ａ,∞)∈Ｂ,{ａ}∈Ｂ

[定義1-2]:試行の結果の全体:Ωを標本空間または確率事象といい,

　Ωの元ωを根源事象または素事象という。

　Ωの部分集合をＡ,Ｂ,Ｃ,..と表記し,各々を単に事象という。

　ある事象Ａ⊂Ωを与えたとする。

　ω∈Ａのとき,ωは事象Ａの１つの結果である。

　または,ωが起これば事象Ａが起こった。　という。

事象Ａ,Ｂ∈Ωを与えたとき,ＡまたはＢが起これば事象Ａ∪Ｂが起こったという。

事象Ａ,Ｂが共に起こればＡ∩Ｂが起こったという。

また,Ａ^c≡Ω－ＡをＡの余事象という。

空集合φは実現不可能な事象をいう。

[定義1-3]:確率事象Ωの部分集合族Ｆ が次の３条件を満たすときＦ をσ-集合体(σ-加法族)という。

(1)  Ａ∈Ｆ ならＡ^c∈Ｆ

(2)  Ａ₁,Ａ₂,..,∈Ｆ なら∪_n=1^∞Ａ_n∈Ｆ

(3)  Ω∈Ｆ 

　そしてσ-集合体Ｆ の元を改めて事象と定義する。

※この定義からＦ は次の３つの性質も有することがわかります。

(1) φ∈Ｆ

(2) Ａ₁,Ａ₂,..,∈Ｆ なら∩_n=1^∞Ａ_n∈Ｆ

(3) Ａ₁,Ａ₂,..,∈Ｆ ならlimsup _n→∞Ａ_n∈Ｆ,liminf _n→∞Ａ_n∈Ｆ

　ただし,

　limsup _n→∞Ａ_n≡∩_n=1^∞∪_j=n^∞Ａ_j,liminf _n→∞Ａ_n≡∪_n=1^∞∩_j=n^∞Ａ_j

　です。それぞれ,集合族{Ａn}の上極限,下極限と呼ばれます。

　常にliminf _n→∞Ａ_n⊂limsup _n→∞Ａ_nですが,

　特にliminf _n→∞Ａ_n＝limsup _n→∞Ａ_nのとき,この共通の集合をlim _n→∞Ａ_nと記して集合族{Ａ_n}の極限集合と呼びます。

[例1-4]:集合族{Ω,φ}も１つのσ-集合体と見なせます。

[定義1-5]:Ａ,Ｂ∈ＦでＡ∩Ｂ＝φのとき,

　"事象Ａと事象Ｂは互いに排反である",

　または,"ＡとＢは排反事象である"　という。

[定理1-6]:集合列{Ａ_n}(Ａ_n∈Ｆ,ｎ＝1,2,..)が非減少列:

　Ａ₁⊂Ａ₂⊂..⊂Ａ_n⊂Ａ_n+1⊂..なら,

　Ａ≡∪_n=1^∞Ａ_nは互いに排反な事象の和として表わされる。

(証明)Ｂ₁≡Ａ₁,Ｂ_k≡Ａ_k－Ａ_k-1(ｋ＝2,3,..)と置けば,

　ｉ＜ｊのときＢ_i∩Ｂ_j＝φ(排反)です。

　そして,Ａ≡∪_n=1^∞Ａ_n＝Σ_k=1^∞Ｂ_kと書けるのは明らかです。　

(証明終わり)

※ついでに,集合演算の規則:(∪_n=1^∞Ａ_n)∩Ｂ＝∪_n=1^∞(Ａ_n∩Ｂ)

　も挙げておきます。

[定義2-1]:(確率の定義)

(1)古典的な確率の定義

１つの試行の結果としてｎ個の素事象が同等の確からしさで起こるとき,各素事象:ω_j∈Ωに対して1/ｎを割り当てる。

すなわち,各々の素事象ω_jに対して,

Ｐ({ω_j})≡1/ｎ(ｊ＝1,2,..,ｎ)とし,

事象ＡがＡ＝{ω₁,ω₂,..,ω_r}＝{ω₁}∪{ω₂}∪..∪{ω_r}なら,　

Ｐ(Ａ)≡Ｐ({ω₁})＋Ｐ({ω₂})＋..＋Ｐ({ω_r})＝ｒ/ｎ

とする集合関数Ｐ(Ａ)を事象Ａの確率という。

あるいは,事象Ａの元の個数をＮ(Ａ)とするとき,　

Ｐ(Ａ)≡Ｎ(Ａ)/Ｎ(Ω)　とする。

(2)相対頻度による定義

同じ条件の下で試行をｎ回繰り返したとき,

事象Ａが起こった回数をＮ(Ａ)とすれば,

相対頻度ｆ_nはｆ_n(Ａ)＝Ｎ(Ａ)/ｎと書ける。

このとき,次式の右辺の極限値が存在するなら,

Ｐ(Ａ)≡lim_n→∞ｆ_n(Ａ)　を事象Ａの確率という。

(3)公理による定義(Kolmogorovによる)

確率とは次の３条件を満たし,Ωの部分集合の族の"あるσ-集合体Ｆ の任意の元＝事象"に対して定義された集合関数である。

この"３条件＝確率の公理"は,以下の通りである。

公理1:∀Ａ∈Ｆに対してＰ(Ａ)≧0

公理2:Ｐ(Ω)＝1

公理3(完全加法的):i≠jのときＡ_i∩Ａ_j＝φなる事象列{Ａ_n}に対し,Ｐ(∪_n=1^∞Ａ_n)＝Σ_n=1^∞Ｐ(Ａ_n)が成り立つ。

そして,Ω,Ｆ,Ｐをまとめて(Ω,Ｆ,Ｐ)と表記し,確率空間と呼ぶ。

この定義からＰは以下の性質を持つことがわかります。

(1)  Ｐ(φ)＝0

(2)  Ａ∈Ｆ のときＰ(Ａ^c)＝1－Ｐ(Ａ)

(3)  Ａ,Ｂ∈Ｆ でＡ⊂ＢならＰ(Ａ)≦Ｐ(Ｂ)

(4)  ∀Ａ∈Ｆ に対してＰ(Ａ)≦1

(5)  Ａ,Ｂ∈Ｆ のときＰ(Ａ^c∩Ｂ)＝Ｐ(Ｂ)－Ｐ(Ａ∩Ｂ)

(6)  Ａ,Ｂ∈Ｆ のときＰ(Ａ∪Ｂ)＝Ｐ(Ａ)＋Ｐ(Ｂ)－Ｐ(Ａ∩Ｂ)

(7)  事象列{Ａ_n}が非減少列であって,Ａ≡lim_n→∞Ａ_n＝∪_n=1^∞Ａ_nな

Ｐ(Ａ)＝lim_n→∞Ｐ(Ａ_n)である。

(8)  事象列{Ａ_n}が非増加列であってＡ≡lim_n→∞Ａ_n＝∩_n=1^∞Ａ_nなら

Ｐ(Ａ)＝lim_n→∞Ｐ(Ａ_n)である。

※そして,実は非減少列,非増加列に限らず,

　極限集合:Ａ＝lim_n→∞Ａ_nが存在すればＰ(Ａ)＝lim_n→∞Ｐ(Ａ_n)が成立します。

また,Ａ,Ｂ∈Ｆ のとき,　

Ｐ(Ａ∪Ｂ)＝Ｐ(Ａ)＋Ｐ(Ｂ)－Ｐ(Ａ∩Ｂ)

なる公式の応用として,

Ａ,Ｂ,Ｃ∈Ｆ のとき,　

Ｐ(Ａ∪Ｂ∪Ｃ)＝Ｐ(Ａ)＋Ｐ(Ｂ)＋Ｐ(Ｃ)－Ｐ(Ａ∩Ｂ)－Ｐ(Ｂ∩Ｃ)－Ｐ(Ｃ∩Ａ)＋Ｐ(Ａ∩Ｂ∩Ｃ)　

が成立すること

も容易に示せます。

[例2-2]:Ω≡{ω₁,ω₂,..}を可算集合,

　{ｐ₁,ｐ₂,..}をΣ_n=1^∞ｐ_n＝1,ｐ_k≧0 (ｋ＝1,2,..)を満たす実数集合

　とします。

　このとき,∀Ｍ⊂Ωに対して集合関数Ｐを

　Ｐ(Ｍ)≡Σ_(ωi∈M)ｐ_iと定義すれば,

　Ｐは確率の公理を満たします。

[例2-3]:Ω≡{ω|ａ≦ω≦ｂ},Ａ≡{ω|ｃ≦ω≦ｄ}(ａ≦ｃ,ｂ≦ｄ)に対して,集合関数ＬをＬ(Ω)≡ｂ－ａ,Ｌ(Ａ)≡ｄ－ｃで定義し,

ＰをＰ(Ａ)≡Ｌ(Ａ)/Ｌ(Ω)＝(ｄ－ｃ)/(ｂ－ａ)で定義すると,

　Ｐは確率の公理を満たします。

[定義2-4]:２つの事象をＡ,Ｂ∈Ｆ とする。

　Ｐ(Ｂ)＞0 のとき,Ｐ(Ａ|Ｂ)≡Ｐ(Ａ∩Ｂ)/Ｐ(Ｂ)を,

"事象Ｂが確実に起きたという前提の下での事象Ａの条件付確率"

という。

　また,Ｐ(Ａ∩Ｂ)を事象ＡとＢの同時確率という。

[定理2-5](乗法公式):Ａ₀,Ａ₁,Ａ₂,.,Ａ_nを(ｎ＋1)個の事象とする。

　もしも,Ｐ(∩_j=0^n-1Ａ_j)＞0 なら,　

　Ｐ(∩_j=0ⁿＡ_j)＝Ｐ(Ａ₀)Ｐ(Ａ₁|Ａ₀)Ｐ(Ａ₂|Ａ₁∩Ａ₀.,)..

　Ｐ(Ａ_n|∩_j=0^n-1Ａ_j) が成り立つ。

[定理2-6]:[定義2-4]においてＢをＰ(Ｂ)＞0 の事象とすれば,

　Ｂを固定したときの条件付確率を与える関数Ｐ(・|Ｂ)は,

　確率の公理を満たすので,

　(Ω,Ｆ,Ｐ(・|Ｂ))は１つの確率空間を作る。

[定理2-7](全確率の公式):可算個の排反事象列:{Ａ_n}が,

　Ｐ(Ａ_n)＞0,∪_n=1^∞Ａ_n＝Ωを満たすとき,

事象Ｂの確率はＰ(Ｂ)＝Σ_n=1^∞Ｐ(Ａ_n)Ｐ(Ｂ|Ａ_n)である。

[定理2-8](ベイズ(Bayes)の公式):

　前定理と同じ条件の下で,　

　Ｐ(Ａ_j|Ｂ)＝Ｐ(Ａ_j)Ｐ(Ｂ|Ａ_j)/[Σ_n=1^∞Ｐ(Ａ_n)Ｐ(Ｂ|Ａ_n)]

　が成立する。

[定理2-9]:Ａ∩Ｃ＝φ,Ｐ(Ｂ)＞0 なら,

　Ｐ(Ａ∪Ｃ|Ｂ)＝Ｐ(Ａ|Ｂ)＋Ｐ(Ｃ|Ｂ)　

　である。

[定義2-10]:２つの事象Ａ,Ｂが独立であるとは,

　Ｐ(Ａ∩Ｂ)＝Ｐ(Ａ)Ｐ(Ｂ)なることである。

　２つの事象Ａ,Ｂが独立でＰ(Ｂ)＞0 なら,

　Ｐ(Ａ|Ｂ)＝Ｐ(Ａ)である。

[定理2-11]:事象Ａ,Ｂが互いに排反:Ａ∩Ｂ＝φで,

　Ｐ(Ａ)＞0,Ｐ(Ｂ)＞0ならＡ,Ｂは独立では有り得ない。

[定理2-12]:ｎ個の事象Ａ₁,Ａ₂,.,Ａ_nが独立であるとは,

　"全てのｋ≦ｎなるｋに対するＡ₁,Ａ₂,.,Ａ_kについて,

　(2ⁿ－ｎ－1)個の等式:Ｐ(∩_j=1^kＡ_j)＝Π_j=1^kＰ(Ａ_j)

　が成立すること" である。

[定理2-13]:(1)Ｐ(Ａ∩Ｂ)≧1－Ｐ(Ａ^c)－Ｐ(Ｂ^c),(2)Ｐ((∩_j=1ⁿＡ_j)≧1－Σ_j=1ⁿＰ(Ａ_j^c)である。

[定義3-1]:確率変数Ｘ＝Ｘ(ω)はΩ上で定義される関数で,

有限値を取り(i.e.Ｐ({ω∈Ω|－∞＜Ｘ(ω)＜∞})＝1),

しかも∀ｘ∈Ｒに対して[ω∈Ω|Ｘ(ω)≦ｘ]が１つの事象となるものをいう。

すなわち,定義の条件は,

∀ｘ∈Ｒに対して[ω∈Ω|Ｘ(ω)≦ｘ]∈Ｆ

となることです。

以下では集合[ω∈Ω|Ｘ(ω)≦ｘ]を略記号:(Ｘ≦ｘ)で表記することにします。

[定理3-2]:Ωを定義域とし空でない実数集合を値域とする任意関数をＸと置くと,

　∀ｘ∈Ｒに対し,

(1)∪_n=1^∞(Ｘ≦ｘ－1/2ⁿ)＝(Ｘ＜ｘ),

(2)∩_n=1^∞(Ｘ≦ｘ＋1/2ⁿ)＝(Ｘ≦ｘ)

である。

これから,(Ｘ≦ｘ)∈Ｆだけでなく(Ｘ＜ｘ)∈Ｆである,

ことがわかる。

そしてσ-集合体Ｆの性質から,

(Ｘ＞ｘ),(ｘ＜Ｘ≦ｙ),(ｘ≦Ｘ＜ｙ),(Ｘ＝ｘ)

も全てＦの元になる,こともわかる。

Ｘを確率変数,ｘ∈Ｒをある定数とすると,Ｘをｘに割り当てる標本点(素事象)の集合:Ａ_x≡{ω∈Ω|Ｘ(ω)＝ｘ}が定義できて,

それはある確率:ｐ＝Ｐ(Ａ_x)∈[0,1]を持ちます。

[定理3-3]:同じ確率空間(Ω,Ｆ,Ｐ)上でＸ,Ｙが共に確率変数のとき,

(1)Ｘ＋Ｙ (2)ｋＸ(ｋ∈Ｒ) (3)Ｘ²

は確率変数である。

また,(4)(Ｙ＝0)＝φなら,Ｘ/Ｙも確率変数である。

これから,Ｘ,Ｙが共に確率変数なら,

ＸＹ＝(1/4){(Ｘ＋Ｙ)²－(Ｘ－Ｙ)²},

(max(Ｘ,Ｙ)≦ｘ)＝(Ｘ≦ｘ)∩(Ｙ≦ｘ)により,

ＸＹとmax(Ｘ,Ｙ)も確率変数です。

[定理3-4]:集合Ａ⊂Ωに対して,　　

　ω∈ＡならＩ_A(ω)＝1,ω∈Ａ^cならＩ_A(ω)＝0 　

　で定義されるΩ上の集合関数Ｉ_AをＡの定義関数,

　または,指示関数という。

　Ｉ_Aが確率変数となるための必要十分条件はＡ∈Ｆである。

(証明)ｘ＜0 なら(Ｉ_A≦ｘ)＝φ,0≦ｘ＜1なら(Ｉ_A≦ｘ)＝Ａ^c,ｘ≧1なら(Ｉ_A≦ｘ)＝Ωですが,φ∈Ｆ,Ω∈Ｆは自明です。

　そして,"Ａ^c∈Ｆ はＡ∈Ｆ と同値"ですから,Ｉ_A(ω)が確率変数となるための必要十分条件はＡ∈Ｆです。(証明終わり)

特にΩ∈Ｆですから,Ｉ_Ωは１つの確率変数です。

そしてｘ＜1なら(Ｉ_A≦ｘ)＝φ,ｘ≧1なら(Ｉ_A≦ｘ)＝Ωです。

そこで,ｘ＜0ならＰ(Ｉ_A≦ｘ)＝0,0≦ｘ＜1ならＰ(Ｉ_A≦ｘ)＝1－Ｐ(Ａ),ｘ≧1ならＰ(Ｉ_A≦ｘ)＝1です。

ノートを書き写すだけの作業ですが,ここで一休みします。

(つづく)

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)