確率と分布関数(11)(区間推定)(終了)

　確率と分布関数の続きです。今日の記事でこの課題は終わりです。 

[定義14-1]:母集団分布ｐ(ｘ;θ)を持つ母集団からの任意標本をＸ₁,Ｘ₂,..,Ｘ_nとし,適当な正の数:(1－α)＞0 (例えば 0.95(α＝0.05),0.90(α＝0.10),..)を与えます。

これに対して,これらの標本の適当な関数θ^₁(Ｘ₁,Ｘ₂,..,Ｘ_n),θ^₂(Ｘ₁,Ｘ₂,..,Ｘ_n)を選んでＰ(θ^₁(Ｘ₁,Ｘ₂,..,Ｘ_n)＜θ＜θ^₂(Ｘ₁,Ｘ₂,..,Ｘ_n))＝1－αが成立するようにできるとき,この区間(θ^₁,θ^₂)を信頼度(confidence level)が(1－α)×100％の信頼区間(confidence interval)という。

また,θ^₁,θ^₂の値を信頼限界(confidence limit)という。

[例14-2]:信頼度:(1－α)×100％の信頼区間(θ^₁,θ^₂)を求める方法

(1)任意標本をＸ₁,Ｘ₂,..,Ｘ_nと母数θを含む確率変数(統計量):Ｔ(Ｘ₁,Ｘ₂,..,Ｘ_n;θ)であって,その確率密度関数:ｇ(ｔ)がθを含まないものを選ぶ。

(2)Ｐ(ｔ₁＜Ｔ(Ｘ₁,Ｘ₂,..,Ｘ_n;θ)＜ｔ₂)＝∫_t1^t2ｇ(ｔ)ｄｔ＝1－α (0＜α＜1)を満たすｔ₁,ｔ₂を求める。

(3)左辺のｔ₁＜Ｔ(Ｘ₁,Ｘ₂,..,Ｘ_n;θ)＜ｔ₂を変形してＰ(θ^₁(Ｘ₁,Ｘ₂,..,Ｘ_n)＜θ＜θ^₂(Ｘ₁,Ｘ₂,..,Ｘ_n))＝1－αを満たす(θ^₁,θ^₂)を求める。

[例14-3]:正規母集団(normal population):Ｎ[μ,σ²]の母平均μの区間推定

(1)σ²が既知(σ²＝σ₀²)の場合

　母集団分布の確率密度関数はｐ(ｘ;μ)＝(2π)^-1/2σ₀^-1exp{－(ｘ－μ)²/(2σ₀²)}です。

任意標本Ｘ₁,Ｘ₂,..,Ｘ_nに対し,標本平均を＜Ｘ＞≡Σ_j=1ⁿＸ_j/ｎと置き,＜Ｘ＞をμの推定量とすると,これは明らかにＥ[＜Ｘ＞]＝μを満たすのでμの不偏推定量(unbiased estimator)です。

また,Var[＜Ｘ＞]＝σ₀²/ｎにより推定量の有効性(efficiency)はｅ[＜Ｘ＞]≡(ｎＥ[{∂[logｐ(Ｘ;μ)]/∂μ}²]Var[＜Ｘ＞])^-1＝1です。そしてlim _n→∞ Ｐ(|＜Ｘ＞－μ|≧ε)＝0 も成立するため,＜Ｘ＞は有効推定量,一致推定量(consistent estimator)でもあります。

そして,変数＜Ｘ＞は正規分布:Ｎ[μ,σ₀²/ｎ]に従うため,変数:ｎ^1/2(＜Ｘ＞－μ)/σ₀は標準正規分布:Ｎ[0,1]に従います。

それ故,1－α＝Ｐ(－ｘ₀＜ｎ^1/2(＜Ｘ＞－μ)/σ₀＜ｘ₀)＝Ｐ(＜Ｘ＞－ｘ₀σ₀/ｎ^1/2＜μ＜＜Ｘ＞＋ｘ₀σ₀/ｎ^1/2)；(2π)^-1/2∫_-x0^x0exp(－ｔ²/2)ｄｔ＝1－α,or (2π)^-1/2∫₀^x0exp(－ｔ²/2)ｄｔ＝(1－α)/2と表現できます。

　μ^₁≡＜Ｘ＞－ｘ₀σ₀/ｎ^1/2,μ^₂≡＜Ｘ＞＋ｘ₀σ₀/ｎ^1/2と置くと,これらはＸ₁,Ｘ₂,..,Ｘ_nの関数です。結局,この場合の(1－α)×100％信頼区間は,(μ^₁,μ^₂)≡(＜Ｘ＞－ｘ₀σ₀/ｎ^1/2,＜Ｘ＞＋ｘ₀σ₀/ｎ^1/2)となります。

μ^₁,μ^₂は確率変数ですが,区間の長さは(μ^₂－μ^₁)＝2ｘ₀σ₀/ｎ^1/2で一定です。

　もしも,α＝0.05を与えて 1－α＝0.95,or (1－α)/2＝0.475 とすればｘ₀≒1.96なので,95％信頼区間は,(＜Ｘ＞－1.96σ₀/ｎ^1/2,＜Ｘ＞＋1.96σ₀/ｎ^1/2)で与えられることがわかります。

(2)σ²が未知の場合

　任意標本Ｘ₁,Ｘ₂,..,Ｘ_nに対して,標本平均を＜Ｘ＞≡Σ_j=1ⁿＸ_j/ｎと置き,やはり＜Ｘ＞をμの推定量μ^とします。前と同様,Ｅ[＜Ｘ＞]＝μであり＜Ｘ＞はμの不偏推定量です。

また,Ｓ²≡Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²/ｎとします。こうすればｎＳ²/σ²＝Σ_j=1ⁿ{(Ｘ_j－＜Ｘ＞)²/σ²}です。

ただし,今はμの推定量＜Ｘ＞を問題にしているので余談になりますが,３/12の記事「確率と分布関数(8)」の[定理11-5]:"Ｅ[{Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)²}/(ｎ－1)]＝σ²"によれば,分散σ²の不偏推定量はＳ²ではなく不偏分散:Ｓ₀²≡Σ_j=1ⁿ{(Ｘ_j－＜Ｘ＞)²/(ｎ－1)}です。

そして,ｎ変数:Ｘ₁－＜Ｘ＞,Ｘ₂－＜Ｘ＞,..,Ｘ_n－＜Ｘ＞は全て正規分布:Ｎ[0,σ²]を持ちますが,Σ_j=1ⁿ(Ｘ_j－＜Ｘ＞)＝0 ですから,独立な確率変数は(ｎ－1)個だけです。

そこで,２/19の記事「確率と分布関数(4)」の[定理6-15の系]:"Ｘ₁,Ｘ₂,..,Ｘ_nが全て正規分布Ｎ[μ,σ²]を持つｎ個の独立確率変数ならばΣ_j=1ⁿ{(Ｘ_j－μ)²/σ²}は自由度ｎのχ²分布を持つ。"からｎＳ²/σ²＝Σ_j=1ⁿ{(Ｘ_j－＜Ｘ＞)²/σ²}は自由度(ｎ－1)のχ²分布に従います。

　また,(＜Ｘ＞－μ)/(σ/ｎ^1/2)は標準正規分布:Ｎ[0,1]に従うことがわかっています。

「確率と分布関数(4)」の[定理6-17]:"確率変数ＸとＹが独立でＸがＮ[0,1],Ｙが自由度ｎのχ²分布を持つならばＴ≡Ｘ/(Ｙ/ｎ)^1/2は自由度ｎのｔ分布を持つ。"により,Ｔ≡{(＜Ｘ＞－μ)/(σ/ｎ^1/2)}/[ｎＳ²/{(ｎ－1)σ²}]^1/2＝(ｎ－1)^1/2(＜Ｘ＞－μ)/Ｓ＝(＜Ｘ＞－μ)/Ｓ₀と置けばＴは自由度(ｎ－1)のｔ分布に従います。

　よって,1－α＝Ｐ(－ｔ₀＜(＜Ｘ＞－μ)/Ｓ₀＜ｔ₀)＝Ｐ(＜Ｘ＞－ｔ₀Ｓ₀＜μ＜＜Ｘ＞＋ｘ₀Ｓ₀);[Γ(ｎ/2)/{(ｎ－1)πΓ((ｎ－1)/2)}^1/2]∫_-t0^t0{1＋ｔ²/(ｎ－1)}^-n/2ｄｔ＝1－α,or );[Γ(ｎ/2)/{(ｎ－1)πΓ((ｎ－1)/2)}^1/2]∫₀^t0{1＋ｔ²/(ｎ－1)}^-n/2ｄｔ＝(1－α)/2を得ます。

そこで,この場合は(1－α)×100％信頼区間は(μ^₁,μ^₂)≡(＜Ｘ＞－ｔ₀Ｓ₀,＜Ｘ＞＋ｔ₀Ｓ₀)となります。

ここまで,簡単なケースについて母集団からの標本によって母数の「区間推定(interval estimation)」を行うという概念を紹介しましたが,この他,同じく母集団からの標本に基づいて,"ある仮説＝帰無仮説(null hypothesis)"の「仮説検定(test of hypothesis)」を行なうという概念もあります。

こちらは,"標本から得られる統計量が有意水準(significance level):αの母集団の確率分布の(1－α)の範囲からはずれていれば,母数に関する仮説が誤っている可能性が強い。"と判断します。

まあ,推定と検定はその推論の向きが逆の関係であるというだけで本質的な差異はないと思われるので,検定の詳細は省略します。

少し具体的な検定の例として2007年３/23の記事「タミフルと異常行動の因果性」があるので,よかったら参照してください。

さて,重回帰式(multiple regression):Ｙ＝ｘ₁β₁＋ｘ₂β₂＋..＋ｘ_pβ_p＋ε＝Σ_k=1^pｘ_kβ_k＋εの回帰係数(regression voefficients):β^₁,β^₂,..β^_pの区間推定,または有意性検定を論じるために,前記事「確率と分布関数(10)」の最後の部分を再掲します。

◎(再掲記事):

[定義13-5]:ｎ個の標本Ｙ₁,Ｙ₂,..,Ｙ_nをＹ_j＝ｘ_j1β₁＋ｘ_j2β₂＋..＋ｘ_jpβ_p＋ε_j＝Σ_k=1^pｘ_jkβ_k＋ε_j (ｊ＝1,2,..,ｎ)と置く。ただしβ_k(ｋ＝1,2,..,ｐ)は未知母数でありｘ_jk(j＝1,2,..,ｎ;ｋ＝1,2,..,ｐ)は既知定数である。

ε_j(ｊ＝1,2,..,ｎ)は誤差で,これらは互いに独立な確率変数であって全てＮ[0,σ²]に従うと仮定する。これを線形回帰モデルという。

β^_kをβ_kの推定量とするとき,Ｙ_j－Σ_k=1^pｘ_jkβ^_k(ｊ＝1,2,..,ｎ)を残差(residual)という。残差の平方和:Ｑ(β^)＝Σ_j=1ⁿ(Ｙ_j－Σ_k=1^pｘ_jkβ^_k)²を最小にする回帰係数:β^＝(β^₁,β^₂,.., β^_p)を求める方法を最小二乗法(method of minimum square)という。

先にＱ(β^₁,β^₂)の最小値を与えるβ^₁,β^₂を回帰係数とする回帰直線ｙ＝β^₁＋β^₂ｘを求めた手続きを単回帰(sigle redression)と呼ぶのに対して上記のｐ≧3の手続きを重回帰(multiple linear regression)という。

そして,Ｑ(β^)が最小になるための必要条件:－(1/2)(∂Ｑ/∂β^_k)＝Σ_j=1ⁿ[ｘ_jk{Ｙ_j－(ｘ_j1β^₁＋ｘ_j2β^₂＋..＋ｘ_jpβ^_p)}]＝0 (ｋ＝1,2,..,ｐ)を正規方程式(normal equations)と呼ぶ。

※(注):具体的に正規方程式を解きます。

正規方程式はΣ_j=1ⁿ(ｘ_jkｘ_j1β^₁＋ｘ_jkｘ_j2β^₂＋..＋ｘ_jkｘ_jpβ^_p)＝Σ_j=1ⁿｘ_jkＹ_j (ｋ＝1,2,..,ｐ)です。

Ｓ_kl≡Σ_j=1ⁿｘ_jkｘ_jl,Ｄ_k≡Σ_j=1ⁿｘ_jkＹ_jと置けば,正規方程式はΣ_l=1^pＳ_klβ^_l＝Ｄ_k (ｋ＝1,2,..,ｐ)と書けます。これは(ｐ×ｐ)係数行列Ｓとｐ次元縦ベクトル:β^≡^t(β^₁,β^₂,..,β^_p),Ｄ≡^t(Ｄ₁,Ｄ₂,..,Ｄ_p)による行列表現ではＳβ^＝Ｄです。

また,Ｙ＝^t(Ｙ₁,Ｙ₂,..,Ｙ_n),ｘ_k≡^t(ｘ_1k,ｘ_2k,..,ｘ_nk) (ｋ＝1,2,..,ｐ)なるｎ次元縦ベクトルを用いるとＳ_kl＝Σ_j=1ⁿｘ_jkｘ_jl＝^tｘ_kｘ_l,Ｄ_k＝Σ_j=1ⁿｘ_jkＹ_j＝^tｘ_kＹ(ｋ,ｌ＝1,2,..,ｐ)ですから,(ｎ×ｐ)行列ＸをＸ≡(ｘ₁,ｘ₂,..,ｘ_p)で定義すると,Ｓ＝^tＸＸ,Ｄ＝^tＸＹと書けます。

さらに,Ｙ_j＝Σ_k=1^pｘ_jkβ_k＋ε_j (ｊ＝1,2,..,ｎ)もβ≡^t(β₁,β₂,..,β_p),ε≡^t(ε₁,ε₂,..,ε_n)により,Ｙ＝Ｘβ＋εですからＤ＝^tＸＹ＝Ｓβ＋^tＸεです。

Ｓ＝^tＸＸについてdetＳ≠0と仮定すれば,Ｔ＝(ｔ_ij)≡Ｓ^-1が存在するので正規方程式Ｓβ^＝Ｄから,"β^＝Ｓ^-1Ｄ＝ＴＤなる解＝回帰係数"が得られます。

Ｘ＝(ｘ₁,ｘ₂,..,ｘ_p)は既知定数成分の行列なのでＳ＝^tＸＸ,Ｔ＝Ｓ^-1も確率変数ではないため,Ｅ[β^]＝Ｓ^-1Ｅ[Ｄ]＝Ｓ^-1Ｅ[Ｓβ＋^tＸε]＝Ｅ[β]＋Ｓ^{-1 t}ＸＥ[ε]＝βよりβ^はβの不偏推定量です。(注終わり)※

[定理13-6]:Cov(β^_i,β^_j)＝ｔ_ijσ²,特にVar(β^_i)＝ｔ_iiσ² (ｉ,ｊ＝1,2,..,ｐ),またＱ(β^)＝Σ_j=1ⁿＹ_j²－Σ_k=1^pＤ_kβ^_kであり,Ｅ[Ｑ]＝(ｎ－ｐ)σ²である。(再掲終わり)◎

さて,Ｑ(β^)を改めてＳ_e²≡Σ_j=1ⁿ(Ｙ_j－Σ_k=1^pｘ_jkβ^_k)²と定義すれば,定理からＥ[Ｓ_e²]＝Ｅ[Ｑ]＝(ｎ－ｐ)σ²です。そしてコクラン(Cochran)によれば,Ｓ_e²/σ²は自由度(ｎ－ｐ)のχ²分布に従います。

ｐ個の説明変数ｘ₁,ｘ₂,..,ｘ_pと定数項β₀を持つ重回帰式:Ｙ＝β₀＋ｘ₁β₁＋..＋ｘ_pβ_p＋ε＝β₀＋Σ_k=1^pｘ_kβ_k＋εは,(ｐ＋1)個の説明変数ｘ₁,ｘ₂,..,ｘ_p+1による式:Ｙ＝ｘ₁β₁＋ｘ₂β₂＋..＋ｘ_p+1β_p+1＋ε＝Σ_k=1^p+1ｘ_kβ_k＋εにおいてｘ₁＝1とした後,変数の添字を(ｘ_k,β_k) → (ｘ_k-1,β_k-1)とシフトしたものに一致します。

そこで,このときの誤差の二乗和Ｓ_e²＝Σ_j=1ⁿ(Ｙ_j－β^₀－Σ_k=1^pｘ_jkβ_k^)²から作った統計量Ｓ_e²/σ²は自由度(ｎ－ｐ)ではなく自由度(ｎ－ｐ－1)のχ²分布に従います。

そこで,Ｖ_e≡Ｓ_e²/(ｎ－ｐ－1)と置くと,これはＥ[Ｖ_e]＝σ²を満たすので,これが重回帰モデルにおける不偏分散です。

これは,確かに単回帰Ｙ＝β^₁＋β^₂ｘ(ｐ＋1＝2)のときの不偏分散Ｓ_e²/(ｎ－2)の拡張になっています。

不偏分散Ｖ_eを用いると,(ｎ－ｐ－1)Ｖ_e＝Ｓ_e²/σ²が自由度(ｎ－ｐ－1)のχ²分布に従うと表現できます。

一方,回帰係数:β^_i(ｉ＝0,1,2,..,ｐ)はβ^＝Ｓ^-1Ｄ＝ＴＤ,Ｄ＝^tＸＹでＥ[β^_i]＝β_i,Var(β^_i)＝ｔ_iiσ²により,正規分布Ｎ[β_i,ｔ_iiσ²]に従うことがわかります。そこで(β_i－β_i)/(ｔ_ii^1/2σ)は標準正規分布Ｎ[0,1]に従います。

そこで,再び先述の「確率と分布関数(4)」の[定理6-17]:"確率変数ＸとＹが独立でＸがＮ[0,1],Ｙが自由度ｎのχ²分布を持つならばＴ≡Ｘ/(Ｙ/ｎ)^1/2は自由度ｎのｔ分布を持つ。"から,(β^_i－β_i)/(ｔ_iiＶ_e)^1/2は自由度(ｎ－ｐ－1)のｔ分布に従うことが言えます。

以上から,ｔ分布の(1－α)信頼区間:(－ｔ₀,ｔ₀)を,1－α＝Ｐ(－ｔ₀＜(β^_i－β_i)/(ｔ_iiＶ_e)^1/2＜ｔ₀)で与えることができます。

このｔ₀値を具体的にｔ分布表から読めば(1－α)信頼区間が得られるわけです。例えば自由度が(ｎ－ｐ－1)＝60の場合にα＝0,05,1－α＝0.95の95％信頼区間を与えるｔ₀はｔ₀＝2.00です。

なお,これを書く動機となった先輩から受けた質問の2010年２/５の２度目のメールの内容は以下の通りです。

◎:一寸,多重回帰で質問です。

「ｔ値」って分かりやすい言葉で説明したらどうなりますか？

ｔ値の式は,[変量ｉのt値(i)]＝[回帰係数(i)／標準誤差(i)]です。

ただし,標準誤差(i)＝root(ｓ_ii・Ｖ_e)

ｓ_ii：偏差平方和,偏差積和行列の逆行列のii成分

Ｖ_e：不偏分散＝(残差平方和)/(ｎ－ｐ－1)

ｎ：サンプル数

ｐ：説明変量の数,です。

この変量ｉの標準誤差(i)が良く分かりません。

又,(ｓ_ii:偏差平方和,偏差積和行列の逆行列のii成分)とは何のことかも分かりません。

　EXCELである説明変量を100倍して回帰を取ったら,ちゃんと回帰係数は元の100分の1になるけれどｔ値は変わらないんだね。

　標準誤差が偏差平方和,偏差積和行列の逆行列を基にして求められているからだろうと思うけれど。

それと一般に(ネットで見たけれど),ｔ値の絶対値が２以上だったら良いというのはどういう理由か分かりますか？

以上,簡単な日本語で説明できればお願いします。◎

※(注):メール上の行列Ｓ＝(ｓ_ij)は私の説明ではＴ＝(ｔ_ij)＝Ｓ^-1なので,ｓ_iiにはｔ_iiが対応している他は,共通の記号を使用しています。これで質問に対する回答は全て答えたと思います。(了)※

しかし,ちょっとした質問を動機にして昔(約20年前)勉強したノ－ト３冊全部を読み直し,自分の復習やより深い理解を目指してくどい説明をしたためウザイと取られたと想像します。

しかし,私の勝手な自己満足の方は十分充足されました。

取り合えず,シリーズ記事の１つのテーマは片付いたので,次から別の課題に集中できます。

参考文献:藤沢武久 著「新編 確率・統計」(日本理工出版会)

ＰＳ:３/25(木) 朝起きたら頭が痛くて寒気がする。。ウーン,この身体は天侯,気温通りだなあ。。部屋の中に古い精神安定剤が落ちてたのでそれを飲んで寝ます。