統計検定準1級 分布・公式一覧
このページはプロモーション(広告)を含みます。
付録
この付録は,本文で学んだ内容を「試験直前に見返す」「問題を解いていて公式を確認したい」ときのための資料集です.新しい内容は含まず,本文(各章)で導出・解説した結果を一覧の形に整理しています.導出や使い方の注意は,各項目に示した章に戻って確認してください.
A 主要な確率分布一覧:WB第5章・第6章の全分布について,確率(密度)関数・台・期待値・分散・積率母関数・再生性・主な関係を1分布1表で整理し,分布間の関係図を付けました.
B 推定・検定の公式一覧:区間推定と検定を「状況 $\to$ 統計量 $\to$ 帰無分布 $\to$ 棄却域・信頼区間」の流れで一覧にしました.分散分析表の形もまとめています.
C 準1級 重要公式チェックリスト:第1章から第32章と補章(統計的因果推論)の最重要公式を,章ごとのチェックリストにしました.□に印をつけながら確認してください.
D 数学の道具箱:微分積分と線形代数のうち,準1級で繰り返し使う道具の要点です.
本書・ワークブック共通の記法として,上側 $100\alpha\%$ 点を $z_\alpha$,$t_\alpha(m)$,$\chi^2_\alpha(k)$,$F_\alpha(m,n)$ と書きます($P(Z>z_\alpha)=\alpha$ など).ガンマ分布 $\mathrm{Ga}(\alpha,\lambda)$ は形状 $\alpha$,率 $\lambda$(密度に $e^{-\lambda x}$)の流儀,指数分布 $\mathrm{Ex}(\lambda)$ も率 $\lambda$(平均 $1/\lambda$)の流儀です.尺度 $\theta=1/\lambda$ で $\mathrm{Ga}(\alpha,\theta)$(平均 $\alpha\theta$)と書く本もあるので,問題文では密度の式で確認してください.幾何分布・負の二項分布は「成功までの失敗回数」で定義し,「試行回数」版を併記しています.$\mathrm{N}(\mu,\sigma^2)$ の第2引数は分散です.$q=1-p$ と書くことがあります.不偏分散は $s^2=\frac{1}{n-1}\sum(X_i-\bar X)^2$ です.
A 主要な確率分布一覧
各表の「母関数」の行は,特に断らない限り積率母関数 $M_X(t)={\operatorname{E}}[e^{tX}]$ です.離散型では確率母関数 $G_X(s)={\operatorname{E}}[s^X]$ も併記しました($M_X(t)=G_X(e^t)$ の関係があります).「再生性」は,独立な同じ族の確率変数の和が同じ族に入る性質です(第5章・第6章).
A.1 離散型分布(WB第5章)
| 離散一様分布$\{1,2,\dots,N\}$ 上の一様分布 | |
|---|---|
| 確率関数 | $P(X=x)=\dfrac1N$ |
| 台・母数 | $x=1,2,\dots,N$;$N$ は正の整数 |
| 期待値・分散 | ${\operatorname{E}}[X]=\dfrac{N+1}{2}$,${\operatorname{V}}[X]=\dfrac{N^2-1}{12}$ |
| 母関数 | $M_X(t)=\dfrac{e^t(e^{Nt}-1)}{N(e^t-1)}$ ($t\ne0$),$G_X(s)=\dfrac{s(1-s^N)}{N(1-s)}$ |
| 再生性 | なし(2個のさいころの和は三角形の分布になる) |
| 主な関係 | 公正なさいころは $N=6$(${\operatorname{E}}=3.5$,${\operatorname{V}}=35/12$).$\{0,1\}$ 上の一様分布はベルヌーイ分布 $p=\frac12$.$N\to\infty$ で $X/N$ は $\mathrm{U}(0,1)$ に近づく |
| ベルヌーイ分布$\mathrm{Bernoulli}(p)$ | |
|---|---|
| 確率関数 | $P(X=x)=p^x(1-p)^{1-x}$ |
| 台・母数 | $x=0,1$;$0\le p\le1$ |
| 期待値・分散 | ${\operatorname{E}}[X]=p$,${\operatorname{V}}[X]=p(1-p)=pq$ |
| 母関数 | $M_X(t)=q+pe^t$,$G_X(s)=q+ps$ |
| 再生性 | なし(ただし独立な $n$ 個の和は $\mathrm{Bin}(n,p)$) |
| 主な関係 | 指示変数 $\mathbb{1}_A$ そのもので ${\operatorname{E}}[\mathbb{1}_A]=P(A)$.$X^2=X$ なので ${\operatorname{E}}[X^2]=p$ |
| 二項分布$\mathrm{Bin}(n,p)$ | |
|---|---|
| 確率関数 | $P(X=x)=\dbinom nx p^x(1-p)^{n-x}$ |
| 台・母数 | $x=0,1,\dots,n$;$n$ は正の整数,$0\le p\le1$ |
| 期待値・分散 | ${\operatorname{E}}[X]=np$,${\operatorname{V}}[X]=np(1-p)$.最頻値($0<p<1$):$(n+1)p$ が整数でなければ $\lfloor(n+1)p\rfloor$,整数 $m$ なら $m-1$ と $m$ の2つ |
| 母関数 | $M_X(t)=(q+pe^t)^n$,$G_X(s)=(q+ps)^n$ |
| 再生性 | $\mathrm{Bin}(n_1,p)+\mathrm{Bin}(n_2,p)=\mathrm{Bin}(n_1+n_2,p)$($p$ が共通のとき) |
| 主な関係 | ベルヌーイ $n$ 個の和.$n\to\infty$,$np=\lambda$ 一定で $\mathrm{Po}(\lambda)$(少数法則).$np(1-p)$ が大きければ $\mathrm{N}(np,np(1-p))$ で近似(連続修正 $\pm0.5$).多項分布の周辺分布 |
| 超幾何分布全 $N$ 個(うち当たり $M$ 個)から $n$ 個を非復元抽出 | |
|---|---|
| 確率関数 | $P(X=x)=\dfrac{\dbinom Mx\dbinom{N-M}{n-x}}{\dbinom Nn}$ |
| 台・母数 | $\max(0,\,n-N+M)\le x\le\min(n,M)$ |
| 期待値・分散 | $p=M/N$ として ${\operatorname{E}}[X]=np$,${\operatorname{V}}[X]=np(1-p)\cdot\dfrac{N-n}{N-1}$ |
| 母関数 | 簡単な閉じた形はない |
| 再生性 | なし |
| 主な関係 | $\frac{N-n}{N-1}$ は有限母集団修正($n=N$ で分散0).$M/N=p$ を保って $N\to\infty$ とすると $\mathrm{Bin}(n,p)$.フィッシャーの正確検定(第28章)の帰無分布 |
| ポアソン分布$\mathrm{Po}(\lambda)$ | |
|---|---|
| 確率関数 | $P(X=x)=e^{-\lambda}\dfrac{\lambda^x}{x!}$ |
| 台・母数 | $x=0,1,2,\dots$;$\lambda>0$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\lambda$,${\operatorname{V}}[X]=\lambda$(平均と分散が等しい).最頻値:$\lambda$ が整数でなければ $\lfloor\lambda\rfloor$,正の整数なら $\lambda-1$ と $\lambda$ の2つ |
| 母関数 | $M_X(t)=\exp\{\lambda(e^t-1)\}$,$G_X(s)=e^{\lambda(s-1)}$ |
| 再生性 | $\mathrm{Po}(\lambda_1)+\mathrm{Po}(\lambda_2)=\mathrm{Po}(\lambda_1+\lambda_2)$ |
| 主な関係 | 二項分布の極限($n\to\infty$,$np=\lambda$).$X_1\sim\mathrm{Po}(\lambda_1)$,$X_2\sim\mathrm{Po}(\lambda_2)$ 独立なら $X_1\mid X_1+X_2=t\sim\mathrm{Bin}\bigl(t,\frac{\lambda_1}{\lambda_1+\lambda_2}\bigr)$.ポアソン過程の区間内の件数.$\lambda$ がガンマ分布に従う混合は負の二項分布.$P(\mathrm{Po}(\lambda x)\ge n)=P(\mathrm{Ga}(n,\lambda)\le x)$ |
| 幾何分布$\mathrm{Geo}(p)$(最初の成功までの失敗回数 $X$) | |
|---|---|
| 確率関数 | $P(X=x)=pq^x$(試行回数 $Y=X+1$ なら $P(Y=y)=pq^{y-1}$,$y\ge1$) |
| 台・母数 | $x=0,1,2,\dots$;$0<p\le1$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\dfrac qp$, ${\operatorname{V}}[X]=\dfrac q{p^2}$(${\operatorname{E}}[Y]=\dfrac1p$,${\operatorname{V}}[Y]=\dfrac q{p^2}$) |
| 母関数 | $M_X(t)=\dfrac{p}{1-qe^t}$ ($t<-\log q$),$G_X(s)=\dfrac{p}{1-qs}$ |
| 再生性 | なし(独立な $r$ 個の和は負の二項分布) |
| 主な関係 | $P(X\ge x)=q^x$.無記憶性 $P(X\ge m+n\mid X\ge m)=P(X\ge n)$ をもつ唯一の離散分布(指数分布の離散版).負の二項分布の $r=1$ |
| 負の二項分布$\mathrm{NB}(r,p)$($r$ 回目の成功までの失敗回数 $X$) | |
|---|---|
| 確率関数 | $P(X=x)=\dbinom{r+x-1}{x}p^rq^x$(試行回数 $Y=X+r$ なら $\binom{y-1}{r-1}p^rq^{y-r}$) |
| 台・母数 | $x=0,1,2,\dots$;$r>0$(実数でも可:$\binom{r+x-1}{x}=\frac{\Gamma(r+x)}{\Gamma(r)x!}$),$0<p\le1$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\dfrac{rq}p$, ${\operatorname{V}}[X]=\dfrac{rq}{p^2}$(${\operatorname{E}}[Y]=\dfrac rp$) |
| 母関数 | $M_X(t)=\Bigl(\dfrac{p}{1-qe^t}\Bigr)^r$ ($t<-\log q$),$G_X(s)=\Bigl(\dfrac{p}{1-qs}\Bigr)^r$ |
| 再生性 | $\mathrm{NB}(r_1,p)+\mathrm{NB}(r_2,p)=\mathrm{NB}(r_1+r_2,p)$($p$ 共通) |
| 主な関係 | 幾何分布 $r$ 個の和.${\operatorname{V}}[X]={\operatorname{E}}[X]/p>{\operatorname{E}}[X]$(過分散).$X\mid\lambda\sim\mathrm{Po}(\lambda)$,$\lambda\sim\mathrm{Ga}(r,b)$ なら $X\sim\mathrm{NB}\bigl(r,\frac{b}{1+b}\bigr)$.$r\to\infty$,$rq/p=\lambda$ 一定で $\mathrm{Po}(\lambda)$ |
| 多項分布$\mathrm{Mult}(n;\,p_1,\dots,p_k)$ | |
|---|---|
| 確率関数 | $P(X_1=x_1,\dots,X_k=x_k)=\dfrac{n!}{x_1!\cdots x_k!}\,p_1^{x_1}\cdots p_k^{x_k}$ |
| 台・母数 | $x_i\ge0$,$\sum_i x_i=n$;$p_i\ge0$,$\sum_i p_i=1$ |
| 期待値・分散 | ${\operatorname{E}}[X_i]=np_i$, ${\operatorname{V}}[X_i]=np_i(1-p_i)$, ${\operatorname{Cov}}[X_i,X_j]=-np_ip_j$ ($i\ne j$) |
| 母関数 | $M(t_1,\dots,t_k)=\bigl(p_1e^{t_1}+\cdots+p_ke^{t_k}\bigr)^n$ |
| 再生性 | $\mathrm{Mult}(n_1;{\boldsymbol{p}})+\mathrm{Mult}(n_2;{\boldsymbol{p}})=\mathrm{Mult}(n_1+n_2;{\boldsymbol{p}})$ |
| 主な関係 | 周辺 $X_i\sim\mathrm{Bin}(n,p_i)$.カテゴリを併合しても多項分布.共分散が負なのは合計 $n$ が固定だから.${\operatorname{V}}[X_i-X_j]=n\{p_i+p_j-(p_i-p_j)^2\}$(第9章の比率の差の区間).独立な $\mathrm{Po}(\lambda_i)$ を合計で条件付けると多項分布 |
A.2 連続型分布(WB第6章)
| 連続一様分布$\mathrm{U}(a,b)$ | |
|---|---|
| 密度関数 | $f(x)=\dfrac1{b-a}$,分布関数 $F(x)=\dfrac{x-a}{b-a}$ |
| 台・母数 | $a\le x\le b$;$a<b$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\dfrac{a+b}2$,${\operatorname{V}}[X]=\dfrac{(b-a)^2}{12}$ |
| 母関数 | $M_X(t)=\dfrac{e^{bt}-e^{at}}{(b-a)t}$ ($t\ne0$,$M_X(0)=1$) |
| 再生性 | なし(独立な2個の和は三角分布) |
| 主な関係 | $\mathrm{U}(0,1)=\mathrm{Be}(1,1)$.$U\sim\mathrm{U}(0,1)$ なら $-\frac1\lambda\log U\sim\mathrm{Ex}(\lambda)$(逆関数法,第32章).$\mathrm{U}(0,1)$ の $n$ 個の順序統計量の第 $k$ 番目は $\mathrm{Be}(k,n-k+1)$.連続分布の $F(X)$ は $\mathrm{U}(0,1)$ |
| 正規分布$\mathrm{N}(\mu,\sigma^2)$ | |
|---|---|
| 密度関数 | $f(x)=\dfrac{1}{\sqrt{2\pi\sigma^2}}\exp\Bigl\{-\dfrac{(x-\mu)^2}{2\sigma^2}\Bigr\}$ |
| 台・母数 | $-\infty<x<\infty$;$\mu\in\mathbb{R}$,$\sigma^2>0$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\mu$,${\operatorname{V}}[X]=\sigma^2$.歪度0,尖度3(超過尖度0) |
| 母関数 | $M_X(t)=\exp\bigl(\mu t+\tfrac12\sigma^2t^2\bigr)$ |
| 再生性 | 独立なら $\mathrm{N}(\mu_1,\sigma_1^2)+\mathrm{N}(\mu_2,\sigma_2^2)=\mathrm{N}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$.一般に $aX+b\sim\mathrm{N}(a\mu+b,a^2\sigma^2)$ |
| 主な関係 | $Z=(X-\mu)/\sigma\sim\mathrm{N}(0,1)$.$Z^2\sim\chi^2(1)$.$\bar X\sim\mathrm{N}(\mu,\sigma^2/n)$ で $\bar X$ と $s^2$ は独立.$e^X$ は対数正規.中心極限定理の極限 |
| 指数分布$\mathrm{Ex}(\lambda)$(率 $\lambda$) | |
|---|---|
| 密度関数 | $f(x)=\lambda e^{-\lambda x}$,$F(x)=1-e^{-\lambda x}$,生存関数 $S(x)=e^{-\lambda x}$ |
| 台・母数 | $x\ge0$;$\lambda>0$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\dfrac1\lambda$,${\operatorname{V}}[X]=\dfrac1{\lambda^2}$,${\operatorname{E}}[X^k]=\dfrac{k!}{\lambda^k}$ |
| 母関数 | $M_X(t)=\dfrac{\lambda}{\lambda-t}$ ($t<\lambda$) |
| 再生性 | なし(率共通の $n$ 個の和は $\mathrm{Ga}(n,\lambda)$) |
| 主な関係 | 無記憶性 $P(X>s+t\mid X>s)=P(X>t)$.ハザード関数は定数 $\lambda$.$\mathrm{Ex}(\lambda)=\mathrm{Ga}(1,\lambda)$.独立な $\mathrm{Ex}(\lambda_i)$ の最小値は $\mathrm{Ex}(\sum\lambda_i)$.ポアソン過程の到着間隔.$2\lambda X\sim\chi^2(2)$ |
| ガンマ分布$\mathrm{Ga}(\alpha,\lambda)$(形状 $\alpha$,率 $\lambda$) | |
|---|---|
| 密度関数 | $f(x)=\dfrac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}$ |
| 台・母数 | $x>0$;$\alpha>0$,$\lambda>0$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\dfrac\alpha\lambda$, ${\operatorname{V}}[X]=\dfrac\alpha{\lambda^2}$, ${\operatorname{E}}[X^k]=\dfrac{\Gamma(\alpha+k)}{\Gamma(\alpha)\lambda^k}$, 最頻値 $\dfrac{\alpha-1}\lambda$ ($\alpha\ge1$) |
| 母関数 | $M_X(t)=\Bigl(\dfrac{\lambda}{\lambda-t}\Bigr)^\alpha$ ($t<\lambda$) |
| 再生性 | $\mathrm{Ga}(\alpha_1,\lambda)+\mathrm{Ga}(\alpha_2,\lambda)=\mathrm{Ga}(\alpha_1+\alpha_2,\lambda)$(率 $\lambda$ 共通) |
| 主な関係 | $\mathrm{Ga}(1,\lambda)=\mathrm{Ex}(\lambda)$.$\mathrm{Ga}(\frac k2,\frac12)=\chi^2(k)$.$cX\sim\mathrm{Ga}(\alpha,\lambda/c)$.$X\sim\mathrm{Ga}(a,\lambda)$,$Y\sim\mathrm{Ga}(b,\lambda)$ 独立なら $\frac{X}{X+Y}\sim\mathrm{Be}(a,b)$ で $X+Y$ と独立.ポアソン分布の共役事前分布(第31章) |
| ベータ分布$\mathrm{Be}(a,b)$ | |
|---|---|
| 密度関数 | $f(x)=\dfrac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$,$B(a,b)=\dfrac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$ |
| 台・母数 | $0<x<1$;$a>0$,$b>0$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\dfrac a{a+b}$, ${\operatorname{V}}[X]=\dfrac{ab}{(a+b)^2(a+b+1)}$, 最頻値 $\dfrac{a-1}{a+b-2}$ ($a,b>1$) |
| 母関数 | 積率母関数は簡単な閉じた形をもたない.積率は ${\operatorname{E}}[X^k]=\dfrac{B(a+k,b)}{B(a,b)}$ |
| 再生性 | なし |
| 主な関係 | $\mathrm{Be}(1,1)=\mathrm{U}(0,1)$.$1-X\sim\mathrm{Be}(b,a)$.ガンマ分布の比 $\frac{X}{X+Y}$.$W\sim F(m,n)$ なら $\frac{mW}{n+mW}\sim\mathrm{Be}(\frac m2,\frac n2)$.二項分布の共役事前分布(事後分布 $\mathrm{Be}(a+x,b+n-x)$) |
| コーシー分布位置 $\mu$,尺度 $\sigma$ | |
|---|---|
| 密度関数 | $f(x)=\dfrac1\pi\cdot\dfrac{\sigma}{\sigma^2+(x-\mu)^2}$,標準形 $\dfrac1{\pi(1+x^2)}$, $F(x)=\dfrac12+\dfrac1\pi\arctan x$ |
| 台・母数 | $-\infty<x<\infty$;$\mu\in\mathbb{R}$,$\sigma>0$ |
| 期待値・分散 | 期待値も分散も存在しない($\int|x|f(x)\,\mathrm{d}x=\infty$).中央値・最頻値は $\mu$ |
| 母関数 | 積率母関数は存在しない(特性関数は $e^{i\mu t-\sigma|t|}$) |
| 再生性 | 独立なら位置と尺度がそれぞれ加わる.$X_1,\dots,X_n$ が標準コーシーの独立標本なら $\bar X$ も標準コーシー |
| 主な関係 | $t(1)$ に等しい.独立な $\mathrm{N}(0,1)$ の比 $Z_1/Z_2$.$\Theta\sim\mathrm{U}(-\frac\pi2,\frac\pi2)$ なら $\tan\Theta$.大数の法則・中心極限定理が成り立たない例 |
| 対数正規分布$\mathrm{LN}(\mu,\sigma^2)$($\log X\sim\mathrm{N}(\mu,\sigma^2)$) | |
|---|---|
| 密度関数 | $f(x)=\dfrac{1}{x\sqrt{2\pi\sigma^2}}\exp\Bigl\{-\dfrac{(\log x-\mu)^2}{2\sigma^2}\Bigr\}$ |
| 台・母数 | $x>0$;$\mu\in\mathbb{R}$,$\sigma^2>0$ |
| 期待値・分散 | ${\operatorname{E}}[X]=e^{\mu+\sigma^2/2}$, ${\operatorname{V}}[X]=e^{2\mu+\sigma^2}(e^{\sigma^2}-1)$, ${\operatorname{E}}[X^k]=e^{k\mu+k^2\sigma^2/2}$.中央値 $e^\mu$,最頻値 $e^{\mu-\sigma^2}$ |
| 母関数 | 積率はすべて存在するが,積率母関数は $t>0$ で存在しない |
| 再生性 | 和についてはなし.独立な対数正規の積は対数正規($\mu,\sigma^2$ がそれぞれ加わる) |
| 主な関係 | $X=e^Y$,$Y\sim\mathrm{N}(\mu,\sigma^2)$.右に裾が長い(所得・株価のモデル).${\operatorname{E}}[X]=e^{\mu+\sigma^2/2}$ は正規の積率母関数 $M_Y(1)$ |
| 多変量正規分布$\mathrm{N}_p({\boldsymbol{\mu}},{\boldsymbol{\Sigma}})$ | |
|---|---|
| 密度関数 | $f({\boldsymbol{x}})=\dfrac{1}{(2\pi)^{p/2}|{\boldsymbol{\Sigma}}|^{1/2}}\exp\Bigl\{-\dfrac12({\boldsymbol{x}}-{\boldsymbol{\mu}})^\top{\boldsymbol{\Sigma}}^{-1}({\boldsymbol{x}}-{\boldsymbol{\mu}})\Bigr\}$ |
| 2変量の場合 | $f(x,y)=\dfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Bigl[-\dfrac{1}{2(1-\rho^2)}\Bigl\{\dfrac{(x-\mu_1)^2}{\sigma_1^2}-\dfrac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\dfrac{(y-\mu_2)^2}{\sigma_2^2}\Bigr\}\Bigr]$ |
| 台・母数 | ${\boldsymbol{x}}\in\mathbb{R}^p$;${\boldsymbol{\mu}}\in\mathbb{R}^p$,${\boldsymbol{\Sigma}}$ は正定値対称行列 |
| 期待値・分散 | ${\operatorname{E}}[{\boldsymbol{X}}]={\boldsymbol{\mu}}$,${\operatorname{V}}[{\boldsymbol{X}}]={\boldsymbol{\Sigma}}$ |
| 母関数 | $M({\boldsymbol{t}})=\exp\bigl({\boldsymbol{\mu}}^\top{\boldsymbol{t}}+\tfrac12{\boldsymbol{t}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{t}}\bigr)$ |
| 再生性 | 線形変換で閉じる:$A{\boldsymbol{X}}+{\boldsymbol{b}}\sim\mathrm{N}(A{\boldsymbol{\mu}}+{\boldsymbol{b}},\ A{\boldsymbol{\Sigma}}A^\top)$.独立な和も多変量正規 |
| 主な関係 | 周辺分布は正規.無相関 $\Leftrightarrow$ 独立.条件付き分布 ${\boldsymbol{X}}_1\mid{\boldsymbol{X}}_2={\boldsymbol{x}}_2\sim\mathrm{N}\bigl({\boldsymbol{\mu}}_1+{\boldsymbol{\Sigma}}_{12}{\boldsymbol{\Sigma}}_{22}^{-1}({\boldsymbol{x}}_2-{\boldsymbol{\mu}}_2),\ {\boldsymbol{\Sigma}}_{11}-{\boldsymbol{\Sigma}}_{12}{\boldsymbol{\Sigma}}_{22}^{-1}{\boldsymbol{\Sigma}}_{21}\bigr)$.2変量なら ${\operatorname{E}}[Y\mid x]=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)$,${\operatorname{V}}[Y\mid x]=\sigma_2^2(1-\rho^2)$.$({\boldsymbol{X}}-{\boldsymbol{\mu}})^\top{\boldsymbol{\Sigma}}^{-1}({\boldsymbol{X}}-{\boldsymbol{\mu}})\sim\chi^2(p)$ |
| 混合正規分布$\pi\,\mathrm{N}(\mu_1,\sigma_1^2)+(1-\pi)\,\mathrm{N}(\mu_2,\sigma_2^2)$ | |
|---|---|
| 密度関数 | $f(x)=\pi\,\phi(x;\mu_1,\sigma_1^2)+(1-\pi)\,\phi(x;\mu_2,\sigma_2^2)$($\phi$ は正規密度) |
| 台・母数 | $-\infty<x<\infty$;$0\le\pi\le1$ |
| 期待値・分散 | ${\operatorname{E}}[X]=\pi\mu_1+(1-\pi)\mu_2$, |
| ${\operatorname{V}}[X]=\pi\sigma_1^2+(1-\pi)\sigma_2^2+\pi(1-\pi)(\mu_1-\mu_2)^2$(群内分散の平均+群間分散) | |
| 母関数 | $M_X(t)=\pi e^{\mu_1t+\sigma_1^2t^2/2}+(1-\pi)e^{\mu_2t+\sigma_2^2t^2/2}$ |
| 主な関係 | 確率変数の和ではなく密度の加重平均.どの成分から出たかを潜在変数とみなすと EM アルゴリズム(第24章・第29章).分散は全分散の公式 ${\operatorname{V}}[X]={\operatorname{E}}[{\operatorname{V}}[X\mid G]]+{\operatorname{V}}[{\operatorname{E}}[X\mid G]]$ で導く |
A.3 標本分布と非心分布(WB第6章)
| カイ二乗分布$\chi^2(k)$ | |
|---|---|
| 定義 | $Z_1,\dots,Z_k\overset{\text{i.i.d.}}{\sim}\mathrm{N}(0,1)$ のとき $W=Z_1^2+\cdots+Z_k^2$ |
| 密度関数 | $f(x)=\dfrac{1}{2^{k/2}\Gamma(k/2)}x^{k/2-1}e^{-x/2}$ |
| 台・母数 | $x>0$;自由度 $k$(正の整数) |
| 期待値・分散 | ${\operatorname{E}}[W]=k$,${\operatorname{V}}[W]=2k$ |
| 母関数 | $M_W(t)=(1-2t)^{-k/2}$ ($t<\frac12$) |
| 再生性 | $\chi^2(k_1)+\chi^2(k_2)=\chi^2(k_1+k_2)$ |
| 主な関係 | $\chi^2(k)=\mathrm{Ga}(\frac k2,\frac12)$,$\chi^2(2)=\mathrm{Ex}(\frac12)$.正規標本で $\dfrac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)$($\bar X$ と独立).$k$ が大きいと $\mathrm{N}(k,2k)$.適合度・独立性・尤度比検定の漸近帰無分布 |
| $t$ 分布$t(m)$ | |
|---|---|
| 定義 | $Z\sim\mathrm{N}(0,1)$ と $W\sim\chi^2(m)$ が独立のとき $T=\dfrac{Z}{\sqrt{W/m}}$ |
| 密度関数 | $f(x)=\dfrac{\Gamma(\frac{m+1}2)}{\sqrt{m\pi}\,\Gamma(\frac m2)}\Bigl(1+\dfrac{x^2}m\Bigr)^{-\frac{m+1}2}$ |
| 台・母数 | $-\infty<x<\infty$;自由度 $m$ |
| 期待値・分散 | ${\operatorname{E}}[T]=0$ ($m\ge2$),${\operatorname{V}}[T]=\dfrac m{m-2}$ ($m\ge3$) |
| 母関数 | 積率母関数は存在しない($m$ 次以上の積率が存在しない) |
| 再生性 | なし |
| 主な関係 | 正規標本で $\dfrac{\bar X-\mu}{s/\sqrt n}\sim t(n-1)$.$t(1)$ はコーシー分布.$m\to\infty$ で $\mathrm{N}(0,1)$.$T^2\sim F(1,m)$,したがって(上側点どうしで)$t_{\alpha/2}(m)^2=F_\alpha(1,m)$ |
| $F$ 分布$F(m,n)$ | |
|---|---|
| 定義 | $W_1\sim\chi^2(m)$ と $W_2\sim\chi^2(n)$ が独立のとき $F=\dfrac{W_1/m}{W_2/n}$ |
| 密度関数 | $f(x)=\dfrac{1}{B(\frac m2,\frac n2)}\Bigl(\dfrac mn\Bigr)^{m/2}x^{m/2-1}\Bigl(1+\dfrac mnx\Bigr)^{-\frac{m+n}2}$ |
| 台・母数 | $x>0$;自由度 $(m,n)$ |
| 期待値・分散 | ${\operatorname{E}}[F]=\dfrac n{n-2}$ ($n\ge3$),${\operatorname{V}}[F]=\dfrac{2n^2(m+n-2)}{m(n-2)^2(n-4)}$ ($n\ge5$) |
| 母関数 | 積率母関数は存在しない |
| 再生性 | なし |
| 主な関係 | $1/F\sim F(n,m)$.$F_\alpha(m,n)$ を上側 $100\alpha\%$ 点($P(F>F_\alpha(m,n))=\alpha$)とすると,下側 $100\alpha\%$ 点は $F_{1-\alpha}(m,n)=1/F_\alpha(n,m)$(自由度が入れ替わる).$t(n)^2=F(1,n)$.$\frac{mF}{n+mF}\sim\mathrm{Be}(\frac m2,\frac n2)$.正規2標本で $\dfrac{s_1^2/\sigma_1^2}{s_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1)$.分散分析・回帰の $F$ 検定 |
| 非心カイ二乗分布$\chi^2(k,\lambda)$ | |
|---|---|
| 定義 | $X_i\sim\mathrm{N}(\mu_i,1)$ 独立($i=1,\dots,k$)のとき $W=\sum X_i^2$,非心度 $\lambda=\sum\mu_i^2$ |
| 密度関数 | $f(x)=\displaystyle\sum_{j=0}^\infty e^{-\lambda/2}\frac{(\lambda/2)^j}{j!}\,f_{\chi^2(k+2j)}(x)$(中心カイ二乗のポアソン混合) |
| 期待値・分散 | ${\operatorname{E}}[W]=k+\lambda$,${\operatorname{V}}[W]=2k+4\lambda$ |
| 母関数 | $M_W(t)=(1-2t)^{-k/2}\exp\Bigl(\dfrac{\lambda t}{1-2t}\Bigr)$ ($t<\frac12$) |
| 再生性 | $\chi^2(k_1,\lambda_1)+\chi^2(k_2,\lambda_2)=\chi^2(k_1+k_2,\lambda_1+\lambda_2)$ |
| 主な関係 | $\lambda=0$ で中心カイ二乗.分布は ${\boldsymbol{\mu}}$ の長さ $\lambda$ だけで決まる.対立仮説のもとでのカイ二乗統計量の分布(検出力計算) |
| 非心 $t$ 分布$t(m,\delta)$ | |
|---|---|
| 定義 | $Z\sim\mathrm{N}(0,1)$ と $W\sim\chi^2(m)$ が独立のとき $T=\dfrac{Z+\delta}{\sqrt{W/m}}$ |
| 期待値・分散 | ${\operatorname{E}}[T]=\delta\sqrt{\dfrac m2}\,\dfrac{\Gamma(\frac{m-1}2)}{\Gamma(\frac m2)}$ ($m\ge2$),${\operatorname{V}}[T]=\dfrac{m(1+\delta^2)}{m-2}-{\operatorname{E}}[T]^2$ ($m\ge3$) |
| 母関数 | 積率母関数は存在しない |
| 主な関係 | $\delta=0$ で $t(m)$.正規1標本で真の平均が $\mu_1$ のとき $\dfrac{\bar X-\mu_0}{s/\sqrt n}\sim t\bigl(n-1,\ \delta\bigr)$,$\delta=\dfrac{\sqrt n(\mu_1-\mu_0)}{\sigma}$.$t$ 検定の検出力は $P(|T|>t_{\alpha/2}(n-1))$ をこの分布で計算する |
| 非心 $F$ 分布$F(m,n,\lambda)$ | |
|---|---|
| 定義 | $W_1\sim\chi^2(m,\lambda)$ と $W_2\sim\chi^2(n)$ が独立のとき $F=\dfrac{W_1/m}{W_2/n}$ |
| 期待値・分散 | ${\operatorname{E}}[F]=\dfrac{n(m+\lambda)}{m(n-2)}$ ($n\ge3$),${\operatorname{V}}[F]=2\Bigl(\dfrac nm\Bigr)^2\dfrac{(m+\lambda)^2+(m+2\lambda)(n-2)}{(n-2)^2(n-4)}$ ($n\ge5$) |
| 母関数 | 積率母関数は存在しない |
| 主な関係 | $\lambda=0$ で $F(m,n)$.分散分析で処理効果があるとき $F$ 統計量が従う分布で,非心度は $\lambda=\sum_i r(\alpha_i)^2/\sigma^2$(1元配置,繰り返し $r$,$\alpha_i$ は処理効果).検出力計算に使う |
A.4 期待値・分散の早見表
上の表から期待値と分散だけを抜き出しました.試験では「分布名 $\to$ 期待値・分散」を反射的に書けることが時間短縮につながります.
| 離散型 | 期待値 | 分散 | 離散型 | 期待値 | 分散 |
|---|---|---|---|---|---|
| 離散一様 | $\frac{N+1}2$ | $\frac{N^2-1}{12}$ | ポアソン | $\lambda$ | $\lambda$ |
| ベルヌーイ | $p$ | $pq$ | 幾何(失敗数) | $\frac qp$ | $\frac q{p^2}$ |
| 二項 | $np$ | $npq$ | 負の二項(失敗数) | $\frac{rq}p$ | $\frac{rq}{p^2}$ |
| 超幾何 | $np$ | $npq\frac{N-n}{N-1}$ | 多項(第 $i$ 成分) | $np_i$ | $np_i(1-p_i)$ |
| 連続型 | 期待値 | 分散 | 連続型 | 期待値 | 分散 |
|---|---|---|---|---|---|
| 連続一様 | $\frac{a+b}2$ | $\frac{(b-a)^2}{12}$ | コーシー | なし | なし |
| 正規 | $\mu$ | $\sigma^2$ | 対数正規 | $e^{\mu+\sigma^2/2}$ | $e^{2\mu+\sigma^2}(e^{\sigma^2}-1)$ |
| 指数 | $\frac1\lambda$ | $\frac1{\lambda^2}$ | $\chi^2(k)$ | $k$ | $2k$ |
| ガンマ | $\frac\alpha\lambda$ | $\frac\alpha{\lambda^2}$ | $t(m)$ | $0$ | $\frac m{m-2}$ |
| ベータ | $\frac a{a+b}$ | $\frac{ab}{(a+b)^2(a+b+1)}$ | $F(m,n)$ | $\frac n{n-2}$ | $\frac{2n^2(m+n-2)}{m(n-2)^2(n-4)}$ |
A.5 分布の関係図
図A.1は,上の表の「主な関係」の行を1枚にまとめたものです.矢印の根元の分布から,矢印に書いた操作(和,極限,変換,比など)で先の分布が得られます.上段が離散型,下段が連続型です.
B 推定・検定の公式一覧
以下の表は,各行を「状況」$\to$「統計量と帰無分布」$\to$「棄却域(有意水準 $\alpha$,両側)と信頼区間(信頼係数 $1-\alpha$)」の順に読みます.片側検定では $\alpha/2$ を $\alpha$ に替え,棄却域を一方の側だけにします.標本は特に断らない限り正規母集団からの無作為標本で,2標本の場合は標本の大きさを $m,n$(第1標本 $X$,第2標本 $Y$),不偏分散を $s_1^2,s_2^2$ とします.詳しくは第9章〜第13章,第16章,第20章,第28章を参照してください.
B.1 正規母集団の平均(第9章・第11章)
| 状況 | 統計量 $\sim$ 帰無分布 | 棄却域 / 信頼区間 |
|---|---|---|
| 1標本,$\sigma^2$ 既知 | $Z=\dfrac{\bar X-\mu_0}{\sigma/\sqrt n}\sim\mathrm{N}(0,1)$ | $|Z|>z_{\alpha/2}$ $\bar X\pm z_{\alpha/2}\dfrac{\sigma}{\sqrt n}$ |
| 1標本,$\sigma^2$ 未知 | $T=\dfrac{\bar X-\mu_0}{s/\sqrt n}\sim t(n-1)$ | $|T|>t_{\alpha/2}(n-1)$ $\bar X\pm t_{\alpha/2}(n-1)\dfrac{s}{\sqrt n}$ |
| 対応のある2標本 | 差 $D_i=X_i-Y_i$ について $T=\dfrac{\bar D}{s_D/\sqrt n}\sim t(n-1)$ | $|T|>t_{\alpha/2}(n-1)$ $\bar D\pm t_{\alpha/2}(n-1)\dfrac{s_D}{\sqrt n}$ |
| 2標本,分散既知 | $Z=\dfrac{\bar X-\bar Y}{\sqrt{\sigma_1^2/m+\sigma_2^2/n}}\sim\mathrm{N}(0,1)$ | $|Z|>z_{\alpha/2}$ $\bar X-\bar Y\pm z_{\alpha/2}\sqrt{\dfrac{\sigma_1^2}m+\dfrac{\sigma_2^2}n}$ |
| 2標本,等分散(未知) | $T=\dfrac{\bar X-\bar Y}{s\sqrt{\frac1m+\frac1n}}\sim t(m+n-2)$ $s^2=\dfrac{(m-1)s_1^2+(n-1)s_2^2}{m+n-2}$ |
$|T|>t_{\alpha/2}(m+n-2)$ $\bar X-\bar Y\pm t_{\alpha/2}(m+n-2)\,s\sqrt{\dfrac1m+\dfrac1n}$ |
| 2標本,不等分散(ウェルチ) | $T=\dfrac{\bar X-\bar Y}{\sqrt{s_1^2/m+s_2^2/n}}\approx t(\nu)$ $\nu=\dfrac{(s_1^2/m+s_2^2/n)^2}{\frac{(s_1^2/m)^2}{m-1}+\frac{(s_2^2/n)^2}{n-1}}$ $\min(m-1,n-1)\le\nu\le m+n-2$.$\nu$ は一般に整数でない(付表にない値は問題文で与えられる) |
$|T|>t_{\alpha/2}(\nu)$ $\bar X-\bar Y\pm t_{\alpha/2}(\nu)\sqrt{\dfrac{s_1^2}m+\dfrac{s_2^2}n}$ |
B.2 正規母集団の分散(第9章・第11章)
| 状況 | 統計量 $\sim$ 帰無分布 | 棄却域 / 信頼区間 |
|---|---|---|
| 1標本の分散($\mu$ 未知) | $\chi^2=\dfrac{(n-1)s^2}{\sigma_0^2}\sim\chi^2(n-1)$ | $\chi^2<\chi^2_{1-\alpha/2}(n-1)$ または $\chi^2>\chi^2_{\alpha/2}(n-1)$ $\Bigl[\dfrac{(n-1)s^2}{\chi^2_{\alpha/2}(n-1)},\ \dfrac{(n-1)s^2}{\chi^2_{1-\alpha/2}(n-1)}\Bigr]$ |
| 1標本の分散($\mu$ 既知) | $\chi^2=\dfrac{\sum(X_i-\mu)^2}{\sigma_0^2}\sim\chi^2(n)$ | 上の式で自由度を $n$,$(n-1)s^2$ を $\sum(X_i-\mu)^2$ に替える |
| 2標本の分散比 | $F=\dfrac{s_1^2}{s_2^2}\sim F(m-1,n-1)$ | $F<F_{1-\alpha/2}(m-1,n-1)$ または $F>F_{\alpha/2}(m-1,n-1)$ 下限 $\dfrac{s_1^2}{s_2^2}\cdot\dfrac{1}{F_{\alpha/2}(m-1,n-1)}$, 上限 $\dfrac{s_1^2}{s_2^2}\,F_{\alpha/2}(n-1,m-1)$ |
分散の信頼区間は,上側点(大きい値)が下限の分母に来ます.また $F_{1-\alpha/2}(m-1,n-1)=1/F_{\alpha/2}(n-1,m-1)$ を使うと,付表の上側点だけで計算できます.
B.3 比率・ポアソン(第9章・第12章)
| 状況 | 統計量 $\sim$ 帰無分布 | 棄却域 / 信頼区間 |
|---|---|---|
| 母比率 $p$ | 正確:$X\sim\mathrm{Bin}(n,p_0)$ スコア検定(正規近似):$Z=\dfrac{\hat p-p_0}{\sqrt{p_0(1-p_0)/n}}\approx\mathrm{N}(0,1)$ |
$|Z|>z_{\alpha/2}$(分散に $p_0$)型区間:$\hat p\pm z_{\alpha/2}\sqrt{\dfrac{\hat p(1-\hat p)}n}$(分散に $\hat p$) |
| 母比率の差(独立2標本) | $Z=\dfrac{\hat p_1-\hat p_2}{\sqrt{\hat p(1-\hat p)(\frac1m+\frac1n)}}\approx\mathrm{N}(0,1)$ $\hat p=\dfrac{x_1+x_2}{m+n}$(プール) |
$|Z|>z_{\alpha/2}$.$Z^2$ は2×2表の Pearson $\chi^2$(連続修正なし)に等しい $\hat p_1-\hat p_2\pm z_{\alpha/2}\sqrt{\dfrac{\hat p_1\hat q_1}m+\dfrac{\hat p_2\hat q_2}n}$ |
| 多項分布の2つのセルの比率の差(同一標本) | ${\operatorname{V}}[\hat p_1-\hat p_2]=\dfrac{p_1+p_2-(p_1-p_2)^2}n$ | $\hat p_1-\hat p_2\pm z_{\alpha/2}\sqrt{\dfrac{\hat p_1+\hat p_2-(\hat p_1-\hat p_2)^2}n}$ |
| ポアソン1標本 | 正確:$\sum X_i\sim\mathrm{Po}(n\lambda_0)$ 近似:$Z=\dfrac{\bar X-\lambda_0}{\sqrt{\lambda_0/n}}\approx\mathrm{N}(0,1)$ |
$|Z|>z_{\alpha/2}$ $\bar X\pm z_{\alpha/2}\sqrt{\bar X/n}$ |
| ポアソン2標本($\lambda_1=\lambda_2$) | 条件付き:$X_1\mid X_1+X_2=t\sim\mathrm{Bin}\bigl(t,\frac{n_1}{n_1+n_2}\bigr)$ 近似:$Z=\dfrac{\bar X_1-\bar X_2}{\sqrt{\hat\lambda(\frac1{n_1}+\frac1{n_2})}}$,$\hat\lambda$ はプール |
$|Z|>z_{\alpha/2}$ 差の区間:$\bar X_1-\bar X_2\pm z_{\alpha/2}\sqrt{\dfrac{\bar X_1}{n_1}+\dfrac{\bar X_2}{n_2}}$ |
比率の検定・区間では,分散に何を入れるかは方法名で決まります.スコア検定は $p_0$,Wald 型区間(および Wald 検定)は $\hat p$ を使います.Wilson 区間はスコア検定を反転して作る区間で,Wald 型区間とは別物です.比率の差の $Z^2=\chi^2$ の関係は「プールした分散の2標本 $z$ 検定(両側)」と「連続修正なしの Pearson $\chi^2$」の間の関係で,イェーツ補正つきの $\chi^2$,非プールの Wald 型統計量,フィッシャーの正確検定には当てはまりません.
B.4 適合度・分割表・尤度比(第12章・第28章)
| 状況 | 統計量 $\sim$ 帰無分布 | 棄却域・注意 |
|---|---|---|
| 適合度($k$ カテゴリ) | $\chi^2=\displaystyle\sum_{i=1}^k\frac{(O_i-E_i)^2}{E_i}\approx\chi^2(k-1-q)$ $G^2=2\sum O_i\log\dfrac{O_i}{E_i}$ も漸近的に同じ分布 |
$\chi^2>\chi^2_\alpha(k-1-q)$.$q$ は推定した母数の数.期待度数5未満のセルは併合 |
| 独立性($r\times c$ 表) | $E_{ij}=\dfrac{n_{i\cdot}n_{\cdot j}}{n}$, $\chi^2=\sum\sum\dfrac{(O_{ij}-E_{ij})^2}{E_{ij}}\approx\chi^2\bigl((r-1)(c-1)\bigr)$ | $\chi^2>\chi^2_\alpha((r-1)(c-1))$ |
| 2×2表 $\begin{smallmatrix}a&b\\c&d\end{smallmatrix}$ | $\chi^2=\dfrac{n(ad-bc)^2}{(a+b)(c+d)(a+c)(b+d)}\approx\chi^2(1)$ イェーツ補正:$|ad-bc|$ を $|ad-bc|-\frac n2$ に |
$\chi^2>3.84$($\alpha=0.05$) オッズ比 $\hat\psi=\frac{ad}{bc}$,${\operatorname{V}}[\log\hat\psi]\approx\frac1a+\frac1b+\frac1c+\frac1d$ |
| フィッシャーの正確検定 | 周辺度数を固定すると $a$ は超幾何分布 | 観測値以下の確率の点の確率を合計して $P$ 値 |
| 尤度比検定 | $-2\log\Lambda=2\{\ell(\hat\theta)-\ell(\hat\theta_0)\}\approx\chi^2(d)$(ウィルクスの定理.大標本の近似) | $d=$(全体の自由な母数の数)$-$($H_0$ のもとでの数).$H_0$ がモデルの入れ子で,正則条件(台が母数によらない,真値が母数空間の内点など)が必要 |
B.5 ノンパラメトリック検定(第13章)
| 状況 | 統計量と帰無仮説のもとでの分布 | 正規近似 |
|---|---|---|
| ウィルコクソンの順位和検定(2標本) | 全 $N=m+n$ 個を順位付けし,第1群($m$ 個)の順位和 $W$.帰無分布は $\binom Nm$ 通りの順位の組合せが等確率 | ${\operatorname{E}}[W]=\dfrac{m(N+1)}2$ ${\operatorname{V}}[W]=\dfrac{mn(N+1)}{12}$ |
| 符号付き順位検定(対応あり) | $|D_i|$ の順位のうち $D_i>0$ のものの和 $T^+$.$2^n$ 通りの符号が等確率 | ${\operatorname{E}}[T^+]=\dfrac{n(n+1)}4$ ${\operatorname{V}}[T^+]=\dfrac{n(n+1)(2n+1)}{24}$ |
| 符号検定 | 正の差の個数 $S\sim\mathrm{Bin}(n,\frac12)$ | ${\operatorname{E}}[S]=\frac n2$, ${\operatorname{V}}[S]=\frac n4$ |
| 並べ替え検定 | 群のラベルを全通り並べ替えて統計量の分布を作る | (正確法) |
| クラスカル・ウォリス検定($k$ 群) | $H=\dfrac{12}{N(N+1)}\displaystyle\sum_{i=1}^k\frac{R_i^2}{n_i}-3(N+1)$,$R_i$ は第 $i$ 群の順位和 | $H\approx\chi^2(k-1)$ |
| スピアマンの順位相関 | $r_s=1-\dfrac{6\sum d_i^2}{n(n^2-1)}$ | ${\operatorname{E}}[r_s]=0$, ${\operatorname{V}}[r_s]=\dfrac1{n-1}$ |
| ケンドールの順位相関 | $\tau=\dfrac{P-Q}{n(n-1)/2}$($P$:同順対,$Q$:逆順対の数) | ${\operatorname{E}}[\tau]=0$, ${\operatorname{V}}[\tau]=\dfrac{2(2n+5)}{9n(n-1)}$ |
B.6 相関係数・回帰係数(第16章)
| 状況 | 統計量 $\sim$ 帰無分布 | 棄却域 / 信頼区間 |
|---|---|---|
| 無相関の検定(2変量正規) | $T=\dfrac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2)$ | $|T|>t_{\alpha/2}(n-2)$ |
| 相関係数の区間(フィッシャーの $z$ 変換) | $z=\dfrac12\log\dfrac{1+r}{1-r}\approx\mathrm{N}\Bigl(\dfrac12\log\dfrac{1+\rho}{1-\rho},\ \dfrac1{n-3}\Bigr)$ | $z\pm\dfrac{z_{\alpha/2}}{\sqrt{n-3}}$ を求め,$\tanh$ で $\rho$ の区間に戻す |
| 回帰係数 $\beta_j$(説明変数 $p$ 個+切片) | $T=\dfrac{\hat\beta_j-\beta_j^0}{{\operatorname{se}}(\hat\beta_j)}\sim t(n-p-1)$ ${\operatorname{se}}(\hat\beta_j)=\sqrt{s^2[(X^\top X)^{-1}]_{jj}}$,$s^2=\dfrac{S_e}{n-p-1}$ |
$|T|>t_{\alpha/2}(n-p-1)$ $\hat\beta_j\pm t_{\alpha/2}(n-p-1)\,{\operatorname{se}}(\hat\beta_j)$ |
| 単回帰の傾き | ${\operatorname{se}}(\hat\beta_1)=\dfrac{s}{\sqrt{S_{xx}}}$,$s^2=\dfrac{S_e}{n-2}$ | $\hat\beta_1\pm t_{\alpha/2}(n-2)\dfrac{s}{\sqrt{S_{xx}}}$ |
| 回帰の有意性(全係数0) | $F=\dfrac{S_R/p}{S_e/(n-p-1)}\sim F(p,n-p-1)$ | $F>F_\alpha(p,n-p-1)$ |
| 部分 $F$ 検定($q$ 個の係数が0) | $F=\dfrac{(S_{e0}-S_{e1})/q}{S_{e1}/(n-p-1)}\sim F(q,n-p-1)$ | $F>F_\alpha(q,n-p-1)$.$S_{e0}$ は制約付きモデルの残差平方和 |
B.7 分散分析表(第16章・第20章)
| 要因 | 平方和 | 自由度 | 平均平方 | $F$ 値 |
|---|---|---|---|---|
| 処理(級間) | $S_A=\sum_in_i(\bar y_{i\cdot}-\bar y)^2$ | $a-1$ | $V_A=\frac{S_A}{a-1}$ | $\frac{V_A}{V_e}\sim F(a-1,N-a)$ |
| 誤差(級内) | $S_e=\sum_i\sum_j(y_{ij}-\bar y_{i\cdot})^2$ | $N-a$ | $V_e=\frac{S_e}{N-a}$ | |
| 計 | $S_T=\sum_i\sum_j(y_{ij}-\bar y)^2$ | $N-1$ |
| 要因 | 平方和 | 自由度 | $F$ 値の帰無分布 |
|---|---|---|---|
| $A$ | $S_A=br\sum_i(\bar y_{i\cdot\cdot}-\bar y)^2$ | $a-1$ | $F(\phi_A,\phi_e)$ |
| $B$ | $S_B=ar\sum_j(\bar y_{\cdot j\cdot}-\bar y)^2$ | $b-1$ | $F(\phi_B,\phi_e)$ |
| $A\times B$ | $S_{AB}=r\sum_i\sum_j(\bar y_{ij\cdot}-\bar y_{i\cdot\cdot}-\bar y_{\cdot j\cdot}+\bar y)^2$ | $(a-1)(b-1)$ | $F(\phi_{AB},\phi_e)$ |
| 誤差 | $S_e=\sum\sum\sum(y_{ijk}-\bar y_{ij\cdot})^2$ | $\phi_e=ab(r-1)$ | |
| 計 | $S_T$ | $abr-1$ |
$\phi_A,\phi_B,\phi_{AB}$ はそれぞれの行の自由度で,$F$ 値は各要因の平均平方を誤差の平均平方 $V_e=S_e/\phi_e$ で割ったものです.繰り返しがない($r=1$)場合や乱塊法(ブロック因子 $B$)では交互作用を誤差とみなし,誤差の自由度は $(a-1)(b-1)$ になります.直交表 $L_8(2^7)$ では各列の自由度が1で,割り付けなかった列の平方和の合計が誤差になります(第20章).
| 要因 | 平方和 | 自由度 | 平均平方 | $F$ 値 |
|---|---|---|---|---|
| 回帰 | $S_R=\sum(\hat y_i-\bar y)^2$ | $p$ | $S_R/p$ | $\frac{S_R/p}{S_e/(n-p-1)}$ |
| 残差 | $S_e=\sum(y_i-\hat y_i)^2$ | $n-p-1$ | $s^2=\frac{S_e}{n-p-1}$ | |
| 計 | $S_{yy}=\sum(y_i-\bar y)^2$ | $n-1$ |
決定係数 $R^2=\dfrac{S_R}{S_{yy}}=1-\dfrac{S_e}{S_{yy}}$,自由度調整済み決定係数 $R^{*2}=1-\dfrac{S_e/(n-p-1)}{S_{yy}/(n-1)}$,$F=\dfrac{R^2/p}{(1-R^2)/(n-p-1)}$.
B.8 検出力とサンプルサイズ(第10章・第11章)
| 状況 | 公式 |
|---|---|
| 片側 $z$ 検定の検出力($H_1:\mu=\mu_1>\mu_0$) | $1-\beta=P\Bigl(Z>z_\alpha-\dfrac{\sqrt n(\mu_1-\mu_0)}{\sigma}\Bigr)=\Phi\Bigl(\dfrac{\sqrt n(\mu_1-\mu_0)}{\sigma}-z_\alpha\Bigr)$ |
| 必要なサンプルサイズ(片側) | $n\ge\Bigl(\dfrac{(z_\alpha+z_\beta)\sigma}{\mu_1-\mu_0}\Bigr)^2$(両側なら $z_\alpha$ を $z_{\alpha/2}$ に替える.反対側で棄却される確率を無視した近似).$n$ は切り上げ |
| 信頼区間の幅から決める | 幅 $2z_{\alpha/2}\sigma/\sqrt n\le L\iff n\ge\Bigl(\dfrac{2z_{\alpha/2}\sigma}{L}\Bigr)^2$.比率なら $\sigma^2$ を $p(1-p)\le\frac14$ に |
| $t$ 検定の検出力 | 非心 $t$ 分布 $t(n-1,\delta)$,$\delta=\sqrt n(\mu_1-\mu_0)/\sigma$ で棄却域の確率を計算 |
$z_{0.05}=1.645$,$z_{0.025}=1.96$,$z_{0.005}=2.576$;$\chi^2_{0.05}(1)=3.84$,$\chi^2_{0.05}(2)=5.99$,$\chi^2_{0.05}(3)=7.81$;$t_{0.025}(10)=2.228$,$t_{0.025}(\infty)=1.96$.
C 準1級 重要公式チェックリスト
各章の「これだけは式を見ずに書けるようにしたい」公式です.すぐに書けたものの□に印をつけ,書けなかったものは該当章に戻って導出から確認しましょう.
包除原理 $P(A\cup B\cup C)=\sum P(A)-\sum P(A\cap B)+P(A\cap B\cap C)$
条件付き確率 $P(A\mid B)=P(A\cap B)/P(B)$,独立 $\iff P(A\cap B)=P(A)P(B)$
ベイズの定理 $P(B_i\mid A)=\dfrac{P(A\mid B_i)P(B_i)}{\sum_jP(A\mid B_j)P(B_j)}$
${\operatorname{V}}[X]={\operatorname{E}}[X^2]-({\operatorname{E}}[X])^2$,${\operatorname{V}}[aX+b]=a^2{\operatorname{V}}[X]$,指示変数の和による期待値計算
生存関数 $S(x)=1-F(x)$,非負整数値なら ${\operatorname{E}}[X]=\sum_{x\ge0}P(X>x)$,非負($X\ge0$)なら ${\operatorname{E}}[X]=\int_0^\infty S(x)\,\mathrm{d}x$.負の値をとる変数や,打切り・上限のある観測値の平均にはそのまま使えない
周辺密度 $f_X(x)=\int f(x,y)\,\mathrm{d}y$,条件付き密度 $f_{Y\mid X}(y\mid x)=f(x,y)/f_X(x)$
確率母関数 $G(s)={\operatorname{E}}[s^X]$:$G'(1)={\operatorname{E}}[X]$,$G''(1)={\operatorname{E}}[X(X-1)]$
積率母関数 $M(t)={\operatorname{E}}[e^{tX}]$:$M^{(k)}(0)={\operatorname{E}}[X^k]$;独立和は積 $M_{X+Y}=M_XM_Y$;キュムラント母関数 $\log M(t)$ の2階微分が分散
歪度 ${\operatorname{E}}[(X-\mu)^3]/\sigma^3$,尖度 ${\operatorname{E}}[(X-\mu)^4]/\sigma^4$(正規分布で3.3を引いた超過尖度を尖度と呼ぶ本もある)
${\operatorname{V}}[X+Y]={\operatorname{V}}[X]+{\operatorname{V}}[Y]+2{\operatorname{Cov}}[X,Y]$,${\operatorname{Corr}}[X,Y]={\operatorname{Cov}}[X,Y]/\sqrt{{\operatorname{V}}[X]{\operatorname{V}}[Y]}$
繰り返し期待値 ${\operatorname{E}}[Y]={\operatorname{E}}[{\operatorname{E}}[Y\mid X]]$,全分散の公式 ${\operatorname{V}}[Y]={\operatorname{E}}[{\operatorname{V}}[Y\mid X]]+{\operatorname{V}}[{\operatorname{E}}[Y\mid X]]$
${\operatorname{V}}[A{\boldsymbol{X}}]=A{\boldsymbol{\Sigma}}A^\top$,${\operatorname{Cov}}[{\boldsymbol{a}}^\top{\boldsymbol{X}},{\boldsymbol{b}}^\top{\boldsymbol{X}}]={\boldsymbol{a}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{b}}$
1変数:$f_Y(y)=f_X(g^{-1}(y))\Bigl|\dfrac{\,\mathrm{d}x}{\,\mathrm{d}y}\Bigr|$(単調変換)
多変数:$f_{{\boldsymbol{Y}}}({\boldsymbol{y}})=f_{{\boldsymbol{X}}}({\boldsymbol{x}}({\boldsymbol{y}}))\,|J|$,$J=\det\bigl(\partial x_i/\partial y_j\bigr)$
和の密度(たたみ込み) $f_{X+Y}(z)=\int f_X(x)f_Y(z-x)\,\mathrm{d}x$
最大値 $P(\max X_i\le x)=F(x)^n$,最小値 $P(\min X_i>x)=\{1-F(x)\}^n$
A.4節の期待値・分散の早見表をすべて書ける
二項・ポアソン・負の二項・正規・ガンマ・カイ二乗の再生性とその条件
超幾何分布の有限母集団修正 $\frac{N-n}{N-1}$,多項分布の ${\operatorname{Cov}}[X_i,X_j]=-np_ip_j$
指数分布・幾何分布の無記憶性,$\bar X$ と $s^2$ の独立性,$(n-1)s^2/\sigma^2\sim\chi^2(n-1)$
$t$・$F$・カイ二乗の定義式と,$T^2\sim F(1,m)$,$F_{1-\alpha}(m,n)=1/F_\alpha(n,m)$
チェビシェフの不等式 $P(|X-\mu|\ge k\sigma)\le 1/k^2$ と大数の弱法則 $\bar X\xrightarrow{\;P\;}\mu$
中心極限定理 $\sqrt n(\bar X-\mu)/\sigma\xrightarrow{\;d\;}\mathrm{N}(0,1)$
デルタ法 $\sqrt n\{g(\bar X)-g(\mu)\}\xrightarrow{\;d\;}\mathrm{N}\bigl(0,\ g'(\mu)^2\sigma^2\bigr)$($g'(\mu)\ne0$ のとき.$g'(\mu)=0$ では1次のデルタ法は退化する).多変量では勾配 $\nabla g$ による二次形式 $\nabla g^\top{\boldsymbol{\Sigma}}\nabla g$(共分散の項を落とさない)
スラツキーの定理($X_n\xrightarrow{\;d\;}X$,$Y_n\xrightarrow{\;P\;}c$ なら $X_n+Y_n\xrightarrow{\;d\;}X+c$,$X_nY_n\xrightarrow{\;d\;}cX$),少数法則,極値分布(ガンベル分布)
最尤法:対数尤度 $\ell(\theta)$ を微分して0.最尤推定量の不変性 $\widehat{g(\theta)}=g(\hat\theta)$
フィッシャー情報量 $I(\theta)={\operatorname{E}}\bigl[(\partial_\theta\log f)^2\bigr]=-{\operatorname{E}}[\partial_\theta^2\log f]$,不偏推定量に対するクラメール・ラオの下限 ${\operatorname{V}}[\hat\theta]\ge 1/\{nI(\theta)\}$.2表現の一致と下限は正則条件(台が $\theta$ によらない,微分と積分の交換)のもとでの結果で,$\mathrm{U}(0,\theta)$ のように台が母数に依存する分布には使えない
${\operatorname{MSE}}={\operatorname{V}}[\hat\theta]+(\text{バイアス})^2$,不偏性・一致性・有効性の定義
最尤推定量の漸近正規性 $\hat\theta\approx\mathrm{N}\bigl(\theta,\ 1/\{nI(\theta)\}\bigr)$(正則条件のもとでの大標本近似),モーメント法
B.1〜B.3節の平均・分散・分散比・比率の信頼区間
信頼係数 $95\%$ の意味(区間を作る手続きの性質であり,1つの区間が $\mu$ を含む確率ではない)
多項分布の2つの比率の差の区間の分散 $\{p_1+p_2-(p_1-p_2)^2\}/n$
第1種の過誤 $\alpha$,第2種の過誤 $\beta$,検出力 $1-\beta$,$P$ 値の定義
ネイマン・ピアソンの補題:尤度比 $\dfrac{L(\theta_1)}{L(\theta_0)}>k$ が最強力検定
サンプルサイズ $n\ge\{(z_\alpha+z_\beta)\sigma/\delta\}^2$,抜取検査の OC 曲線
B.1〜B.4節の検定統計量と帰無分布,自由度
プールした比率 $\hat p=(x_1+x_2)/(m+n)$.プールした分散による比率の差の $z$ 検定(両側)の $Z^2$ は,連続修正なしの Pearson $\chi^2$ に等しい(イェーツ補正・非プールの Wald 型・正確検定とは別)
母比率:スコア検定は分散に $p_0$,Wald 型区間は $\hat p$
適合度検定の自由度 $k-1-(\text{推定した母数の数})$
尤度比検定 $-2\log\Lambda\approx\chi^2(d)$(入れ子のモデル・正則条件・大標本のもとでのウィルクスの定理)
順位和 $W$:${\operatorname{E}}=\frac{m(N+1)}2$,${\operatorname{V}}=\frac{mn(N+1)}{12}$;符号付き順位 $T^+$:${\operatorname{E}}=\frac{n(n+1)}4$,${\operatorname{V}}=\frac{n(n+1)(2n+1)}{24}$
クラスカル・ウォリスの $H$,スピアマンの $r_s=1-\frac{6\sum d_i^2}{n(n^2-1)}$,ケンドールの $\tau$
小標本では組合せを数え上げて正確な $P$ 値を出す
$n$ ステップ推移確率 $P^{(n)}=P^n$(チャップマン・コルモゴロフ),分布の更新 ${\boldsymbol{\pi}}_{n+1}^\top={\boldsymbol{\pi}}_n^\top P$
定常分布 ${\boldsymbol{\pi}}^\top P={\boldsymbol{\pi}}^\top$,$\sum\pi_i=1$;既約・非周期なら極限分布に一致
推移確率の最尤推定 $\hat p_{ij}=n_{ij}/n_{i\cdot}$(推移回数の比)
ブラウン運動:独立定常増分,$X(t)-X(s)\sim\mathrm{N}\bigl(\mu(t-s),\sigma^2(t-s)\bigr)$;$\hat\mu=\{X(T)-X(0)\}/T$
ポアソン過程:$N(t)\sim\mathrm{Po}(\lambda t)$,到着間隔 $\overset{\text{i.i.d.}}{\sim}\mathrm{Ex}(\lambda)$,$n$ 番目の到着時刻 $\sim\mathrm{Ga}(n,\lambda)$,$\hat\lambda=N(T)/T$
複合ポアソン過程 $S(t)=\sum_{i=1}^{N(t)}Y_i$:${\operatorname{E}}[S(t)]=\lambda t{\operatorname{E}}[Y]$,${\operatorname{V}}[S(t)]=\lambda t{\operatorname{E}}[Y^2]$
正規方程式 $X^\top X\hat{\boldsymbol{\beta}}=X^\top{\boldsymbol{y}}$,$\hat{\boldsymbol{\beta}}=(X^\top X)^{-1}X^\top{\boldsymbol{y}}$,${\operatorname{V}}[\hat{\boldsymbol{\beta}}]=\sigma^2(X^\top X)^{-1}$
$s^2=S_e/(n-p-1)$,$R^2$,自由度調整済み $R^{*2}$,$t$ 検定・$F$ 検定(B.6節)
$\mathrm{VIF}_j=1/(1-R_j^2)$(多重共線性)
リッジ回帰 $\hat{\boldsymbol{\beta}}=(X^\top X+\lambda I)^{-1}X^\top{\boldsymbol{y}}$,ラッソは $L_1$ 罰則で変数選択
ハット行列 $H=X(X^\top X)^{-1}X^\top$,てこ比 $h_{ii}$,$\sum h_{ii}=p+1$,$0\le h_{ii}\le1$
残差の分散 ${\operatorname{V}}[e_i]=\sigma^2(1-h_{ii})$,標準化残差 $r_i=e_i/\{s\sqrt{1-h_{ii}}\}$
Cook の距離 $D_i=\dfrac{r_i^2}{p+1}\cdot\dfrac{h_{ii}}{1-h_{ii}}$
ダービン・ワトソン比 $\mathrm{DW}=\dfrac{\sum_{t=2}^n(e_t-e_{t-1})^2}{\sum e_t^2}\approx2(1-\hat\rho)$
ロジスティック回帰 $\log\dfrac{p}{1-p}={\boldsymbol{x}}^\top{\boldsymbol{\beta}}$;$e^{\beta_j}$ はオッズ比
プロビット $p=\Phi({\boldsymbol{x}}^\top{\boldsymbol{\beta}})$,ポアソン回帰 $\log\lambda={\boldsymbol{x}}^\top{\boldsymbol{\beta}}$(オフセット $\log t$)
一般化線形モデル:分布(指数型分布族)・線形予測子・リンク関数;逸脱度 $D=2\{\ell(\text{飽和})-\ell(\hat{\boldsymbol{\beta}})\}$
トービットの尤度:打ち切り点は $\Phi(\cdot)$,観測点は $\frac1\sigma\phi(\cdot)$ の積
ハザード $h(t)=f(t)/S(t)$,$S(t)=\exp\{-\int_0^th(u)\,\mathrm{d}u\}$;ワイブル $h(t)=\lambda\gamma t^{\gamma-1}$
比例ハザード $h(t\mid{\boldsymbol{x}})=h_0(t)e^{{\boldsymbol{x}}^\top{\boldsymbol{\beta}}}$,部分尤度
カプラン・マイヤー $\hat S(t)=\prod_{t_i\le t}\Bigl(1-\dfrac{d_i}{n_i}\Bigr)$
フィッシャーの三原則(反復・無作為化・局所管理)
平方和の分解 $S_T=S_A+S_e$(1元),$S_T=S_A+S_B+S_{AB}+S_e$(2元)と自由度(B.7節)
乱塊法の分散分析,直交表の列の割り付けと交互作用列
単純無作為抽出(非復元)${\operatorname{V}}[\bar y]=\Bigl(1-\dfrac nN\Bigr)\dfrac{S^2}{n}$($S^2$ は $N-1$ で割る母分散)$=\dfrac{N-n}{N-1}\cdot\dfrac{\sigma^2}{n}$($\sigma^2$ は $N$ で割る母分散).有限母集団修正の形は母分散の定義とセットで覚える
層化抽出 $\bar y_{\mathrm{st}}=\sum W_h\bar y_h$,${\operatorname{V}}[\bar y_{\mathrm{st}}]=\sum W_h^2\dfrac{N_h-n_h}{N_h}\dfrac{S_h^2}{n_h}$
比例配分 $n_h=nW_h$,ネイマン配分 $n_h=n\dfrac{N_hS_h}{\sum_kN_kS_k}$
集落抽出・二段抽出・系統抽出・比推定の考え方
主成分は ${\boldsymbol{\Sigma}}$(または相関行列 $R$)の固有ベクトル,主成分の分散は固有値 $\lambda_j$
寄与率 $\lambda_j/\sum_k\lambda_k$,$\sum\lambda_k={\operatorname{tr}}{\boldsymbol{\Sigma}}$(相関行列なら $p$)
主成分負荷量 ${\operatorname{Corr}}[Z_j,X_i]=\sqrt{\lambda_j}\,u_{ij}/\sigma_i$,特異値分解 $X=UDV^\top$ との関係
フィッシャーの線形判別:${\boldsymbol{a}}\propto S_W^{-1}(\bar{\boldsymbol{x}}_1-\bar{\boldsymbol{x}}_2)$
マハラノビス距離 $D^2=({\boldsymbol{x}}-{\boldsymbol{\mu}})^\top{\boldsymbol{\Sigma}}^{-1}({\boldsymbol{x}}-{\boldsymbol{\mu}})$ の小さい群に判別
混同行列:感度(再現率)$\frac{TP}{TP+FN}$,特異度 $\frac{TN}{TN+FP}$,適合率(precision)$\frac{TP}{TP+FP}$,F1 値(適合率と再現率の調和平均.$F$ 統計量とは無関係),ROC 曲線と AUC
SVM:マージン $2/\|{\boldsymbol{w}}\|$ の最大化,ソフトマージンとカーネル
距離(ユークリッド,マンハッタン,ミンコフスキー $\{\sum|x_i-y_i|^m\}^{1/m}$)
階層的手法の結合法(最短・最長・群平均・ウォード法)とデンドログラム
$k$-means の反復(割り当て $\to$ 重心更新),EM アルゴリズムによる混合分布の推定
因子モデル ${\boldsymbol{X}}={\boldsymbol{\mu}}+\Lambda{\boldsymbol{f}}+{\boldsymbol{\varepsilon}}$,${\boldsymbol{\Sigma}}=\Lambda\Lambda^\top+\Psi$
共通性 $h_i^2=\sum_k\lambda_{ik}^2$,独自分散 $\psi_i=1-h_i^2$(標準化時),回転の不定性
偏相関 $\rho_{12\cdot3}=\dfrac{\rho_{12}-\rho_{13}\rho_{23}}{\sqrt{(1-\rho_{13}^2)(1-\rho_{23}^2)}}$,精度行列 ${\boldsymbol{\Sigma}}^{-1}$ の非対角0 $\iff$ 条件付き独立
古典的多次元尺度法:距離行列 $\to$ 二重中心化 $B=-\frac12JD^{(2)}J$ $\to$ 固有値分解
正準相関分析:${\operatorname{Corr}}[{\boldsymbol{a}}^\top{\boldsymbol{X}},{\boldsymbol{b}}^\top{\boldsymbol{Y}}]$ の最大化(固有値問題)
対応分析(数量化III類):分割表の行と列を同じ平面に布置
自己共分散 $\gamma_k$,自己相関 $\rho_k=\gamma_k/\gamma_0$,弱定常性の定義
AR(1) $y_t=\phi_1y_{t-1}+\varepsilon_t$:定常条件 $|\phi_1|<1$,$\gamma_0=\dfrac{\sigma^2}{1-\phi_1^2}$,$\rho_k=\phi_1^k$
MA(1) $y_t=\varepsilon_t+\theta_1\varepsilon_{t-1}$:$\rho_1=\dfrac{\theta_1}{1+\theta_1^2}$,$\rho_k=0$ ($k\ge2$)
ユール・ウォーカー方程式,AR(2) の $\rho_1=\phi_1/(1-\phi_2)$,反転可能性
スペクトラム $f(\lambda)=\frac1{2\pi}\sum_k\gamma_ke^{-ik\lambda}$,AR(1) で $\dfrac{\sigma^2}{2\pi(1-2\phi_1\cos\lambda+\phi_1^2)}$
オッズ比 $\psi=\dfrac{p_{11}p_{22}}{p_{12}p_{21}}$,$\log\hat\psi$ の標準誤差 $\sqrt{\frac1a+\frac1b+\frac1c+\frac1d}$
前向き研究と後ろ向き研究:ケースコントロール研究(後ろ向き)では標本の比率から疾患頻度やリスク比は直接求められないが,オッズ比は推定できる(抽出率が既知なら疾患頻度も復元できる)
独立性の $\chi^2$ と $G^2$,フィッシャーの正確検定(超幾何分布)
3元表:条件付き独立,シンプソンのパラドックス,マンテル・ヘンツェル推定量 $\hat\psi_{\mathrm{MH}}=\dfrac{\sum a_kd_k/n_k}{\sum b_kc_k/n_k}$
欠測メカニズム MCAR・MAR・MNAR の違い
リストワイズ削除・平均値代入・回帰代入の偏り(平均値代入は分散を過小評価)
EM アルゴリズム:E ステップ(条件付き期待値)と M ステップ(最大化)の交互反復で,観測データの対数尤度は非減少(厳密な増加や大域的最大への収束は保証されない.初期値に依存し得る)
$\mathrm{AIC}=-2\ell(\hat\theta)+2k$,$\mathrm{BIC}=-2\ell(\hat\theta)+k\log n$.BIC の一致性(真のモデルが候補に含まれ,$n\to\infty$ のとき真のモデルを選ぶ確率が1に近づく)は条件付きの結果
正規線形回帰では $\mathrm{AIC}=n\log(S_e/n)+2k$(定数を除く).変数1個を加えたときの差は厳密に $\Delta\mathrm{AIC}=n\log(S_{e1}/S_{e0})+2$ で,負なら改善.部分 $F$ 統計量で書くと $n\log\{1+F/(n-p-1)\}>2$ で改善する($p$ は変数を加えた後の説明変数の数).$n$ が大きければ「$F$ がおよそ2を超えれば改善」が目安
$K$ 分割交差検証,leave-one-out,過学習(訓練誤差と汎化誤差)
事後分布 $\pi(\theta\mid{\boldsymbol{x}})\propto f({\boldsymbol{x}}\mid\theta)\pi(\theta)$
共役:二項+ベータ $\to\mathrm{Be}(a+x,b+n-x)$;ポアソン+ガンマ $\to\mathrm{Ga}(a+\sum x_i,b+n)$;正規(分散既知)+正規 $\to$ 精度の和
事後平均(2乗損失)・事後中央値(絶対損失)・MAP;信用区間,HPD 区間
ジェフリーズ事前分布 $\pi(\theta)\propto\sqrt{I(\theta)}$,予測分布,ギブス・サンプリング
MH 法の採択確率 $\min\Bigl\{1,\dfrac{\pi(\theta')q(\theta\mid\theta')}{\pi(\theta)q(\theta'\mid\theta)}\Bigr\}$($q$ は提案分布)
逆関数法 $X=F^{-1}(U)$,採択棄却法(採択確率 $1/c$.$f,g$ が正規化された密度で,$f(x)\le cg(x)$ がすべての $x$ で成り立つ有限な $c$ のとき)
モンテカルロ積分 $\int h(x)f(x)\,\mathrm{d}x\approx\frac1n\sum h(X_i)$,誤差 $\sigma/\sqrt n=O(1/\sqrt n)$($X_i$ が独立で $\sigma^2={\operatorname{V}}[h(X)]<\infty$ のとき);重点サンプリングの重み $f/g$
分散減少法(対照変量・制御変量),ボックス・ミュラー法
ジャックナイフ:バイアス $(n-1)(\hat\theta_{(\cdot)}-\hat\theta)$,分散 $\frac{n-1}n\sum(\hat\theta_{(i)}-\hat\theta_{(\cdot)})^2$;ブートストラップ
潜在的結果 $Y(1),Y(0)$,ATE $={\operatorname{E}}[Y(1)-Y(0)]$,ATT $={\operatorname{E}}[Y(1)-Y(0)\mid T=1]$
単純比較 $=$ ATT $+$ 選択バイアス ${\operatorname{E}}[Y(0)\mid T=1]-{\operatorname{E}}[Y(0)\mid T=0]$;無作為化で選択バイアスが0
バックドア基準と調整公式 ${\operatorname{E}}[Y(t)]=\sum_z{\operatorname{E}}[Y\mid T=t,Z=z]P(Z=z)$
傾向スコア $e({\boldsymbol{x}})=P(T=1\mid{\boldsymbol{x}})$.識別の前提は条件付き交換可能性(未測定交絡なし)・正値性・整合性(SUTVA)
IPW 推定:${\operatorname{E}}[Y(1)]={\operatorname{E}}\Bigl[\dfrac{TY}{e({\boldsymbol{X}})}\Bigr]$,${\operatorname{E}}[Y(0)]={\operatorname{E}}\Bigl[\dfrac{(1-T)Y}{1-e({\boldsymbol{X}})}\Bigr]$
バックドア基準は「処置の子孫を含めない」と「バックドアパスをすべて遮断する」の2条件.媒介変数を調整すると直接効果が求まる.合流点(処置前でも)に条件付けるとパスが開く
フロントドア調整 $P(y\mid\mathrm{do}(t))=\sum_mP(m\mid t)\sum_{t'}P(y\mid m,t')P(t')$
差の差法(平行トレンド仮定),操作変数 $\tau=\dfrac{{\operatorname{Cov}}[Z,Y]}{{\operatorname{Cov}}[Z,T]}$(効果一定のとき),ワルド推定量は関連性・無作為性・除外制約・単調性のもとでコンプライヤーの LATE,回帰不連続デザイン(カットオフでの連続性)
D 数学の道具箱
準1級で使う数学は,微分積分と線形代数の基本的な道具に限られます.ここでは「本文でどこに使ったか」を添えて要点をまとめます.
D.1 微分積分
$$\int_a^b f(x)g'(x)\,\mathrm{d}x=\Bigl[f(x)g(x)\Bigr]_a^b-\int_a^b f'(x)g(x)\,\mathrm{d}x .$$ 「微分すると簡単になるもの」を $f$,「積分しやすいもの」を $g'$ に選びます.$x^ke^{-\lambda x}$ の積分(指数・ガンマ分布の積率),生存関数による期待値 ${\operatorname{E}}[X]=\int_0^\infty S(x)\,\mathrm{d}x$ の導出で使いました.例:$\displaystyle\int_0^\infty x\lambda e^{-\lambda x}\,\mathrm{d}x=\Bigl[-xe^{-\lambda x}\Bigr]_0^\infty+\int_0^\infty e^{-\lambda x}\,\mathrm{d}x=\frac1\lambda$.
$x=\varphi(u)$ とおくと$$\int f(x)\,\mathrm{d}x=\int f(\varphi(u))\,\varphi'(u)\,\mathrm{d}u .$$ 範囲も必ず置き換えます.確率密度の変数変換(第4章)はこの公式そのもので,$|\varphi'(u)|$ がヤコビアンにあたります.2変数では $\,\mathrm{d}x\,\mathrm{d}y=|J|\,\mathrm{d}u\,\mathrm{d}v$,極座標なら $|J|=r$ です.
$$\Gamma(\alpha)=\int_0^\infty x^{\alpha-1}e^{-x}\,\mathrm{d}x\quad(\alpha>0),$$ $$\Gamma(\alpha+1)=\alpha\Gamma(\alpha),\qquad \Gamma(n)=(n-1)!,\qquad \Gamma\bigl(\tfrac12\bigr)=\sqrt\pi .$$ たとえば $\Gamma(\frac72)=\frac52\cdot\frac32\cdot\frac12\sqrt\pi=\frac{15}{8}\sqrt\pi\approx3.323$.置換 $x=\lambda t$ から得られる$$\int_0^\infty t^{\alpha-1}e^{-\lambda t}\,\mathrm{d}t=\frac{\Gamma(\alpha)}{\lambda^\alpha}$$ は,ガンマ分布の正規化定数・積率・積率母関数,ポアソン+ガンマのベイズ計算など,最も出番の多い積分公式です.「被積分関数がガンマ密度の形をしていたら,正規化定数の逆数で置き換える」と覚えます.
$$B(a,b)=\int_0^1 x^{a-1}(1-x)^{b-1}\,\mathrm{d}x=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\quad(a,b>0),\qquad B(a,b)=B(b,a).$$ 整数なら $B(a,b)=\dfrac{(a-1)!\,(b-1)!}{(a+b-1)!}$.例:$B(2,3)=\frac{1!\,2!}{4!}=\frac1{12}$.ベータ分布の積率 ${\operatorname{E}}[X^k]=B(a+k,b)/B(a,b)$,二項+ベータのベイズ計算,$t$・$F$ 分布の正規化定数に現れます.
$$\int_{-\infty}^\infty e^{-x^2/2}\,\mathrm{d}x=\sqrt{2\pi},\qquad \int_{-\infty}^\infty e^{-ax^2+bx}\,\mathrm{d}x=\sqrt{\frac\pi a}\,e^{b^2/(4a)}\quad(a>0).$$ 1つ目は2乗して極座標に置換すると $\int_0^{2\pi}\!\int_0^\infty e^{-r^2/2}r\,\mathrm{d}r\,\mathrm{d}\theta=2\pi$ から得られます($\Gamma(\frac12)=\sqrt\pi$ と同値).2つ目は平方完成 $-ax^2+bx=-a\bigl(x-\frac b{2a}\bigr)^2+\frac{b^2}{4a}$ から.正規分布の積率母関数,正規事前分布の事後分布の計算は,いずれも「指数の中を平方完成して正規密度の形を作る」作業です.
$x=a$ のまわりで$$f(x)=f(a)+f'(a)(x-a)+\frac{f''(a)}{2!}(x-a)^2+\cdots .$$ よく使う展開($x=0$ のまわり):$$e^x=\sum_{k=0}^\infty\frac{x^k}{k!},\qquad \frac1{1-x}=\sum_{k=0}^\infty x^k\ \ (|x|<1),$$ $$\log(1+x)=x-\frac{x^2}2+\frac{x^3}3-\cdots\ \ (|x|<1),$$ $$(1+x)^a=1+ax+\frac{a(a-1)}{2}x^2+\cdots,\qquad \lim_{n\to\infty}\Bigl(1+\frac xn\Bigr)^n=e^x .$$ 用途:デルタ法(1次の展開 $g(\bar X)\approx g(\mu)+g'(\mu)(\bar X-\mu)$),積率母関数の展開から積率を読む,ポアソン分布の正規化 $\sum\lambda^x/x!=e^\lambda$,少数法則 $(1-\lambda/n)^n\to e^{-\lambda}$,最尤推定量の漸近正規性(対数尤度の2次展開).
$$\sum_{k=1}^n k=\frac{n(n+1)}2,\qquad \sum_{k=1}^n k^2=\frac{n(n+1)(2n+1)}6,$$ $$\sum_{k=0}^\infty kx^{k}=\frac{x}{(1-x)^2},\qquad \sum_{k=0}^\infty k^2x^{k}=\frac{x(1+x)}{(1-x)^3}\qquad(|x|<1).$$ 前の2つは離散一様分布の期待値・分散や順位統計量(${\operatorname{E}}[W]$,${\operatorname{V}}[W]$)に,後の2つは幾何分布の積率に使います.
制約 $g({\boldsymbol{x}})=c$ のもとで $f({\boldsymbol{x}})$ を最大(最小)にする点は,$$L({\boldsymbol{x}},\lambda)=f({\boldsymbol{x}})-\lambda\{g({\boldsymbol{x}})-c\},\qquad \frac{\partial L}{\partial x_i}=0\ (i=1,\dots,p),\quad g({\boldsymbol{x}})=c$$ の解の中にあります.本書での主な用途:
多項分布の最尤推定($\sum p_i=1$ のもとで $\sum x_i\log p_i$ を最大化 $\Rightarrow\hat p_i=x_i/n$)
層化抽出のネイマン配分($\sum n_h=n$ のもとで $\sum W_h^2S_h^2/n_h$ を最小化 $\Rightarrow n_h\propto N_hS_h$)
主成分分析(${\boldsymbol{a}}^\top{\boldsymbol{a}}=1$ のもとで ${\boldsymbol{a}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{a}}$ を最大化 $\Rightarrow{\boldsymbol{\Sigma}}{\boldsymbol{a}}=\lambda{\boldsymbol{a}}$)
対数微分:$\dfrac{\,\mathrm{d}}{\,\mathrm{d}\theta}\log L(\theta)=\dfrac{L'(\theta)}{L(\theta)}$.積の尤度は対数で和にしてから微分する.
積分と微分の交換(期待値の微分):正則条件のもとで $\dfrac{\,\mathrm{d}}{\,\mathrm{d}t}{\operatorname{E}}[e^{tX}]={\operatorname{E}}[Xe^{tX}]$.
2変数関数の極値:$\nabla f={\boldsymbol{0}}$ かつヘッセ行列が負定値なら極大(対数尤度の最大化の確認).
ロピタルの定理・はさみうち:極限($\lim x^ke^{-x}=0$ など)の確認に使う.
D.2 線形代数
$2\times2$:$\det\begin{pmatrix}a&b\\c&d\end{pmatrix}=ad-bc$.$3\times3$ はサラスの方法または余因子展開.性質:$$\det(AB)=\det A\det B,\qquad \det A^\top=\det A,$$ $$\det(cA)=c^p\det A\ \ (A\text{ は }p\times p),\qquad \det A=\prod_{i}\lambda_i\ \ (\lambda_i\text{ は固有値}).$$ $\det A\ne0\iff A$ は正則(逆行列が存在).多変量正規分布の密度の $|{\boldsymbol{\Sigma}}|^{1/2}$,変数変換のヤコビアンに現れます.2変量なら $|{\boldsymbol{\Sigma}}|=\sigma_1^2\sigma_2^2(1-\rho^2)$.
$$\begin{pmatrix}a&b\\c&d\end{pmatrix}^{-1}=\frac1{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix},$$ $$(AB)^{-1}=B^{-1}A^{-1},\qquad (A^\top)^{-1}=(A^{-1})^\top.$$ 一般には掃き出し法か,余因子行列を行列式で割る.単回帰の $(X^\top X)^{-1}$ は $X^\top X=\begin{pmatrix}n&\sum x_i\\\sum x_i&\sum x_i^2\end{pmatrix}$ の逆行列で,$(2,2)$ 成分が $1/S_{xx}$ になります(${\operatorname{V}}[\hat\beta_1]=\sigma^2/S_{xx}$ の由来).
$A{\boldsymbol{u}}=\lambda{\boldsymbol{u}}$(${\boldsymbol{u}}\ne{\boldsymbol{0}}$)を満たす $\lambda$ が固有値,${\boldsymbol{u}}$ が固有ベクトル.固有値は特性方程式 $\det(A-\lambda I)=0$ の解.$2\times2$ なら$$\lambda^2-({\operatorname{tr}}A)\lambda+\det A=0 .$$ 対称行列の固有値は実数で,異なる固有値の固有ベクトルは直交し,スペクトル分解 $A=\sum_i\lambda_i{\boldsymbol{u}}_i{\boldsymbol{u}}_i^\top=U\Lambda U^\top$($U$ は直交行列)ができます.例:相関行列 $\begin{pmatrix}1&r\\r&1\end{pmatrix}$ の固有値は $1+r$(固有ベクトル $\frac1{\sqrt2}(1,1)^\top$)と $1-r$(固有ベクトル $\frac1{\sqrt2}(1,-1)^\top$).どちらが大きいかは $r$ の符号で決まり,$r>0$ なら $(1,1)$ 方向,$r<0$ なら $(1,-1)$ 方向が第1主成分になります.$r=0$ では固有値が重なり固有ベクトルは一意に定まりません.また固有ベクトルは符号を反転しても固有ベクトルです(第22章の主成分分析).マルコフ連鎖の定常分布は $P^\top$ の固有値1の固有ベクトルです(第14章).
${\operatorname{tr}}A=\sum_ia_{ii}=\sum_i\lambda_i$.性質:$${\operatorname{tr}}(A+B)={\operatorname{tr}}A+{\operatorname{tr}}B,\qquad {\operatorname{tr}}(AB)={\operatorname{tr}}(BA),\qquad {\boldsymbol{x}}^\top A{\boldsymbol{x}}={\operatorname{tr}}(A{\boldsymbol{x}}{\boldsymbol{x}}^\top).$$ 用途:ハット行列 $H=X(X^\top X)^{-1}X^\top$ の ${\operatorname{tr}}H={\operatorname{tr}}\bigl((X^\top X)^{-1}X^\top X\bigr)=p+1$(てこ比の和),残差平方和の期待値 ${\operatorname{E}}[S_e]=\sigma^2{\operatorname{tr}}(I-H)=(n-p-1)\sigma^2$,主成分の寄与率の分母 ${\operatorname{tr}}{\boldsymbol{\Sigma}}$.
対称行列 $A$ による $Q({\boldsymbol{x}})={\boldsymbol{x}}^\top A{\boldsymbol{x}}=\sum_i\sum_ja_{ij}x_ix_j$ を二次形式という.
すべての ${\boldsymbol{x}}\ne{\boldsymbol{0}}$ で ${\boldsymbol{x}}^\top A{\boldsymbol{x}}>0$ のとき正定値($\ge0$ なら半正定値).
正定値 $\iff$ 固有値がすべて正 $\iff$ 首座小行列式がすべて正.$2\times2$ なら $a_{11}>0$ かつ $\det A>0$.
分散共分散行列は常に半正定値(${\operatorname{V}}[{\boldsymbol{a}}^\top{\boldsymbol{X}}]={\boldsymbol{a}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{a}}\ge0$ だから).相関係数が $|\rho|\le1$ になるのはこのため.
期待値:${\operatorname{E}}[{\boldsymbol{X}}^\top A{\boldsymbol{X}}]={\operatorname{tr}}(A{\boldsymbol{\Sigma}})+{\boldsymbol{\mu}}^\top A{\boldsymbol{\mu}}$(${\operatorname{E}}[{\boldsymbol{X}}]={\boldsymbol{\mu}}$,${\operatorname{V}}[{\boldsymbol{X}}]={\boldsymbol{\Sigma}}$).
$A$ が対称なべき等行列($A^2=A$)で ${\boldsymbol{X}}\sim\mathrm{N}({\boldsymbol{0}},\sigma^2I)$ なら ${\boldsymbol{X}}^\top A{\boldsymbol{X}}/\sigma^2\sim\chi^2({\operatorname{rank}}A)$(${\operatorname{rank}}A={\operatorname{tr}}A$).残差平方和の分布 $S_e/\sigma^2\sim\chi^2(n-p-1)$ の根拠.
スカラー関数 $f({\boldsymbol{x}})$ の勾配を $\dfrac{\partial f}{\partial{\boldsymbol{x}}}=\Bigl(\dfrac{\partial f}{\partial x_1},\dots,\dfrac{\partial f}{\partial x_p}\Bigr)^\top$ と書くと$$\frac{\partial({\boldsymbol{a}}^\top{\boldsymbol{x}})}{\partial{\boldsymbol{x}}}={\boldsymbol{a}},\qquad \frac{\partial({\boldsymbol{x}}^\top A{\boldsymbol{x}})}{\partial{\boldsymbol{x}}}=(A+A^\top){\boldsymbol{x}}\ \ (A\text{ が対称なら }2A{\boldsymbol{x}}).$$ 最小二乗法:$S({\boldsymbol{\beta}})=({\boldsymbol{y}}-X{\boldsymbol{\beta}})^\top({\boldsymbol{y}}-X{\boldsymbol{\beta}})={\boldsymbol{y}}^\top{\boldsymbol{y}}-2{\boldsymbol{\beta}}^\top X^\top{\boldsymbol{y}}+{\boldsymbol{\beta}}^\top X^\top X{\boldsymbol{\beta}}$ を微分して$$\frac{\partial S}{\partial{\boldsymbol{\beta}}}=-2X^\top{\boldsymbol{y}}+2X^\top X{\boldsymbol{\beta}}={\boldsymbol{0}}\ \Longrightarrow\ X^\top X\hat{\boldsymbol{\beta}}=X^\top{\boldsymbol{y}}.$$ リッジ回帰では $\lambda{\boldsymbol{\beta}}^\top{\boldsymbol{\beta}}$ が加わり $(X^\top X+\lambda I)\hat{\boldsymbol{\beta}}=X^\top{\boldsymbol{y}}$.多変量正規の最尤推定では $\dfrac{\partial\log|A|}{\partial A}=(A^{-1})^\top$,$\dfrac{\partial\,{\operatorname{tr}}(AB)}{\partial A}=B^\top$ も使います.
分割行列の逆行列(シューア補行列)${\boldsymbol{\Sigma}}_{11\cdot2}={\boldsymbol{\Sigma}}_{11}-{\boldsymbol{\Sigma}}_{12}{\boldsymbol{\Sigma}}_{22}^{-1}{\boldsymbol{\Sigma}}_{21}$ は多変量正規の条件付き分散(A.2節)と偏相関に現れる.
直交行列 $U^\top U=I$ は長さを保つ($\|U{\boldsymbol{x}}\|=\|{\boldsymbol{x}}\|$):正規標本の $\bar X$ と $s^2$ の独立性の証明(ヘルマート変換)に使う.
特異値分解 $X=UDV^\top$:$X^\top X=VD^2V^\top$ なので,$X$ の右特異ベクトルが $X^\top X$ の固有ベクトル(第22章).
階数 ${\operatorname{rank}}A$:一次独立な列の最大数.$X$ が列フルランク(${\operatorname{rank}}X=p+1$)であることが $(X^\top X)^{-1}$ の存在条件.
統計検定準1級 合格ナビ:統計検定準1級の学習アプリ。参考書33章と演習・模試あわせて374問を、解説つきでスマホ・パソコンのブラウザで。第1〜3章の問題と参考書は登録なしで無料。全章は1,980円の買い切り。
アプリを無料で開く有料版と無料版の違い