付録

この付録は，本文で学んだ内容を「試験直前に見返す」「問題を解いていて公式を確認したい」ときのための資料集です．新しい内容は含まず，本文（各章）で導出・解説した結果を一覧の形に整理しています．導出や使い方の注意は，各項目に示した章に戻って確認してください．

A　主要な確率分布一覧：WB第5章・第6章の全分布について，確率（密度）関数・台・期待値・分散・積率母関数・再生性・主な関係を1分布1表で整理し，分布間の関係図を付けました．
B　推定・検定の公式一覧：区間推定と検定を「状況 $\to$ 統計量 $\to$ 帰無分布 $\to$ 棄却域・信頼区間」の流れで一覧にしました．分散分析表の形もまとめています．
C　準1級重要公式チェックリスト：第1章から第32章と補章（統計的因果推論）の最重要公式を，章ごとのチェックリストにしました．□に印をつけながら確認してください．
D　数学の道具箱：微分積分と線形代数のうち，準1級で繰り返し使う道具の要点です．

記法の約束

本書・ワークブック共通の記法として，上側 $100\alpha\%$ 点を $z_\alpha$，$t_\alpha(m)$，$\chi^2_\alpha(k)$，$F_\alpha(m,n)$ と書きます（$P(Z>z_\alpha)=\alpha$ など）．ガンマ分布 $\mathrm{Ga}(\alpha,\lambda)$ は形状 $\alpha$，率 $\lambda$（密度に $e^{-\lambda x}$）の流儀，指数分布 $\mathrm{Ex}(\lambda)$ も率 $\lambda$（平均 $1/\lambda$）の流儀です．尺度 $\theta=1/\lambda$ で $\mathrm{Ga}(\alpha,\theta)$（平均 $\alpha\theta$）と書く本もあるので，問題文では密度の式で確認してください．幾何分布・負の二項分布は「成功までの失敗回数」で定義し，「試行回数」版を併記しています．$\mathrm{N}(\mu,\sigma^2)$ の第2引数は分散です．$q=1-p$ と書くことがあります．不偏分散は $s^2=\frac{1}{n-1}\sum(X_i-\bar X)^2$ です．

A　主要な確率分布一覧

各表の「母関数」の行は，特に断らない限り積率母関数 $M_X(t)={\operatorname{E}}[e^{tX}]$ です．離散型では確率母関数 $G_X(s)={\operatorname{E}}[s^X]$ も併記しました（$M_X(t)=G_X(e^t)$ の関係があります）．「再生性」は，独立な同じ族の確率変数の和が同じ族に入る性質です（第5章・第6章）．

A.1　離散型分布（WB第5章）

離散一様分布$\{1,2,\dots,N\}$ 上の一様分布
確率関数	$P(X=x)=\dfrac1N$
台・母数	$x=1,2,\dots,N$；$N$ は正の整数
期待値・分散	${\operatorname{E}}[X]=\dfrac{N+1}{2}$，${\operatorname{V}}[X]=\dfrac{N^2-1}{12}$
母関数	$M_X(t)=\dfrac{e^t(e^{Nt}-1)}{N(e^t-1)}$ ($t\ne0$)，$G_X(s)=\dfrac{s(1-s^N)}{N(1-s)}$
再生性	なし（2個のさいころの和は三角形の分布になる）
主な関係	公正なさいころは $N=6$（${\operatorname{E}}=3.5$，${\operatorname{V}}=35/12$）．$\{0,1\}$ 上の一様分布はベルヌーイ分布 $p=\frac12$．$N\to\infty$ で $X/N$ は $\mathrm{U}(0,1)$ に近づく

ベルヌーイ分布$\mathrm{Bernoulli}(p)$
確率関数	$P(X=x)=p^x(1-p)^{1-x}$
台・母数	$x=0,1$；$0\le p\le1$
期待値・分散	${\operatorname{E}}[X]=p$，${\operatorname{V}}[X]=p(1-p)=pq$
母関数	$M_X(t)=q+pe^t$，$G_X(s)=q+ps$
再生性	なし（ただし独立な $n$ 個の和は $\mathrm{Bin}(n,p)$）
主な関係	指示変数 $\mathbb{1}_A$ そのもので ${\operatorname{E}}[\mathbb{1}_A]=P(A)$．$X^2=X$ なので ${\operatorname{E}}[X^2]=p$

二項分布$\mathrm{Bin}(n,p)$
確率関数	$P(X=x)=\dbinom nx p^x(1-p)^{n-x}$
台・母数	$x=0,1,\dots,n$；$n$ は正の整数，$0\le p\le1$
期待値・分散	${\operatorname{E}}[X]=np$，${\operatorname{V}}[X]=np(1-p)$．最頻値（$0<p<1$）：$(n+1)p$ が整数でなければ $\lfloor(n+1)p\rfloor$，整数 $m$ なら $m-1$ と $m$ の2つ
母関数	$M_X(t)=(q+pe^t)^n$，$G_X(s)=(q+ps)^n$
再生性	$\mathrm{Bin}(n_1,p)+\mathrm{Bin}(n_2,p)=\mathrm{Bin}(n_1+n_2,p)$（$p$ が共通のとき）
主な関係	ベルヌーイ $n$ 個の和．$n\to\infty$，$np=\lambda$ 一定で $\mathrm{Po}(\lambda)$（少数法則）．$np(1-p)$ が大きければ $\mathrm{N}(np,np(1-p))$ で近似（連続修正 $\pm0.5$）．多項分布の周辺分布

超幾何分布全 $N$ 個（うち当たり $M$ 個）から $n$ 個を非復元抽出
確率関数	$P(X=x)=\dfrac{\dbinom Mx\dbinom{N-M}{n-x}}{\dbinom Nn}$
台・母数	$\max(0,\,n-N+M)\le x\le\min(n,M)$
期待値・分散	$p=M/N$ として ${\operatorname{E}}[X]=np$，${\operatorname{V}}[X]=np(1-p)\cdot\dfrac{N-n}{N-1}$
母関数	簡単な閉じた形はない
再生性	なし
主な関係	$\frac{N-n}{N-1}$ は有限母集団修正（$n=N$ で分散0）．$M/N=p$ を保って $N\to\infty$ とすると $\mathrm{Bin}(n,p)$．フィッシャーの正確検定（第28章）の帰無分布

ポアソン分布$\mathrm{Po}(\lambda)$
確率関数	$P(X=x)=e^{-\lambda}\dfrac{\lambda^x}{x!}$
台・母数	$x=0,1,2,\dots$；$\lambda>0$
期待値・分散	${\operatorname{E}}[X]=\lambda$，${\operatorname{V}}[X]=\lambda$（平均と分散が等しい）．最頻値：$\lambda$ が整数でなければ $\lfloor\lambda\rfloor$，正の整数なら $\lambda-1$ と $\lambda$ の2つ
母関数	$M_X(t)=\exp\{\lambda(e^t-1)\}$，$G_X(s)=e^{\lambda(s-1)}$
再生性	$\mathrm{Po}(\lambda_1)+\mathrm{Po}(\lambda_2)=\mathrm{Po}(\lambda_1+\lambda_2)$
主な関係	二項分布の極限（$n\to\infty$，$np=\lambda$）．$X_1\sim\mathrm{Po}(\lambda_1)$，$X_2\sim\mathrm{Po}(\lambda_2)$ 独立なら $X_1\mid X_1+X_2=t\sim\mathrm{Bin}\bigl(t,\frac{\lambda_1}{\lambda_1+\lambda_2}\bigr)$．ポアソン過程の区間内の件数．$\lambda$ がガンマ分布に従う混合は負の二項分布．$P(\mathrm{Po}(\lambda x)\ge n)=P(\mathrm{Ga}(n,\lambda)\le x)$

幾何分布$\mathrm{Geo}(p)$（最初の成功までの失敗回数 $X$）
確率関数	$P(X=x)=pq^x$（試行回数 $Y=X+1$ なら $P(Y=y)=pq^{y-1}$，$y\ge1$）
台・母数	$x=0,1,2,\dots$；$0<p\le1$
期待値・分散	${\operatorname{E}}[X]=\dfrac qp$， ${\operatorname{V}}[X]=\dfrac q{p^2}$（${\operatorname{E}}[Y]=\dfrac1p$，${\operatorname{V}}[Y]=\dfrac q{p^2}$）
母関数	$M_X(t)=\dfrac{p}{1-qe^t}$ ($t<-\log q$)，$G_X(s)=\dfrac{p}{1-qs}$
再生性	なし（独立な $r$ 個の和は負の二項分布）
主な関係	$P(X\ge x)=q^x$．無記憶性 $P(X\ge m+n\mid X\ge m)=P(X\ge n)$ をもつ唯一の離散分布（指数分布の離散版）．負の二項分布の $r=1$

負の二項分布$\mathrm{NB}(r,p)$（$r$ 回目の成功までの失敗回数 $X$）
確率関数	$P(X=x)=\dbinom{r+x-1}{x}p^rq^x$（試行回数 $Y=X+r$ なら $\binom{y-1}{r-1}p^rq^{y-r}$）
台・母数	$x=0,1,2,\dots$；$r>0$（実数でも可：$\binom{r+x-1}{x}=\frac{\Gamma(r+x)}{\Gamma(r)x!}$），$0<p\le1$
期待値・分散	${\operatorname{E}}[X]=\dfrac{rq}p$， ${\operatorname{V}}[X]=\dfrac{rq}{p^2}$（${\operatorname{E}}[Y]=\dfrac rp$）
母関数	$M_X(t)=\Bigl(\dfrac{p}{1-qe^t}\Bigr)^r$ ($t<-\log q$)，$G_X(s)=\Bigl(\dfrac{p}{1-qs}\Bigr)^r$
再生性	$\mathrm{NB}(r_1,p)+\mathrm{NB}(r_2,p)=\mathrm{NB}(r_1+r_2,p)$（$p$ 共通）
主な関係	幾何分布 $r$ 個の和．${\operatorname{V}}[X]={\operatorname{E}}[X]/p>{\operatorname{E}}[X]$（過分散）．$X\mid\lambda\sim\mathrm{Po}(\lambda)$，$\lambda\sim\mathrm{Ga}(r,b)$ なら $X\sim\mathrm{NB}\bigl(r,\frac{b}{1+b}\bigr)$．$r\to\infty$，$rq/p=\lambda$ 一定で $\mathrm{Po}(\lambda)$

多項分布$\mathrm{Mult}(n;\,p_1,\dots,p_k)$
確率関数	$P(X_1=x_1,\dots,X_k=x_k)=\dfrac{n!}{x_1!\cdots x_k!}\,p_1^{x_1}\cdots p_k^{x_k}$
台・母数	$x_i\ge0$，$\sum_i x_i=n$；$p_i\ge0$，$\sum_i p_i=1$
期待値・分散	${\operatorname{E}}[X_i]=np_i$， ${\operatorname{V}}[X_i]=np_i(1-p_i)$， ${\operatorname{Cov}}[X_i,X_j]=-np_ip_j$ ($i\ne j$)
母関数	$M(t_1,\dots,t_k)=\bigl(p_1e^{t_1}+\cdots+p_ke^{t_k}\bigr)^n$
再生性	$\mathrm{Mult}(n_1;{\boldsymbol{p}})+\mathrm{Mult}(n_2;{\boldsymbol{p}})=\mathrm{Mult}(n_1+n_2;{\boldsymbol{p}})$
主な関係	周辺 $X_i\sim\mathrm{Bin}(n,p_i)$．カテゴリを併合しても多項分布．共分散が負なのは合計 $n$ が固定だから．${\operatorname{V}}[X_i-X_j]=n\{p_i+p_j-(p_i-p_j)^2\}$（第9章の比率の差の区間）．独立な $\mathrm{Po}(\lambda_i)$ を合計で条件付けると多項分布

A.2　連続型分布（WB第6章）

連続一様分布$\mathrm{U}(a,b)$
密度関数	$f(x)=\dfrac1{b-a}$，分布関数 $F(x)=\dfrac{x-a}{b-a}$
台・母数	$a\le x\le b$；$a<b$
期待値・分散	${\operatorname{E}}[X]=\dfrac{a+b}2$，${\operatorname{V}}[X]=\dfrac{(b-a)^2}{12}$
母関数	$M_X(t)=\dfrac{e^{bt}-e^{at}}{(b-a)t}$ ($t\ne0$，$M_X(0)=1$)
再生性	なし（独立な2個の和は三角分布）
主な関係	$\mathrm{U}(0,1)=\mathrm{Be}(1,1)$．$U\sim\mathrm{U}(0,1)$ なら $-\frac1\lambda\log U\sim\mathrm{Ex}(\lambda)$（逆関数法，第32章）．$\mathrm{U}(0,1)$ の $n$ 個の順序統計量の第 $k$ 番目は $\mathrm{Be}(k,n-k+1)$．連続分布の $F(X)$ は $\mathrm{U}(0,1)$

正規分布$\mathrm{N}(\mu,\sigma^2)$
密度関数	$f(x)=\dfrac{1}{\sqrt{2\pi\sigma^2}}\exp\Bigl\{-\dfrac{(x-\mu)^2}{2\sigma^2}\Bigr\}$
台・母数	$-\infty<x<\infty$；$\mu\in\mathbb{R}$，$\sigma^2>0$
期待値・分散	${\operatorname{E}}[X]=\mu$，${\operatorname{V}}[X]=\sigma^2$．歪度0，尖度3（超過尖度0）
母関数	$M_X(t)=\exp\bigl(\mu t+\tfrac12\sigma^2t^2\bigr)$
再生性	独立なら $\mathrm{N}(\mu_1,\sigma_1^2)+\mathrm{N}(\mu_2,\sigma_2^2)=\mathrm{N}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$．一般に $aX+b\sim\mathrm{N}(a\mu+b,a^2\sigma^2)$
主な関係	$Z=(X-\mu)/\sigma\sim\mathrm{N}(0,1)$．$Z^2\sim\chi^2(1)$．$\bar X\sim\mathrm{N}(\mu,\sigma^2/n)$ で $\bar X$ と $s^2$ は独立．$e^X$ は対数正規．中心極限定理の極限

指数分布$\mathrm{Ex}(\lambda)$（率 $\lambda$）
密度関数	$f(x)=\lambda e^{-\lambda x}$，$F(x)=1-e^{-\lambda x}$，生存関数 $S(x)=e^{-\lambda x}$
台・母数	$x\ge0$；$\lambda>0$
期待値・分散	${\operatorname{E}}[X]=\dfrac1\lambda$，${\operatorname{V}}[X]=\dfrac1{\lambda^2}$，${\operatorname{E}}[X^k]=\dfrac{k!}{\lambda^k}$
母関数	$M_X(t)=\dfrac{\lambda}{\lambda-t}$ ($t<\lambda$)
再生性	なし（率共通の $n$ 個の和は $\mathrm{Ga}(n,\lambda)$）
主な関係	無記憶性 $P(X>s+t\mid X>s)=P(X>t)$．ハザード関数は定数 $\lambda$．$\mathrm{Ex}(\lambda)=\mathrm{Ga}(1,\lambda)$．独立な $\mathrm{Ex}(\lambda_i)$ の最小値は $\mathrm{Ex}(\sum\lambda_i)$．ポアソン過程の到着間隔．$2\lambda X\sim\chi^2(2)$

ガンマ分布$\mathrm{Ga}(\alpha,\lambda)$（形状 $\alpha$，率 $\lambda$）
密度関数	$f(x)=\dfrac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}$
台・母数	$x>0$；$\alpha>0$，$\lambda>0$
期待値・分散	${\operatorname{E}}[X]=\dfrac\alpha\lambda$， ${\operatorname{V}}[X]=\dfrac\alpha{\lambda^2}$， ${\operatorname{E}}[X^k]=\dfrac{\Gamma(\alpha+k)}{\Gamma(\alpha)\lambda^k}$，最頻値 $\dfrac{\alpha-1}\lambda$ ($\alpha\ge1$)
母関数	$M_X(t)=\Bigl(\dfrac{\lambda}{\lambda-t}\Bigr)^\alpha$ ($t<\lambda$)
再生性	$\mathrm{Ga}(\alpha_1,\lambda)+\mathrm{Ga}(\alpha_2,\lambda)=\mathrm{Ga}(\alpha_1+\alpha_2,\lambda)$（率 $\lambda$ 共通）
主な関係	$\mathrm{Ga}(1,\lambda)=\mathrm{Ex}(\lambda)$．$\mathrm{Ga}(\frac k2,\frac12)=\chi^2(k)$．$cX\sim\mathrm{Ga}(\alpha,\lambda/c)$．$X\sim\mathrm{Ga}(a,\lambda)$，$Y\sim\mathrm{Ga}(b,\lambda)$ 独立なら $\frac{X}{X+Y}\sim\mathrm{Be}(a,b)$ で $X+Y$ と独立．ポアソン分布の共役事前分布（第31章）

ベータ分布$\mathrm{Be}(a,b)$
密度関数	$f(x)=\dfrac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$，$B(a,b)=\dfrac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$
台・母数	$0<x<1$；$a>0$，$b>0$
期待値・分散	${\operatorname{E}}[X]=\dfrac a{a+b}$， ${\operatorname{V}}[X]=\dfrac{ab}{(a+b)^2(a+b+1)}$，最頻値 $\dfrac{a-1}{a+b-2}$ ($a,b>1$)
母関数	積率母関数は簡単な閉じた形をもたない．積率は ${\operatorname{E}}[X^k]=\dfrac{B(a+k,b)}{B(a,b)}$
再生性	なし
主な関係	$\mathrm{Be}(1,1)=\mathrm{U}(0,1)$．$1-X\sim\mathrm{Be}(b,a)$．ガンマ分布の比 $\frac{X}{X+Y}$．$W\sim F(m,n)$ なら $\frac{mW}{n+mW}\sim\mathrm{Be}(\frac m2,\frac n2)$．二項分布の共役事前分布（事後分布 $\mathrm{Be}(a+x,b+n-x)$）

コーシー分布位置 $\mu$，尺度 $\sigma$
密度関数	$f(x)=\dfrac1\pi\cdot\dfrac{\sigma}{\sigma^2+(x-\mu)^2}$，標準形 $\dfrac1{\pi(1+x^2)}$， $F(x)=\dfrac12+\dfrac1\pi\arctan x$
台・母数	$-\infty<x<\infty$；$\mu\in\mathbb{R}$，$\sigma>0$
期待値・分散	期待値も分散も存在しない（$\int\|x\|f(x)\,\mathrm{d}x=\infty$）．中央値・最頻値は $\mu$
母関数	積率母関数は存在しない（特性関数は $e^{i\mu t-\sigma\|t\|}$）
再生性	独立なら位置と尺度がそれぞれ加わる．$X_1,\dots,X_n$ が標準コーシーの独立標本なら $\bar X$ も標準コーシー
主な関係	$t(1)$ に等しい．独立な $\mathrm{N}(0,1)$ の比 $Z_1/Z_2$．$\Theta\sim\mathrm{U}(-\frac\pi2,\frac\pi2)$ なら $\tan\Theta$．大数の法則・中心極限定理が成り立たない例

対数正規分布$\mathrm{LN}(\mu,\sigma^2)$（$\log X\sim\mathrm{N}(\mu,\sigma^2)$）
密度関数	$f(x)=\dfrac{1}{x\sqrt{2\pi\sigma^2}}\exp\Bigl\{-\dfrac{(\log x-\mu)^2}{2\sigma^2}\Bigr\}$
台・母数	$x>0$；$\mu\in\mathbb{R}$，$\sigma^2>0$
期待値・分散	${\operatorname{E}}[X]=e^{\mu+\sigma^2/2}$， ${\operatorname{V}}[X]=e^{2\mu+\sigma^2}(e^{\sigma^2}-1)$， ${\operatorname{E}}[X^k]=e^{k\mu+k^2\sigma^2/2}$．中央値 $e^\mu$，最頻値 $e^{\mu-\sigma^2}$
母関数	積率はすべて存在するが，積率母関数は $t>0$ で存在しない
再生性	和についてはなし．独立な対数正規の積は対数正規（$\mu,\sigma^2$ がそれぞれ加わる）
主な関係	$X=e^Y$，$Y\sim\mathrm{N}(\mu,\sigma^2)$．右に裾が長い（所得・株価のモデル）．${\operatorname{E}}[X]=e^{\mu+\sigma^2/2}$ は正規の積率母関数 $M_Y(1)$

多変量正規分布$\mathrm{N}_p({\boldsymbol{\mu}},{\boldsymbol{\Sigma}})$
密度関数	$f({\boldsymbol{x}})=\dfrac{1}{(2\pi)^{p/2}\|{\boldsymbol{\Sigma}}\|^{1/2}}\exp\Bigl\{-\dfrac12({\boldsymbol{x}}-{\boldsymbol{\mu}})^\top{\boldsymbol{\Sigma}}^{-1}({\boldsymbol{x}}-{\boldsymbol{\mu}})\Bigr\}$
2変量の場合	$f(x,y)=\dfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\Bigl[-\dfrac{1}{2(1-\rho^2)}\Bigl\{\dfrac{(x-\mu_1)^2}{\sigma_1^2}-\dfrac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\dfrac{(y-\mu_2)^2}{\sigma_2^2}\Bigr\}\Bigr]$
台・母数	${\boldsymbol{x}}\in\mathbb{R}^p$；${\boldsymbol{\mu}}\in\mathbb{R}^p$，${\boldsymbol{\Sigma}}$ は正定値対称行列
期待値・分散	${\operatorname{E}}[{\boldsymbol{X}}]={\boldsymbol{\mu}}$，${\operatorname{V}}[{\boldsymbol{X}}]={\boldsymbol{\Sigma}}$
母関数	$M({\boldsymbol{t}})=\exp\bigl({\boldsymbol{\mu}}^\top{\boldsymbol{t}}+\tfrac12{\boldsymbol{t}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{t}}\bigr)$
再生性	線形変換で閉じる：$A{\boldsymbol{X}}+{\boldsymbol{b}}\sim\mathrm{N}(A{\boldsymbol{\mu}}+{\boldsymbol{b}},\ A{\boldsymbol{\Sigma}}A^\top)$．独立な和も多変量正規
主な関係	周辺分布は正規．無相関 $\Leftrightarrow$ 独立．条件付き分布 ${\boldsymbol{X}}_1\mid{\boldsymbol{X}}_2={\boldsymbol{x}}_2\sim\mathrm{N}\bigl({\boldsymbol{\mu}}_1+{\boldsymbol{\Sigma}}_{12}{\boldsymbol{\Sigma}}_{22}^{-1}({\boldsymbol{x}}_2-{\boldsymbol{\mu}}_2),\ {\boldsymbol{\Sigma}}_{11}-{\boldsymbol{\Sigma}}_{12}{\boldsymbol{\Sigma}}_{22}^{-1}{\boldsymbol{\Sigma}}_{21}\bigr)$．2変量なら ${\operatorname{E}}[Y\mid x]=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)$，${\operatorname{V}}[Y\mid x]=\sigma_2^2(1-\rho^2)$．$({\boldsymbol{X}}-{\boldsymbol{\mu}})^\top{\boldsymbol{\Sigma}}^{-1}({\boldsymbol{X}}-{\boldsymbol{\mu}})\sim\chi^2(p)$

混合正規分布$\pi\,\mathrm{N}(\mu_1,\sigma_1^2)+(1-\pi)\,\mathrm{N}(\mu_2,\sigma_2^2)$
密度関数	$f(x)=\pi\,\phi(x;\mu_1,\sigma_1^2)+(1-\pi)\,\phi(x;\mu_2,\sigma_2^2)$（$\phi$ は正規密度）
台・母数	$-\infty<x<\infty$；$0\le\pi\le1$
期待値・分散	${\operatorname{E}}[X]=\pi\mu_1+(1-\pi)\mu_2$，
	${\operatorname{V}}[X]=\pi\sigma_1^2+(1-\pi)\sigma_2^2+\pi(1-\pi)(\mu_1-\mu_2)^2$（群内分散の平均＋群間分散）
母関数	$M_X(t)=\pi e^{\mu_1t+\sigma_1^2t^2/2}+(1-\pi)e^{\mu_2t+\sigma_2^2t^2/2}$
主な関係	確率変数の和ではなく密度の加重平均．どの成分から出たかを潜在変数とみなすと EM アルゴリズム（第24章・第29章）．分散は全分散の公式 ${\operatorname{V}}[X]={\operatorname{E}}[{\operatorname{V}}[X\mid G]]+{\operatorname{V}}[{\operatorname{E}}[X\mid G]]$ で導く

A.3　標本分布と非心分布（WB第6章）

カイ二乗分布$\chi^2(k)$
定義	$Z_1,\dots,Z_k\overset{\text{i.i.d.}}{\sim}\mathrm{N}(0,1)$ のとき $W=Z_1^2+\cdots+Z_k^2$
密度関数	$f(x)=\dfrac{1}{2^{k/2}\Gamma(k/2)}x^{k/2-1}e^{-x/2}$
台・母数	$x>0$；自由度 $k$（正の整数）
期待値・分散	${\operatorname{E}}[W]=k$，${\operatorname{V}}[W]=2k$
母関数	$M_W(t)=(1-2t)^{-k/2}$ ($t<\frac12$)
再生性	$\chi^2(k_1)+\chi^2(k_2)=\chi^2(k_1+k_2)$
主な関係	$\chi^2(k)=\mathrm{Ga}(\frac k2,\frac12)$，$\chi^2(2)=\mathrm{Ex}(\frac12)$．正規標本で $\dfrac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)$（$\bar X$ と独立）．$k$ が大きいと $\mathrm{N}(k,2k)$．適合度・独立性・尤度比検定の漸近帰無分布

$t$ 分布$t(m)$
定義	$Z\sim\mathrm{N}(0,1)$ と $W\sim\chi^2(m)$ が独立のとき $T=\dfrac{Z}{\sqrt{W/m}}$
密度関数	$f(x)=\dfrac{\Gamma(\frac{m+1}2)}{\sqrt{m\pi}\,\Gamma(\frac m2)}\Bigl(1+\dfrac{x^2}m\Bigr)^{-\frac{m+1}2}$
台・母数	$-\infty<x<\infty$；自由度 $m$
期待値・分散	${\operatorname{E}}[T]=0$ ($m\ge2$)，${\operatorname{V}}[T]=\dfrac m{m-2}$ ($m\ge3$)
母関数	積率母関数は存在しない（$m$ 次以上の積率が存在しない）
再生性	なし
主な関係	正規標本で $\dfrac{\bar X-\mu}{s/\sqrt n}\sim t(n-1)$．$t(1)$ はコーシー分布．$m\to\infty$ で $\mathrm{N}(0,1)$．$T^2\sim F(1,m)$，したがって（上側点どうしで）$t_{\alpha/2}(m)^2=F_\alpha(1,m)$

$F$ 分布$F(m,n)$
定義	$W_1\sim\chi^2(m)$ と $W_2\sim\chi^2(n)$ が独立のとき $F=\dfrac{W_1/m}{W_2/n}$
密度関数	$f(x)=\dfrac{1}{B(\frac m2,\frac n2)}\Bigl(\dfrac mn\Bigr)^{m/2}x^{m/2-1}\Bigl(1+\dfrac mnx\Bigr)^{-\frac{m+n}2}$
台・母数	$x>0$；自由度 $(m,n)$
期待値・分散	${\operatorname{E}}[F]=\dfrac n{n-2}$ ($n\ge3$)，${\operatorname{V}}[F]=\dfrac{2n^2(m+n-2)}{m(n-2)^2(n-4)}$ ($n\ge5$)
母関数	積率母関数は存在しない
再生性	なし
主な関係	$1/F\sim F(n,m)$．$F_\alpha(m,n)$ を上側 $100\alpha\%$ 点（$P(F>F_\alpha(m,n))=\alpha$）とすると，下側 $100\alpha\%$ 点は $F_{1-\alpha}(m,n)=1/F_\alpha(n,m)$（自由度が入れ替わる）．$t(n)^2=F(1,n)$．$\frac{mF}{n+mF}\sim\mathrm{Be}(\frac m2,\frac n2)$．正規2標本で $\dfrac{s_1^2/\sigma_1^2}{s_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1)$．分散分析・回帰の $F$ 検定

非心カイ二乗分布$\chi^2(k,\lambda)$
定義	$X_i\sim\mathrm{N}(\mu_i,1)$ 独立（$i=1,\dots,k$）のとき $W=\sum X_i^2$，非心度 $\lambda=\sum\mu_i^2$
密度関数	$f(x)=\displaystyle\sum_{j=0}^\infty e^{-\lambda/2}\frac{(\lambda/2)^j}{j!}\,f_{\chi^2(k+2j)}(x)$（中心カイ二乗のポアソン混合）
期待値・分散	${\operatorname{E}}[W]=k+\lambda$，${\operatorname{V}}[W]=2k+4\lambda$
母関数	$M_W(t)=(1-2t)^{-k/2}\exp\Bigl(\dfrac{\lambda t}{1-2t}\Bigr)$ ($t<\frac12$)
再生性	$\chi^2(k_1,\lambda_1)+\chi^2(k_2,\lambda_2)=\chi^2(k_1+k_2,\lambda_1+\lambda_2)$
主な関係	$\lambda=0$ で中心カイ二乗．分布は ${\boldsymbol{\mu}}$ の長さ $\lambda$ だけで決まる．対立仮説のもとでのカイ二乗統計量の分布（検出力計算）

非心 $t$ 分布$t(m,\delta)$
定義	$Z\sim\mathrm{N}(0,1)$ と $W\sim\chi^2(m)$ が独立のとき $T=\dfrac{Z+\delta}{\sqrt{W/m}}$
期待値・分散	${\operatorname{E}}[T]=\delta\sqrt{\dfrac m2}\,\dfrac{\Gamma(\frac{m-1}2)}{\Gamma(\frac m2)}$ ($m\ge2$)，${\operatorname{V}}[T]=\dfrac{m(1+\delta^2)}{m-2}-{\operatorname{E}}[T]^2$ ($m\ge3$)
母関数	積率母関数は存在しない
主な関係	$\delta=0$ で $t(m)$．正規1標本で真の平均が $\mu_1$ のとき $\dfrac{\bar X-\mu_0}{s/\sqrt n}\sim t\bigl(n-1,\ \delta\bigr)$，$\delta=\dfrac{\sqrt n(\mu_1-\mu_0)}{\sigma}$．$t$ 検定の検出力は $P(\|T\|>t_{\alpha/2}(n-1))$ をこの分布で計算する

非心 $F$ 分布$F(m,n,\lambda)$
定義	$W_1\sim\chi^2(m,\lambda)$ と $W_2\sim\chi^2(n)$ が独立のとき $F=\dfrac{W_1/m}{W_2/n}$
期待値・分散	${\operatorname{E}}[F]=\dfrac{n(m+\lambda)}{m(n-2)}$ ($n\ge3$)，${\operatorname{V}}[F]=2\Bigl(\dfrac nm\Bigr)^2\dfrac{(m+\lambda)^2+(m+2\lambda)(n-2)}{(n-2)^2(n-4)}$ ($n\ge5$)
母関数	積率母関数は存在しない
主な関係	$\lambda=0$ で $F(m,n)$．分散分析で処理効果があるとき $F$ 統計量が従う分布で，非心度は $\lambda=\sum_i r(\alpha_i)^2/\sigma^2$（1元配置，繰り返し $r$，$\alpha_i$ は処理効果）．検出力計算に使う

A.4　期待値・分散の早見表

上の表から期待値と分散だけを抜き出しました．試験では「分布名 $\to$ 期待値・分散」を反射的に書けることが時間短縮につながります．

離散型	期待値	分散	離散型	期待値	分散
離散一様	$\frac{N+1}2$	$\frac{N^2-1}{12}$	ポアソン	$\lambda$	$\lambda$
ベルヌーイ	$p$	$pq$	幾何（失敗数）	$\frac qp$	$\frac q{p^2}$
二項	$np$	$npq$	負の二項（失敗数）	$\frac{rq}p$	$\frac{rq}{p^2}$
超幾何	$np$	$npq\frac{N-n}{N-1}$	多項（第 $i$ 成分）	$np_i$	$np_i(1-p_i)$

連続型	期待値	分散	連続型	期待値	分散
連続一様	$\frac{a+b}2$	$\frac{(b-a)^2}{12}$	コーシー	なし	なし
正規	$\mu$	$\sigma^2$	対数正規	$e^{\mu+\sigma^2/2}$	$e^{2\mu+\sigma^2}(e^{\sigma^2}-1)$
指数	$\frac1\lambda$	$\frac1{\lambda^2}$	$\chi^2(k)$	$k$	$2k$
ガンマ	$\frac\alpha\lambda$	$\frac\alpha{\lambda^2}$	$t(m)$	$0$	$\frac m{m-2}$
ベータ	$\frac a{a+b}$	$\frac{ab}{(a+b)^2(a+b+1)}$	$F(m,n)$	$\frac n{n-2}$	$\frac{2n^2(m+n-2)}{m(n-2)^2(n-4)}$

A.5　分布の関係図

図A.1は，上の表の「主な関係」の行を1枚にまとめたものです．矢印の根元の分布から，矢印に書いた操作（和，極限，変換，比など）で先の分布が得られます．上段が離散型，下段が連続型です．

図 A.1 主な確率分布の関係（実線：正確な関係，破線：極限・近似）．このほか，ポアソン分布の $\lambda$ をガンマ分布で混合すると負の二項分布，$t(m)$ は $m\to\infty$ で正規分布，非心分布は各分布の定義の正規変数の平均を0からずらしたもの — **図 A.1** 主な確率分布の関係（実線：正確な関係，破線：極限・近似）．このほか，ポアソン分布の $\lambda$ をガンマ分布で混合すると負の二項分布，$t(m)$ は $m\to\infty$ で正規分布，非心分布は各分布の定義の正規変数の平均を0からずらしたもの

B　推定・検定の公式一覧

以下の表は，各行を「状況」$\to$「統計量と帰無分布」$\to$「棄却域（有意水準 $\alpha$，両側）と信頼区間（信頼係数 $1-\alpha$）」の順に読みます．片側検定では $\alpha/2$ を $\alpha$ に替え，棄却域を一方の側だけにします．標本は特に断らない限り正規母集団からの無作為標本で，2標本の場合は標本の大きさを $m,n$（第1標本 $X$，第2標本 $Y$），不偏分散を $s_1^2,s_2^2$ とします．詳しくは第9章〜第13章，第16章，第20章，第28章を参照してください．

B.1　正規母集団の平均（第9章・第11章）

状況	統計量 $\sim$ 帰無分布	棄却域／信頼区間
1標本，$\sigma^2$ 既知	$Z=\dfrac{\bar X-\mu_0}{\sigma/\sqrt n}\sim\mathrm{N}(0,1)$	$\|Z\|>z_{\alpha/2}$ $\bar X\pm z_{\alpha/2}\dfrac{\sigma}{\sqrt n}$
1標本，$\sigma^2$ 未知	$T=\dfrac{\bar X-\mu_0}{s/\sqrt n}\sim t(n-1)$	$\|T\|>t_{\alpha/2}(n-1)$ $\bar X\pm t_{\alpha/2}(n-1)\dfrac{s}{\sqrt n}$
対応のある2標本	差 $D_i=X_i-Y_i$ について $T=\dfrac{\bar D}{s_D/\sqrt n}\sim t(n-1)$	$\|T\|>t_{\alpha/2}(n-1)$ $\bar D\pm t_{\alpha/2}(n-1)\dfrac{s_D}{\sqrt n}$
2標本，分散既知	$Z=\dfrac{\bar X-\bar Y}{\sqrt{\sigma_1^2/m+\sigma_2^2/n}}\sim\mathrm{N}(0,1)$	$\|Z\|>z_{\alpha/2}$ $\bar X-\bar Y\pm z_{\alpha/2}\sqrt{\dfrac{\sigma_1^2}m+\dfrac{\sigma_2^2}n}$
2標本，等分散（未知）	$T=\dfrac{\bar X-\bar Y}{s\sqrt{\frac1m+\frac1n}}\sim t(m+n-2)$ $s^2=\dfrac{(m-1)s_1^2+(n-1)s_2^2}{m+n-2}$	$\|T\|>t_{\alpha/2}(m+n-2)$ $\bar X-\bar Y\pm t_{\alpha/2}(m+n-2)\,s\sqrt{\dfrac1m+\dfrac1n}$
2標本，不等分散（ウェルチ）	$T=\dfrac{\bar X-\bar Y}{\sqrt{s_1^2/m+s_2^2/n}}\approx t(\nu)$ $\nu=\dfrac{(s_1^2/m+s_2^2/n)^2}{\frac{(s_1^2/m)^2}{m-1}+\frac{(s_2^2/n)^2}{n-1}}$ $\min(m-1,n-1)\le\nu\le m+n-2$．$\nu$ は一般に整数でない（付表にない値は問題文で与えられる）	$\|T\|>t_{\alpha/2}(\nu)$ $\bar X-\bar Y\pm t_{\alpha/2}(\nu)\sqrt{\dfrac{s_1^2}m+\dfrac{s_2^2}n}$

B.2　正規母集団の分散（第9章・第11章）

状況

統計量 $\sim$ 帰無分布

棄却域／信頼区間

1標本の分散（$\mu$ 未知）

$\chi^2=\dfrac{(n-1)s^2}{\sigma_0^2}\sim\chi^2(n-1)$

$\chi^2<\chi^2_{1-\alpha/2}(n-1)$ または $\chi^2>\chi^2_{\alpha/2}(n-1)$

$\Bigl[\dfrac{(n-1)s^2}{\chi^2_{\alpha/2}(n-1)},\ \dfrac{(n-1)s^2}{\chi^2_{1-\alpha/2}(n-1)}\Bigr]$

1標本の分散（$\mu$ 既知）

$\chi^2=\dfrac{\sum(X_i-\mu)^2}{\sigma_0^2}\sim\chi^2(n)$

上の式で自由度を $n$，$(n-1)s^2$ を $\sum(X_i-\mu)^2$ に替える

2標本の分散比

$F=\dfrac{s_1^2}{s_2^2}\sim F(m-1,n-1)$

$F<F_{1-\alpha/2}(m-1,n-1)$ または $F>F_{\alpha/2}(m-1,n-1)$

下限 $\dfrac{s_1^2}{s_2^2}\cdot\dfrac{1}{F_{\alpha/2}(m-1,n-1)}$，

上限 $\dfrac{s_1^2}{s_2^2}\,F_{\alpha/2}(n-1,m-1)$

分散の信頼区間は，上側点（大きい値）が下限の分母に来ます．また $F_{1-\alpha/2}(m-1,n-1)=1/F_{\alpha/2}(n-1,m-1)$ を使うと，付表の上側点だけで計算できます．

B.3　比率・ポアソン（第9章・第12章）

状況	統計量 $\sim$ 帰無分布	棄却域／信頼区間
母比率 $p$	正確：$X\sim\mathrm{Bin}(n,p_0)$ スコア検定（正規近似）：$Z=\dfrac{\hat p-p_0}{\sqrt{p_0(1-p_0)/n}}\approx\mathrm{N}(0,1)$	$\|Z\|>z_{\alpha/2}$（分散に $p_0$）型区間：$\hat p\pm z_{\alpha/2}\sqrt{\dfrac{\hat p(1-\hat p)}n}$（分散に $\hat p$）
母比率の差（独立2標本）	$Z=\dfrac{\hat p_1-\hat p_2}{\sqrt{\hat p(1-\hat p)(\frac1m+\frac1n)}}\approx\mathrm{N}(0,1)$ $\hat p=\dfrac{x_1+x_2}{m+n}$（プール）	$\|Z\|>z_{\alpha/2}$．$Z^2$ は2×2表の Pearson $\chi^2$（連続修正なし）に等しい $\hat p_1-\hat p_2\pm z_{\alpha/2}\sqrt{\dfrac{\hat p_1\hat q_1}m+\dfrac{\hat p_2\hat q_2}n}$
多項分布の2つのセルの比率の差（同一標本）	${\operatorname{V}}[\hat p_1-\hat p_2]=\dfrac{p_1+p_2-(p_1-p_2)^2}n$	$\hat p_1-\hat p_2\pm z_{\alpha/2}\sqrt{\dfrac{\hat p_1+\hat p_2-(\hat p_1-\hat p_2)^2}n}$
ポアソン1標本	正確：$\sum X_i\sim\mathrm{Po}(n\lambda_0)$ 近似：$Z=\dfrac{\bar X-\lambda_0}{\sqrt{\lambda_0/n}}\approx\mathrm{N}(0,1)$	$\|Z\|>z_{\alpha/2}$ $\bar X\pm z_{\alpha/2}\sqrt{\bar X/n}$
ポアソン2標本（$\lambda_1=\lambda_2$）	条件付き：$X_1\mid X_1+X_2=t\sim\mathrm{Bin}\bigl(t,\frac{n_1}{n_1+n_2}\bigr)$ 近似：$Z=\dfrac{\bar X_1-\bar X_2}{\sqrt{\hat\lambda(\frac1{n_1}+\frac1{n_2})}}$，$\hat\lambda$ はプール	$\|Z\|>z_{\alpha/2}$ 差の区間：$\bar X_1-\bar X_2\pm z_{\alpha/2}\sqrt{\dfrac{\bar X_1}{n_1}+\dfrac{\bar X_2}{n_2}}$

比率の検定・区間では，分散に何を入れるかは方法名で決まります．スコア検定は $p_0$，Wald 型区間（および Wald 検定）は $\hat p$ を使います．Wilson 区間はスコア検定を反転して作る区間で，Wald 型区間とは別物です．比率の差の $Z^2=\chi^2$ の関係は「プールした分散の2標本 $z$ 検定（両側）」と「連続修正なしの Pearson $\chi^2$」の間の関係で，イェーツ補正つきの $\chi^2$，非プールの Wald 型統計量，フィッシャーの正確検定には当てはまりません．

B.4　適合度・分割表・尤度比（第12章・第28章）

状況	統計量 $\sim$ 帰無分布	棄却域・注意
適合度（$k$ カテゴリ）	$\chi^2=\displaystyle\sum_{i=1}^k\frac{(O_i-E_i)^2}{E_i}\approx\chi^2(k-1-q)$ $G^2=2\sum O_i\log\dfrac{O_i}{E_i}$ も漸近的に同じ分布	$\chi^2>\chi^2_\alpha(k-1-q)$．$q$ は推定した母数の数．期待度数5未満のセルは併合
独立性（$r\times c$ 表）	$E_{ij}=\dfrac{n_{i\cdot}n_{\cdot j}}{n}$， $\chi^2=\sum\sum\dfrac{(O_{ij}-E_{ij})^2}{E_{ij}}\approx\chi^2\bigl((r-1)(c-1)\bigr)$	$\chi^2>\chi^2_\alpha((r-1)(c-1))$
2×2表 $\begin{smallmatrix}a&b\\c&d\end{smallmatrix}$	$\chi^2=\dfrac{n(ad-bc)^2}{(a+b)(c+d)(a+c)(b+d)}\approx\chi^2(1)$ イェーツ補正：$\|ad-bc\|$ を $\|ad-bc\|-\frac n2$ に	$\chi^2>3.84$（$\alpha=0.05$）オッズ比 $\hat\psi=\frac{ad}{bc}$，${\operatorname{V}}[\log\hat\psi]\approx\frac1a+\frac1b+\frac1c+\frac1d$
フィッシャーの正確検定	周辺度数を固定すると $a$ は超幾何分布	観測値以下の確率の点の確率を合計して $P$ 値
尤度比検定	$-2\log\Lambda=2\{\ell(\hat\theta)-\ell(\hat\theta_0)\}\approx\chi^2(d)$（ウィルクスの定理．大標本の近似）	$d=$（全体の自由な母数の数）$-$（$H_0$ のもとでの数）．$H_0$ がモデルの入れ子で，正則条件（台が母数によらない，真値が母数空間の内点など）が必要

B.5　ノンパラメトリック検定（第13章）

状況	統計量と帰無仮説のもとでの分布	正規近似
ウィルコクソンの順位和検定（2標本）	全 $N=m+n$ 個を順位付けし，第1群（$m$ 個）の順位和 $W$．帰無分布は $\binom Nm$ 通りの順位の組合せが等確率	${\operatorname{E}}[W]=\dfrac{m(N+1)}2$ ${\operatorname{V}}[W]=\dfrac{mn(N+1)}{12}$
符号付き順位検定（対応あり）	$\|D_i\|$ の順位のうち $D_i>0$ のものの和 $T^+$．$2^n$ 通りの符号が等確率	${\operatorname{E}}[T^+]=\dfrac{n(n+1)}4$ ${\operatorname{V}}[T^+]=\dfrac{n(n+1)(2n+1)}{24}$
符号検定	正の差の個数 $S\sim\mathrm{Bin}(n,\frac12)$	${\operatorname{E}}[S]=\frac n2$， ${\operatorname{V}}[S]=\frac n4$
並べ替え検定	群のラベルを全通り並べ替えて統計量の分布を作る	（正確法）
クラスカル・ウォリス検定（$k$ 群）	$H=\dfrac{12}{N(N+1)}\displaystyle\sum_{i=1}^k\frac{R_i^2}{n_i}-3(N+1)$，$R_i$ は第 $i$ 群の順位和	$H\approx\chi^2(k-1)$
スピアマンの順位相関	$r_s=1-\dfrac{6\sum d_i^2}{n(n^2-1)}$	${\operatorname{E}}[r_s]=0$， ${\operatorname{V}}[r_s]=\dfrac1{n-1}$
ケンドールの順位相関	$\tau=\dfrac{P-Q}{n(n-1)/2}$（$P$：同順対，$Q$：逆順対の数）	${\operatorname{E}}[\tau]=0$， ${\operatorname{V}}[\tau]=\dfrac{2(2n+5)}{9n(n-1)}$

B.6　相関係数・回帰係数（第16章）

状況	統計量 $\sim$ 帰無分布	棄却域／信頼区間
無相関の検定（2変量正規）	$T=\dfrac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2)$	$\|T\|>t_{\alpha/2}(n-2)$
相関係数の区間（フィッシャーの $z$ 変換）	$z=\dfrac12\log\dfrac{1+r}{1-r}\approx\mathrm{N}\Bigl(\dfrac12\log\dfrac{1+\rho}{1-\rho},\ \dfrac1{n-3}\Bigr)$	$z\pm\dfrac{z_{\alpha/2}}{\sqrt{n-3}}$ を求め，$\tanh$ で $\rho$ の区間に戻す
回帰係数 $\beta_j$（説明変数 $p$ 個＋切片）	$T=\dfrac{\hat\beta_j-\beta_j^0}{{\operatorname{se}}(\hat\beta_j)}\sim t(n-p-1)$ ${\operatorname{se}}(\hat\beta_j)=\sqrt{s^2[(X^\top X)^{-1}]_{jj}}$，$s^2=\dfrac{S_e}{n-p-1}$	$\|T\|>t_{\alpha/2}(n-p-1)$ $\hat\beta_j\pm t_{\alpha/2}(n-p-1)\,{\operatorname{se}}(\hat\beta_j)$
単回帰の傾き	${\operatorname{se}}(\hat\beta_1)=\dfrac{s}{\sqrt{S_{xx}}}$，$s^2=\dfrac{S_e}{n-2}$	$\hat\beta_1\pm t_{\alpha/2}(n-2)\dfrac{s}{\sqrt{S_{xx}}}$
回帰の有意性（全係数0）	$F=\dfrac{S_R/p}{S_e/(n-p-1)}\sim F(p,n-p-1)$	$F>F_\alpha(p,n-p-1)$
部分 $F$ 検定（$q$ 個の係数が0）	$F=\dfrac{(S_{e0}-S_{e1})/q}{S_{e1}/(n-p-1)}\sim F(q,n-p-1)$	$F>F_\alpha(q,n-p-1)$．$S_{e0}$ は制約付きモデルの残差平方和

B.7　分散分析表（第16章・第20章）

1元配置（水準数 $a$，第 $i$ 水準の繰り返し $n_i$，総数 $N$）

要因	平方和	自由度	平均平方	$F$ 値
処理（級間）	$S_A=\sum_in_i(\bar y_{i\cdot}-\bar y)^2$	$a-1$	$V_A=\frac{S_A}{a-1}$	$\frac{V_A}{V_e}\sim F(a-1,N-a)$
誤差（級内）	$S_e=\sum_i\sum_j(y_{ij}-\bar y_{i\cdot})^2$	$N-a$	$V_e=\frac{S_e}{N-a}$
計	$S_T=\sum_i\sum_j(y_{ij}-\bar y)^2$	$N-1$

2元配置（因子 $A$：$a$ 水準，因子 $B$：$b$ 水準，繰り返し $r$，$N=abr$）

要因	平方和	自由度	$F$ 値の帰無分布
$A$	$S_A=br\sum_i(\bar y_{i\cdot\cdot}-\bar y)^2$	$a-1$	$F(\phi_A,\phi_e)$
$B$	$S_B=ar\sum_j(\bar y_{\cdot j\cdot}-\bar y)^2$	$b-1$	$F(\phi_B,\phi_e)$
$A\times B$	$S_{AB}=r\sum_i\sum_j(\bar y_{ij\cdot}-\bar y_{i\cdot\cdot}-\bar y_{\cdot j\cdot}+\bar y)^2$	$(a-1)(b-1)$	$F(\phi_{AB},\phi_e)$
誤差	$S_e=\sum\sum\sum(y_{ijk}-\bar y_{ij\cdot})^2$	$\phi_e=ab(r-1)$
計	$S_T$	$abr-1$

$\phi_A,\phi_B,\phi_{AB}$ はそれぞれの行の自由度で，$F$ 値は各要因の平均平方を誤差の平均平方 $V_e=S_e/\phi_e$ で割ったものです．繰り返しがない（$r=1$）場合や乱塊法（ブロック因子 $B$）では交互作用を誤差とみなし，誤差の自由度は $(a-1)(b-1)$ になります．直交表 $L_8(2^7)$ では各列の自由度が1で，割り付けなかった列の平方和の合計が誤差になります（第20章）．

回帰分析（説明変数 $p$ 個＋切片，$n$ 個の観測）

要因	平方和	自由度	平均平方	$F$ 値
回帰	$S_R=\sum(\hat y_i-\bar y)^2$	$p$	$S_R/p$	$\frac{S_R/p}{S_e/(n-p-1)}$
残差	$S_e=\sum(y_i-\hat y_i)^2$	$n-p-1$	$s^2=\frac{S_e}{n-p-1}$
計	$S_{yy}=\sum(y_i-\bar y)^2$	$n-1$

決定係数 $R^2=\dfrac{S_R}{S_{yy}}=1-\dfrac{S_e}{S_{yy}}$，自由度調整済み決定係数 $R^{*2}=1-\dfrac{S_e/(n-p-1)}{S_{yy}/(n-1)}$，$F=\dfrac{R^2/p}{(1-R^2)/(n-p-1)}$．

B.8　検出力とサンプルサイズ（第10章・第11章）

状況	公式
片側 $z$ 検定の検出力（$H_1:\mu=\mu_1>\mu_0$）	$1-\beta=P\Bigl(Z>z_\alpha-\dfrac{\sqrt n(\mu_1-\mu_0)}{\sigma}\Bigr)=\Phi\Bigl(\dfrac{\sqrt n(\mu_1-\mu_0)}{\sigma}-z_\alpha\Bigr)$
必要なサンプルサイズ（片側）	$n\ge\Bigl(\dfrac{(z_\alpha+z_\beta)\sigma}{\mu_1-\mu_0}\Bigr)^2$（両側なら $z_\alpha$ を $z_{\alpha/2}$ に替える．反対側で棄却される確率を無視した近似）．$n$ は切り上げ
信頼区間の幅から決める	幅 $2z_{\alpha/2}\sigma/\sqrt n\le L\iff n\ge\Bigl(\dfrac{2z_{\alpha/2}\sigma}{L}\Bigr)^2$．比率なら $\sigma^2$ を $p(1-p)\le\frac14$ に
$t$ 検定の検出力	非心 $t$ 分布 $t(n-1,\delta)$，$\delta=\sqrt n(\mu_1-\mu_0)/\sigma$ で棄却域の確率を計算

よく使う付表の値

$z_{0.05}=1.645$，$z_{0.025}=1.96$，$z_{0.005}=2.576$；$\chi^2_{0.05}(1)=3.84$，$\chi^2_{0.05}(2)=5.99$，$\chi^2_{0.05}(3)=7.81$；$t_{0.025}(10)=2.228$，$t_{0.025}(\infty)=1.96$．

C　準1級重要公式チェックリスト

各章の「これだけは式を見ずに書けるようにしたい」公式です．すぐに書けたものの□に印をつけ，書けなかったものは該当章に戻って導出から確認しましょう．

第1章　事象と確率

包除原理 $P(A\cup B\cup C)=\sum P(A)-\sum P(A\cap B)+P(A\cap B\cap C)$
条件付き確率 $P(A\mid B)=P(A\cap B)/P(B)$，独立 $\iff P(A\cap B)=P(A)P(B)$
ベイズの定理 $P(B_i\mid A)=\dfrac{P(A\mid B_i)P(B_i)}{\sum_jP(A\mid B_j)P(B_j)}$
${\operatorname{V}}[X]={\operatorname{E}}[X^2]-({\operatorname{E}}[X])^2$，${\operatorname{V}}[aX+b]=a^2{\operatorname{V}}[X]$，指示変数の和による期待値計算

第2章　確率分布と母関数

生存関数 $S(x)=1-F(x)$，非負整数値なら ${\operatorname{E}}[X]=\sum_{x\ge0}P(X>x)$，非負（$X\ge0$）なら ${\operatorname{E}}[X]=\int_0^\infty S(x)\,\mathrm{d}x$．負の値をとる変数や，打切り・上限のある観測値の平均にはそのまま使えない
周辺密度 $f_X(x)=\int f(x,y)\,\mathrm{d}y$，条件付き密度 $f_{Y\mid X}(y\mid x)=f(x,y)/f_X(x)$
確率母関数 $G(s)={\operatorname{E}}[s^X]$：$G'(1)={\operatorname{E}}[X]$，$G''(1)={\operatorname{E}}[X(X-1)]$
積率母関数 $M(t)={\operatorname{E}}[e^{tX}]$：$M^{(k)}(0)={\operatorname{E}}[X^k]$；独立和は積 $M_{X+Y}=M_XM_Y$；キュムラント母関数 $\log M(t)$ の2階微分が分散

第3章　分布の特性値

歪度 ${\operatorname{E}}[(X-\mu)^3]/\sigma^3$，尖度 ${\operatorname{E}}[(X-\mu)^4]/\sigma^4$（正規分布で3．3を引いた超過尖度を尖度と呼ぶ本もある）
${\operatorname{V}}[X+Y]={\operatorname{V}}[X]+{\operatorname{V}}[Y]+2{\operatorname{Cov}}[X,Y]$，${\operatorname{Corr}}[X,Y]={\operatorname{Cov}}[X,Y]/\sqrt{{\operatorname{V}}[X]{\operatorname{V}}[Y]}$
繰り返し期待値 ${\operatorname{E}}[Y]={\operatorname{E}}[{\operatorname{E}}[Y\mid X]]$，全分散の公式 ${\operatorname{V}}[Y]={\operatorname{E}}[{\operatorname{V}}[Y\mid X]]+{\operatorname{V}}[{\operatorname{E}}[Y\mid X]]$
${\operatorname{V}}[A{\boldsymbol{X}}]=A{\boldsymbol{\Sigma}}A^\top$，${\operatorname{Cov}}[{\boldsymbol{a}}^\top{\boldsymbol{X}},{\boldsymbol{b}}^\top{\boldsymbol{X}}]={\boldsymbol{a}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{b}}$

第4章　変数変換

1変数：$f_Y(y)=f_X(g^{-1}(y))\Bigl|\dfrac{\,\mathrm{d}x}{\,\mathrm{d}y}\Bigr|$（単調変換）
多変数：$f_{{\boldsymbol{Y}}}({\boldsymbol{y}})=f_{{\boldsymbol{X}}}({\boldsymbol{x}}({\boldsymbol{y}}))\,|J|$，$J=\det\bigl(\partial x_i/\partial y_j\bigr)$
和の密度（たたみ込み） $f_{X+Y}(z)=\int f_X(x)f_Y(z-x)\,\mathrm{d}x$
最大値 $P(\max X_i\le x)=F(x)^n$，最小値 $P(\min X_i>x)=\{1-F(x)\}^n$

第5章・第6章　離散型分布，連続型分布と標本分布

A.4節の期待値・分散の早見表をすべて書ける
二項・ポアソン・負の二項・正規・ガンマ・カイ二乗の再生性とその条件
超幾何分布の有限母集団修正 $\frac{N-n}{N-1}$，多項分布の ${\operatorname{Cov}}[X_i,X_j]=-np_ip_j$
指数分布・幾何分布の無記憶性，$\bar X$ と $s^2$ の独立性，$(n-1)s^2/\sigma^2\sim\chi^2(n-1)$
$t$・$F$・カイ二乗の定義式と，$T^2\sim F(1,m)$，$F_{1-\alpha}(m,n)=1/F_\alpha(n,m)$

第7章　極限定理，漸近理論

チェビシェフの不等式 $P(|X-\mu|\ge k\sigma)\le 1/k^2$ と大数の弱法則 $\bar X\xrightarrow{\;P\;}\mu$
中心極限定理 $\sqrt n(\bar X-\mu)/\sigma\xrightarrow{\;d\;}\mathrm{N}(0,1)$
デルタ法 $\sqrt n\{g(\bar X)-g(\mu)\}\xrightarrow{\;d\;}\mathrm{N}\bigl(0,\ g'(\mu)^2\sigma^2\bigr)$（$g'(\mu)\ne0$ のとき．$g'(\mu)=0$ では1次のデルタ法は退化する）．多変量では勾配 $\nabla g$ による二次形式 $\nabla g^\top{\boldsymbol{\Sigma}}\nabla g$（共分散の項を落とさない）
スラツキーの定理（$X_n\xrightarrow{\;d\;}X$，$Y_n\xrightarrow{\;P\;}c$ なら $X_n+Y_n\xrightarrow{\;d\;}X+c$，$X_nY_n\xrightarrow{\;d\;}cX$），少数法則，極値分布（ガンベル分布）

第8章　統計的推定の基礎

最尤法：対数尤度 $\ell(\theta)$ を微分して0．最尤推定量の不変性 $\widehat{g(\theta)}=g(\hat\theta)$
フィッシャー情報量 $I(\theta)={\operatorname{E}}\bigl[(\partial_\theta\log f)^2\bigr]=-{\operatorname{E}}[\partial_\theta^2\log f]$，不偏推定量に対するクラメール・ラオの下限 ${\operatorname{V}}[\hat\theta]\ge 1/\{nI(\theta)\}$．2表現の一致と下限は正則条件（台が $\theta$ によらない，微分と積分の交換）のもとでの結果で，$\mathrm{U}(0,\theta)$ のように台が母数に依存する分布には使えない
${\operatorname{MSE}}={\operatorname{V}}[\hat\theta]+(\text{バイアス})^2$，不偏性・一致性・有効性の定義
最尤推定量の漸近正規性 $\hat\theta\approx\mathrm{N}\bigl(\theta,\ 1/\{nI(\theta)\}\bigr)$（正則条件のもとでの大標本近似），モーメント法

第9章　区間推定

B.1〜B.3節の平均・分散・分散比・比率の信頼区間
信頼係数 $95\%$ の意味（区間を作る手続きの性質であり，1つの区間が $\mu$ を含む確率ではない）
多項分布の2つの比率の差の区間の分散 $\{p_1+p_2-(p_1-p_2)^2\}/n$

第10章　検定の基礎と検定法の導出

第1種の過誤 $\alpha$，第2種の過誤 $\beta$，検出力 $1-\beta$，$P$ 値の定義
ネイマン・ピアソンの補題：尤度比 $\dfrac{L(\theta_1)}{L(\theta_0)}>k$ が最強力検定
サンプルサイズ $n\ge\{(z_\alpha+z_\beta)\sigma/\delta\}^2$，抜取検査の OC 曲線

第11章・第12章　正規分布に関する検定，一般の分布に関する検定法

B.1〜B.4節の検定統計量と帰無分布，自由度
プールした比率 $\hat p=(x_1+x_2)/(m+n)$．プールした分散による比率の差の $z$ 検定（両側）の $Z^2$ は，連続修正なしの Pearson $\chi^2$ に等しい（イェーツ補正・非プールの Wald 型・正確検定とは別）
母比率：スコア検定は分散に $p_0$，Wald 型区間は $\hat p$
適合度検定の自由度 $k-1-(\text{推定した母数の数})$
尤度比検定 $-2\log\Lambda\approx\chi^2(d)$（入れ子のモデル・正則条件・大標本のもとでのウィルクスの定理）

第13章　ノンパラメトリック法

順位和 $W$：${\operatorname{E}}=\frac{m(N+1)}2$，${\operatorname{V}}=\frac{mn(N+1)}{12}$；符号付き順位 $T^+$：${\operatorname{E}}=\frac{n(n+1)}4$，${\operatorname{V}}=\frac{n(n+1)(2n+1)}{24}$
クラスカル・ウォリスの $H$，スピアマンの $r_s=1-\frac{6\sum d_i^2}{n(n^2-1)}$，ケンドールの $\tau$
小標本では組合せを数え上げて正確な $P$ 値を出す

第14章　マルコフ連鎖

$n$ ステップ推移確率 $P^{(n)}=P^n$（チャップマン・コルモゴロフ），分布の更新 ${\boldsymbol{\pi}}_{n+1}^\top={\boldsymbol{\pi}}_n^\top P$
定常分布 ${\boldsymbol{\pi}}^\top P={\boldsymbol{\pi}}^\top$，$\sum\pi_i=1$；既約・非周期なら極限分布に一致
推移確率の最尤推定 $\hat p_{ij}=n_{ij}/n_{i\cdot}$（推移回数の比）

第15章　確率過程の基礎

ブラウン運動：独立定常増分，$X(t)-X(s)\sim\mathrm{N}\bigl(\mu(t-s),\sigma^2(t-s)\bigr)$；$\hat\mu=\{X(T)-X(0)\}/T$
ポアソン過程：$N(t)\sim\mathrm{Po}(\lambda t)$，到着間隔 $\overset{\text{i.i.d.}}{\sim}\mathrm{Ex}(\lambda)$，$n$ 番目の到着時刻 $\sim\mathrm{Ga}(n,\lambda)$，$\hat\lambda=N(T)/T$
複合ポアソン過程 $S(t)=\sum_{i=1}^{N(t)}Y_i$：${\operatorname{E}}[S(t)]=\lambda t{\operatorname{E}}[Y]$，${\operatorname{V}}[S(t)]=\lambda t{\operatorname{E}}[Y^2]$

第16章　重回帰分析

正規方程式 $X^\top X\hat{\boldsymbol{\beta}}=X^\top{\boldsymbol{y}}$，$\hat{\boldsymbol{\beta}}=(X^\top X)^{-1}X^\top{\boldsymbol{y}}$，${\operatorname{V}}[\hat{\boldsymbol{\beta}}]=\sigma^2(X^\top X)^{-1}$
$s^2=S_e/(n-p-1)$，$R^2$，自由度調整済み $R^{*2}$，$t$ 検定・$F$ 検定（B.6節）
$\mathrm{VIF}_j=1/(1-R_j^2)$（多重共線性）
リッジ回帰 $\hat{\boldsymbol{\beta}}=(X^\top X+\lambda I)^{-1}X^\top{\boldsymbol{y}}$，ラッソは $L_1$ 罰則で変数選択

第17章　回帰診断法

ハット行列 $H=X(X^\top X)^{-1}X^\top$，てこ比 $h_{ii}$，$\sum h_{ii}=p+1$，$0\le h_{ii}\le1$
残差の分散 ${\operatorname{V}}[e_i]=\sigma^2(1-h_{ii})$，標準化残差 $r_i=e_i/\{s\sqrt{1-h_{ii}}\}$
Cook の距離 $D_i=\dfrac{r_i^2}{p+1}\cdot\dfrac{h_{ii}}{1-h_{ii}}$
ダービン・ワトソン比 $\mathrm{DW}=\dfrac{\sum_{t=2}^n(e_t-e_{t-1})^2}{\sum e_t^2}\approx2(1-\hat\rho)$

第18章　質的回帰

ロジスティック回帰 $\log\dfrac{p}{1-p}={\boldsymbol{x}}^\top{\boldsymbol{\beta}}$；$e^{\beta_j}$ はオッズ比
プロビット $p=\Phi({\boldsymbol{x}}^\top{\boldsymbol{\beta}})$，ポアソン回帰 $\log\lambda={\boldsymbol{x}}^\top{\boldsymbol{\beta}}$（オフセット $\log t$）
一般化線形モデル：分布（指数型分布族）・線形予測子・リンク関数；逸脱度 $D=2\{\ell(\text{飽和})-\ell(\hat{\boldsymbol{\beta}})\}$

第19章　回帰分析その他

トービットの尤度：打ち切り点は $\Phi(\cdot)$，観測点は $\frac1\sigma\phi(\cdot)$ の積
ハザード $h(t)=f(t)/S(t)$，$S(t)=\exp\{-\int_0^th(u)\,\mathrm{d}u\}$；ワイブル $h(t)=\lambda\gamma t^{\gamma-1}$
比例ハザード $h(t\mid{\boldsymbol{x}})=h_0(t)e^{{\boldsymbol{x}}^\top{\boldsymbol{\beta}}}$，部分尤度
カプラン・マイヤー $\hat S(t)=\prod_{t_i\le t}\Bigl(1-\dfrac{d_i}{n_i}\Bigr)$

第20章　分散分析と実験計画法

フィッシャーの三原則（反復・無作為化・局所管理）
平方和の分解 $S_T=S_A+S_e$（1元），$S_T=S_A+S_B+S_{AB}+S_e$（2元）と自由度（B.7節）
乱塊法の分散分析，直交表の列の割り付けと交互作用列

第21章　標本調査法

単純無作為抽出（非復元）${\operatorname{V}}[\bar y]=\Bigl(1-\dfrac nN\Bigr)\dfrac{S^2}{n}$（$S^2$ は $N-1$ で割る母分散）$=\dfrac{N-n}{N-1}\cdot\dfrac{\sigma^2}{n}$（$\sigma^2$ は $N$ で割る母分散）．有限母集団修正の形は母分散の定義とセットで覚える
層化抽出 $\bar y_{\mathrm{st}}=\sum W_h\bar y_h$，${\operatorname{V}}[\bar y_{\mathrm{st}}]=\sum W_h^2\dfrac{N_h-n_h}{N_h}\dfrac{S_h^2}{n_h}$
比例配分 $n_h=nW_h$，ネイマン配分 $n_h=n\dfrac{N_hS_h}{\sum_kN_kS_k}$
集落抽出・二段抽出・系統抽出・比推定の考え方

第22章　主成分分析

主成分は ${\boldsymbol{\Sigma}}$（または相関行列 $R$）の固有ベクトル，主成分の分散は固有値 $\lambda_j$
寄与率 $\lambda_j/\sum_k\lambda_k$，$\sum\lambda_k={\operatorname{tr}}{\boldsymbol{\Sigma}}$（相関行列なら $p$）
主成分負荷量 ${\operatorname{Corr}}[Z_j,X_i]=\sqrt{\lambda_j}\,u_{ij}/\sigma_i$，特異値分解 $X=UDV^\top$ との関係

第23章　判別分析

フィッシャーの線形判別：${\boldsymbol{a}}\propto S_W^{-1}(\bar{\boldsymbol{x}}_1-\bar{\boldsymbol{x}}_2)$
マハラノビス距離 $D^2=({\boldsymbol{x}}-{\boldsymbol{\mu}})^\top{\boldsymbol{\Sigma}}^{-1}({\boldsymbol{x}}-{\boldsymbol{\mu}})$ の小さい群に判別
混同行列：感度（再現率）$\frac{TP}{TP+FN}$，特異度 $\frac{TN}{TN+FP}$，適合率（precision）$\frac{TP}{TP+FP}$，F1 値（適合率と再現率の調和平均．$F$ 統計量とは無関係），ROC 曲線と AUC
SVM：マージン $2/\|{\boldsymbol{w}}\|$ の最大化，ソフトマージンとカーネル

第24章　クラスター分析

距離（ユークリッド，マンハッタン，ミンコフスキー $\{\sum|x_i-y_i|^m\}^{1/m}$）
階層的手法の結合法（最短・最長・群平均・ウォード法）とデンドログラム
$k$-means の反復（割り当て $\to$ 重心更新），EM アルゴリズムによる混合分布の推定

第25章　因子分析・グラフィカルモデル

因子モデル ${\boldsymbol{X}}={\boldsymbol{\mu}}+\Lambda{\boldsymbol{f}}+{\boldsymbol{\varepsilon}}$，${\boldsymbol{\Sigma}}=\Lambda\Lambda^\top+\Psi$
共通性 $h_i^2=\sum_k\lambda_{ik}^2$，独自分散 $\psi_i=1-h_i^2$（標準化時），回転の不定性
偏相関 $\rho_{12\cdot3}=\dfrac{\rho_{12}-\rho_{13}\rho_{23}}{\sqrt{(1-\rho_{13}^2)(1-\rho_{23}^2)}}$，精度行列 ${\boldsymbol{\Sigma}}^{-1}$ の非対角0 $\iff$ 条件付き独立

第26章　その他の多変量解析手法

古典的多次元尺度法：距離行列 $\to$ 二重中心化 $B=-\frac12JD^{(2)}J$ $\to$ 固有値分解
正準相関分析：${\operatorname{Corr}}[{\boldsymbol{a}}^\top{\boldsymbol{X}},{\boldsymbol{b}}^\top{\boldsymbol{Y}}]$ の最大化（固有値問題）
対応分析（数量化III類）：分割表の行と列を同じ平面に布置

第27章　時系列解析

自己共分散 $\gamma_k$，自己相関 $\rho_k=\gamma_k/\gamma_0$，弱定常性の定義
AR(1) $y_t=\phi_1y_{t-1}+\varepsilon_t$：定常条件 $|\phi_1|<1$，$\gamma_0=\dfrac{\sigma^2}{1-\phi_1^2}$，$\rho_k=\phi_1^k$
MA(1) $y_t=\varepsilon_t+\theta_1\varepsilon_{t-1}$：$\rho_1=\dfrac{\theta_1}{1+\theta_1^2}$，$\rho_k=0$ ($k\ge2$)
ユール・ウォーカー方程式，AR(2) の $\rho_1=\phi_1/(1-\phi_2)$，反転可能性
スペクトラム $f(\lambda)=\frac1{2\pi}\sum_k\gamma_ke^{-ik\lambda}$，AR(1) で $\dfrac{\sigma^2}{2\pi(1-2\phi_1\cos\lambda+\phi_1^2)}$

第28章　分割表

オッズ比 $\psi=\dfrac{p_{11}p_{22}}{p_{12}p_{21}}$，$\log\hat\psi$ の標準誤差 $\sqrt{\frac1a+\frac1b+\frac1c+\frac1d}$
前向き研究と後ろ向き研究：ケースコントロール研究（後ろ向き）では標本の比率から疾患頻度やリスク比は直接求められないが，オッズ比は推定できる（抽出率が既知なら疾患頻度も復元できる）
独立性の $\chi^2$ と $G^2$，フィッシャーの正確検定（超幾何分布）
3元表：条件付き独立，シンプソンのパラドックス，マンテル・ヘンツェル推定量 $\hat\psi_{\mathrm{MH}}=\dfrac{\sum a_kd_k/n_k}{\sum b_kc_k/n_k}$

第29章　不完全データの統計処理

欠測メカニズム MCAR・MAR・MNAR の違い
リストワイズ削除・平均値代入・回帰代入の偏り（平均値代入は分散を過小評価）
EM アルゴリズム：E ステップ（条件付き期待値）と M ステップ（最大化）の交互反復で，観測データの対数尤度は非減少（厳密な増加や大域的最大への収束は保証されない．初期値に依存し得る）

第30章　モデル選択

$\mathrm{AIC}=-2\ell(\hat\theta)+2k$，$\mathrm{BIC}=-2\ell(\hat\theta)+k\log n$．BIC の一致性（真のモデルが候補に含まれ，$n\to\infty$ のとき真のモデルを選ぶ確率が1に近づく）は条件付きの結果
正規線形回帰では $\mathrm{AIC}=n\log(S_e/n)+2k$（定数を除く）．変数1個を加えたときの差は厳密に $\Delta\mathrm{AIC}=n\log(S_{e1}/S_{e0})+2$ で，負なら改善．部分 $F$ 統計量で書くと $n\log\{1+F/(n-p-1)\}>2$ で改善する（$p$ は変数を加えた後の説明変数の数）．$n$ が大きければ「$F$ がおよそ2を超えれば改善」が目安
$K$ 分割交差検証，leave-one-out，過学習（訓練誤差と汎化誤差）

第31章　ベイズ法

事後分布 $\pi(\theta\mid{\boldsymbol{x}})\propto f({\boldsymbol{x}}\mid\theta)\pi(\theta)$
共役：二項＋ベータ $\to\mathrm{Be}(a+x,b+n-x)$；ポアソン＋ガンマ $\to\mathrm{Ga}(a+\sum x_i,b+n)$；正規（分散既知）＋正規 $\to$ 精度の和
事後平均（2乗損失）・事後中央値（絶対損失）・MAP；信用区間，HPD 区間
ジェフリーズ事前分布 $\pi(\theta)\propto\sqrt{I(\theta)}$，予測分布，ギブス・サンプリング
MH 法の採択確率 $\min\Bigl\{1,\dfrac{\pi(\theta')q(\theta\mid\theta')}{\pi(\theta)q(\theta'\mid\theta)}\Bigr\}$（$q$ は提案分布）

第32章　シミュレーション

逆関数法 $X=F^{-1}(U)$，採択棄却法（採択確率 $1/c$．$f,g$ が正規化された密度で，$f(x)\le cg(x)$ がすべての $x$ で成り立つ有限な $c$ のとき）
モンテカルロ積分 $\int h(x)f(x)\,\mathrm{d}x\approx\frac1n\sum h(X_i)$，誤差 $\sigma/\sqrt n=O(1/\sqrt n)$（$X_i$ が独立で $\sigma^2={\operatorname{V}}[h(X)]<\infty$ のとき）；重点サンプリングの重み $f/g$
分散減少法（対照変量・制御変量），ボックス・ミュラー法
ジャックナイフ：バイアス $(n-1)(\hat\theta_{(\cdot)}-\hat\theta)$，分散 $\frac{n-1}n\sum(\hat\theta_{(i)}-\hat\theta_{(\cdot)})^2$；ブートストラップ

補章　統計的因果推論

潜在的結果 $Y(1),Y(0)$，ATE $={\operatorname{E}}[Y(1)-Y(0)]$，ATT $={\operatorname{E}}[Y(1)-Y(0)\mid T=1]$
単純比較 $=$ ATT $+$ 選択バイアス ${\operatorname{E}}[Y(0)\mid T=1]-{\operatorname{E}}[Y(0)\mid T=0]$；無作為化で選択バイアスが0
バックドア基準と調整公式 ${\operatorname{E}}[Y(t)]=\sum_z{\operatorname{E}}[Y\mid T=t,Z=z]P(Z=z)$
傾向スコア $e({\boldsymbol{x}})=P(T=1\mid{\boldsymbol{x}})$．識別の前提は条件付き交換可能性（未測定交絡なし）・正値性・整合性（SUTVA）
IPW 推定：${\operatorname{E}}[Y(1)]={\operatorname{E}}\Bigl[\dfrac{TY}{e({\boldsymbol{X}})}\Bigr]$，${\operatorname{E}}[Y(0)]={\operatorname{E}}\Bigl[\dfrac{(1-T)Y}{1-e({\boldsymbol{X}})}\Bigr]$
バックドア基準は「処置の子孫を含めない」と「バックドアパスをすべて遮断する」の2条件．媒介変数を調整すると直接効果が求まる．合流点（処置前でも）に条件付けるとパスが開く
フロントドア調整 $P(y\mid\mathrm{do}(t))=\sum_mP(m\mid t)\sum_{t'}P(y\mid m,t')P(t')$
差の差法（平行トレンド仮定），操作変数 $\tau=\dfrac{{\operatorname{Cov}}[Z,Y]}{{\operatorname{Cov}}[Z,T]}$（効果一定のとき），ワルド推定量は関連性・無作為性・除外制約・単調性のもとでコンプライヤーの LATE，回帰不連続デザイン（カットオフでの連続性）

D　数学の道具箱

準1級で使う数学は，微分積分と線形代数の基本的な道具に限られます．ここでは「本文でどこに使ったか」を添えて要点をまとめます．

D.1　微分積分

部分積分

$$\int_a^b f(x)g'(x)\,\mathrm{d}x=\Bigl[f(x)g(x)\Bigr]_a^b-\int_a^b f'(x)g(x)\,\mathrm{d}x .$$ 「微分すると簡単になるもの」を $f$，「積分しやすいもの」を $g'$ に選びます．$x^ke^{-\lambda x}$ の積分（指数・ガンマ分布の積率），生存関数による期待値 ${\operatorname{E}}[X]=\int_0^\infty S(x)\,\mathrm{d}x$ の導出で使いました．例：$\displaystyle\int_0^\infty x\lambda e^{-\lambda x}\,\mathrm{d}x=\Bigl[-xe^{-\lambda x}\Bigr]_0^\infty+\int_0^\infty e^{-\lambda x}\,\mathrm{d}x=\frac1\lambda$．

置換積分

$x=\varphi(u)$ とおくと$$\int f(x)\,\mathrm{d}x=\int f(\varphi(u))\,\varphi'(u)\,\mathrm{d}u .$$ 範囲も必ず置き換えます．確率密度の変数変換（第4章）はこの公式そのもので，$|\varphi'(u)|$ がヤコビアンにあたります．2変数では $\,\mathrm{d}x\,\mathrm{d}y=|J|\,\mathrm{d}u\,\mathrm{d}v$，極座標なら $|J|=r$ です．

ガンマ関数

$$\Gamma(\alpha)=\int_0^\infty x^{\alpha-1}e^{-x}\,\mathrm{d}x\quad(\alpha>0),$$ $$\Gamma(\alpha+1)=\alpha\Gamma(\alpha),\qquad \Gamma(n)=(n-1)!,\qquad \Gamma\bigl(\tfrac12\bigr)=\sqrt\pi .$$ たとえば $\Gamma(\frac72)=\frac52\cdot\frac32\cdot\frac12\sqrt\pi=\frac{15}{8}\sqrt\pi\approx3.323$．置換 $x=\lambda t$ から得られる$$\int_0^\infty t^{\alpha-1}e^{-\lambda t}\,\mathrm{d}t=\frac{\Gamma(\alpha)}{\lambda^\alpha}$$ は，ガンマ分布の正規化定数・積率・積率母関数，ポアソン＋ガンマのベイズ計算など，最も出番の多い積分公式です．「被積分関数がガンマ密度の形をしていたら，正規化定数の逆数で置き換える」と覚えます．

ベータ関数

$$B(a,b)=\int_0^1 x^{a-1}(1-x)^{b-1}\,\mathrm{d}x=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\quad(a,b>0),\qquad B(a,b)=B(b,a).$$ 整数なら $B(a,b)=\dfrac{(a-1)!\,(b-1)!}{(a+b-1)!}$．例：$B(2,3)=\frac{1!\,2!}{4!}=\frac1{12}$．ベータ分布の積率 ${\operatorname{E}}[X^k]=B(a+k,b)/B(a,b)$，二項＋ベータのベイズ計算，$t$・$F$ 分布の正規化定数に現れます．

ガウス積分

$$\int_{-\infty}^\infty e^{-x^2/2}\,\mathrm{d}x=\sqrt{2\pi},\qquad \int_{-\infty}^\infty e^{-ax^2+bx}\,\mathrm{d}x=\sqrt{\frac\pi a}\,e^{b^2/(4a)}\quad(a>0).$$ 1つ目は2乗して極座標に置換すると $\int_0^{2\pi}\!\int_0^\infty e^{-r^2/2}r\,\mathrm{d}r\,\mathrm{d}\theta=2\pi$ から得られます（$\Gamma(\frac12)=\sqrt\pi$ と同値）．2つ目は平方完成 $-ax^2+bx=-a\bigl(x-\frac b{2a}\bigr)^2+\frac{b^2}{4a}$ から．正規分布の積率母関数，正規事前分布の事後分布の計算は，いずれも「指数の中を平方完成して正規密度の形を作る」作業です．

テイラー展開

$x=a$ のまわりで$$f(x)=f(a)+f'(a)(x-a)+\frac{f''(a)}{2!}(x-a)^2+\cdots .$$ よく使う展開（$x=0$ のまわり）：$$e^x=\sum_{k=0}^\infty\frac{x^k}{k!},\qquad \frac1{1-x}=\sum_{k=0}^\infty x^k\ \ (|x|<1),$$ $$\log(1+x)=x-\frac{x^2}2+\frac{x^3}3-\cdots\ \ (|x|<1),$$ $$(1+x)^a=1+ax+\frac{a(a-1)}{2}x^2+\cdots,\qquad \lim_{n\to\infty}\Bigl(1+\frac xn\Bigr)^n=e^x .$$ 用途：デルタ法（1次の展開 $g(\bar X)\approx g(\mu)+g'(\mu)(\bar X-\mu)$），積率母関数の展開から積率を読む，ポアソン分布の正規化 $\sum\lambda^x/x!=e^\lambda$，少数法則 $(1-\lambda/n)^n\to e^{-\lambda}$，最尤推定量の漸近正規性（対数尤度の2次展開）．

級数の和

$$\sum_{k=1}^n k=\frac{n(n+1)}2,\qquad \sum_{k=1}^n k^2=\frac{n(n+1)(2n+1)}6,$$ $$\sum_{k=0}^\infty kx^{k}=\frac{x}{(1-x)^2},\qquad \sum_{k=0}^\infty k^2x^{k}=\frac{x(1+x)}{(1-x)^3}\qquad(|x|<1).$$ 前の2つは離散一様分布の期待値・分散や順位統計量（${\operatorname{E}}[W]$，${\operatorname{V}}[W]$）に，後の2つは幾何分布の積率に使います．

ラグランジュの未定乗数法

制約 $g({\boldsymbol{x}})=c$ のもとで $f({\boldsymbol{x}})$ を最大（最小）にする点は，$$L({\boldsymbol{x}},\lambda)=f({\boldsymbol{x}})-\lambda\{g({\boldsymbol{x}})-c\},\qquad \frac{\partial L}{\partial x_i}=0\ (i=1,\dots,p),\quad g({\boldsymbol{x}})=c$$ の解の中にあります．本書での主な用途：

多項分布の最尤推定（$\sum p_i=1$ のもとで $\sum x_i\log p_i$ を最大化 $\Rightarrow\hat p_i=x_i/n$）
層化抽出のネイマン配分（$\sum n_h=n$ のもとで $\sum W_h^2S_h^2/n_h$ を最小化 $\Rightarrow n_h\propto N_hS_h$）
主成分分析（${\boldsymbol{a}}^\top{\boldsymbol{a}}=1$ のもとで ${\boldsymbol{a}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{a}}$ を最大化 $\Rightarrow{\boldsymbol{\Sigma}}{\boldsymbol{a}}=\lambda{\boldsymbol{a}}$）

その他の小道具

対数微分：$\dfrac{\,\mathrm{d}}{\,\mathrm{d}\theta}\log L(\theta)=\dfrac{L'(\theta)}{L(\theta)}$．積の尤度は対数で和にしてから微分する．
積分と微分の交換（期待値の微分）：正則条件のもとで $\dfrac{\,\mathrm{d}}{\,\mathrm{d}t}{\operatorname{E}}[e^{tX}]={\operatorname{E}}[Xe^{tX}]$．
2変数関数の極値：$\nabla f={\boldsymbol{0}}$ かつヘッセ行列が負定値なら極大（対数尤度の最大化の確認）．
ロピタルの定理・はさみうち：極限（$\lim x^ke^{-x}=0$ など）の確認に使う．

D.2　線形代数

行列式

$2\times2$：$\det\begin{pmatrix}a&b\\c&d\end{pmatrix}=ad-bc$．$3\times3$ はサラスの方法または余因子展開．性質：$$\det(AB)=\det A\det B,\qquad \det A^\top=\det A,$$ $$\det(cA)=c^p\det A\ \ (A\text{ は }p\times p),\qquad \det A=\prod_{i}\lambda_i\ \ (\lambda_i\text{ は固有値}).$$ $\det A\ne0\iff A$ は正則（逆行列が存在）．多変量正規分布の密度の $|{\boldsymbol{\Sigma}}|^{1/2}$，変数変換のヤコビアンに現れます．2変量なら $|{\boldsymbol{\Sigma}}|=\sigma_1^2\sigma_2^2(1-\rho^2)$．

逆行列

$$\begin{pmatrix}a&b\\c&d\end{pmatrix}^{-1}=\frac1{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix},$$ $$(AB)^{-1}=B^{-1}A^{-1},\qquad (A^\top)^{-1}=(A^{-1})^\top.$$ 一般には掃き出し法か，余因子行列を行列式で割る．単回帰の $(X^\top X)^{-1}$ は $X^\top X=\begin{pmatrix}n&\sum x_i\\\sum x_i&\sum x_i^2\end{pmatrix}$ の逆行列で，$(2,2)$ 成分が $1/S_{xx}$ になります（${\operatorname{V}}[\hat\beta_1]=\sigma^2/S_{xx}$ の由来）．

固有値・固有ベクトル

$A{\boldsymbol{u}}=\lambda{\boldsymbol{u}}$（${\boldsymbol{u}}\ne{\boldsymbol{0}}$）を満たす $\lambda$ が固有値，${\boldsymbol{u}}$ が固有ベクトル．固有値は特性方程式 $\det(A-\lambda I)=0$ の解．$2\times2$ なら$$\lambda^2-({\operatorname{tr}}A)\lambda+\det A=0 .$$ 対称行列の固有値は実数で，異なる固有値の固有ベクトルは直交し，スペクトル分解 $A=\sum_i\lambda_i{\boldsymbol{u}}_i{\boldsymbol{u}}_i^\top=U\Lambda U^\top$（$U$ は直交行列）ができます．例：相関行列 $\begin{pmatrix}1&r\\r&1\end{pmatrix}$ の固有値は $1+r$（固有ベクトル $\frac1{\sqrt2}(1,1)^\top$）と $1-r$（固有ベクトル $\frac1{\sqrt2}(1,-1)^\top$）．どちらが大きいかは $r$ の符号で決まり，$r>0$ なら $(1,1)$ 方向，$r<0$ なら $(1,-1)$ 方向が第1主成分になります．$r=0$ では固有値が重なり固有ベクトルは一意に定まりません．また固有ベクトルは符号を反転しても固有ベクトルです（第22章の主成分分析）．マルコフ連鎖の定常分布は $P^\top$ の固有値1の固有ベクトルです（第14章）．

トレース

${\operatorname{tr}}A=\sum_ia_{ii}=\sum_i\lambda_i$．性質：$${\operatorname{tr}}(A+B)={\operatorname{tr}}A+{\operatorname{tr}}B,\qquad {\operatorname{tr}}(AB)={\operatorname{tr}}(BA),\qquad {\boldsymbol{x}}^\top A{\boldsymbol{x}}={\operatorname{tr}}(A{\boldsymbol{x}}{\boldsymbol{x}}^\top).$$ 用途：ハット行列 $H=X(X^\top X)^{-1}X^\top$ の ${\operatorname{tr}}H={\operatorname{tr}}\bigl((X^\top X)^{-1}X^\top X\bigr)=p+1$（てこ比の和），残差平方和の期待値 ${\operatorname{E}}[S_e]=\sigma^2{\operatorname{tr}}(I-H)=(n-p-1)\sigma^2$，主成分の寄与率の分母 ${\operatorname{tr}}{\boldsymbol{\Sigma}}$．

二次形式と正定値

対称行列 $A$ による $Q({\boldsymbol{x}})={\boldsymbol{x}}^\top A{\boldsymbol{x}}=\sum_i\sum_ja_{ij}x_ix_j$ を二次形式という．

すべての ${\boldsymbol{x}}\ne{\boldsymbol{0}}$ で ${\boldsymbol{x}}^\top A{\boldsymbol{x}}>0$ のとき正定値（$\ge0$ なら半正定値）．
正定値 $\iff$ 固有値がすべて正 $\iff$ 首座小行列式がすべて正．$2\times2$ なら $a_{11}>0$ かつ $\det A>0$．
分散共分散行列は常に半正定値（${\operatorname{V}}[{\boldsymbol{a}}^\top{\boldsymbol{X}}]={\boldsymbol{a}}^\top{\boldsymbol{\Sigma}}{\boldsymbol{a}}\ge0$ だから）．相関係数が $|\rho|\le1$ になるのはこのため．
期待値：${\operatorname{E}}[{\boldsymbol{X}}^\top A{\boldsymbol{X}}]={\operatorname{tr}}(A{\boldsymbol{\Sigma}})+{\boldsymbol{\mu}}^\top A{\boldsymbol{\mu}}$（${\operatorname{E}}[{\boldsymbol{X}}]={\boldsymbol{\mu}}$，${\operatorname{V}}[{\boldsymbol{X}}]={\boldsymbol{\Sigma}}$）．
$A$ が対称なべき等行列（$A^2=A$）で ${\boldsymbol{X}}\sim\mathrm{N}({\boldsymbol{0}},\sigma^2I)$ なら ${\boldsymbol{X}}^\top A{\boldsymbol{X}}/\sigma^2\sim\chi^2({\operatorname{rank}}A)$（${\operatorname{rank}}A={\operatorname{tr}}A$）．残差平方和の分布 $S_e/\sigma^2\sim\chi^2(n-p-1)$ の根拠．

行列・ベクトルの微分

スカラー関数 $f({\boldsymbol{x}})$ の勾配を $\dfrac{\partial f}{\partial{\boldsymbol{x}}}=\Bigl(\dfrac{\partial f}{\partial x_1},\dots,\dfrac{\partial f}{\partial x_p}\Bigr)^\top$ と書くと$$\frac{\partial({\boldsymbol{a}}^\top{\boldsymbol{x}})}{\partial{\boldsymbol{x}}}={\boldsymbol{a}},\qquad \frac{\partial({\boldsymbol{x}}^\top A{\boldsymbol{x}})}{\partial{\boldsymbol{x}}}=(A+A^\top){\boldsymbol{x}}\ \ (A\text{ が対称なら }2A{\boldsymbol{x}}).$$ 最小二乗法：$S({\boldsymbol{\beta}})=({\boldsymbol{y}}-X{\boldsymbol{\beta}})^\top({\boldsymbol{y}}-X{\boldsymbol{\beta}})={\boldsymbol{y}}^\top{\boldsymbol{y}}-2{\boldsymbol{\beta}}^\top X^\top{\boldsymbol{y}}+{\boldsymbol{\beta}}^\top X^\top X{\boldsymbol{\beta}}$ を微分して$$\frac{\partial S}{\partial{\boldsymbol{\beta}}}=-2X^\top{\boldsymbol{y}}+2X^\top X{\boldsymbol{\beta}}={\boldsymbol{0}}\ \Longrightarrow\ X^\top X\hat{\boldsymbol{\beta}}=X^\top{\boldsymbol{y}}.$$ リッジ回帰では $\lambda{\boldsymbol{\beta}}^\top{\boldsymbol{\beta}}$ が加わり $(X^\top X+\lambda I)\hat{\boldsymbol{\beta}}=X^\top{\boldsymbol{y}}$．多変量正規の最尤推定では $\dfrac{\partial\log|A|}{\partial A}=(A^{-1})^\top$，$\dfrac{\partial\,{\operatorname{tr}}(AB)}{\partial A}=B^\top$ も使います．

その他の要点

分割行列の逆行列（シューア補行列）${\boldsymbol{\Sigma}}_{11\cdot2}={\boldsymbol{\Sigma}}_{11}-{\boldsymbol{\Sigma}}_{12}{\boldsymbol{\Sigma}}_{22}^{-1}{\boldsymbol{\Sigma}}_{21}$ は多変量正規の条件付き分散（A.2節）と偏相関に現れる．
直交行列 $U^\top U=I$ は長さを保つ（$\|U{\boldsymbol{x}}\|=\|{\boldsymbol{x}}\|$）：正規標本の $\bar X$ と $s^2$ の独立性の証明（ヘルマート変換）に使う．
特異値分解 $X=UDV^\top$：$X^\top X=VD^2V^\top$ なので，$X$ の右特異ベクトルが $X^\top X$ の固有ベクトル（第22章）．
階数 ${\operatorname{rank}}A$：一次独立な列の最大数．$X$ が列フルランク（${\operatorname{rank}}X=p+1$）であることが $(X^\top X)^{-1}$ の存在条件．