第16章 重回帰分析(統計検定準1級)
このページはプロモーション(広告)を含みます。
『統計学実践ワークブック』第16章に対応する章です。本文と問題は有料版で読めます。
この章で身につけること
重回帰モデルを $\boldsymbol{y}=X\boldsymbol{\beta}+\boldsymbol{\varepsilon}$ と書き,各行列のサイズと $X^\top X$,$X^\top\boldsymbol{y}$ の成分の意味を説明できる.
行列の微分(または平方完成)で正規方程式 $X^\top X\hat{\boldsymbol{\beta}}=X^\top\boldsymbol{y}$ を導ける.
ハット行列の性質(対称・べき等・$\operatorname{tr}H=p+1$)を示し,最小二乗法を直交射影として図示できる.
$\operatorname{E}[\hat{\boldsymbol{\beta}}]=\boldsymbol{\beta}$,$\operatorname{V}[\hat{\boldsymbol{\beta}}]=\sigma^2(X^\top X)^{-1}$ を導き,ガウス・マルコフの定理の前提と主張を述べられる.
$\operatorname{E}[S_e]=(n-p-1)\sigma^2$ を示し,$s^2=S_e/(n-p-1)$ の自由度の意味を説明できる.
平方和の分解,$R^2$,$\bar R^2$ を計算し,$\bar R^2$ が必要な理由を説明できる.
$t$ 検定,全体の $F$ 検定,部分 $F$ 検定を使い分け,自由度を正しく設定でき($q=1$ なら $F=t^2$),ソフトウェア出力の空欄を埋められる.
多重共線性の症状を挙げて $\mathrm{VIF}_j=1/(1-R_j^2)$ を計算でき,ダミー変数($k-1$ 個)と交互作用項の係数を解釈できる.
リッジ推定量 $(X^\top X+\lambda I)^{-1}X^\top\boldsymbol{y}$ を導出・計算し,ラッソで係数が0になる理由を図と式で説明できる.
この章の節
- 16.1 単回帰の復習から行列表記へ
- 16.2 最小二乗推定量の導出
- 16.3 射影行列(ハット行列)と幾何的イメージ
- 16.4 推定量の不偏性・分散とガウス・マルコフの定理
- 16.5 2 の推定・平方和の分解・決定係数
- 16.6 重回帰分析の検定
- 16.7 平均応答の信頼区間と予測区間 ◇
- 16.8 多重共線性と VIF
- 16.9 ダミー変数と交互作用 ◇
- 16.10 ソフトウェア出力の読み方
- 16.11 正則化 ── リッジ回帰とラッソ回帰 ◇
- 16.12 例題に取り組むための考え方
この章の解説と問題は、アプリ「統計検定準1級 合格ナビ」の有料版(1,980円・買い切り)で読めます。第1〜3章は無料で全文を公開しています。
統計検定準1級 合格ナビ:統計検定準1級の学習アプリ。参考書33章と演習・模試あわせて374問を、解説つきでスマホ・パソコンのブラウザで。第1〜3章の問題と参考書は登録なしで無料。全章は1,980円の買い切り。
アプリを無料で開く有料版と無料版の違い