最小二乗法による線形重回帰（多変数線形回帰）

2021年12月31日2022年2月9日

本記事では、最小二乗法による多変数線形回帰（線形重回帰）について解説します。

以下の記事では、$n$個のデータ点$\left\{ \left( x_i , y_i \right) \right\}$に関して、最小二乗法による線形単回帰分析について解説しました。

最小二乗法による線形単回帰分析では、以下の関係式が成立します。

あわせて読みたい

最小二乗法による線形単回帰（1変数直線回帰）本記事では、最小二乗法による1変数直線回帰（線形単回帰）について解説します。個のデータ点が得られたとき、と間の関係を解析し、という関係式を導くのが単回帰分析...

$$ f(x)=ax+b \tag{1} $$

$$ a=\frac{\mathrm{Cov}[x,y]}{ \mathrm{Cov}[x,x]} \tag{2} $$

$$ b= E[y] – aE [x] \tag{3} $$

$$ E [x]=\frac{1}{n} \sum_i x_i \tag{4} $$

$$ \mathrm{Cov}[x,y]=E \left[ \left( x-E[x] \right) \left( y-E[y] \right) \right] \tag{5} $$

本記事では、$y$が1つの変数ではなく$m$個の変数($x_1,\cdots,x_m$）に依存する場合を考え、最小二乗法による線形重回帰分析の関係式を導きます。

Webページでは要点となる式のみを表示いたしますので、詳細な導出過程については本ページ下部のpdfファイルを参照してください。

最小二乗法による線形重回帰

回帰式の関数形

線形重回帰分析では、$n$個のデータ点$ \left\{ \left( x_{1 i},\cdots,x_{m,i}, y_i \right) \right\} $を以下の式で回帰します。

$$ y=f(x_1, \cdots, x_m)=\sum_i a_i x_i+b \tag{1-1} $$

ベクトル表示すると、Eq. (1-1)は以下のように表現できます。

$$ y=f( \mathbf{x})= {}^\mathrm{t} \! \mathbf{a} \mathbf{x} +b \tag{1-2} $$

$$
\mathbf{x}_i=
{}^\mathrm{t} \!
\left[ \begin{array}{rr}
x_{1 i} & \cdots & x_{m i}
\end{array} \right] \tag{1-3}
$$

$$
\mathbf{a}=
{}^\mathrm{t} \! \left[
\begin{array}{rr}
a_1 & \cdots & a_m
\end{array} \right] \tag{1-4}
$$

左上付きのtは転置を意味しています。

二乗誤差

二乗誤差$I$は$\mathbf{a}, b$に依存する量であり、以下の式で表現されます。

$$ I(\mathbf{a}, b)=\sum_i \left( y_i- \left( {}^\mathrm{t} \! \mathbf{a} \mathbf{x} +b \right) \right) ^2 \tag{1-5} $$

回帰直線

$I$を最小化するために以下の方程式を考えます。

$$ \frac{\partial I}{\partial \mathbf{a}}=\mathbf{0} \tag{1-6} $$

$$ \frac{\partial I}{\partial b}=0 \tag{1-7} $$

この式を解くことで、$\mathbf{a}, b$を求めることができます。

詳細な計算過程については本ページ下部のpdfファイルを確認してください。

$\mathbf{a}, b$を与える関係式

Eqs. (1-6, 1-7)を計算すると以下の関係式が得られます。

この式の逆行列を求めることで、回帰式の係数を得ることができます。

$$
\left[
\begin{array}{c}
a_1 \\ \vdots \\ a_m \\b
\end{array}
\right]
=
\left[
\begin{array}{cccc}
E \left[ x_1 x_1 \right] & \cdots & E \left[ x_1 x_m \right] & E \left[ x_1 \right] \\
\vdots & \ddots & \vdots & \vdots \\
E \left[ x_m x_1 \right] & \cdots & E \left[ x_m x_m \right] & E \left[ x_m \right] \\
E \left[ x_1 \right] & \cdots & E \left[ x_m \right] & 1 \\
\end{array}
\right]
^{-1}
\left[
\begin{array}{c}
E \left[ x_1 y \right] \\ \vdots \\ E \left[ x_m y \right] \\ E \left[ y \right]
\end{array}
\right]
$$