本記事では、最小二乗法による定数への回帰と平均値の関係について解説します。
以下の記事では、最も基本的な回帰分析である最小二乗法による線形単回帰分析について解説しました。
線形単回帰よりも簡単な回帰には定数への回帰があります。本記事で紹介するように、最小二乗法による定数への回帰は平均値に一致します。それゆえに、最小二乗法による定数への回帰を意識的に考えることはほとんどありませんが、平均値をとれば二乗誤差が最小化されているということを理解しておくことは有益です。
Webページでは要点となる式のみを表示いたしますので、詳細な導出過程については本ページ下部のpdfファイルを参照してください。
最小二乗法による定数への回帰
\(n\)個のデータ点\(\left\{ y_i \right\}\)を最小二乗法により定数\(b\)に回帰します。
二乗誤差
二乗誤差\(I\)は以下の式で評価します。
$$ I(b)=\sum_i \left( y_i- b \right) ^2 \tag{1} $$
回帰定数
Eq. (1)を整理すると、以下の二次関数が得られます。
詳細な計算過程については本ページ下部のpdfファイルを確認してください。
$$ I(b)=n \left( \left( b- E\left[ y \right] \right) ^2 +\mathrm{Cov}\left[ y,y \right] \right) \tag{2} $$
この式は下図のように下に凸の二次関数なので、\(I\)を最小化する\(b\)は以下の式で与えられます。
$$ b=E\left[ y \right] \tag{3} $$
$$ \mathrm{min} \left( I(b) \right)=n \mathrm{Cov}\left[ y,y \right] \tag{4} $$
ここで、\(E [x], \mathrm{Cov} [y,y]\)は、\(\left\{ x_i \right\}\)の平均と分散です。
平均・分散・共分散について、より詳しく知りたい方は以下のページを参照してください。
平均・分散との関係
Eq. (3)より、最小二乗法で定数へ回帰すると定数は\(\left\{ y_i \right\}\)の平均値に一致します。
また、この時の二乗誤差はEq. (4)に示したように\(\left\{ y_i \right\}\)の分散の\(n\)倍に一致します。
つまり、\(\left\{ y_i \right\}\)の平均値をとることは、\(\left\{ y_i \right\}\)を最小二乗法により定数に回帰することと等しく、その平均二乗誤差は\(\left\{ y_i \right\}\)の分散により求めることができます。
