最小二乗法 - かずのたしなみ（統計環境Rによる） @Wiki

直線を探す

先に見たように、相関係数の絶対値が１に近づくほど、データはある直線の上に近づくように見える。

東証平均と新日鉄のデータの散布図に、そんな直線を引いてみよう。

z <- lsfit(v.tosho,v.shinnittetu)
plot(v.tosho,v.shinnittetu)
abline(z,col="red")

大雑把にだが、確かにデータはその直線の周りに散らばっているように見える。

ここでは「その直線」を決める方法を考える。
Ｒ的には、この問題はすでに解決している。いま直線を引くのにつかったlsfit(v.tosho,v.shinnittetu)というのがそうだ。
lsfit（）という関数はいったい何をやっているのだろうか。

lsfit(v.tosho,v.shinnittetu)

とだけ直接入力して、何が出てくるか見てみよう。

$coefficients
Intercept         X 
-0.850631  1.321059 

…（以下略）

$residualsや$qrの後に数字がずらずら並ぶがとりあえずは無視してかまわない（あとでやり直そう）。

「coefficients」という単語は、辞書を引けば分かるように「係数」のことである。
ちなみに「Intercept」は、ここでは「切片」と数学でいうもののことである。

直線の方程式は、むかし学校では
Ｙ＝ａＸ＋ｂ
などと教わったものだが、回帰直線は別の歴史的事情があって、
Ｙ＝ａ＋ｂＸ
と書くことが多い。

今の例だと、東証データv.toshoが独立変数Ｘ、新日鉄データv.shinnittetuがＹである。
あと言うまでも無くａが切片で-0.850631、ｂがＸの係数であり直線の「傾き」表し1.321059 であった。

東証データv.toshoが独立変数Ｘ、新日鉄データv.shinnittetuがＹとすると、
Ｙ＝-0.850631＋1.321059 Ｘ
というのが我々がさっき求めた回帰直線なのだった。

最小自乗法とは？

lsfitのヘルプを見るには、Ｒのコンソール上で

?lsfit

とすればいい。
すると

lsfit                 package:stats                  R Documentation
 
Find the Least Squares Fit

Description:

     The least squares estimate of *b* in the model

                            y = X b + e

    is found.

Usage:

…（以下略）
とりあえずUsage以下は、今は無視しておこう。ポイントは表題である「Find the Least Squares Fit」である。Least Squaresは、日本語訳でいうところの「最小自乗（二乗）」というものにあたる。最小自乗法をつかってＦｉｔする直線を見つけるのが、この関数「lsfit」の働きである。

本当のＹと、Ｙ＾＝ａ＋ｂＸという直線が導き出すＹ＾との間には、ふつう食い違いが存在する。
今、我々の課題は上の式のａとｂの値を求めることだが、課題には目標が必要である。
我々は、できるだけ本当のＹと、回帰直線の式が導き出すＹ＾との差を小さいものにしたいと考えている。すなわちＹ－Ｙ＾の差を小さくすることが目標である。
しかしＹとＹ＾はどちらかが大きかったり小さかったりするので、Ｙ－Ｙ＾の値もプラスになったりマイナスになったりするだろう。Ｙ－Ｙ＾の差をトータルに小さくするためには、個々の差をすべて足し合わせたものを最小化すればいいが、Ｙ－Ｙ＾のままでは足しあわすとプラスの差とマイナスの差が打ち消しあって不都合である。こういうときは二乗したものを足し合わせ、それを最小化するのを目標とすればいい。。平均値が、それぞれの値との差の二乗和を最小にするものだったことを思い出そう。そう平均値でやったあの経験が役に立つ時が来たのである。
本当のＹi（ｉ＝１～ｎ）とＹi＾＝ａ＋ｂＸiの差は
Ｙi－Ｙi＾＝Ｙi－（ａ＋ｂＸi）
　　　　　＝Ｙi－ａ－ｂＸi

したがって最小化すべき二乗和は
Ｑ＝Σ（Ｙi－Ｙi＾）＾２
　＝Σ（ｙi－ａ－ｂｘi）＾２
となる。