/math-ab9343ff9fcb3706ee7abdb2cb379b0e.png "z_1=\sum_{i=1}^p a_{1i}x_i")
内容 |
主成分分析は変数間の関係を調べます。これにより、例えば変数の数を回帰やクラスター分析などで減らすことができます。
主成分分析内の主成分は変数とそれに対するの最大分散との関係を線形で表わしています。Xをｐ個の変数を持つｎ個の観測値とし、この共分散の行列はSとなります。ここで変数間の線形の関係は次のようになります。
/math-22cf6d90476d6b87655fb83d74ee08f5.png "x_i\")
がi 番目の変数に、/math-54042c94adbcd82da042b6c3acb9f2d7.png "a_{1i} \ i=1,2,...,p")
は/math-c444279b915ee36642fa338e34c13122.png "z_1\")
の線形関係の係数となり、これらは列ベクトル/math-d244e0f74039ac13f15b218c30a1197d.png "a_1\")
として示され、/math-a4489a65c4ea00a3749c13371e32b1c8.png "a_1^Ta_1=1")
で正規化されます。 の分散は/math-731b4410c9a103b26e052e0fdddb6ab5.png "a_1^TSa_1")
となります。
ベクトルは分散を最大にすることで見つけることができます。は第一主成分と呼ばれています。第二主成分は次の物を最大化することで同じように見つけることができます。
/math-873ed3c6fc8df3717f6650fc969da6c3.png "a_2^Ta_2=1")
と /math-ae413d86760f05319c501f0496c6c868.png "a_2^Ta_1=0")
は/math-493b8e25d52c2ace8bdb017172b0d8c8.png "a_2^TSa_2")
を制約している主要因です。これは第二主成分が第一主成分とは直交関係にあることを示しています。残りの主成分は同様の方法で算出することができます。係数 /math-27a6d6501e3c3aa9f3ea0490bd2883a3.png "a_1, a_2, ..., a_p\")
は行列Sの固有ベクトルから計算できます。Originは欠損値を取り除くためにいくつかの手法を用いています。
欠損値がある観測データは分析から除外されます。SVD用の行列 /math-d5bc9869a7e5e4c51c3ec29c497c9913.png "X_s\")
は分析の行列タイプによりXから算出されます。
を行列Xとして各列の平均が各変数から引かれ、各列は /math-c6b39e3953f822c60f04aa96795f8ca5.png "\frac{1}{\sqrt{n-1}}")
によってスケールされます。 を行列Xとして各列の平均が各変数から引かれ、各列は/math-49b8574ecb53ea9393f842389f9eb9c3.png "\frac{1}{\sqrt{n-1}\sigma_i}")
によってスケールされます。/math-7972095bacc7478fcb70fd6733c0f5bb.png "\sigma_i\")
はi番目の標準偏差になります。SVDを で実行します。
/math-d498c41ab09cd28f0ed57082a46e997c.png "X_s=V\Lambda P^T\")
ここでVは/math-019541f74704787977ee873013839295.png "V^TV=I\")
と共にあるp行列のｎで、Pはp行列のｐで、 /math-781ff4289c6cc5fc2973b7a57791e0e2.png "\Lambda")
は対角要素/math-285c6a5e3a199d684c4b38c337b68b7c.png "s_i \ i=1, 2, ..., p")
を含む対角行列です。
/math-10d0f1ef59c0ff4f54dd64b9e67956eb.png "\lambda_i=s_i^2")
/math-0f760222253fcac467e4e4382ea4e49d.png "\lambda_i/\sum_{k=1}^p \lambda_k")
です。/math-07e38ffc20f9ed4a40e60ed2a7eadd06.png "\sqrt{n-1}V\Lambda")
は主成分と関連しているスコアです。欠損値を含む観測値があった場合、これらの値と対応するスコアも欠損値になります。観測値は共分散や係数を計算する２つの変数の中で欠損値がどちらか一方にでもあるときに計算する場合のみ除かれます。
固有値と固有ベクトルは行列Sの共分散または係数から計算されます。
/math-1eb525b55da5f5a7b146d626ef443681.png "SP=PD\")
Pはp行列のｐで、Dは対角要素 /math-ae1d06f83f13974ab2df299694d371b3.png "\lambda_i \ i=1, 2, ..., p")
がある対角行列です。
/math-b42a49b60191bc5e33a25f63bfc4244e.png "\lambda_i\")
はi 番目の主成分の固有値です。下降順に固有値は保存されています。/math-bb91d01fd09e5459e2c215fa93bf2c63.png "V=X_0P\")
/math-529f8b193005f6dea07a06457001ca34.png "X_0\")
は行列Xから各列の平均を引いた値になります。バーレット検定は残りの固有値p－kを等しくしています。これは分析行列が共分散行列であるときのみ使用できます。
/math-f7c8bd18f6e041157a76f1fa02889635.png "H_0:\lambda_{k+1}=\lambda_{k+2}=...=\lambda_{p} k=0, 1, ..., p-2\")
自由度 /math-256b80388bbbcc269ef94aa5532dab62.png "\frac{1}{2}(p-k-1)(p-k+2)")
で /math-e004463241106484d0f7761b9110eeaf.png "\chi_2\")
分散をおおよそで計算しています。
/math-465397770aeec65eb2b9adadcdd2c942.png "(n-1-(2p+5)/6)\Big\{-\sum_{i=k+1}^p \mathrm{log}(\lambda_i)+(p-k)\mathrm{log}(\sum_{i=k+1}^p \lambda_i/(p-k))\Big\}")