\documentclass[12pt]{article}

\usepackage[utf8]{inputenc}

\begin{document}

\begin{center}
{\bf Lineáris módszerek a többdimenziós statisztikában.}
\end{center}

\medskip\noindent
E jegyzetben a Bolla--Krámli könyv hatodik fejezetének az
eredményeit is\-mer\-te\-tem. Ez egy felületes ismertetés, amelyben
csak a legfontosabb ered\-mé\-nyek\-ről és fogalmakról írok. A
bizonyításokat elhagyom.

\medskip
Az első szekció témája a főkomponens analízis. Itt a
kiinduló probléma a k\"ovetkező. Legyen adva egy $p$-dimenziós
normális eloszlású $\mathbf{X}$ véletlen vektor $\mathbf{C}$ 
kovarianciam\'atrixszal \'es $\mathbf{m}$ v\'arhat\'o \'ert\'ekkel. 
Írjuk ezt 
\begin{equation}
\mathbf{X}=\mathbf{UZ}+\mathbf{m} \label1
\end{equation}
alakban, ahol ${\mathbf{U}}$ ortogonális mátrix, $\mathbf{Z}$ 
pedig olyan $p$-dimenziós normális eloszlású vektor, nulla 
várható értékkel, amelynek koordinátái függetlenek.

E probléma megoldásáról szól az 1.1 tétel. A bizony\'itás a szimmetrikus
mátrixok spektrálfelbontásán (diagonizálásán) alapul, illetve ennek
kapcsolatán egy szimmetrikus mátrix sajávektoraival, és ezeknek
a sa\-ját\-vek\-to\-rok\-nak a tulajdonságain.  Az (\ref{1}) képletben 
szereplő $\mathbf{Z}$ vektort hívják az irodalomban főkomponensvektornak, 
koordinátáit pedig főkomponenseknek. Az 1.2 \'allítás azt mondja ki, 
hogy ha a norm\'alis eloszl\'as\'u $\mathbf{X}$ vektort megszorozzuk 
egy ortogonális vektorral (elforgatjuk), akkor főkomponensei nem 
változnak.

Az 1.3 tétel azzal a kérdéssel foglalkozik, hogy, ha adva van egy
${\cal N}_p(\mathbf{0},\mathbf{C})$ eloszlású $\mathbf{X}$ vektor, 
akkor adott $k\le p$ számra, mi az $\mathbf{X}$ vektor legjobb
 $k$-di\-men\-ziós közelítése. Azaz olyan $k$-dimenziós 
$\mathbf{A}$ lineáris transzformációt keresünk, amelyikre 
az $E\|\mathbf{X}-\mathbf{AX}\|^2$ kifejezés a lehető legkisebb. 
Az 1.3 tétel szerint ez az optimális $k$-dimenziós $\mathbf{A}$ 
leképezés a $\mathbf{C}$ kovarianciamátrix $k$ legnagyobb
saj\'at\'ert\'ekhez tartoz\'o sajátvektor által kifeszített 
altérre való vetítés. 

Az első szekció még egy eredmény megfogalmazását tartalmazza 
bi\-zo\-nyí\-tás nélkül. Ebben az eredményben ismertetik azt 
a próbát, amely le\-he\-t\H{o}\-v\'e teszi, hogy eldöntsük egy 
minta segítségével, hogy egy nulla várható értékű véletlen 
normális eloszlású vektor kovarianciamátrixának a $k$ 
legkisebb sa\-ját\-ér\-té\-ke megegyezik-e.

\medskip
A második szekció témája a faktoranalízis. Azzal a problémával 
fog\-lal\-ko\-zik, hogy mikor és hogyan lehet egy 
${\cal N}_p(\mathbf{C},\mathbf{m})$ 
eloszlású $\mathbf{X}$ vektort felbontani vi\-szony\-lag kis 
$k$-dimenziójú standard normális eloszlású véletlen $\mathbf{f}$ 
vektor lineáris transzformációja plusz egy tőle független 
$\mathbf{e}$ normális vektor plusz egy determinisztikus 
$\mathbf{m}$ vektor összegére úgy, hogy az 
$\mathbf{e}$ normális vektor koordinátái függetlenek.
Képletben kifejezve az $\mathbf{X}$ vektor következő alakú 
előállítását keressük.
\begin{equation}
\mathbf{X}=\mathbf{Af}+\mathbf{e}+\mathbf{m}. \label2
\end{equation}
ahol $\mathbf{A}$ $p\times k$ m\'eret\H{u} m\'atrix, $\mathbf{f}$ 
$k$-dimenzi\'os statndard norm\'alis eloszl\'as\'u 
val\'osz\'in\H{u}s\'egi v\'altoz\'o, $\mathbf{f}$ az $\mathbf{e}$ 
vekort\'ol f\"uggetlen $p$-dimenzi\'os norm\'alis eloszl\'as\'u 
vektor, amely\-nek a koordin\'at\'ai korrel\'alatlanok \'es 0 
v\'arhat\'o \'ert\'ek\H{u}ek. Az $\mathbf{f}$ vektort 
{\it közös faktornak}\/ az $\mathbf{e}$ vektort {\it egyedi 
faktornak}\/ nevezik az irodalomban.

Az $\mathbf{ e}$ \'es $\mathbf{f}$ vektorokra tett felt\'etelek 
\'igy fogalmazhat\'oak meg.
\begin{eqnarray*}
E\mathbf{f}=0, &&\quad E\mathbf{ff}^T=\mathbf{I}_k \\
E\mathbf{e}=0, &&\quad E\mathbf{ee}^T=\mathbf{D} \\
                &&\quad E\mathbf{ef}^T=\mathbf{0} 
\end{eqnarray*}
ahol $\mathbf{D}$ diagon\'alis m\'atrix. A (\ref{2}) formul\'ab\'ol
k\"ovetkezik, hogy
\begin{equation}
\mathbf{C}=\mathbf{AA}^T+\mathbf{D}.  \label{3}
\end{equation}

A 2.1 t\'etel szerint a (\ref{3}) egyenlet akkor \'es csak akkor oldhat\'o
meg egy $p\times k$ m\'eret\H{u} $\mathbf{A}$ m\'atrixszal, ha l\'etezik
olyan $\mathbf{D}$ diagon\'alis m\'atrix nem negat\'iv elemekkel, amelyre
$\mathbf{C}-\mathbf{D}$ pozit\'iv szemidefinit m\'atrix, \'es rangja
nem nagyobb, mint $k$.

A val\'odi feladat, nem egy ismert $\mathbf{C}$ kovarianciam\'atrix
felbont\'asa a (\ref{3}) alakban, hanem az, hogy van egy 
${\cal N}_p(\mathbf{C},\mathbf{m})$ eloszl\'as\'u mint\'ank
ismeretlen $\mathbf{C}$ kovarianciam\'atrixszal \'es $\mathbf{m}$ 
v\'arhat\'o \'ert\'ekkel. Ezut\'an keress\"uk a
$\mathbf{C}=\mathbf{AA}^T+\mathbf{D}$ alak\'u kovarianciam\'atrix
maximum likelihood becsl\'es\'et (r\"ogz\'itett $k$ param\'eterrel.)
Fel szokt\'ak tenni az egy\'ertelm\H{u} el\H{o}\'all\'it\'as 
kedv\'e\'ert azt, hogy
$$
\mathbf{A}^T\mathbf{D}^{-1}\mathbf{A} \textrm{ is diagonális mátrix.}
$$
A könyv ismerteti ennek a feladatnak a megoldását bizonyítás nélkül,
illetve javaslatot tesz arra, hogyan kell a számolásokat végrehajtani
számítógép segítségével.

\medskip
A harmadik szekció témája a többváltozós regresszióanalízis. A lineáris
regresszióval foglalkozunk. E feladatban egy $Y$ (függő) valószínűségi 
vál\-to\-zó\-nak keressük a legjobb lineáris becslését $X_1,\dots,X_k$ 
(független) valószínűségi vál\-to\-zók segítségével. Ismerj\"uk az $EY$
\'es $EX_j$, $1\le j\le k$ v\'arhat\'o \'ert\'ekeket valamint a
$\textrm{Var}\;Y$ sz\'or\'asn\'egyzetet \'es a
$\textrm{Cov}\;(X_j,Y)$ \'es $\textrm{Cov}\;(X_i,X_j)$ 
ko\-va\-ri\-an\-ci\'a\-kat, 
$1\le i,j\le k$.

A feladat a
\begin{equation}
E(Y-(a_1X_1+\cdots+a_pX_p)-b)^2 \label{4}
\end{equation}
minimum\'anak a meghat\'aroz\'asa az $a_1,\dots,a_p$ \'es $b$ 
egy\"utthat\'ok f\"uggv\'eny\'eben. E feladat megold\'as\'at 
tartalmazza a 3.1 \'all\'it\'as. Ennek megfogalmaz\'as\'ahoz 
vezess\"uk be a k\"ovetkez\H{o} jel\"ol\'eseket. Legyen 
$\mathbf {C}=(\textrm{Cov}\;(X_i,X_j))$ , $1\le i,j\le p$,
$\mathbf{d}=(\textrm{Cov}\;(X_1,Y),\dots,\textrm{Cov}\;(X_p,Y))^T$,
$\mathbf{a}=(a_1,\dots,a_p)^T$. Ezzel a jel\"ol\'essel igaz 
a k\"ovetkez\H{o} \'all\'{\i}t\'as.

\medskip\noindent
{\bf 3.1 \'All\'it\'as.} {\it Legyen a $\mathbf{C}$ m\'atrix 
invert\'alhat\'o. Ekkor a (\ref{4}) kifejez\'es optimum\'at az 
$$
\mathbf{a}=\mathbf{C}^{-1}\mathbf{d},
$$
\'es
$$
b=EY-a_1EX_1-\cdots -a_pEX_p
$$
param\'eterekre veszi fel.}

\medskip
Vezess\"uk be az $l(\mathbf{X})=a_1X_1+\cdots+a_pX_p+b $ valószínűségi
változót. Ennek segítségével definiáljuk az $Y$ (függő) és
$X_1,\dots,X_p$ (független) változók közötti 
$r_{Y(X_1,\dots,X_p)}$ többszörös korrelációt, mint az 
$r_{Y(X_1,\dots,X_p)}=\textrm{Corr}(Y,l(\mathbf{X}))$ 
korrelációt. Ezzel jól lehet mérni az $l(\mathbf{X})$ közelítés 
$\varepsilon=Y-l(\mathbf{X})$ hibáját. Nevezetesen, mivel
$\textrm{Var}\,(Y)=\textrm{Var}\,(l(\mathbf{X}))
+\textrm{Var}\,(\varepsilon)$,
$$
\textrm{Var}\,(\varepsilon)=\textrm{Var}\,(Y)
(1-r^2_{Y(X_1,\dots,X_p)}).
$$ 

A 3.2 \'all\'it\'as a t\"obbsz\"or\"os korrel\'aci\'o
egy optimumtulajdons\'ag\'at fogalmazza meg.

\medskip\noindent
{\bf 3.2 \'All\'it\'as.} Az $X_1,\dots,X_p$ valószínűségi változók
tetszőleges $h(\mathbf{X})$ lineáris kombinációjára
$$
|r_{Y(X_1,\dots,X_p)}|=|\textrm{Corr}\,(Y,l(\mathbf{X}))| \ge
|\textrm{Corr}\,(Y,h(\mathbf{X}))|.
$$
Megjegyzem, hogy a k\"onyv hib\'as bizony\'it\'ast k\"oz\"ol
erre az \'all\'it\'asra. Olyan $h(x)$ f\"uggv\'enyt kellett 
volna venni, amelyre $E(Y-h(\mathbf{X}))h(\mathbf{X})=0$. 
Ezut\'an meg kell \'erteni a $h(\mathbf{X})=l(\mathbf{X})$ 
f\"uggv\'enynek az optimum tulajdons\'ag\'at.

\medskip
A negyedik szekció témája szintén egy lineáris regresszió t\'ipusú
probléma. Adva van egy $p$ változós  $y=a_1x_1+\cdots+a_px_p$ 
lineáris leképezés, és az ebben a leképezésben szereplő 
$a_1,\dots,a_p$  együtthatókat szeretnénk meghat\'arozni
m\'er\'esek seg\'its\'ag\'evel. A m\'er\'esek sz\'ama $n$, 
de az egyes méréseket csak hibával tudjuk el\-v\'e\-gez\-ni. 
Másrészt a determinisztikus $p$-dimenziós 
$(x_{j,1},\dots,x_{j,p})$, $1\le j\le n$, mérési pontokat mi 
választhatjuk meg. Az egyes mérések 
$\varepsilon_i$, $1\le i\le n$, hibája független nulla 
várható értékű $\sigma^2$ szórásnégyzetű normális eloszlású 
va\-ló\-szí\-nű\-sé\-gi változó. Elvégzünk $n$ mérést, és 
keressük az $a_1,\dots,a_n$ pa\-ra\-mé\-te\-rek\-nek azt 
a becslését, amelyre a hibák négyzetösszegének a várható 
értéke a lehető legkisebb. Feltessz\"uk, hogy a m\'er\'esek
$n$ sz\'am\'ara $n\ge p$.

A feladat pontos matematikai megfogalmazása a következő. Legyen
$\mathbf{a}=(a_1,\dots,a_p)^T$, jel\"olje az $n$ m\'er\'esi 
eredm\'enyt illetve annak hib\'aj\'at az
$$
\mathbf{Y}=(Y_1,\dots,Y_n)^T \quad \textrm{és} \quad 
\varepsilon=(\varepsilon_1,\dots\varepsilon_n)^T
$$
vektor. Legyen tov\'abb\'a $\mathbf {X}$ az az $n\times p$ 
m\'eret\H{u} m\'atrix, amelynek $i$-edik oszlopa az 
$\mathbf{x}_i=(x_{1,i},\dots,x_{n,i})^T$, $1\le i\le p$, vektor.
Akkor a m\'er\'eseink eredm\'eny\'et az
$$
\mathbf{Y}=\mathbf{Xa}+\varepsilon
$$
k\'eplet mutatja meg. Ekkor
$$
E(\mathbf{Y}-\mathbf{Xa})(\mathbf{Y}-\mathbf{Xa})^T
=E\varepsilon\varepsilon^T=\sigma^2I_n,
$$
\'es az $\mathbf{a}$ vektornak azt az 
$\hat\mathbf{a}=(\hat a_1,\dots,\hat a_p)$ becsl\'es\'et keress\"uk,
amelyre az 
$$
\|\mathbf{Y}-\mathbf{X}\hat\mathbf{a}\|^2=
(\mathbf{Y}-\mathbf{X}\hat\mathbf{a})(\mathbf{Y}-\mathbf{X}\hat\mathbf{a})^T
$$
minim\'alis. Ez a feladat megoldhat\'o, \'es azt kapjuk, hogy 
a keresett $\hat\mathbf{a}$ vektor az 
$$
\mathbf{X}^T\mathbf{Xa}=\mathbf{X}^T\mathbf{Y}
$$
egyenlet megold\'asa. Ezt az egyenletet h\'ivj\'ak 
Gauss--f\'ele norm\'alegyenletnek.

A k\"onyv ismerteti ennek az egyenletnek egy geometriai 
levezet\'es\'et is. Ennek r\'eszleteit nem \'irom le, de 
megadom azon mennyis\'egek definici\'oj\'at, amelyek ebben 
az indokl\'asban megjelennek, mivel azok fontos szerepet 
j\'atszanak k\'es\H{o}bbi formul\'akban is.

Legyen $F\subset R^n$ az az altere az $R^n$ t\'ernek, amelyet az
$\mathbf{x}_1,\dots,\mathbf{x}_p$ vektorok fesz\'itenek ki, \'es 
legyen $\mathbf{P}$ az ortogon\'alis vet\'it\'es az $R^n$ t\'erben
az $F$ alt\'erre.

A Gauss-f\'ele norm\'alegyenletnek mindig van megold\'asa, de az
nem fel\-t\'et\-le\-n\"ul egy\'ertelm\H{u}. Egy\'ertelm\H{u} a 
megold\'as akkor, ha az $\mathbf{X}^T\mathbf {X}$ m\'atrix 
rangja $r=p$. \'Altal\'aban ezzel az esettel fogunk foglalkozni. 
Ekkor
\begin{equation}
\hat\mathbf{a}=(\mathbf{X}^T\mathbf {X})^{-1}
\mathbf{X}^T\mathbf {Y}. \label5
\end{equation}
A 4.1 \'all\'it\'as tartalma az, hogy az $r=p$ esetben
az $\hat\mathbf{a}$ becsl\'es torz\'itatlan, \'es ez
az eredm\'eny megadja e becsl\'es 
kovarianciam\'atrix\'at is.

\medskip\noindent
{\bf 4.1 \'All\'it\'as.} {\it Ha $r=p$, \'es $\varepsilon$ 
${\cal N}_p(\mathbf{0},\sigma^2\mathbf{I}_p)$ eloszl\'as\'u, akkor 
$\hat\mathbf{a}$ ${\cal N}_p(\mathbf{a},\sigma^2
(\mathbf{X}^T\mathbf {X})^{-1})$ eloszl\'as\'u.}

\medskip
A 4.2 t\'etel tartalma az, hogy $\hat\mathbf{a}$ az $\mathbf{a}$
vektor legjobb torz\'itatlan becsl\'ese.

\medskip\noindent
{\bf 4.2 T\'etel (Gauss--Markov t\'etel).}  {\it Legyen $r=p$, \'es 
$\tilde\mathbf{a}$ az $\mathbf{a}$ vektor tor\-z\'i\-tat\-lan 
becsl\'ese. Ekkor 
$$
\textrm{Cov}\,(\hat\mathbf{a}) \le \textrm{Cov}\,(\tilde\mathbf{a}).
$$
Ez az egyenl\H{o}tlens\'eg azt jelenti, hogy
$\textrm{Cov}\,(\hat\mathbf{a})- \textrm{Cov}\,(\tilde\mathbf{a})$
pozit\'iv definit m\'atrix.}

\medskip
A következő eredmény a Gauss--Markov tétel következménye.

\medskip\noindent
{\bf 4.3 \'All\'it\'as.} {\it Ha $r=p$, akkor tetsz\H{o}leges 
$\mathbf{b}\in R^p$ vektorra az  $\hat\mathbf{a}$ becsl\'es 
se\-g\'i\-ts\'e\-g\'e\-vel defini\'alt $\mathbf{b}^T\hat\mathbf{a}$
kifejez\'es a $\mathbf{b}^T\mathbf{a}$ param\'eter 
torz\'{\i}tatlan becsl\'ese, \'es az ilyen becs\-l\'e\-sek 
k\"oz\"ott a legkisebb sz\'or\'asn\'egyzet\H{u}. (Ezt \'ugy 
h\'ivj\'ak, hogy $\mathbf{BLUE}$ (Best linear Unbiased Estimate).}

\medskip
A k\"ovetkez\H{o} pontban a k\"onyv a $\sigma^2$ sz\'or\'asn\'egyzet 
becsl\'es\'evel foglalkozik. Bevezeti az
$$
\mathbf{S}^2_\varepsilon=
\|\mathbf{Y}-\mathbf{X}\hat\mathbf{a}\|^2=
(\mathbf{Y}-\mathbf{X}\hat\mathbf{a})^T(\mathbf{Y}-\mathbf{X}\bar\mathbf{a})
$$
kifejez\'est, amit {\it rezidu\'alis varianci\'anak}\/ neveznek. 

A k\"onyv megmutatja term\'eszetes geometriai meggondol\'asok 
seg\'its\'eg\'evel, hogy $\sigma^2$ ter\-m\'e\-sze\-tes becsl\'ese 
 $r=p$ esetben
$$
\hat\sigma^2=\frac{\mathbf{S}^2_\varepsilon}{n-p},
$$
\'es ez $\sigma^2$ torz\'itatlan becsl\'ese. Tov\'abb\'a 
$\frac{\mathbf{S}^2_\varepsilon}\sigma$ $n-p$ param\'eter\H{u} $\chi^2$
eloszl\'as\'u va\-l\'o\-sz\'i\-n\H{u}\-s\'e\-gi v\'altoz\'o. Azt is 
\'all\'itja a
k\"onyv, hogy alkalmas feltev\'esek eset\'en $\hat\sigma^2$ $\sigma^2$
leg\-ki\-sebb sz\'or\'asn\'egyzet\H{u} torz\'itatlan becsl\'ese.

A k\"ovetkez\H{o} 4.4 \'all\'it\'as kiss\'e m\'as probl\'em\'aval 
foglalkozik, mint ez a szekci\'o. Azt a k\'erd\'est vizsg\'alja, 
milyen $\mathbf{b}\in R^p$ vektorokra l\'etezik a $\mathbf{b}^T\mathbf{a}$
param\'eterf\"uggv\'enynek torz\'itatlan becsl\'ese. Megmutatja, hogy
akkor \'es csak akkor, ha a $\mathbf{b}$ vektor az $\mathbf{A}$
sorvektorai \'altal kifesz\'itett alt\'erben van. Ez $r=p$
esetben minden $\mathbf{b}\in R^p$ vektorra teljes\"ul.

A 4.5 \'all\'it\'asban a k\"onyv megadja az $\mathbf{a}$ vektor 
\'es $\sigma^2$ maximum likelihood becsl\'es\'et.

\medskip\noindent
{\bf 4.5 \'All\'it\'as.} {\it Ha $\varepsilon$ 
${\cal N}_p(\mathbf{0},\sigma^2\mathbf{I}_p)$ eloszl\'as\'u, akkor 
akkor $\mathbf{a}$ maximum likelihood becsl\'ese a (\ref{5}) k\'epletben
megadott $\hat\mathbf{a}$ kififejez\'es, a $\sigma^2$ maximum likelihood
becsl\'ese pedig

$$
\hat\sigma^2=\frac{\mathbf{S}^2_\varepsilon}n.
$$
}

\medskip
A negyedik szekci\'o utols\'o t\'em\'aja annak a nullhipot\'ezisnek az
ellen\-\H{o}r\-z\'e\-se, hogy
$$
H_0\colon\qquad\qquad a_1=a_2=\cdots=a_p.
$$
Meghat\'arozza e nullhipot\'ezis tesztel\'esi elj\'ar\'as\'at, ha a
likelihood h\'anyados pr\'ob\'at alkalmazzuk. Azt kapja, hogy az elj\'ar\'as
a k\"ovetkez\H{o}.

Vegy\"uk az 
$$
F=\frac
{\mathbf{Y}^T\mathbf{P}\mathbf{Y}}
{\mathbf{Y}^T(\mathbf{I}-\mathbf{P})\mathbf{Y}}
$$
h\'anyadost, ahol $\mathbf{I}$ az identit\'as oper\'ator, $\mathbf{P}$
pedig a kor\'abban bevezetett $\mathbf{P}$ projekci\'o. Ekkor
$F$  ${\cal F}(p,n-p)$ eloszl\'ast k\"ovet, azaz eloszl\'asa
megegyezik k\'et f\"ugggetlen $p$ \'es $n-p$ param\'eter\H{u} $\chi^2$
eloszl\'as\'u val\'osz\'in\H{u}s\'egi v\'altoz\'o h\'anyados\'anak
az eloszl\'as\'aval. Akkor utas\'itjuk el a nullhipot\'ezist, ha
$F\ge c_\varepsilon$ alkalmas $c_\varepsilon$ sz\'ammal.

\medskip
Az \"ot\"odik szekci\'o t\'em\'aja a varianciaanal\'izis. 
H\'arom f\H{o} r\'eszb\H{o}l \'all. Az els\H{o} r\'esz t\'em\'aja
az egyszempontos varianciaanal\'izis, a m\'asodik\'e 
a k\'etszempontos varianciaanal\'izis interakci\'o n\'elk\"ul,
a harmadik\'e a k\'etszempontos va\-ri\-an\-cia\-ana\-l\'i\-zis 
interakci\'oval. A k\"onyv csak r\"oviden eml\'iti a 
t\"obbszempontos varianciaanal\'izist.

A feladat a h\'arom esetben a k\"ovetkez\H{o}:

\medskip\noindent
a) Egyszempontos varianciaanal\'izis, 

Van $k$ csoport, az $i$-edik csoportban $n_i$ megfigyel\'es.
Ezek eredm\'enye
$$
X_{i,j} \quad {\cal N}(b_i,\sigma^2) \textrm{ eloszlású valószinűségi
változó, } 1\le i\le k, \;\; 1\le j\le n_i.
$$
Becs\"ulj\"uk meg a legkisebb n\'egyzetek m\'odszer\'evel a $b_i$, 
$1\le i\le k$, pa\-ra\-m\'e\-te\-re\-ket. Vizsg\'aljuk a becsl\'es 
tulajdons\'agait.

\medskip\noindent
b) K\'etszempontos varianciaanal\'izis interakci\'o n\'elk\"ul,

Vannak $(i,j)$ p\'aroknak csoportjai, $1\le i\le k$, $1\le j\le p$.
Mindegyik $(i,j)$ p\'arra 1 megfigyel\'est v\'egz\"unk. Legyen ez
$$
X_{i,j}=m+a_i+b_j+\varepsilon_{i,j}, \quad (i=1,\dots, k,\; j=1,\dots,p),
$$
olyan $a_i$ \'es $b_j$ sz\'amokkal, amelyekre
\begin{equation}
\sum_{i=1}^k a_i=0,\quad \sum_{j=1}^pb_j=0, \label6
\end{equation}
ahol az $\varepsilon_{i,j}$ val\'osz\'in\H{u}s\'egi v\'altoz\'ok
f\"uggetlenek ${\cal N}(0,\sigma^2)$ eloszl\'assal. ($\sigma^2$ ismeretlen.) 

Becs\"ulj\"uk meg a legkisebb n\'egyzetek m\'odszer\'evel az $a_i$, 
$1\le i\le k$, \'es $b_j$, $1\le j\le p$, param\'etereket. 
Vizsg\'aljuk a becsl\'es tulajdons\'agait.

\medskip\noindent
c) K\'etszempontos varianciaanal\'izis interakci\'oval,

Vannak $(i,j)$ p\'aroknak csoportjai, $1\le i\le k$, $1\le j\le p$.
Mindegyik $(i,j)$ p\'arra v\'egz\"unk $n$ megfigyel\'est. Legyen ez
$$
X_{i,j,l}=m+a_i+b_j+c_{i,j}+\varepsilon_{i,j,l}, 
\quad (i=1,\dots, k,\; j=1,\dots,p,\; l=1,\dots,n),
$$
olyan $a_i$, $b_j$ \'es $c_{i,j}$ sz\'amokkal, amelyekre
\begin{eqnarray}
&&\sum_{i=1}^ka_i=0, \qquad\qquad \sum_{j=1}^p b_j=0, \label7 \\
&&\sum_{i=1}^k c_{i,j}=0, \quad j=1,\dots,p, \nonumber \\
&&\sum_{j=1}^p c_{i,j}=0, \quad i=1,\dots,k, \nonumber 
\end{eqnarray}
ahol az $\varepsilon_{i,j,l}$ val\'osz\'in\H{u}s\'egi v\'altoz\'ok
f\"uggetlenek ${\cal N}(0,\sigma^2)$ eloszl\'assal. ($\sigma^2$ ismeretlen.) 

Becs\"ulj\"uk meg a legkisebb n\'egyzetek m\'odszer\'evel az $a_i$, 
$b_j$ \'es $c_{i,j}$, $1\le i\le k$, $1\le j\le p$, param\'etereket. 
Vizsg\'aljuk a becsl\'es tulajdons\'agait.

\medskip
Mindhárom esetben a keresett optimumot a Lagrange-féle multiplikátor
módszer segítségével tudjuk kiszámolni. Megjegyzem, hogy a (\ref{6})
felt\'etel a b) esetben, illetve a (\ref{7}) felt\'etel a c) esetben
nem jelent igazi megszor\'it\'ast. Ugyan\-is, be lehet l\'atni, hogy 
ha valamely $a_i$, $b_j$, $m$ param\'eterrendszer teljes\'iti a 
b) esetben fel\'irt rel\'aci\'okat, akkor ezek alkalmas line\'aris 
transzform\'aci\'oja teljes\'iti mind ezeket a rel\'aci\'okat mind 
a (\ref{6}) felt\'etelt. Hasonl\'oan, ha valamely $a_i$, $b_j$, 
$c_{i,j}$, $m$ param\'eterrendszer teljes\'iti a c) esetben fel\'irt 
rel\'aci\'okat, akkor ezek alkalmas line\'aris transzform\'aci\'oja 
teljes\'iti mind ezeket a rel\'aci\'okat mind a (\ref{7}) felt\'etelt.
Tov\'abb\'a, ha alkalmazzuk a Lagrange-f\'ele multiplik\'ator 
m\'od\-szert, \'es elhagyjuk azokat a f\"ol\"osleges egyenleteket, 
amelyek a t\"obbi egyenlet k\"o\-vet\-kez\-m\'e\-nyei, akkor egy olyan 
egyenletrendszert kapunk, amelyben a v\'altoz\'ok sz\'ama megegyezik 
az egyenletek sz\'am\'aval. Megadom, hogy hogyan kell defini\'alni
az $a_i$, $b_j$ \'es $c_{i,j}$ mennyis\'ageket a c) esetben.

Ebben az esetben eredetileg olyan $m'$ $a'_i$, $b'_j$ \'es $c'_{i,j}$ 
mennyis\'egek vannak meg\-ad\-va, amelyekre
$$
X_{i,j,l}=m'+a'_i+b'_j+c'_{i,j}+\varepsilon_{i,j,l}, 
\quad (i=1,\dots, k,\; j=1,\dots,p,\; l=1,\dots,n).
$$
Defini\'aljuk e mennyis\'egek seg\'its\'eg\'evel az
$a_.=\frac1k\sum_{i=1}^k a'_i$, $b_.=\frac1p\sum_{j=1}^p b'_j$,
$c_{i.}=\frac1p\sum_{j=1}^p c'_{i,j}$, $c_{.j}=\frac1k\sum_{i=1}^k c'_{i,j}$ 
\'es $c_{..}=\frac1{kp}\sum_{i=1}^k\sum_{j=1}^p c'_{i,j}$ kifejez\'eseket. 
Ekkor az $m=m'+a_.+b_.+c_{..}$, $a_i=a'_i-a_{.}+c_{i.}-c'_{,,}$, 
$b_j=b'_j-b'_{.}+c_{.j}-c_{..}$ \'es
$c_{i,j}=c'_{i,j}-c_i{.}-c_{.j}+c_{..}$ mennyis\'egek teljes\'itik mind az 
$$
X_{i,j,l}=m+a_i+b_j+c_{i,j}+\varepsilon_{i,j,l}, 
\quad (i=1,\dots, k,\; j=1,\dots,p,\; l=1,\dots,n).
$$
mind a (\ref{7}) rel\'aci\'ot. 

\medskip 
Az a) esetben érdemes megfogalmazni a feladatot kissé különböző módon.

Írjuk fel a $b_i$ számokat $b_i=a_i+m$ alakban, $1\le i\le k$ úgy,
 hogy $\sum_{i=1}^kn_ia_i=0$. Ekkor a megfigyel\'eseink
$$
X_{i,j}=a_i+m+\varepsilon_{i,j}, \quad 1\le i\le k,\quad 1\le j\le n_i.
$$
alakban \'irhat\'oak. A 
$$
\sum_{i=1}^k\sum_{j=1}^{n_i}\varepsilon_{i,j}^2=
\sum_{i=1}^k\sum_{j=1}^{n_i}(X_{i,j}-a_i-m)^2
$$
kifejez\'es minimum\'at keress\"uk a $\sum_{i=1}^kn_ia_i=0$ 
k\'enyszerfelt\'etel mellett.  A megoldás leírása érdekében
vezessük be a következő mennyiségeket.
$$
\bar X_{i.}=\frac1{n_i}\sum_{j=1}^{n_i}X_{i,j},\quad 
\bar X_{..}=\frac1n\sum_{i=1}^k\sum_{j=1}^{n_i}X_{i,j}.
$$
Ezzel a jel\"ol\'essel a megold\'as
$$
\hat m=\bar X_{..}, \textrm{ és } \hat a_i=\bar X_{i.}-\bar X_{..}, \;\; 
i=1,\dots, k.
$$

A b) esetben a 
$$
\sum_{i=1}^k\sum_{j=1}^p(X_{i,j}-m-a_i-b_j)^2
$$
kifejez\'es minimum\'at kell kisz\'amolni a (\ref{6}) k\'enyszerfelt\'etel
mellett. A meg\-ol\-dás leírása érdekében vezessük be a következő 
mennyiségeket.
\begin{eqnarray*}
\bar X_{i.}&=&\frac1p\sum_{j=1}^{p}X_{i,j},\quad  i=1,\dots,k,\\
\bar X_{.j}&=&\frac1k\sum_{i=1}^{k}X_{i,j},\quad  j=1,\dots,p,\\
\bar X_{..}&=&\frac1{kp}\sum_{i=1}^k\sum_{j=1}^{p}X_{i,j}.
\end{eqnarray*}
Ezzel a jel\"ol\'essel a megold\'as
$$
\hat m=\bar X_{..}, \;\;
\hat a_i=\bar X_{i.}-\bar X_{..}, \; i=1,\dots, k, \;\; 
\textrm{ és } 
\hat b_j=\bar X_{.j}-\bar X_{..}, \; j=1,\dots, p.
$$

A c) esetben a 
$$
\sum_{i=1}^k\sum_{j=1}^p\sum_{l=1}^n(X_{i,j,l}-m-a_i-b_j-c_{i,j})^2
$$
kifejez\'es minimum\'at kell kisz\'amolni a (\ref{7}) k\'enyszerfelt\'etel
mellett. A meg\-ol\-dás leírása érdekében vezessük be a következő 
mennyiségeket.
\begin{eqnarray*}
\bar X_{i..}&=&\frac1{pn}\sum_{j=1}^{p}\sum_{l=1}^n X_{i,j,l},\quad  i=1,\dots,k,\\
\bar X_{.j.}&=&\frac1{kn}\sum_{i=1}^{k}\sum_{l=1}^n X_{i,j,l},\quad  j=1,\dots,p,\\
\bar X_{i,j.}&=&\frac1{n}\sum_{l=1}^n X_{i,j,l},\quad  i=1,\dots,k, \;\; 
j=1,\dots,p,\\
\bar X_{...}&=&\frac1{kpn}\sum_{i=1}^k\sum_{j=1}^p\sum_{l=1}^{m}X_{i,j,l}.
\end{eqnarray*}
Ezzel a jel\"ol\'essel a megold\'as
\begin{eqnarray*}
&&\hat m=\bar X_{...}, \;\;
\hat a_i=\bar X_{i..}-\bar X_{...}, \; i=1,\dots, k, \;\; 
\hat b_j=\bar X_{.j.}-\bar X_{...}, \; j=1,\dots, p \\
&&\qquad \qquad\textrm{ és } 
c_{i,j}=\bar X_{i,j.}-\bar X_{i..}-\bar X_{.j.}+\bar X_{...}\;.
\end{eqnarray*}

\medskip
A most kapott kifejez\'esek seg\'its\'eg\'evel megadhatjuk a vizsg\'alt
modellekben term\'eszetesen felmer\"ul\H{o} hipot\'ezisek statisztikai 
vizsg\'alat\'at. Ezt csak r\"oviden ismertetem bizony\'it\'asok n\'elk\"ul.

A könyv először megemlíti, hogy az első lépésben ellenőrzi, hogy az
adott modellekben az $\hat m=X_.$ (vagy $\hat m=X_{..}$ illetve 
$\hat m=X_{...}$) valószínűségi változó várható értéke nulla-e 
(van-e főhatás), és csak azzal az esettel foglalkozik, amikor ez 
a várható érték nem nulla. Bár a könyv e várhat\'o érték becslésével 
nem foglalkozik, ez viszonylag egyszerű probl\'ema. Azt kell
ellenőrizni, hogy az $X_{.}$ (vagy t\"obb pont van az indexben) 
normális eloszlású valószínűségi változó várható értéke nulla-e. 
Ezt k\"onnyen ellenőrízhetjük, ha ismerjük az összeadandók
szórásnégyzetét. Ha azt nem ismerjük, akkor azt is becs\"ulni kell.
Ez lehets\'eges a k\"onyvben csoportokon bel\"uli n\'egyzet\"osszeg
n\'evvel de\-fi\-ni\-\'alt kifejez\'esek seg\'its\'eg\'evel.

Tekintsük először az a) esetet. Ekkor azt akarjuk ellen\-őriz\-ni,
 hogy teljesül-e az a $H_0$ nullhipotézis, amely szerint
$$
H_0\colon\;\; a_1=a_2=\dots=a_k=0.
$$
Be lehet látni, hogy a csoportokon belüli 
$Q_e=\sum_{i=1}^k \sum_{j=1}^{n_i}(X_{i,j}-X_{i.})^2$
négy\-zet\-összegre $\frac{Q_e}{\sigma^2}$ $\chi^2$ eloszlású 
$n-k$ szabadságfokkal, akár teljesül a nullhipotézis, akár nem. 
A csoportok közötti $Q_a=\sum_{i=1}^k n_i(X_{i.}-X_{..})^2$  
négy\-zet\-összegre $\frac{Q_a}{\sigma^2}$ a null\-hi\-po\-té\-zis 
teljesülése esetén 
a $Q_e$ val\'oszínűségi változótól független $\chi^2$ eloszlású 
va\-ló\-szí\-nű\-sé\-gi változó $k-1$ szabads\'agfokkal. E 
valószínűségi változó értéke a nullhipotézis nem-teljesülése esetén 
nagyobb, mert ekkor nem nulla várható értékű normális eloszlású 
valószínűségi változók négyzetösszegét kell tekinteni. Ezen 
észrevételek alapján el lehet készíteni a tesztet. Akkor fogadjuk 
el a nullhipotézist, ha a $\frac{Q_a}{Q_e}$ hányados nem t\'ul nagy.

A b) és c) esetekben is hasonl\'oan érvelünk. Ezek pusztán 
jel\-zés\-sz\-erű tárgyalásában nem írom le a könyvben megtalálható 
kifejezések pontos for\-má\-ját, megelégszem azzal, hogy utalok 
azoknak a könyvben megtalálható nevére. 

a b) esetben a $\frac{Q_e}{\sigma^2}$ normaliz\'alt véletlen hiba 
mindig $\chi^2$ eloszlású  $(k-1)(p-1)$ sza\-bad\-s\'ag\-fok\-kal. 
Az $a$ hatásoknak megfelelő $Q_a$ négyzet\"osszegre 
$\frac{Q_a}{\sigma^2}$ a nullhipotézis teljesülése eset\'en a 
$Q_e$  valószínűségi változótól független $\chi^2$ eloszlású 
va\-ló\-szí\-nű\-sé\-gi változó $k-1$ szabadságfokkal. Ez 
lehetővé teszi a $H_{0a}$ 
$$
H_{0a}\colon\;\; a_1=a_2=\cdots=a_k=0
$$
nullhipotézis vizsgálatát az a) esethez hasonló módon. 

A $H_{0b}$
$$
H_{0b}\colon\;\; b_1=b_2=\cdots=b_p=0
$$
nullhipotézist hasonló módon vizsgáljuk, csak ekkor a $b$-hatásoknak 
megfelelő $Q_b$ négyzetösszeg veszi át a $Q_a$ négyzetösszeg szerepét.

\medskip
Tekints\"uk a c) esetet. Ekkor vizsg\'aljuk a $H_{0a}$, $H_{0b}$ 
\'es $H_{0c}$ null\-hi\-po\-t\'e\-zi\-se\-ket, amelyeket a  
$$
H_{0a}\colon\;\; a_1=a_2=\cdots=a_k=0,
$$
$$
H_{0b}\colon\;\; b_1=b_2=\cdots=b_p=0,
$$
$$
H_{0ab}\colon\;\; c_{i,j}=0. \quad  i=1,\dots,k \; j=1.\dots,p,
$$
feltev\'esek jelentenek.

Ezek vizsg\'alat\'aban felhaszn\'aljuk, hogy a $Q_e$v\'eletlen
hiba $\frac{Q_e}{\sigma^2}$ n\'egy\-zet\-\"ossze\-g\'e\-nek a 
$\frac{Q_e}{\sigma^2}$ normaliz\'altja mindig $\chi^2$ 
el\-osz\-l\'a\-s\'u $kp(n-1)$ szabads\'agfokkal. A $H_{0a}$ 
fenn\'all\'asa eset\'en az $a$-hat\'asok $Q_a$ 
n\'egyzet\"osszeg\'enek $\frac{Q_a}{\sigma^2}$ normaliz\'altja 
$\chi^2$ eloszl\'as\'u $k-1$ szabads\'agfokkal, \'es
f\"uggetlen a $Q_e$ val\'osz\'in\H{u}s\'egi v\'altoz\'ot\'ol.
Ez\'ert a $\frac{Q_a}{Q_e}$ h\'anyados viselked\'ese seg\'its\'eg\'evel
ellen\H{o}rizhetj\"uk a $H_{a0}$ hipot\'ezist.

Hasonl\'oan a $H_{0b}$ fenn\'all\'asa eset\'en
a $b$-hat\'asok $Q_b$ n\'egyzet\"osszeg\'enek $\frac{Q_b}{\sigma^2}$
normaliz\'altja $\chi^2$ eloszl\'as\'u $p-1$ szabads\'agfokkal, \'es
f\"uggetlen a $Q_e$ va\-l\'o\-sz\'i\-n\H{u}\-s\'e\-gi v\'altoz\'ot\'ol.
Ez\'ert a $\frac{Q_b}{Q_e}$ h\'anyados viselked\'ese seg\'its\'eg\'evel
ellen\H{o}rizhetj\"uk a $H_{b0}$ hipot\'ezist.

A $H_{0ab}$ fenn\'all\'asa eset\'en az $ab$-interakci\'o hat\'asok 
$Q_c$ n\'egyzet\"osszeg\'enek $\frac{Q_c}{\sigma^2}$ normaliz\'altja 
$\chi^2$ eloszl\'as\'u $(k-1)(p-1)$ szabads\'agfokkal, \'es
f\"uggetlen a $Q_e$ val\'osz\'in\H{u}s\'egi v\'altoz\'ot\'ol.
Ez\'ert a $\frac{Q_c}{Q_e}$ h\'anyados viselked\'ese seg\'its\'eg\'evel
ellen\H{o}rizhetj\"uk a $H_{ab0}$ hipot\'ezist.

Val\'oj\'aban, ha a $H_{0,ab}$ nullhipot\'ezist elfogadjuk, akkor a 
$H_{0a}$ \'es $H_{0b}$ nullhipot\'ezisek vizsg\'alat\'at m\'ask\'epp
is elv\'egezhetj\"uk, \'es ezt a m\'odszert al\-kal\-maz\-z\'ak a 
gyakorlatban. Ekkor ugyanis, mivel $Q_e$ \'es $Q_c$ f\"uggetlenek, 
ez\'ert a $\frac{Q_c+Q_e}{\sigma^2}$ \"osszeg $\chi^2$ eloszl\'as\'u 
$knp-k-n+1$ szabads\'agfokkal. Ha a $H_{0a}$ illetve $H_{0b}$ 
nullhipot\'ezis is teljes\"ul, akkor ez f\"uggetlen a $Q_a$ illetve 
$Q_b$ n\'egyzet\"osszegt\H{o}l is. Ez\'ert ezeket a nullhipot\'ezisket
akkor fogadjuk el, ha a $\frac{Q_a}{Q_e+Q_c}$ illetve
$\frac{Q_b}{Q_e+Q_c}$ viszonylag kicsi.

\medskip
A hatodik szekció témája a kovarianciaanalízis. Ezt csak röviden
ismertetem.  A feladat a következő.

Megfigyel\"unk egy $n$ elem\H{u} $\mathbf{Y}=(Y_1,\dots,Y_n)^T$ v\'eletlen
vektort, amely a k\"ovetkez\H{o} m\'odon keletkezik.

Adott egy $\mathbf{B}=(b_{ij})$, $1\le i\le n$, $1\le j\le k$, 
$n\times k$ m\'eret\H{u} strukt\'uram\'atrix valamilyen
$r\le k$ ranggal \'es egy $\mathbf{D}=(d_{ij})$, $1\le i\le n$, 
$1\le j\le l$, $n\times l$ m\'eret\H{u} kis\'er\H{o}m\'atrix, 
amelynek rangja $l$. A $\mathbf{D}$ \'es $\mathbf{B}$ 
m\'atrixok \'ert\'ek\'et ismerj\"uk. A megfigyelt
 $\mathbf{Y}$ (v\'eletlen) vektor v\'arhat\'o \'ert\'eke
$$
E\mathbf{Y}= \mathbf{Ba}+\mathbf {Dc},
$$   
valamilyen (ismeretlen) $\mathbf{a}=(a_1,\dots,a_k)^T$ 
$\mathbf{c}=(c_1,\dots,c_l)^T$ vektorokkal. Eze\-ket akarjuk 
megbecs\"ulni a legkisebb n\'egyzetek m\'odszer\'evel, azaz a
$$
\sum_{i=1}^n(Y_i-b_{i1}a_1-\cdots-b_{ik}a_k-d_{i1}c_1-\cdots-d_{il}c_l)^2
$$
kifejez\'es minimum\'anak a meghat\'aroz\'as\'aval az $a_1,\dots,a_k$,
$c_1,\dots,c_l$ pa\-ra\-m\'e\-t\-erek f\"uggv\'eny\'eben. Ez a
\begin{eqnarray}
\mathbf{B}^T\mathbf{Ba}+\mathbf{B}^T\mathbf{Dc}&=&\mathbf{B}^T\mathbf{Y}
\label8 \\
\mathbf{D}^T\mathbf{Ba}+\mathbf{D}^T\mathbf{Dc}&=&\mathbf{D}^T\mathbf{Y}
\label9
\end{eqnarray}
egyenletrendszer megold\'as\'at jelenti.

Ennek \'erdek\'eben vezess\"uk be az $\hat\mathbf{a}_0$ vektort, 
mint a $\mathbf{B}^T\mathbf{B}\mathbf{a}_0=\mathbf{B}^T\mathbf{Y}$
egyenletrendszer \'es az $\hat\mathbf{a}_i$, $i=1,\dots,l$, vektorokat, 
mint a $\mathbf{B}^T\mathbf{B}\mathbf{a}_i=\mathbf{B}^T\mathbf{d}_i$
egyen\-let\-rend\-szer megold\'as\'at, ahol $\mathbf{d}_i$ a $\mathbf{D}$
m\'atrix $i$-edik oszlopvektora.

A (\ref{8}) egyenletet beszorozva a $\hat\mathbf{a}_i^T$ vektorral 
(balr\'ol), majd kivonva bel\H{o}le 
a (\ref{9})  egyenletrendszer $i$-edik sor\'at, \'es ezt elv\'egezve
minden $i=1,\dots,l$ indexre $l$ darab olyan line\'aris egyenletet kapunk,
amelyekben csak a $c_i$ v\'altoz\'ok sze\-re\-pel\-nek. (Az $a_i$ 
v\'altoz\'ok hi\'anyoznak.) Ezek seg\'its\'eg\'evel ki lehet sz\'amolni 
a $c_i$ egy\"utthat\'okat, majd azok ismeret\'eben az $a_i$ 
egy\"utthat\'okat is. Azt haszn\'aljuk ki ebben a sz\'amol\'asban, hogy
a (\ref{9}) egyenletrendszer $i$-edik egyenlet\'enek els\H{o} tagja  
$\mathbf{d}_i^T\mathbf{Ba}=\hat\mathbf{a}_i^T\mathbf{B}^T\mathbf{Ba}$.
(A teljes bizony\'it\'asban m\'eg meg kell indokolni, hogy az 
$\hat\mathbf{a}_i$ mennyis\'egeket defini\'al\'o egyenleteknek van 
megold\'asuk akkor is, ha $r=\textrm{rang}\,(\mathbf{B})<k$. Feltessz\"uk,
hogy $n\ge\max(k,l)$.)

A k\"onyv tov\'abbi k\'epleteket tartalmaz e feladat megold\'as\'ar\'ol
illetve azok\-kal kapcsolatos teszt elj\'ar\'asokr\'ol. V\'elem\'enyem
szerint ezek r\'eszletesebb ma\-gya\-r\'a\-za\-tot ig\'enyeltek volna.

\medskip
A hetedik szekci\'o t\'em\'aja a kanonikus korrel\'aci\'oanal\'izis. Ez 
a k\"ovetkez\H{o} probl\'em\'aval foglalkozik. Legyen 
$\mathbf{X}=(X_1,\dots,X_p)$ \'es $\mathbf{Y}=(Y_1,\dots,Y_q)$ 
k\'et (egy\"uttesen) norm\'alis eloszl\'as\'u v\'eletlen
vektor nulla v\'arhat\'o \'ert\'ekkel. Jel\"olje $\mathbf{C}_{1,1}$ 
az $\mathbf{X}$ vektor, $\mathbf{C}_{2,2}$ az $\mathbf{Y}$ vektor 
kovarianciam\'atrix\'at, \'es legyen $\mathbf{C}_{1,2}=(EX_iY_j)$, 
$1\le i\le p$, $1\le j\le q$, az $\mathbf{X}$ \'es $\mathbf{Y}$ 
vektorok k\"oz\"os kovarianciam\'atrixa. Defini\'aljuk az 
$\mathbf{X}$ \'es $\mathbf{Y}$ vektorok {\it kanonikus 
korrel\'aci\'os egy\"utthat\'oit}\/, \'es \'allap\'itsuk meg 
azok legfontosabb tulajdons\'agait. L\'atni fog\-juk, hogy a
kanonikus korrel\'aci\'s egy\"utthat\'ok definici\'oja, illetve
azok tu\-laj\-don\-s\'a\-gai szoros kapcsolatban vannak a (t\'eglalap
alak\'u) m\'atrixok szingul\'aris fel\-bon\-t\'a\-s\'a\-val.

A kanonikus korrel\'aci\'os egy\"utthat\'ok a $\mathbf{C}_{1,1}$,
$\mathbf{C}_{2,2}$ \'es $\mathbf{C}_{1,2}$ 
ko\-va\-rin\-cia\-m\'at\-ri\-xok f\"uggv\'enyei. A 
k\"ovetkez\H{o} k\'erd\'es az, hogy hogyan becs\"ulj\"uk  meg 
(a ma\-xi\-mum likelihood m\'odszer seg\'its\'eg\'evel
a kanonikus korrel\'aci\'os egy\"utthat\'okat, ha a fenti 
kovarinciam\'atrixokat nem ismerj\"uk, viszont van egy $n$-elem\H{u}
min\-t\'ank az ($\mathbf{X}$, $\mathbf{Y}$) vektorp\'arokb\'ol. 
E k\'erd\'es folytat\'asa annak a probl\'em\'anak a vizsg\'alata, 
hogy hogyan adjunk egy statisztikai pro\'ob\'at annak 
ellen\H{o}rz\'es\'ere, hogy csak a $k$ legnagyobb kanonikus 
korrel\'aci\'os egy\"utthat\'o nem nulla.

A bizony\'it\'asok r\'eszleteit nem fogom kidolgozni. Egy\'ebk\'ent 
a k\"onyv is t\'ul\-s\'a\-go\-san t\"om\"oren magyar\'azza ezt 
a t\'em\'at.  

Az els\H{o}, legnagyobb kanonikus korrel\'aci\'os egy\"utthat\'ot 
\'ugy hat\'arozzuk meg, mint a k\"ovetkez\H{o} 
sz\'els\H{o}\'ert\'ekfeladat megold\'as\'at. Keress\"unk olyan 
$\mathbf{a}_1\in R^p$ \'es $\mathbf{b_1}\in R^q$ vektorokat, amelyekre 
$$
\textrm{Corr}\,(\mathbf{a}^T_1\mathbf{}X,\mathbf{b}^T_1\mathbf{Y})
=\max_{(\mathbf{a,b})\in V_1}  
\textrm{Corr}\,(\mathbf{a}^T\mathbf{}X,\mathbf{b}^T\mathbf{Y}),
$$
ahol
$$
V_1=\{(\mathbf{a,b})\colon\; \mathbf{a}\in R^p,\;\mathbf{b}\in R^q\}.
$$
Az $\mathbf{a}_1$ \'es $\mathbf{b}_1$ vektorok csak egy konstans 
szorz\'o erej\'eig vannak meghat\'arozva.  Pontosabban, a tekintett 
korrel\'aci\'o nem v\'altozik, ha e vektorokat (esetleg 
k\"ul\"onb\"oz\H{o}) pozit\'iv sz\'amokkal szorozzuk meg.

A $\textrm{Corr}\,(\mathbf{a}^T_1\mathbf{}X,\mathbf{b}^T_1\mathbf{Y})$
mennyis\'eg az els\H{o}, legnagyobb, kanonikus korrel\'aci\'os 
egy\"utthat\'o.

A $k$-ik kanonikus korrel\'aci\'os egy\"utthat\'ot, \'es a hozz\'a
tartoz\'o $(\mathbf{a}_k,\mathbf{b}_k)$ vektorp\'art  defini\'aljuk
minden $1\le k\le \min(p,q)$ sz\'amra. Ezt indukci\'oval 
tessz\"uk a k\"ovetkez\H{o} m\'odon. Ha defini\'altuk a $j$-ik
kanonikus korrel\'aci\'os egy\"utthat\'ot, \'es a hozz\'a
tartoz\'o $(\mathbf{a}_j,\mathbf{b}_j)$ vektorp\'art  minden $1\le j<k$
indexre, akkor legyen
$$
\textrm{Corr}\,(\mathbf{a}^T_k\mathbf{}X,\mathbf{b}^T_k\mathbf{Y})
=\max_{(\mathbf{a,b})\in V_k}  
\textrm{Corr}\,(\mathbf{a}^T\mathbf{}X,\mathbf{b}^T\mathbf{Y}),
$$
ahol
\begin{eqnarray*}
V_k \!\!\!\!\!\!       &&=\{(\mathbf{a,b})\colon\; 
\mathbf{a}\in R^p,\; \textrm{Corr}\, (\mathbf{aX},\mathbf{a}_j
\mathbf{X})=0,\;j=1,\dots,k-1, \\
&&\qquad\qquad\quad \mathbf{b}\in R^q,\; \textrm{Corr}\, 
(\mathbf{bY},\mathbf{b}_j\mathbf{Y})=0,\;j=1,\dots,k-1\},
\end{eqnarray*}
\'es $(\mathbf{a}_k.\mathbf{b}_k)\in V_k$.

Az $\mathbf{a}_k$ \'es $\mathbf{b}_k$ vektorok is csak egy konstans 
szorz\'o erej\'eig vannak meg\-ha\-t\'a\-roz\-va.  Az \'altaluk 
meghat\'arozott korrel\'aci\'o nem v\'altozik, ha e vektorokat 
pozit\'iv sz\'amokkal szorozzuk meg. Ezt a t\'enyt felhaszn\'alva 
jogunk van olyan 
$\mathbf{a}_k$ \'es $\mathbf{b}_k$ vektorokat tekinteni, amelyekre
$$
\mathbf{a_k}^T\mathbf{C}_{1,1}\mathbf{a_k}=1 \; \textrm{ és } \;
\mathbf{b_k}^T\mathbf{C}_{2,2}\mathbf{b_k}=1, \quad k=1,\dots,\min(p,q).
$$ 
Tekints\"unk ilyen $\mathbf{a}_k$ \'es $\mathbf{b}_k$ vektorokat, \'es
defini\'aljuk seg\'{\i}ts\'eg\"ukkel az
$$
\alpha_k=\mathbf{C}^{1/2}_{1,1}\mathbf{a_k} \; \textrm{ és } \;
\beta_k=\mathbf{C}^{1/2}_{221}\mathbf{b_k}, \quad k=1,\dots,\min(p,q)
$$
vektorokat. Az $(\alpha_k,\beta_k)$ vektorp\'arok meghat\'aroz\'asa
ekvivalens az $(\mathbf{a}_k,\mathbf{b}_k)$ vektorp\'arok 
meghat\'aroz\'as\'aval. Az $(\alpha_k,\beta_k)$ p\'arok meghat\'aroz\'asa
egy olyan sz\'els\H{o}\'ert\'ek feladat megold\'as\'at
jelenti, amely ekvivalens a 
$$
\mathbf{D}=\mathbf{C}_{1,1}^{-1/2}\mathbf{C}_{1,2}\mathbf{C}_{22}^{-1/2}
$$
m\'atrix $\mathbf{D}=\mathbf{VSU}^T$ szingul\'aris felbont\'as\'anak
megad\'as\'aval. Ugyanis $\|\alpha_k\|=1$, $\beta_k=1$, \'es
$$
\alpha_k\mathbf{D}\beta_k
=\max_{\|\alpha\|=\|\beta\|=1\atop
\alpha^T\alpha_j=\beta^T\beta_j=0,\;j=1,\dots,k-1}
\alpha_k\mathbf{D}\beta_k.
$$
Itt a $\mathbf{V}=(\mathbf{v}_1,\dots,\mathbf{v}_p)$ \'es 
$\mathbf{U}=(\mathbf{u}_1,\dots,\mathbf{u}_q)$ m\'atrixok szingul\'aris 
vektorai k\"oz\"ul az els\H{o} $\min(p,q)$ tag adja az $\alpha_k$, 
$\beta_k$ vektorokat. Az $\mathbf{S}$ m\'atrixnak csak a 
diagon\'alis\'aban vannak nem nulla elemek. Ezek a diagon\'alisban 
lev\H{o} $s_1\ge s_2\ge\dots\ge s_{\min(p,q)}$ sz\'amok megegyeznek 
a megfelel\H{o} kanonikus korrel\'aci\'os egy\"utthat\'okkal. Ha 
csak az els\H{o} $l$ elem nem nulla ezek k\"oz\"ul az $s_k$ 
egy\"utthat\'ok k\"oz\"ul, akkor csak az els\H{o} $l$ kanonikus 
korrel\'aci\'os egy\"utthat\'or\'ol \'erdemes be\-sz\'el\-ni.

Van a kanonikus korrel\'aci\'os egy\"utthat\'oknak egy m\'asik hasznos
jel\-lem\-z\'e\-se. Tekints\"uk az $(X_1,\dots,X_p,Y_1,\dots,Y_q)$ $p+q$
dimenzi\'os vektort. Ennek ko\-va\-ri\-an\-ciam\-\'at\-ri\-xa a
$$
\left(
\begin{array}{ll}
\mathbf{C}_{1,1}\; &\mathbf{C}_{1,2}  \\
\mathbf{C}_{2,1}\; &\mathbf{C}_{2,2}
\end{array}\right)
$$
m\'atrix, ahol $\mathbf{C}_{2,1}=\mathbf{C}_{1,2}^T$. Megadjuk ennek 
egyszer\H{u}bb, \'ugynevezett ka\-no\-ni\-kus alakra hoz\'as\'at a
$\mathbf{D}=\mathbf{C}_{1,1}^{-1/2}\mathbf{C}_{1,2}\mathbf{C}_{22}^{-1/2}$
m\'atrix $\mathbf{D}=\mathbf{VSU}^T$ szingul\'aris felbont\'as\'anak
seg\'its\'eg\'evel. 

Legyen  $\mathbf{A}=\mathbf{C}^{-1/2}_{1,1}\mathbf{V}$ \'es
$\mathbf{B}=\mathbf{C}^{-1/2}_{2,2}\mathbf{U}$. Defini\'aljuk
seg\'its\'eg\"ukkel az $\mathbf{A}^T\mathbf{X}$
\'es $\mathbf{B}^T\mathbf{Y}$ vektorokat. \'Irjuk fel ezek
egy\"uttes eloszl\'as\'anak a kovarianciam\'atrix\'at. Ez
$$
\left(\begin{array}{ll}
\mathbf{A}^T\mathbf{C}_{1,1} \mathbf{A}\; 
&\mathbf{A}^T\mathbf{C}_{1,2}\mathbf{B}  \\
\mathbf{B}^T\mathbf{C}_{2,1}\mathbf{A}\; 
&\mathbf{B}^T\mathbf{C}_{2,2}\mathbf{B}
\end{array}\right)=
\left(\begin{array}{cc}
\mathbf{V}^T\mathbf{V} \; 
&\mathbf{V}^T\mathbf{D}\mathbf{U}  \\
\mathbf{U}^T\mathbf{D}^T\mathbf{V}\; 
&\mathbf{U}^T\mathbf{U}
\end{array}\right)=
\left(\begin{array}{ll}
\mathbf{I}_p \; &\mathbf{S}  \\
\mathbf{S}^T\; &\mathbf{I}_q
\end{array}\right).
$$
Vegy\"uk \'eszre, hogy nemcsak az $\mathbf{I}_p$ \'es $\mathbf{I}_q$
m\'atrixok diagon\'alisak, hanem az $\mathbf{S}$ m\'atrix is. Ennek 
diagon\'alis elemei a kanonikus korrel\'aci\'os egy\"utthat\'ok. Ezek
m\'erik, hogy milyen er\H{o}s a kapcsolat az $\mathbf{X}$ \'es 
$\mathbf{Y}$ vektorok k\"oz\"ott. 

\medskip
A k\"ovetkez\H{o} probl\'ema az, hogy hogyan becs\"ulj\"uk meg a
kanonikus
kor\-re\-l\'a\-ci\'os egy\"utt\-ha\-t\'o\-kat, ha nem ismerj\"uk a
$\mathbf{C}_{1,1}$, $\mathbf{C}_{2,2}$ \'es $\mathbf{C}_{1,2}$
ko\-va\-ri\-an\-cia\-m\'at\-ri\-xo\-kat, viszont van egy $n$-elem\H{u}
$(\mathbf{X}_1,\mathbf{Y}_1),\dots,(\mathbf{X}_n,\mathbf{Y}_n)$ mint\'ank
az $(\mathbf{X},\mathbf{Y})$ vektorra. A term\'eszetes hozz\'a\'all\'as
az, hogy megbecs\"ulj\"uk a minta se\-g\'it\-s\'e\-g\'e\-vel  a
$\mathbf{C}_{1,1}$, $\mathbf{C}_{2,2}$ \'es $\mathbf{C}_{1,2}$
kovarianciam\'atrixokat, \'es ezekkel a becsl\'esekkel sz\'a\-mo\-lunk.

A k\"onyv jel\"ol\'es\'ehez alkalmazkodva legyen
$\mathbf{F}=(\mathbf{X}_1,\dots,\mathbf{X}_n)^T$, \'es 
$\mathbf{G}=(\mathbf{Y}_1,\dots,\mathbf{Y}_n)^T$.
Ekkor az
$\mathbf{C}_{1,1}$, $\mathbf{C}_{2,2}$ \'es $\mathbf{C}_{1,2}$
m\'atrixok maximum likelihood becsl\'ese  
$$
\hat{ \mathbf{C}}_{1,1}=\frac1n\mathbf{F}^T\mathbf{F}, \quad
\hat{\mathbf{C}}_{2,2}=\frac1n\mathbf{G}^T\mathbf{G}, \quad        
\hat{\mathbf{C}}_{1,2}=\frac1n\mathbf{F}^T\mathbf{G}.
$$
Ennek seg\'its\'eg\'evel meg tudjuk hat\'arozni a 
$\mathbf{D}=\mathbf{C}_{1,1}^{-1/2}\mathbf{C}_{1,2}\mathbf{C}_{22}^{-1/2}$
m\'atrix 
$\hat\mathbf{D}=\hat\mathbf{C}_{1,1}^{-1/2}\hat\mathbf{C}_{1,2}
\hat\mathbf{C}_{22}^{-1/2}$ maximum likelihood becsl\'es\'et. 
K\'esz\'its\"uk el a
$\mathbf{D}=\mathbf{VSU}^T$ szingul\'aris felbont\'ashoz hasonl\'oan
a $\hat\mathbf{D}=\hat\mathbf{V}\mathbf{R}\hat\mathbf{U}^T$ 
szingul\'aris felbont\'ast, ahol $\mathbf{R}$ felel meg az 
$\mathbf{S}$ diagon\'alis m\'atrixnak. Feleljen meg az $\mathbf{S}$
m\'atrix $s_k$ elem\'enek a $\mathbf{R}$ m\'atrix $r_k$ eleme.

Ezen kifejez\'esek seg\'its\'eg\'evel el tudjuk k\'esz\'iteni a 
likelihood h\'anyados pr\'ob\'at arra az \'all\'it\'asra, hogy 
\"osszesen $k\le\min(p,q)$ nem z\'er\'o ka\-no\-ni\-kus 
kor\-re\-l\'a\-ci\-\'os egy\"utthat\'o van. Ez ekvivalens
azzal az \'all\'it\'assal, hogy $\mathbf{S}$ diagon\'alis m\'atrix
diagon\'alis\'aban $s_k\neq0$, \'es $s_j=0$, ha $j>k$.

E feladat megold\'as\'anak \'erdek\'eben  el\H{o}sz\"or fel\'irjuk az
$$
((\mathbf{X}_1,\mathbf{Y}_1),\dots,(\mathbf{X}_n,\mathbf{Y}_n))
$$ 
minta s\H{u}r\H{u}s\'egf\"uggv\'eny\'et. Ezt meg tudjuk tenni, 
felhaszn\'alva, hogy meg tudjuk adni az $\mathbf{Y}_i$ v\'eletlen 
vektor felt\'eteles eloszl\'as\'at a $\mathbf{X}_i=\mathbf{x}_i$ 
felt\'etel mellett. Ez a felt\'eteles eloszl\'as a norm\'alis 
eloszl\'as $\mathbf{Qx}_i$ v\'arhat\'o \'ert\'ekkel, \'es 
$\mathbf{C}_{2,2,1}$ kovarianciam\'atrixszal, ahol
 $$
\mathbf{Q}=\mathbf{C}_{2,1}\mathbf{C}^{-1}_{1,1}, \quad 
\mathbf{C}_{2,2,1}=\mathbf{C}_{2,2}
-\mathbf{C}_{1,2}^T\mathbf{C}^{-1}_{1,1}\mathbf{C}_{1,2}.
$$ 
(L\'asd p\'eld\'aul a k\"onyv 5.1.7 \'All\'it\'as\'at.)

 \'Erdemes lenne az 
$$
((\mathbf{A}^T\mathbf{X}_1,\mathbf{B}^T\mathbf{Y}_1),\dots,
(\mathbf{A}^T\mathbf{X}_n,\mathbf{B}^T\mathbf{Y}_n))
$$ 
minta s\H{u}r\H{u}s\'egf\"uggv\'eny\'et is megadni, de a k\"onyv
ezt nem teszi. Viszont azt \'all\'itja, hogy e 
s\H{u}r\H{u}s\'egf\"uggv\'eny maximuma akkor, ha $s_j\neq0$, $j\le k$-ra, 
\'es $s_j=0$ $j>k$-ra
megegyezik az \'altala megadott k\'eplettel. Ezt \'erdemes lett
volna r\'eszletesebben megindokolni. Ha ezt az eredm\'enyt elfogadjuk,
akkor nem neh\'ez l\'atni, hogy a maximum likelihood h\'anyados pr\'oba
a kanonikus korrel\'aci\'of\"uggv\'eny viselked\'es\'er\H{o}l
sz\'ol\'o \'all\'it\'asra megegyezik a k\"onyvben le\'irt elj\'ar\'assal.


\end{document}
