Lineáris módszerek a többdimenziós statisztikában.

E jegyzetben a Bolla–Krámli könyv hatodik fejezetének az eredményeit ismertetem. Ez egy felületes ismertetés, amelyben csak a legfontosabb eredményekről és fogalmakról írok. A bizonyításokat elhagyom.

Az első szekció témája a főkomponens analízis. Itt a kiinduló probléma a következő. Legyen adva egy p-dimenziós normális eloszlású X véletlen vektor C kovarianciamátrixszal és m várható értékkel. Írjuk ezt

X = UZ + m  (1)

alakban, ahol U ortogonális mátrix, Z pedig olyan p-dimenziós normális eloszlású vektor, nulla várható értékkel, amelynek koordinátái függetlenek.

E probléma megoldásáról szól az 1.1 tétel. A bizonyítás a szimmetrikus mátrixok spektrálfelbontásán (diagonizálásán) alapul, illetve ennek kapcsolatán egy szimmetrikus mátrix sajávektoraival, és ezeknek a sajátvektoroknak a tulajdonságain. Az (1) képletben szereplő Z vektort hívják az irodalomban főkomponensvektornak, koordinátáit pedig főkomponenseknek. Az 1.2 állítás azt mondja ki, hogy ha a normális eloszlású X vektort megszorozzuk egy ortogonális vektorral (elforgatjuk), akkor főkomponensei nem változnak.

Az 1.3 tétel azzal a kérdéssel foglalkozik, hogy, ha adva van egy N_{p}(0, C) eloszlású X vektor, akkor adott k ≤ p számra, mi az X vektor legjobb kdimenziós közelítése. Azaz olyan k-dimenziós A lineáris transzformációt keresünk, amelyikre az E∥X − AX∥^{2} kifejezés a lehető legkisebb. Az 1.3 tétel szerint ez az optimális k-dimenziós A leképezés a C kovarianciamátrix k legnagyobb sajátértékhez tartozó sajátvektor által kifeszített altérre való vetítés.

Az első szekció még egy eredmény megfogalmazását tartalmazza bizonyítás nélkül. Ebben az eredményben ismertetik azt a próbát, amely lehetővé teszi, hogy eldöntsük egy minta segítségével, hogy egy nulla várható értékű véletlen normális eloszlású vektor kovarianciamátrixának a k legkisebb sajátértéke megegyezik-e.

A második szekció témája a faktoranalízis. Azzal a problémával foglalkozik, hogy mikor és hogyan lehet egy N_{p}(C, m) eloszlású X vektort felbontani viszonylag kis k-dimenziójú standard normális eloszlású véletlen f vektor lineáris transzformációja plusz egy tőle független e normális vektor plusz egy determinisztikus m vektor összegére úgy, hogy az e normális vektor koordinátái függetlenek. Képletben kifejezve az X vektor következő alakú előállítását keressük.

X = Af + e + m.  (2)

ahol A p × k méretű mátrix, f k-dimenziós statndard normális eloszlású valószínűségi változó, f az e vekortól független p-dimenziós normális eloszlású vektor, amelynek a koordinátái korrelálatlanok és 0 várható értékűek. Az f vektort közös faktornak az e vektort egyedi faktornak nevezik az irodalomban.

Az e és f vektorokra tett feltételek így fogalmazhatóak meg.

Ef = 0,  Eff^{T} = I_{k}
Ee = 0,  Eee^{T} = D
Eef^{T} = 0

ahol D diagonális mátrix. A (2) formulából következik, hogy

C = AA^{T} + D.  (3)

A 2.1 tétel szerint a (3) egyenlet akkor és csak akkor oldható meg egy p×k méretű A mátrixszal, ha létezik olyan D diagonális mátrix nem negatív elemekkel, amelyre C − D pozitív szemidefinit mátrix, és rangja nem nagyobb, mint k.

A valódi feladat, nem egy ismert C kovarianciamátrix felbontása a (3) alakban, hanem az, hogy van egy N_{p}(C, m) eloszlású mintánk ismeretlen C kovarianciamátrixszal és m várható értékkel. Ezután keressük a C = AA^{T} + D alakú kovarianciamátrix maximum likelihood becslését (rögzített k paraméterrel.) Fel szokták tenni az egyértelmű előállítás kedvéért azt, hogy

A^{T} D^{−1}A is diagonális mátrix.

A könyv ismerteti ennek a feladatnak a megoldását bizonyítás nélkül, illetve javaslatot tesz arra, hogyan kell a számolásokat végrehajtani számítógép segítségével.

A harmadik szekció témája a többváltozós regresszióanalízis. A lineáris regresszióval foglalkozunk. E feladatban egy Y (függő) valószínűségi változónak keressük a legjobb lineáris becslését X_{1}, …, X_{k} (független) valószínűségi változók segítségével. Ismerjük az EY és EX_{j}, 1 ≤ j ≤ k várható értékeket valamint a Var Y szórásnégyzetet és a Cov (X_{j}, Y) és Cov (X_{i}, X_{j}) kovarianciákat, 1 ≤ i, j ≤ k.

A feladat a

E(Y − (a_{1}X_{1} + ⋯ + a_{p}X_{p}) − b)^{2}  (4)

minimumának a meghatározása az a_{1}, …, a_{p} és b együtthatók függvényében. E feladat megoldását tartalmazza a 3.1 állítás. Ennek megfogalmazásához vezessük be a következő jelöléseket. Legyen C = (Cov (X_{i}, X_{j})) , 1 ≤ i, j ≤ p, d = (Cov (X_{1}, Y), …, Cov (X_{p}, Y))^{T}, a = (a_{1}, …, a_{p})^{T}. Ezzel a jelöléssel igaz a következő állítás.

3.1 Állítás. Legyen a C mátrix invertálható. Ekkor a (4) kifejezés optimumát az

a = C^{−1}d,

és

b = EY − a_{1}EX_{1} − ⋯ − a_{p}EX_{p}

paraméterekre veszi fel.

Vezessük be az l(X) = a_{1}X_{1} + ⋯ + a_{p}X_{p} + b valószínűségi változót. Ennek segítségével definiáljuk az Y (függő) és X_{1}, …, X_{p} (független) változók közötti r_{Y (X_{1},...,X_{p})} többszörös korrelációt, mint az r_{Y (X_{1},...,X_{p})} = Corr(Y, l(X)) korrelációt. Ezzel jól lehet mérni az l(X) közelítés ε = Y − l(X) hibáját. Nevezetesen, mivel Var (Y) = Var (l(X)) + Var (ε),

Var (ε) = Var (Y)(1 − r_{Y (X_{1},...,X_{p})}^{2}).

A 3.2 állítás a többszörös korreláció egy optimumtulajdonságát fogalmazza meg.

3.2 Állítás. Az X_{1}, …, X_{p} valószínűségi változók tetszőleges h(X) lineáris kombinációjára

|r_{Y (X_{1},...,X_{p})}| = |Corr (Y, l(X))| ≥ |Corr (Y, h(X))|.

Megjegyzem, hogy a könyv hibás bizonyítást közöl erre az állításra. Olyan h(x) függvényt kellett volna venni, amelyre E(Y − h(X))h(X) = 0. Ezután meg kell érteni a h(X) = l(X) függvénynek az optimum tulajdonságát.

A negyedik szekció témája szintén egy lineáris regresszió típusú probléma. Adva van egy p változós y = a_{1}x_{1} + ⋯ + a_{p}x_{p} lineáris leképezés, és az ebben a leképezésben szereplő a_{1}, …, a_{p} együtthatókat szeretnénk meghatározni mérések segítságével. A mérések száma n, de az egyes méréseket csak hibával tudjuk elvégezni. Másrészt a determinisztikus p-dimenziós (x_{j,1}, …, x_{j,p}), 1 ≤ j ≤ n, mérési pontokat mi választhatjuk meg. Az egyes mérések ε_{i}, 1 ≤ i ≤ n, hibája független nulla várható értékű σ^{2} szórásnégyzetű normális eloszlású valószínűségi változó. Elvégzünk n mérést, és keressük az a_{1}, …, a_{n} paramétereknek azt a becslését, amelyre a hibák négyzetösszegének a várható értéke a lehető legkisebb. Feltesszük, hogy a mérések n számára n ≥ p.

A feladat pontos matematikai megfogalmazása a következő. Legyen a = (a_{1}, …, a_{p})^{T}, jelölje az n mérési eredményt illetve annak hibáját az

Y = (Y_{1}, …, Y_{n})^{T} és ε = (ε_{1}, … ε_{n})^{T}

vektor. Legyen továbbá X az az n×p méretű mátrix, amelynek i-edik oszlopa az x_{i} = (x_{1,i}, …, x_{n,i})^{T}, 1 ≤ i ≤ p, vektor. Akkor a méréseink eredményét az

Y = Xa + ε

képlet mutatja meg. Ekkor

E(Y − Xa)(Y − Xa)^{T} = Eεε^{T} = σ^{2}I_{n},

és az a vektornak azt az â = (â_{1}, …, â_{p}) becslését keressük, amelyre az

∥Y − Xâ∥^{2} = (Y − Xâ)(Y − Xâ)^{T}

minimális. Ez a feladat megoldható, és azt kapjuk, hogy a keresett â vektor az

X^{T} Xa = X^{T} Y

egyenlet megoldása. Ezt az egyenletet hívják Gauss–féle normálegyenletnek.

A könyv ismerteti ennek az egyenletnek egy geometriai levezetését is. Ennek részleteit nem írom le, de megadom azon mennyiségek definicióját, amelyek ebben az indoklásban megjelennek, mivel azok fontos szerepet játszanak későbbi formulákban is.

Legyen F ⊂ R^{n} az az altere az R^{n} térnek, amelyet az x_{1}, …, x_{p} vektorok feszítenek ki, és legyen P az ortogonális vetítés az R^{n} térben az F altérre.

A Gauss-féle normálegyenletnek mindig van megoldása, de az nem feltétlenül egyértelmű. Egyértelmű a megoldás akkor, ha az X^{T} X mátrix rangja r = p. Általában ezzel az esettel fogunk foglalkozni. Ekkor

â = (X^{T} X)^{−1}X^{T} Y.  (5)

A 4.1 állítás tartalma az, hogy az r = p esetben az â becslés torzítatlan, és ez az eredmény megadja e becslés kovarianciamátrixát is.

4.1 Állítás. Ha r = p, és ε N_{p}(0, σ^{2}I_{p}) eloszlású, akkor â N_{p}(a, σ^{2}(X^{T} X)^{−1}) eloszlású.

A 4.2 tétel tartalma az, hogy â az a vektor legjobb torzítatlan becslése.

4.2 Tétel (Gauss–Markov tétel). Legyen r = p, és ã az a vektor torzítatlan becslése. Ekkor

Cov (â) ≤ Cov (ã).

Ez az egyenlőtlenség azt jelenti, hogy Cov (â) − Cov (ã) pozitív definit mátrix.

A következő eredmény a Gauss–Markov tétel következménye.

4.3 Állítás. Ha r = p, akkor tetszőleges b ∈ R^{p} vektorra az â becslés segítségével definiált b^{T} â kifejezés a b^{T} a paraméter torzítatlan becslése, és az ilyen becslések között a legkisebb szórásnégyzetű. (Ezt úgy hívják, hogy BLUE (Best linear Unbiased Estimate).

A következő pontban a könyv a σ^{2} szórásnégyzet becslésével foglalkozik. Bevezeti az

S_{ε}^{2} = ∥Y − Xâ∥^{2} = (Y − Xâ)^{T} (Y − Xā)

kifejezést, amit reziduális varianciának neveznek.

A könyv megmutatja természetes geometriai meggondolások segítségével, hogy σ^{2} természetes becslése r = p esetben

σ̂^{2} = \frac{S_{ε}^{2}}{n − p},

és ez σ^{2} torzítatlan becslése. Továbbá \frac{S_{ε}^{2}}{σ} n − p paraméterű χ^{2} eloszlású valószínűségi változó. Azt is állítja a könyv, hogy alkalmas feltevések esetén σ̂^{2} σ^{2} legkisebb szórásnégyzetű torzítatlan becslése.

A következő 4.4 állítás kissé más problémával foglalkozik, mint ez a szekció. Azt a kérdést vizsgálja, milyen b ∈ R^{p} vektorokra létezik a b^{T} a paraméterfüggvénynek torzítatlan becslése. Megmutatja, hogy akkor és csak akkor, ha a b vektor az A sorvektorai által kifeszített altérben van. Ez r = p esetben minden b ∈ R^{p} vektorra teljesül.

A 4.5 állításban a könyv megadja az a vektor és σ^{2} maximum likelihood becslését.

4.5 Állítás. Ha ε N_{p}(0, σ^{2}I_{p}) eloszlású, akkor akkor a maximum likelihood becslése a (5) képletben megadott â kififejezés, a σ^{2} maximum likelihood becslése pedig

σ̂^{2} = \frac{S_{ε}^{2}}{n} .

A negyedik szekció utolsó témája annak a nullhipotézisnek az ellenőrzése, hogy

H_{0}: a_{1} = a_{2} = ⋯ = a_{p}.

Meghatározza e nullhipotézis tesztelési eljárását, ha a likelihood hányados próbát alkalmazzuk. Azt kapja, hogy az eljárás a következő.

Vegyük az

F = \frac{Y^{T} PY}{Y^{T} (I − P)Y}

hányadost, ahol I az identitás operátor, P pedig a korábban bevezetett P projekció. Ekkor F F(p, n − p) eloszlást követ, azaz eloszlása megegyezik két függgetlen p és n − p paraméterű χ^{2} eloszlású valószínűségi változó hányadosának az eloszlásával. Akkor utasítjuk el a nullhipotézist, ha F ≥ c_{ε} alkalmas c_{ε} számmal.

Az ötödik szekció témája a varianciaanalízis. Három fő részből áll. Az első rész témája az egyszempontos varianciaanalízis, a másodiké a kétszempontos varianciaanalízis interakció nélkül, a harmadiké a kétszempontos varianciaanalízis interakcióval. A könyv csak röviden említi a többszempontos varianciaanalízist.

A feladat a három esetben a következő:

a) Egyszempontos varianciaanalízis, Van k csoport, az i-edik csoportban n_{i} megfigyelés. Ezek eredménye

X_{i,j} N (b_{i}, σ^{2}) eloszlású valószinűségi változó, 1 ≤ i ≤ k, 1 ≤ j ≤ n_{i}.

Becsüljük meg a legkisebb négyzetek módszerével a b_{i}, 1 ≤ i ≤ k, paramétereket. Vizsgáljuk a becslés tulajdonságait.

b) Kétszempontos varianciaanalízis interakció nélkül, Vannak (i, j) pároknak csoportjai, 1 ≤ i ≤ k, 1 ≤ j ≤ p. Mindegyik (i, j)

párra 1 megfigyelést végzünk. Legyen ez

X_{i,j} = m + a_{i} + b_{j} + ε_{i,j}, (i = 1, …, k, j = 1, …, p),

olyan a_{i} és b_{j} számokkal, amelyekre

∑_{i=1}^{k} a_{i} = 0, ∑_{j=1}^{p} b_{j} = 0,  (6)

ahol az ε_{i,j} valószínűségi változók függetlenek N (0, σ^{2}) eloszlással. (σ^{2} ismeretlen.)

Becsüljük meg a legkisebb négyzetek módszerével az a_{i}, 1 ≤ i ≤ k, és b_{j}, 1 ≤ j ≤ p, paramétereket. Vizsgáljuk a becslés tulajdonságait.

c) Kétszempontos varianciaanalízis interakcióval, Vannak (i, j) pároknak csoportjai, 1 ≤ i ≤ k, 1 ≤ j ≤ p. Mindegyik (i, j)

párra végzünk n megfigyelést. Legyen ez

X_{i,j,l} = m + a_{i} + b_{j} + c_{i,j} + ε_{i,j,l}, (i = 1, …, k, j = 1, …, p, l = 1, …, n),

olyan a_{i}, b_{j} és c_{i,j} számokkal, amelyekre

∑_{i=1}^{k} a_{i} = 0,  ∑_{j=1}^{p} b_{j} = 0,  (7)

∑_{i=1}^{k} c_{i,j} = 0, j = 1, …, p,

∑_{j=1}^{p} c_{i,j} = 0, i = 1, …, k,

ahol az ε_{i,j,l} valószínűségi változók függetlenek N (0, σ^{2}) eloszlással. (σ^{2} ismeretlen.)

Becsüljük meg a legkisebb négyzetek módszerével az a_{i}, b_{j} és c_{i,j}, 1 ≤ i ≤ k, 1 ≤ j ≤ p, paramétereket. Vizsgáljuk a becslés tulajdonságait.

Mindhárom esetben a keresett optimumot a Lagrange-féle multiplikátor módszer segítségével tudjuk kiszámolni. Megjegyzem, hogy a (6) feltétel a b) esetben, illetve a (7) feltétel a c) esetben nem jelent igazi megszorítást. Ugyanis, be lehet látni, hogy ha valamely a_{i}, b_{j}, m paraméterrendszer teljesíti a b) esetben felírt relációkat, akkor ezek alkalmas lineáris transzformációja teljesíti mind ezeket a relációkat mind a (6) feltételt. Hasonlóan, ha valamely a_{i}, b_{j}, c_{i,j}, m paraméterrendszer teljesíti a c) esetben felírt relációkat, akkor ezek alkalmas lineáris transzformációja teljesíti mind ezeket a relációkat mind a (7) feltételt. Továbbá, ha alkalmazzuk a Lagrange-féle multiplikátor módszert, és elhagyjuk azokat a fölösleges egyenleteket, amelyek a többi egyenlet következményei, akkor egy olyan egyenletrendszert kapunk, amelyben a változók száma megegyezik az egyenletek számával. Megadom, hogy hogyan kell definiálni az a_{i}, b_{j} és c_{i,j} mennyiságeket a c) esetben.

Ebben az esetben eredetileg olyan m′ a′_{i}, b′_{j} és c′_{i,j} mennyiségek vannak megadva, amelyekre

X_{i,j,l} = m′ + a′_{i} + b′_{j} + c′_{i,j} + ε_{i,j,l}, (i = 1, …, k, j = 1, …, p, l = 1, …, n).

Definiáljuk e mennyiségek segítségével az a_{.} = \frac{1}{k} ∑_{i=1}^{k} a′_{i}, b_{.} = \frac{1}{p} ∑_{j=1}^{p} b′_{j}, c_{i.} = \frac{1}{p} ∑_{j=1}^{p} c′_{i,j}, c_{.j} = \frac{1}{k} ∑_{i=1}^{k} c′_{i,j} és c_{..} = \frac{1}{kp} ∑_{i=1}^{k} ∑_{j=1}^{p} c′_{i,j} kifejezéseket. Ekkor az m = m′ + a_{.} + b_{.} + c_{..}, a_{i} = a′_{i} − a_{.} + c_{i.} − c′_{,,}, b_{j} = b′_{j} − b′_{.} + c_{.j} − c_{..} és c_{i,j} = c′_{i,j} − c_{i}. − c_{.j} + c_{..} mennyiségek teljesítik mind az

X_{i,j,l} = m + a_{i} + b_{j} + c_{i,j} + ε_{i,j,l}, (i = 1, …, k, j = 1, …, p, l = 1, …, n).

mind a (7) relációt.

Az a) esetben érdemes megfogalmazni a feladatot kissé különböző módon. Írjuk fel a b_{i} számokat b_{i} = a_{i} + m alakban, 1 ≤ i ≤ k úgy, hogy

∑_{i=1}^{k} n_{i}a_{i} = 0. Ekkor a megfigyeléseink

X_{i,j} = a_{i} + m + ε_{i,j}, 1 ≤ i ≤ k, 1 ≤ j ≤ n_{i}.

alakban írhatóak. A

∑_{i=1}^{k} ∑_{j=1}^{n_{i}} ε_{i,j}^{2} = ∑_{i=1}^{k} ∑_{j=1}^{n_{i}}(X_{i,j} − a_{i} − m)^{2}

kifejezés minimumát keressük a ∑_{i=1}^{k} n_{i}a_{i} = 0 kényszerfeltétel mellett. A megoldás leírása érdekében vezessük be a következő mennyiségeket.

X̄_{i.} = \frac{1}{n_{i}} ∑_{j=1}^{n_{i}} X_{i,j}, X̄_{..} = \frac{1}{n} ∑_{i=1}^{k} ∑_{j=1}^{n_{i}} X_{i,j}.

Ezzel a jelöléssel a megoldás

m̂ = X̄_{..}, és â_{i} = X̄_{i.} − X̄_{..}, i = 1, …, k.

A b) esetben a

∑_{i=1}^{k} ∑_{j=1}^{p}(X_{i,j} − m − a_{i} − b_{j})^{2}

kifejezés minimumát kell kiszámolni a (6) kényszerfeltétel mellett. A megoldás leírása érdekében vezessük be a következő mennyiségeket.

X̄_{i.} = \frac{1}{p} ∑_{j=1}^{p} X_{i,j}, i = 1, …, k,

X̄_{.j} = \frac{1}{k} ∑_{i=1}^{k} X_{i,j}, j = 1, …, p,

X̄_{..} = \frac{1}{kp} ∑_{i=1}^{k} ∑_{j=1}^{p} X_{i,j}.

Ezzel a jelöléssel a megoldás

m̂ = X̄_{..}, â_{i} = X̄_{i.} − X̄_{..}, i = 1, …, k, és b̂_{j} = X̄_{.j} − X̄_{..}, j = 1, …, p.

A c) esetben a

∑_{i=1}^{k} ∑_{j=1}^{p} ∑_{l=1}^{n}(X_{i,j,l} − m − a_{i} − b_{j} − c_{i,j})^{2}

kifejezés minimumát kell kiszámolni a (7) kényszerfeltétel mellett. A megoldás leírása érdekében vezessük be a következő mennyiségeket.

X̄_{i..} = \frac{1}{pn} ∑_{j=1}^{p} ∑_{l=1}^{n} X_{i,j,l}, i = 1, …, k,

X̄_{.j.} = \frac{1}{kn} ∑_{i=1}^{k} ∑_{l=1}^{n} X_{i,j,l}, j = 1, …, p,
X̄_{i,j.} = \frac{1}{n} ∑_{l=1}^{n} X_{i,j,l}, i = 1, …, k, j = 1, …, p,

X̄_{...} = \frac{1}{kpn} ∑_{i=1}^{k} ∑_{j=1}^{p} ∑_{l=1}^{m} X_{i,j,l}.

Ezzel a jelöléssel a megoldás

m̂ = X̄_{...}, â_{i} = X̄_{i..} − X̄_{...}, i = 1, …, k, b̂_{j} = X̄_{.j.} − X̄_{...}, j = 1, …, p

és c_{i,j} = X̄_{i,j.} − X̄_{i..} − X̄_{.j.} + X̄_{...} .

A most kapott kifejezések segítségével megadhatjuk a vizsgált modellekben természetesen felmerülő hipotézisek statisztikai vizsgálatát. Ezt csak röviden ismertetem bizonyítások nélkül.

A könyv először megemlíti, hogy az első lépésben ellenőrzi, hogy az adott modellekben az m̂ = X_{.} (vagy m̂ = X_{..} illetve m̂ = X_{...}) valószínűségi változó várható értéke nulla-e (van-e főhatás), és csak azzal az esettel foglalkozik, amikor ez a várható érték nem nulla. Bár a könyv e várható érték becslésével nem foglalkozik, ez viszonylag egyszerű probléma. Azt kell ellenőrizni, hogy az X_{.} (vagy több pont van az indexben) normális eloszlású valószínűségi változó várható értéke nulla-e. Ezt könnyen ellenőrízhetjük, ha ismerjük az összeadandók szórásnégyzetét. Ha azt nem ismerjük, akkor azt is becsülni kell. Ez lehetséges a könyvben csoportokon belüli négyzetösszeg névvel definiált kifejezések segítségével.

Tekintsük először az a) esetet. Ekkor azt akarjuk ellenőrizni, hogy teljesüle az a H_{0} nullhipotézis, amely szerint

H_{0}: a_{1} = a_{2} = … = a_{k} = 0.

Be lehet látni, hogy a csoportokon belüli Q_{e} = ∑_{i=1}^{k} ∑_{j=1}^{n_{i}}(X_{i,j}−X_{i.})^{2} négyzetösszegre \frac{Q_{e}}{σ^{2}} χ^{2} eloszlású n − k szabadságfokkal, akár teljesül a nullhipotézis, akár nem. A csoportok közötti Q_{a} = ∑_{i=1}^{k} n_{i}(X_{i.} − X_{..})^{2} négyzetösszegre \frac{Q_{a}}{σ^{2}} a nullhipotézis teljesülése esetén a Q_{e} valószínűségi változótól független χ^{2} eloszlású valószínűségi változó k−1 szabadságfokkal. E valószínűségi változó értéke a nullhipotézis nem-teljesülése esetén nagyobb, mert ekkor nem nulla várható értékű normális eloszlású valószínűségi változók négyzetösszegét kell tekinteni. Ezen észrevételek alapján el lehet készíteni a tesztet. Akkor fogadjuk el a nullhipotézist, ha a \frac{Q_{a}}{Q_{e}} hányados nem túl nagy.

A b) és c) esetekben is hasonlóan érvelünk. Ezek pusztán jelzésszerű tárgyalásában nem írom le a könyvben megtalálható kifejezések pontos formáját, megelégszem azzal, hogy utalok azoknak a könyvben megtalálható nevére.

a b) esetben a \frac{Q_{e}}{σ^{2}} normalizált véletlen hiba mindig χ^{2} eloszlású (k − 1)(p − 1) szabadságfokkal. Az a hatásoknak megfelelő Q_{a} négyzetösszegre \frac{Q_{a}}{σ^{2}} a nullhipotézis teljesülése esetén a Q_{e} valószínűségi változótól független χ^{2} eloszlású valószínűségi változó k − 1 szabadságfokkal. Ez lehetővé teszi a H_{0a}

H_{0a}: a_{1} = a_{2} = ⋯ = a_{k} = 0

nullhipotézis vizsgálatát az a) esethez hasonló módon.

A H_{0b}

H_{0b}: b_{1} = b_{2} = ⋯ = b_{p} = 0

nullhipotézist hasonló módon vizsgáljuk, csak ekkor a b-hatásoknak megfelelő Q_{b} négyzetösszeg veszi át a Q_{a} négyzetösszeg szerepét.

Tekintsük a c) esetet. Ekkor vizsgáljuk a H_{0a}, H_{0b} és H_{0c} nullhipotéziseket, amelyeket a

H_{0a}: a_{1} = a_{2} = ⋯ = a_{k} = 0,
H_{0b}: b_{1} = b_{2} = ⋯ = b_{p} = 0,
H_{0ab}: c_{i,j} = 0. i = 1, …, k j = 1…. , p,

feltevések jelentenek.

Ezek vizsgálatában felhasználjuk, hogy a Q_{e}véletlen hiba \frac{Q_{e}}{σ^{2}} négyzetösszegének a \frac{Q_{e}}{σ^{2}} normalizáltja mindig χ^{2} eloszlású kp(n − 1) szabadságfokkal. A H_{0a} fennállása esetén az a-hatások Q_{a} négyzetösszegének \frac{Q_{a}}{σ^{2}} normalizáltja χ^{2} eloszlású k − 1 szabadságfokkal, és független a Q_{e} valószínűségi változótól. Ezért a \frac{Q_{a}}{Q_{e}} hányados viselkedése segítségével ellenőrizhetjük a H_{a0} hipotézist.

Hasonlóan a H_{0b} fennállása esetén a b-hatások Q_{b} négyzetösszegének \frac{Q_{b}}{σ^{2}} normalizáltja χ^{2} eloszlású p−1 szabadságfokkal, és független a Q_{e} valószínűségi változótól. Ezért a \frac{Q_{b}}{Q_{e}} hányados viselkedése segítségével ellenőrizhetjük a H_{b0} hipotézist.

A H_{0ab} fennállása esetén az ab-interakció hatások Q_{c} négyzetösszegének \frac{Q_{c}}{σ^{2}} normalizáltja χ^{2} eloszlású (k − 1)(p − 1) szabadságfokkal, és független a Q_{e} valószínűségi változótól. Ezért a \frac{Q_{c}}{Q_{e}} hányados viselkedése segítségével ellenőrizhetjük a H_{ab0} hipotézist.

Valójában, ha a H_{0,ab} nullhipotézist elfogadjuk, akkor a H_{0a} és H_{0b} nullhipotézisek vizsgálatát másképp is elvégezhetjük, és ezt a módszert alkalmazzák a gyakorlatban. Ekkor ugyanis, mivel Q_{e} és Q_{c} függetlenek, ezért a \frac{Q_{c}+Q_{e}}{σ^{2}} összeg χ^{2} eloszlású knp − k − n + 1 szabadságfokkal. Ha a H_{0a} illetve H_{0b} nullhipotézis is teljesül, akkor ez független a Q_{a} illetve Q_{b} négyzetösszegtől is. Ezért ezeket a nullhipotézisket akkor fogadjuk el, ha a \frac{Q_{a}}{Q_{e}+Q_{c}} illetve \frac{Q_{b}}{Q_{e}+Q_{c}} viszonylag kicsi.

A hatodik szekció témája a kovarianciaanalízis. Ezt csak röviden ismertetem. A feladat a következő.

Megfigyelünk egy n elemű Y = (Y_{1}, …, Y_{n})^{T} véletlen vektort, amely a következő módon keletkezik.

Adott egy B = (b_{ij}), 1 ≤ i ≤ n, 1 ≤ j ≤ k, n × k méretű struktúramátrix valamilyen r ≤ k ranggal és egy D = (d_{ij}), 1 ≤ i ≤ n, 1 ≤ j ≤ l, n×l méretű kisérőmátrix, amelynek rangja l. A D és B mátrixok értékét ismerjük. A megfigyelt Y (véletlen) vektor várható értéke

EY = Ba + Dc,

valamilyen (ismeretlen) a = (a_{1}, …, a_{k})^{T} c = (c_{1}, …, c_{l})^{T} vektorokkal. Ezeket akarjuk megbecsülni a legkisebb négyzetek módszerével, azaz a

∑_{i=1}^{n}(Y_{i} − b_{i1}a_{1} − ⋯ − b_{ik}a_{k} − d_{i1}c_{1} − ⋯ − d_{il}c_{l})^{2}

kifejezés minimumának a meghatározásával az a_{1}, …, a_{k}, c_{1}, …, c_{l} paraméterek függvényében. Ez a

B^{T} Ba + B^{T} Dc = B^{T} Y  (8)
D^{T} Ba + D^{T} Dc = D^{T} Y  (9)

egyenletrendszer megoldását jelenti.

Ennek érdekében vezessük be az â_{0} vektort, mint a B^{T} Ba_{0} = B^{T} Y egyenletrendszer és az â_{i}, i = 1, …, l, vektorokat, mint a B^{T} Ba_{i} = B^{T} d_{i} egyenletrendszer megoldását, ahol d_{i} a D mátrix i-edik oszlopvektora.

A (8) egyenletet beszorozva a â_{i}^{T} vektorral (balról), majd kivonva belőle a (9) egyenletrendszer i-edik sorát, és ezt elvégezve minden i = 1, …, l indexre l darab olyan lineáris egyenletet kapunk, amelyekben csak a c_{i} változók szerepelnek. (Az a_{i} változók hiányoznak.) Ezek segítségével ki lehet számolni a c_{i} együtthatókat, majd azok ismeretében az a_{i} együtthatókat is. Azt használjuk ki ebben a számolásban, hogy a (9) egyenletrendszer i-edik egyenletének első tagja d_{i}^{T} Ba = â_{i}^{T} B^{T} Ba. (A teljes bizonyításban még meg kell indokolni, hogy az â_{i} mennyiségeket definiáló egyenleteknek van megoldásuk akkor is, ha r = rang (B) < k. Feltesszük, hogy n ≥ max(k, l).)

A könyv további képleteket tartalmaz e feladat megoldásáról illetve azokkal kapcsolatos teszt eljárásokról. Véleményem szerint ezek részletesebb magyarázatot igényeltek volna.

A hetedik szekció témája a kanonikus korrelációanalízis. Ez a következő problémával foglalkozik. Legyen X = (X_{1}, …, X_{p}) és Y = (Y_{1}, …, Y_{q}) két (együttesen) normális eloszlású véletlen vektor nulla várható értékkel. Jelölje C_{1,1} az X vektor, C_{2,2} az Y vektor kovarianciamátrixát, és legyen C_{1,2} = (EX_{i}Y_{j}), 1 ≤ i ≤ p, 1 ≤ j ≤ q, az X és Y vektorok közös kovarianciamátrixa. Definiáljuk az X és Y vektorok kanonikus korrelációs együtthatóit, és állapítsuk meg azok legfontosabb tulajdonságait. Látni fogjuk, hogy a kanonikus korreláciś együtthatók definiciója, illetve azok tulajdonságai szoros kapcsolatban vannak a (téglalap alakú) mátrixok szinguláris felbontásával.

A kanonikus korrelációs együtthatók a C_{1,1}, C_{2,2} és C_{1,2} kovarinciamátrixok függvényei. A következő kérdés az, hogy hogyan becsüljük meg (a maximum likelihood módszer segítségével a kanonikus korrelációs együtthatókat, ha a fenti kovarinciamátrixokat nem ismerjük, viszont van egy n-elemű mintánk az (X, Y) vektorpárokból. E kérdés folytatása annak a problémának a vizsgálata, hogy hogyan adjunk egy statisztikai proóbát annak ellenőrzésére, hogy csak a k legnagyobb kanonikus korrelációs együttható nem nulla.

A bizonyítások részleteit nem fogom kidolgozni. Egyébként a könyv is túlságosan tömören magyarázza ezt a témát.

Az első, legnagyobb kanonikus korrelációs együtthatót úgy határozzuk meg, mint a következő szélsőértékfeladat megoldását. Keressünk olyan a_{1} ∈ R^{p} és b_{1} ∈ R^{q} vektorokat, amelyekre

Corr (a_{1}^{T} X, b_{1}^{T} Y) = max_{(a,b)∈V_{1}} Corr (a^{T} X, b^{T} Y),

ahol

V_{1} = {(a, b): a ∈ R^{p}, b ∈ R^{q}}.

Az a_{1} és b_{1} vektorok csak egy konstans szorzó erejéig vannak meghatározva. Pontosabban, a tekintett korreláció nem változik, ha e vektorokat (esetleg különböző) pozitív számokkal szorozzuk meg.

A Corr (a_{1}^{T} X, b_{1}^{T} Y) mennyiség az első, legnagyobb, kanonikus korrelációs együttható.

A k-ik kanonikus korrelációs együtthatót, és a hozzá tartozó (a_{k}, b_{k}) vektorpárt definiáljuk minden 1 ≤ k ≤ min(p, q) számra. Ezt indukcióval tesszük a következő módon. Ha definiáltuk a j-ik kanonikus korrelációs együtthatót, és a hozzá tartozó (a_{j}, b_{j}) vektorpárt minden 1 ≤ j < k indexre, akkor legyen

Corr (a_{k}^{T} X, b_{k}^{T} Y) = max_{(a,b)∈V_{k}} Corr (a^{T} X, b^{T} Y),

ahol

V_{k} = {(a, b): a ∈ R^{p}, Corr (aX, a_{j}X) = 0, j = 1, …, k − 1,
b ∈ R^{q}, Corr (bY, b_{j}Y) = 0, j = 1, …, k − 1},

és (a_{k}.b_{k}) ∈ V_{k}.

Az a_{k} és b_{k} vektorok is csak egy konstans szorzó erejéig vannak meghatározva. Az általuk meghatározott korreláció nem változik, ha e vektorokat pozitív számokkal szorozzuk meg. Ezt a tényt felhasználva jogunk van olyan a_{k} és b_{k} vektorokat tekinteni, amelyekre

a_{k}^{T} C_{1,1}a_{k} = 1 és b_{k}^{T} C_{2,2}b_{k} = 1, k = 1, …, min(p, q).

Tekintsünk ilyen a_{k} és b_{k} vektorokat, és definiáljuk segítségükkel az

α_{k} = C_{1,1}^{1/2}a_{k} és β_{k} = C_{221}^{1/2}b_{k}, k = 1, …, min(p, q)

vektorokat. Az (α_{k}, β_{k}) vektorpárok meghatározása ekvivalens az (a_{k}, b_{k}) vektorpárok meghatározásával. Az (α_{k}, β_{k}) párok meghatározása egy olyan szélsőérték feladat megoldását jelenti, amely ekvivalens a

D = C_{1,1}^{−1/2}C_{1,2}C_{22}^{−1/2}

mátrix D = VSU^{T} szinguláris felbontásának megadásával. Ugyanis ∥α_{k}∥ = 1, β_{k} = 1, és

α_{k}Dβ_{k} = max_{{∥α∥=∥β∥=1 \atop α^{T} α_{j} =β^{T} β_{j} =0, j=1,...,k−1}} α_{k}Dβ_{k}.

Itt a V = (v_{1}, …, v_{p}) és U = (u_{1}, …, u_{q}) mátrixok szinguláris vektorai közül az első min(p, q) tag adja az α_{k}, β_{k} vektorokat. Az S mátrixnak csak a diagonálisában vannak nem nulla elemek. Ezek a diagonálisban levő s_{1} ≥ s_{2} ≥ … ≥ s_{min(p,q)} számok megegyeznek a megfelelő kanonikus korrelációs együtthatókkal. Ha csak az első l elem nem nulla ezek közül az s_{k} együtthatók közül, akkor csak az első l kanonikus korrelációs együtthatóról érdemes beszélni.

Van a kanonikus korrelációs együtthatóknak egy másik hasznos jellemzése. Tekintsük az (X_{1}, …, X_{p}, Y_{1}, …, Y_{q}) p + q dimenziós vektort. Ennek kovarianciamátrixa a

( \begin{matrix}C_{1,1} & C_{1,2} \\ C_{2,1} & C_{2,2} \end{matrix} )

mátrix, ahol C_{2,1} = C_{1,2}^{T}. Megadjuk ennek egyszerűbb, úgynevezett kanonikus alakra hozását a D = C_{1,1}^{−1/2}C_{1,2}C_{22}^{−1/2} mátrix D = VSU^{T} szinguláris felbontásának segítségével.

Legyen A = C_{1,1}^{−1/2}V és B = C_{2,2}^{−1/2}U. Definiáljuk segítségükkel az A^{T} X és B^{T} Y vektorokat. Írjuk fel ezek együttes eloszlásának a kovarianciamátrixát. Ez

( \begin{matrix}A^{T} C_{1,1}A & A^{T} C_{1,2}B \\ B^{T} C_{2,1}A & B^{T} C_{2,2}B \end{matrix} ) = ( \begin{matrix}V^{T} V & V^{T} DU \\ U^{T} D^{T} V & U^{T} U \end{matrix} ) = ( \begin{matrix}I_{p} & S \\ S^{T} & I_{q} \end{matrix} ) .

Vegyük észre, hogy nemcsak az I_{p} és I_{q} mátrixok diagonálisak, hanem az S mátrix is. Ennek diagonális elemei a kanonikus korrelációs együtthatók. Ezek mérik, hogy milyen erős a kapcsolat az X és Y vektorok között.

A következő probléma az, hogy hogyan becsüljük meg a kanonikus korrelációs együtthatókat, ha nem ismerjük a C_{1,1}, C_{2,2} és C_{1,2} kovarianciamátrixokat, viszont van egy n-elemű (X_{1}, Y_{1}), …, (X_{n}, Y_{n}) mintánk az (X, Y) vektorra. A természetes hozzáállás az, hogy megbecsüljük a minta segítségével a C_{1,1}, C_{2,2} és C_{1,2} kovarianciamátrixokat, és ezekkel a becslésekkel számolunk.

A könyv jelöléséhez alkalmazkodva legyen F = (X_{1}, …, X_{n})^{T}, és G = (Y_{1}, …, Y_{n})^{T}. Ekkor az C_{1,1}, C_{2,2} és C_{1,2} mátrixok maximum likelihood becslése

Ĉ_{1,1} = \frac{1}{n}F^{T} F, Ĉ_{2,2} = \frac{1}{n}G^{T} G, Ĉ_{1,2} = \frac{1}{n}F^{T} G.

Ennek segítségével meg tudjuk határozni a D = C_{1,1}^{−1/2}C_{1,2}C_{22}^{−1/2} mátrix D̂ = Ĉ_{1,1}^{−1/2}Ĉ_{1,2}Ĉ_{22}^{−1/2} maximum likelihood becslését. Készítsük el a D = VSU^{T} szinguláris felbontáshoz hasonlóan a D̂ = V̂RÛ^{T} szinguláris felbontást, ahol R felel meg az S diagonális mátrixnak. Feleljen meg az S mátrix s_{k} elemének a R mátrix r_{k} eleme.

Ezen kifejezések segítségével el tudjuk készíteni a likelihood hányados próbát arra az állításra, hogy összesen k ≤ min(p, q) nem zéró kanonikus korrelációs együttható van. Ez ekvivalens azzal az állítással, hogy S diagonális mátrix diagonálisában s_{k} ≠ 0, és s_{j} = 0, ha j > k.

E feladat megoldásának érdekében először felírjuk az

((X_{1}, Y_{1}), …, (X_{n}, Y_{n}))

minta sűrűségfüggvényét. Ezt meg tudjuk tenni, felhasználva, hogy meg tudjuk adni az Y_{i} véletlen vektor feltételes eloszlását a X_{i} = x_{i} feltétel mellett. Ez a feltételes eloszlás a normális eloszlás Qx_{i} várható értékkel, és C_{2,2,1} kovarianciamátrixszal, ahol

Q = C_{2,1}C_{1,1}^{−1}, C_{2,2,1} = C_{2,2} − C_{1,2}^{T}C_{1,1}^{−1}C_{1,2}.

(Lásd például a könyv 5.1.7 Állítását.)

Érdemes lenne az

((A^{T} X_{1}, B^{T} Y_{1}), …, (A^{T} X_{n}, B^{T} Y_{n}))

minta sűrűségfüggvényét is megadni, de a könyv ezt nem teszi. Viszont azt állítja, hogy e sűrűségfüggvény maximuma akkor, ha s_{j} ≠ 0, j ≤ k-ra, és s_{j} = 0 j > k-ra megegyezik az általa megadott képlettel. Ezt érdemes lett volna részletesebben megindokolni. Ha ezt az eredményt elfogadjuk, akkor nem nehéz látni, hogy a maximum likelihood hányados próba a kanonikus korrelációfüggvény viselkedéséről szóló állításra megegyezik a könyvben leírt eljárással.