A Valószínűségszámítás I. előadássorozat tízenkettedik előadása. 2002 április 23. A múlt előadaáson a centrális határeloszlástétel bizonyításának magyarázatában

bizonyos részeket túlságosan elhadartam. Bár teljes bizonyítást most sem adok, érdemes néhány részletet nyugodtabb körülmények között kifejteni. Megismétlünk néhány definiciót és eredményt.

Szerepelt az eloszlásban való konvergencia definicióját. De nem ezt a definiciót érdemes használni, hanem a következő eredményt.

Tétel. F_{n}(u), n = 1, 2, … eloszlásfüggvények sorozata akkor és csak akkor konvergál eloszlásban egy F (u) eloszlásfüggvényhez, ha minden a számegyenesen értelmezett folytonos, korlátos g(u) függvényre teljesül a

lim_{n→∞} ∫ g(u) dF_{n}(u) = ∫ g(u) dF (u)  (a)

azonosság.

Az eloszlásban való konvergenciát az e lemmában szereplő tulajdonság segítségével próbáljuk bebízonyítani. Felmerül a kérdés, hogy nem elég-e az (a) tulajdonságot folytonos és korlátos függvények egy kisebb, és jobban kezelhető függvényosztályának a segítségével bebizonyítani. Bevezetjük az úgynevezett karakterisztikus függvényeket, melyek az e_{t}(x) = e^{itx} függvények integrálja, és felidézzünk néhány eredményt, amelyik megmagyarázza, miért érdemes ezeket használni.

Valószínűségi változó karakterisztikus függvényének a definiciója. Legyen ξ valószínűségi változó valamely (Ω, A, P) valószínűségi mezőn, és jelölje F (u) = P (ξ < u), −∞ < u < ∞, a ξ valószínűségi változó eloszlásfüggvényét. A ξ valószínűségi változónak a karakterisztikus függvénye a

φ(t) = Ee^{itξ} = ∫_{−∞}^{∞} e^{itu}F ( du), −∞ < t < ∞,

függvény. Adva egy F eloszlásfüggvény az F eloszlásfüggvény karakterisztikus függvényét is definiálni fogjuk mint egy F eloszlású ξ valószínűségi változó karakterisztikus függvényét. (Mivel a karakterisztikus függvényt a ξ valószínűségi változó eloszlásfüggvényének a segítségével ki lehet számolni, ezért jogunk van egy eloszlásfüggvény karakterisztikus függvényéről beszélni.)

A következő egyszerű állításokat azok fontosságuk miatt külön Lemma formájában mondjuk ki.

Lemma valószínűségi változók karakterisztikus függvényének viselkedéséről.

Legyenek ξ_{1}, …, ξ_{n} független valószínűségi változók, jelölje S_{n} = ∑_{j=1}^{n} ξ_{j} e valószínűségi változók összegét és φ_{j}(t), 1 ≤ j ≤ n, a ξ_{j} valószínűségi változó karakterisztikus függ-

vényét. Ekkor az S_{n} összeg karakterisztikus függvénye a ψ_{n}(t) = Ee^{itS_{n}} = ∏_{j=1}^{n} φ_{j}(t),

−∞ < t < ∞ függvény. Ha A és B ≠ 0 valós számok, akkor a \frac{S_{n} − A}{B} valószínűségi változó karakterisztikus függvénye az

Ee^{it(S_{n}−A)/B} = e^{−itA/B}ψ_{n} (\frac{t}{B} ) = e^{−itA/B} ∏_{j=1}^{n} φ_{j} (\frac{t}{B} )

függvény.

Legyen ξ olyan valószínűségi változó F (·) eloszlásfüggvénnyel, melyre teljesül az

E|ξ|^{k} = ∫_{−∞}^{∞} |u|^{k}F ( du) < ∞ egyenlőtlenség valamilyen k pozitív egész számra. Ekkor

a ξ valószínűségi változó φ(t) karakterisztikus függvényének a deriváltjai megadhatók a

\frac{d^{j}}{dt^{j}} φ(t) = ∫_{−∞}^{∞} i^{j}u^{j}e^{itu}F ( du) képlettel minden 0 ≤ j ≤ k és −∞ < t < ∞ számra.

Speciálisan, t = 0 választással \frac{d^{j}φ(t)}{dt^{j}} |_{t=0} = ∫_{−∞}^{∞} i^{j}u^{j}F ( du) = i^{j}Eξ^{j} minden 0 ≤ j ≤ k

számra.

Megjegyzés: Legyenek ξ_{1}, ξ_{2}…., független, egyforma eloszlású valószínűségi változók, melyekre Eξ_{1} = 0, és vezessük be a σ_{2} = Var ξ_{1}, valamint az Ee^{itξ_{1}} = φ(t), −∞ < t < ∞ (φ(t) a ξ_{1} valószínűségi változó karakterisztikus függvénye) jelöléseket. Legyen

továbbá S_{n} = ∑_{k=1} ξ_{k} és S̄_{n} = \frac{S_{n}}{\sqrt{n}σ} az S_{n} valószínűségi változó normalizáltja. Ekkor

Ee^{itS_{n}} = φ(t)^{n}, Ee^{itS̄_{n}} = φ (\frac{t}{\sqrt{n}σ} )^{n}, és φ (\frac{t}{\sqrt{n}σ} ) ∼ 1 − \frac{t^{2}}{2nσ^{2}} . Ez a formula

lehetővé teszi, hogy viszonylag jó becslést adjunk a S̄_{n} valószínűségi változó karakterisztikus függvényére. Azt kívánjuk vizsgálni, lehetővé teszi-e ez a formula egy jó határeloszlástétel bizonyítását független, egyforma eloszlású valószínűségi változók normalizáltjának az összegére.

Abból, hogy bízonyos F_{n} eloszlások φ_{n}(t) karakterisztikus függvényeinek a sorozata konvergál egy F eloszlásföggvény φ(t) karakterisztikus függvényéhez minden −∞ < t < ∞ számra, akkor ∫ (∑ c_{k}e^{itx}) F_{n}( dx) → ∫ (∑ c_{k}e^{itx}) F ( dx) minden ilyen tipusú függvényre. Kérdés az, hogy elegendőek-e ezek az azonosságok ahhoz, hogy az (a) tulajdonság teljesüljön. Ennek tisztázása érdekében keressük azokat az eredményeket, amelyek azt mondják ki, hogy a trigonometrikus függvények lineáris kombinációi a folytonos függvények elég gazdag családját alkotják. Ilyen jellegű, és számunkra a továbbiakban nagyon hasznos az alább megfogalmazott Weierstrass második approximációs tétele.

Weierstrass második approximációs tétele. Tetszőleges folytonos és 2π szerint

periodikus f(t) függvényre és ε > 0 valós számra létezik olyan P_{n}(t) = ∑_{k=−n}^{n} a_{k}e^{ikt} trigonometrikus polinom, melyre

sup_{−∞<t<∞} |f(t) − P_{n}(t)| < ε.

Ez az eredmény a trigonometrikus függvényeknek a kívánt jellegű tulajdonságát fejezi ki, de csak periódikus folytonos függvényeket tudunk ilyen módon approximálni trigonometrikus polinomokkal. Vegyük észre, hogy a (−π, π] intervallumban értelmezett és a számegyenesre 2π periódissal kiterjesztett folytonos függvényeket az ε_{n}(t) = e^{int}, n = 0, ±1, ±2, …, polinomjaival tudjuk tetszőlegeges pontossággal közelíteni. Ezt az eredményt felhasználva és átskálázva kapjuk, hogy tetszőleges az eredetileg (−T, T] intervallumban értelmezett és 2T szerint periódikusan kiterjesztett folytonos függvények a szuprémum normában tetszőleges pontossággal meg lehet közelíteni az e_{n}(t) = e^{int/2πT} alakú függvények líneáris kombinációval. Ebből következik, hogy ha az F_{n} eloszlások φ_{n}(t) karakterisztikus függvényei konvergálnak minden pontban egy F eloszlás φ(t) karakterisztikus függvényéhez, akkor ∫ g(x)F_{n}( dx) → ∫ g(x)F ( dx) minden folytonos és periódikus függvényre. Kérdés, hogy elegendő-e ez az (a) reláció biztosításához?

Ahhoz, hogy eloszlásfüggvények karakterisztikus függvényeinek konvergenciájából következtetni tudjunk magunknak az eloszlásfüggvényeknek a konvergenciájára tudnunk kell azt, hogy az a karakterisztikus függvények meghatározzák az eloszlásfüggvényeket. Ezt az áll1tást fogalmazza meg az alábbi eredmény, amelyet a Weierstrass második apprximációs tétele segítségével be lehet bizonyítani. (Ennek bizonyítását leírtam az előző előadás anyagában.

Tétel. Legyen F (·) és G(·) két eloszlásfüggvéy, melyek karakterisztikus függvénye megegyezik. Ekkor F (x) = G(x) minden −∞ < x < ∞ számra.

Azt szeretnénk megmutatni, hogy minél erősebb eredményt kapjunk, amelyik a karakterisztikus függvények konvergenciájából következik az eloszlások konvergenciája. Felmerül a kérdés, hogy csak a karakterisztikus függvények konvergenciájából következik-e az eloszlások konvergenciája? A kérdés megfogalmazása érdekében jegyezzük meg először, hogy amennyiben eloszlások F_{n} sorozata konvergál egy eloszláshoz, akkor ezen eloszlások φ_{n}(t) karakterisztikus függvényei konvergálnak egy függvényhez, (a határeloszlás karakterisztikus függvényéhez). Kérdés, elegendő-e tudni azt, hogy a karakterisztikus függvények konvergálnak, de semmi többet. Azaz, ha még nem találtuk meg a határeloszlást, de a karakterisztikus függvények konvergálnak, akkor ez önmagb́an elegendő-e ez az eloszlások konvergenciájához. Ennek a problémának a megértése érdekében tekintsük először az alábbi példát: Példa karakterisztikus függvények konvergenciájára:

Legyen F_{n}(·), n = 1, 2 …, a [−n, n] intervallumban egyenletes eloszlású valószínűsé-

gi változók sorozata, azaz legyen F_{n}(·) sűrűségfüggvénye az f_{n}(u) = \frac{1}{2n}, ha −n ≤ u ≤ n, f_{n}(u) = 0, ha |u| > n képlet segítségével megadott függvény. Ekkor az F_{n}(·) eloszlásfüggvények karakterisztikus függvényei minden pontban konvergálnak az φ(0) = 1, φ(t) = 0, ha t ≠ 0 képlettel megadott φ(t) függvényhez, amelyik az origóban nem folytonos. Továbbá az F_{n}(·) eloszlásfüggvények nem konvergálnak eloszlásban, mert minden véges [a, b] intervallumra lim_{n→∞} F_{n}([a, b]) = 0.

Valóban, az F_{n} függvény karakterisztikus függvénye a fenti példában φ_{n}(t) =

∫_{−n}^{n} \frac{1}{2n}e^{itu} du = \frac{e^{itn} − e^{−itn}}{i2nt} = \frac{sin tn}{tn}, ha t ≠ 0, és φ_{n}(0) = 1. Innen látható,

hogy φ(t) = lim_{n→∞} φ(t) = 0, ha t ≠ 0, és φ(0) = lim_{n→∞} φ(0 = 1) határérték létezik. Másrészt az F_{n} eloszlásfüggvények nem konvergálnak egy eloszlásfüggvényhez. Nem nehéz látni, hogy lim_{n→∞} F_{n}(x) = \frac{1}{2} minden x számra, azaz a határérték létezik, de az nem eloszlásfüggvény.

A fenti példában az eloszlások nem konvergálnak, bár karakterisztikus függvényeik igen. Viszont azt is tudjuk, hogy amennyiben az eloszlásfüggvények sorozata egy eloszlásfüggvényhez konvergál, akkor ezek karakterisztikus függvényeinek sorozata egy eloszlásfüggvény karakterisztikus függvényéhez konvergál, amelyik folytonos minden pontban. A legfontosabb az, hogy a karakterisztikus függvények egy az origóban is folytonos függvényhez konvergáljanak. A valószínűségszámítás egyik alapvető eredménye azt mondja ki, hogy ez már elegendő az eloszlások konvergenciájához. Ezt az eredményt fogalmazzuk meg az alábbiakban.

Eloszlások konvergenciájáról szóló Alaptétel. Legyen F_{n}(u), −∞ < u < ∞, eloszlásfüggvények egy sorozata φ_{n}(t) = ∫ e^{itu}F_{n}( du) karakterisztikus függvényekkel, n = 1, 2, . . .. Ha a φ_{0}(t) = lim_{n→∞} φ_{n}(t) határérték létezik minden −∞ < t < ∞ számra, és a φ_{0}(t) limeszfüggvény folytonos az origóban, akkor létezik olyan F_{0}(u) eloszlásfüggvény, melynek a φ_{0}(t) függvény a karakterisztikus függvénye. Továbbá e feltétel teljesülése esetén az F_{n}(u) eloszlásfüggvények eloszlásban konvergálnak az F_{0}(u) eloszlásfüggvényhez.

Megfordítva, ha F_{n}(u), n = 1, 2, …, eloszlásfüggvényeknek egy olyan sorozata, mely egy F_{0}(u) eloszlásfüggvényhez konvergál eloszlásban, φ_{n}(t), n = 1, 2, …, jelöli az F_{n}(u), φ_{0}(t) pedig az F_{0}(u) eloszlásfüggvény karakterisztikus függvényét, akkor φ_{0}(t) = lim_{n→∞} φ_{n}(t) minden −∞ < t < ∞ számra. Továbbá, ez a konvergencia egyenletes minden véges intervallumban.

A nagy számok erős törvénye.

Tárgyaltuk a nagy számok gyenge törvényét, mely szerint ha tekintjük ξ_{1}, ξ_{2}, …, füg-

getlen, egyforma eloszlású valószínűségi változók S_{n} = ∑_{j=1}^{n} ξ_{j}, j = 1, …, n, összegét

és \frac{S_{n}}{n} átlagát, akkor az \frac{S_{n}}{n} átlagok sztochasztikusan konvergálnak egy determinisztikus számhoz, mely szám a ξ_{1} valószínűségi változó Eξ_{1} várható értéke. Beláttuk, (a Csebisev egyenlőtlenség segítségével), hogy a nagy számok gyenge törvénye érvényes akkor, ha a ξ_{1} valószínűségi változónak létezik szórásnégyzete. Valójában ez a feltétel lényegesen gyengíthető. Ezenkívül, független valószínűségi változók átlagai nagyon általános feltételek mellett nemcsak sztochasztikusan, hanem egy valószínűséggel is konvergálnak a ξ_{1} valószínűségi változó Eξ_{1} várható értékéhez. Ezt az eredményt nevezik a nagy számok erős törvényének. Megfogalmazom az említett eredményeket és fogalmakat pontosan, és tárgyalni fogom ezen eredmények egymással való kapcsolatát. Sok fontos és tanulságos eredményt csk kimondok, de időhiány miatt a bizonyítását elhagyom.

Először felírom a (részben már korábban ismertetett) különböző konvergenciafogalmakat.

Az egy valószínűségű konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt)

P (ω: lim_{n→∞} ξ_{n}(ω) = ξ(ω)) = 1.

Megjegyzés: Az egy valószínűségi konvergenciát a valószínűségszámításban és mértékelméletben majdnem mindenütt való konvergenciának is hívják.

A sztochasztikus konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál sztochasztikusan egy ξ valószínűségi változóhoz, ha (egyrészt ezek a valószínűségi változók ugyanazon az (Ω, A, P) valószínűségi mezőn vannak definiálva, másrészt) minden ε > 0 számra

lim_{n→∞} P (|ξ_{n}(ω) − ξ(ω)| > ε) = 0.

Az eloszlásban való konvergencia definiciója: Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata akkor konvergál eloszlásban egy F (u) eloszlásfüggvényhez vagy az ezen eloszlásfüggvény által meghatározott eloszláshoz, ha lim_{n→∞} P (ξ_{n} < u) = F (u) minden olyan u számra, ahol az F (·) eloszlásfüggvény függvény folytonos. (Azt mondjuk, hogy a ξ_{n}, n = 1, 2, …, valószínűségi változók sorozata eloszlásban konvergál egy ξ valószínűségi változóhoz, ha ez a sorozat eloszlásban konvergál az F (u) = P (ξ < u) eloszlásfüggvényhez.)

A továbbiakban tárgyalni fogjuk (részben kitűzött feladatok formájában) a különböző konvegenciafogalmak közötti kapcsolatot.

Igaz a következő kapcsolat: Egy valószínűségi konvergencia ⇒ Sztochasztikus konvergencia ⇒ Eloszlásban való konvergencia.

Tárgyaljuk először az egy valószínűségi és sztochasztikus konvergencia kapcsolatát. Ha ξ_{n}(ω) → ξ(ω) egy valószínűséggel, akkor definiálva az

A_{n} = A_{n}(ε) = {ω: sup_{k≥n} |ξ_{k}(ω) − ξ(ω)| < ε}

halmazokat kapjuk, hogy az egymásba skatulyázott A_{n} halmazokra, (azaz A_{1}(ω) ⊂

A_{2} ⊂ ⋯), P ( ⋃_{n=1}^{∞} A_{n}) = 1. Ezért lim_{n→∞} P (A_{n}) = 1. Mivel {ω: |ξ_{n}(ω) − ξ(ω)| <

ε} ⊃ A_{n}, P (|ξ_{n}(ω) − ξ(ω)| < ε) → 1, azaz P (|ξ_{n}(ω) − ξ(ω)| ≥ ε) → 0, ha n → ∞. Ez azt jelenti, hogy az egy valószínűségű konvergenciából következik a sztochasztikus konvergencia.

Nem kötelező házifeladat:

Valószínűségi változók ξ_{n}, n = 1, 2, …, sorozata, akkor és csak akkor konvergál egy valószínűséggel egy ξ valószínűségi változóhoz, ha az η_{n} = sup_{k≥n} |ξ_{k} −ξ| valószínűségi

változók sorozata sztochasztikusan konvergál nullához, azaz minden ε > 0 számra

P ( lim_{n→∞} sup_{k≥n} |ξ_{k} − ξ| > ε) = 0.

Lássunk példát arra, hogy lehetséges olyan ξ_{n}, n = 1, 2, …, és ξ valószínűségi változókat konstruálni, melyekre a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan tart ξ-hez, de a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz.

Tekintsük a következő (Ω, A, P) valószínűségi mezőt: Ω a [0, 1] intervallum, A a Borel mérhető halmazok σ-algebrája a [0, 1] intervallumon, a P valószínűségi mérték a Lebesgue mérték. Legyen

ξ_{n}(x) = \{ \begin{matrix}1 ha x ∈ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \\ 0 ha x ∉ [(n − 2^{k})2^{−k}, (n + 1 − 2^{k})2^{−k}] \end{matrix}
akkor ha 2^{k} ≤ n < 2^{k+1}, k = 1, 2, …,

és ξ(x) = 0 minden 0 ≤ x ≤ 1 számra. Ekkor P (|ξ_{n} − ξ| > ε) = 2^{−k} minden ε > 0 számra, ha 2^{k} ≤ n < 2^{k+1}. Tehát a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan konvergál a ξ valószínűségi változóhoz. Viszont mivel lim sup_{n→∞} ξ_{n}(x) = 1 minden 0 ≤ x ≤ 1 számra,

ezért a ξ_{n} sorozat nem konvergál egy valószínűséggel a ξ valószínűségi változóhoz. Másrészt a Borel-Cantelli lemmából következik, hogy amennyiben minden ε > 0

számra ∑_{n=1}^{∞} P (|ξ_{n} − ξ| > ε) < ∞, akkor a ξ_{n} sorozat egy valószínűséggel konvergál a ξ

valószínűségi változóhoz. Miért?

A sztochasztikus konvergencia és eloszlában való konvergencia közötti kapcsolatra érvényesek a következő nem kötelező házi feladatok formájában megfogalmazott állítások.

Nem kötelező házifeladat:

a.) Ha ξ_{n}, n = 1, 2, …, valószínűségi változók sztochasztikusan konvergálnak egy ξ valószínűségi változóhoz, akkor a ξ_{n} valószínűségi változók eloszlásban is konvergálnak ehhez a ξ valószínűségi változóhoz. b.) Ennek az állításnak a megfordítása nem igaz. Például, ha ξ_{n}, n = 1, 2, …, függet-

len, egyforma eloszlású valószínűségi változók, melyek nem elfajultak, azaz nincs olyan konstans melyeket ezek a valószínűségi változók egy valószínűséggel vesznek fel, akkor a ξ_{n} valószínűségi változók eloszlásban konvergálnak a ξ_{1} valószínűségi változóhoz, viszont nem konvergálnak sztochasztikusan.

c.) Viszont igaz a következő állítás: Ha ξ_{n}, n = 1, 2, …, valószínűségi változók eloszlásban konvergálnak egy a konstanshoz, (azaz egy olyan valószínűségi változóhoz, mely egy valószínűséggel az a konstanst veszi fel, akkor a ξ_{n}, n = 1, 2, …, sorozat sztochasztikusan is konvergál ehhez az a konstanshoz.

Most rátérünk annak tárgyalására, hogyan lehet a nagy számok gyenge törvényének a Csebisev egyenlőtlenségen alapuló bizonyítását finomítva a nagy számok erős törvényét is bebizonyítani alkalmas feltételek mellett. Az alább ismertetendő érvelésben valójában a tétel bizonyítása érdekében a szükségesnél sokkal erősebb kikötéseket teszünk. Idézzük fel a Csebisev egyenlőtlenséget, illetve a nagy számok gyenge törvényének a bizonyítását a Csebisev egyenlőtlenség segítségével.

Csebisev egyenlőtlenség: Ha a ξ valószínűségi változó második momentuma Eξ^{2} = m^{2}, akkor tetszőleges x > 0 számra

P (|ξ| > x) ≤ \frac{m_{2}}{x^{2}} .

Innen következik, ha ezt az egyenlőtlenséget a ξ̄ = ξ − Eξ valószínűségi változóra alkalmazzuk, hogy

P (|ξ − Eξ| > x) ≤ \frac{Var ξ}{x^{2}} ,

Megjegyzés: A Csebisev egyenlőtlenség a Markov egyenlőtlenség következménye, mely

szerint P (|ξ| > x) ≤ \frac{E|ξ|}{x}. Alkalmazva ezt az állítást a ξ^{2} valószínűségi változóra kapjuk a Csebisev egyenlőtlenséget. Hasonló módon, alkalmazva a Markov egyenlőtlenséget a ξ^{2k} valószínűségi változóra, ahol k tetszőleges pozitív egész szám, x > 0, kapjuk, hogy

P (|ξ| > x) ≤ \frac{Eξ^{2k}}{x^{2k}}

A nagy számok gyenge törvényét úgy bizonyítottuk be, hogy megvizsgáltuk milyen becslést ad a Csebisev egyenlőtlenség annak valószínűségére, hogy független, egyforma eloszlású valószínűségi változók átlaga legalább ε-nal eltér e változók várható értékétől. Idézzük fel ezt a számolást, illetve ezzel párhuzamosan vizsgáljuk meg azt is, milyen becslést kapunk, ha továbbre is azt a valószínűségi változót vizsgáljuk, melyet úgy kapunk, hogy független, egyforma eloszlású valószínűségi változók átlaga minusz azok várható értékét vesszük, de most ennek a valószínűségi változónak nemcsak a második momentumát számoljuk ki, mint tettük a Csebisev egyenlőtlenség alkalmazásában, hanem a negyediket is. Látni fogjuk, hogy ekkor érdekes új eredményeket kapunk.

Vezessük be a következő jelöléseket. Legyenek ξ_{1}, ξ_{2}, …, független, egyforma eloszlású valószínűségi változók, S_{n} = ξ_{1} + ⋯ + ξ_{n}. Tegyük fel, hogy Eξ_{1} = 0, és vizsgáljuk az

E (\frac{S_{n}}{n} )^{2} , E (\frac{S_{n}}{n} )^{4} és P (\frac{|S_{n}|}{n} > ε) = P (|\frac{S_{n}}{n} − Eξ_{1}| > ε) , ε > 0

kifejezéseket. Az utolsó valószínűség vizsgálatában nem jelent megszorítást az Eξ_{1} = 0 feltétel, mert a ξ_{j} valószínűségi változókat a ξ_{j} − Eξ_{j} valószínűségi változókkal helyettesítve az általános esetet erre a speciális esetre redukálhatjuk.

Var \frac{S_{n}}{n} = \frac{1}{n^{2}} Var S_{n} = \frac{n}{n^{2}} Var ξ_{1} = \frac{1}{n}Var ξ_{1}, P (|\frac{S_{n}}{n} | > ε) ≤ \frac{Var ξ_{1}}{nε^{2}} .

Innen következik, hogy lim_{n→∞} P (|\frac{S_{n}}{n} | > ε) = 0, tehát érvényes a nagy számok gyenge

törvénye.

E (\frac{S_{n}}{n} )^{4} = \frac{1}{n^{4}} E(ξ_{1} + ⋯ + ξ_{n})^{4},

E(ξ_{1} + ⋯ + ξ_{n})^{4} = ∑_{k=1}^{n} Eξ_{k}^{4} + 6 ∑_{\begin{matrix}1≤j,k≤n \\ j≠k \end{matrix}} Eξ_{j}^{2}Eξ_{k}^{2} + 4 ∑_{\begin{matrix}1≤j,k≤n \\ j≠k \end{matrix}} \underbrace{Eξ_{j}^{3}Eξ_{k}}_{=0}

+ 4 ∑_{1≤j,k,l≤n j,k,l különböző számok} \underbrace{Eξ_{j}^{2}Eξ_{k}Eξ_{l}}_{=0}

+ ∑_{1≤j,k,l,m≤n j,k,l,m különböző számok} \underbrace{Eξ_{j}Eξ_{k}Eξ_{l}Eξ_{m}}_{=0}

= nEξ_{1}^{4} + 6n(n − 1)(Eξ_{1}^{2})^{2},

ezért

P (|\frac{S_{n}}{n} | > ε) ≤ \frac{\frac{1}{n}Eξ_{1}^{4} + 6 (1 − \frac{1}{n})(Eξ_{1})^{2})}{n^{2}ε^{4}} ≤ \frac{const.}{n^{2}ε^{4}} .

Innen következik, hogy ∑_{n=1}^{∞} P (|\frac{S_{n}}{n} | > ε) < ∞ minden ε > 0 számra, és a Borel–

Cantelli lemma (könnyebbik feléből) következik, hogy minden ε > 0 számra és majdnem

minden ω ∈ Ω pontban teljesül, hogy |\frac{S_{n}(ω)}{n}| ≤ ε, ha n ≥ n_{0}(ω). Alkalmazva ezt a

relációt minden ε = \frac{1}{k} számra k = 1, 2, …, kapjuk a nagy számok erős törvényét, melyet az alábbi tételben fogalmazunk meg.

A nagy számok erős törvényéről szóló tétel gyenge formája: Legyen ξ_{1}, ξ_{2}, …, független egyforma eloszláaú valószínűségi változók sorozata egy (Ω, A, P) valószínűségi mezőn, melyekre teljesül az Eξ_{1}^{4} < ∞ feltétel, és vezessük be az S_{n} = ∑_{j=1}^{n} ξ_{j} valószínűségi

változókat. Ekkor az \frac{S_{n}(ω)}{n} valószínűségi változók majdnem minden ω ∈ Ω-ra konvergálnak ez Eξ_{1}, számhoz, azaz ezek a valószínűségi változók teljesítik a nagy számok gyenge törvényét.

Megfogalmazom a nagy számok gyenge törvényét kimondó tételt eredeti, éles formájában is.

A nagy számok erős törvényét kimondó tétel. Legyen ξ_{1}, ξ_{2}, …, független

egyforma eloszlású valószínűségi változók sorozata, és definiáljuk az S_{n} = ∑_{k=1}^{n} ξ_{k}, n =

1, 2, …, részletösszegeket. Az \frac{S_{n}(ω)}{n}, n = 1, 2, …, sorozat akkor és csak akkor konvergál pozitív valószínűséggel, ha E|ξ_{1}| < ∞. Ha E|ξ_{1}| < ∞, akkor ez a sorozat teljesíti a nagy számok erős törvényét, azaz

lim_{n→∞} \frac{S_{n}(ω)}{n} = Eξ_{1} majdnem minden ω ∈ Ω-ra.

Láttuk, hogy a nagy számok különböző törvényeit kimondó tételekben az összeadandók momentumairól teszünk fel bizonyos feltételeket. Sőt, az utoljára kimondott tétel a nagy számok erős törvényéről, egyben jelzi azt, hogy ez a feltétel nemcsak elégséges, hanem szükséges feltétel is. Felmerülhet a kérdés, miért játszik olyan fontos szerepet a momentumok létezése ezekben az eredményekben.

A nagy számok törvényei olyan állítást fogalmaznak meg, hogy független valószínűségi változók átlagai egyfajta tipikus viselkedést mutatnak, amelyikben az egyes összeadandók hatása önmagában nem jelentős, azaz nagy valószínűséggel nem fordulhat elő, hogy van az összegben olyan kiugróan nagy értéket felvevő tag, melynek hatása összemérhető az összes többi tag hatásával. Márpedig az, hogy egy valószínűségi változó valamely momentuma kisebb egy adott számnál olyan tulajdonságot fogalmaz meg, mely szerint a valószínűségi változó kis valószínűséggel vesz fel nagy értékeket. Ahhoz, hogy finomabb vizsgálatokat el tudjunk végezni, ki kell tudnunk fejezni a momentumok végességét az eloszlásfüggvények nyelvén. A következő lemma állítása érdekes lesz a nagy számok erős törvényének a bizonyításában.

Lemma. A ξ valószínűségi változó abszolut értékének akkor és csak akkor létezik várható

értéke, azaz akkor és csak akkor teljesül az E|ξ| < ∞ reláció, ha ∑_{n=1}^{∞} P (|ξ| > n) < ∞.

Kiegészítés. Az alább ismertetendő bizonyítás finomításával be lehet látni, hogy a |ξ| valószínűségi változónak akkor és csak akkor van véges második momentuma, ha

∑_{n=1}^{∞} nP (|ξ| > n) < ∞. Általánosabban E|ξ|^{k} < ∞ valamilyen k = 1, 2, …, számra akkor és csak akkor, ha ∑_{n=1}^{∞} n^{k−1}P (|ξ| > n) < ∞. De ezen állítások bizonyítását,

melyekre nem lesz szükségünk elhagyjuk.

A Lemma bizonyítása: Tekintsük először azt a speciális esetet, amikor a ξ valószínűségi változó csak egész értékeket vesz fel. Ekkor az E|ξ| < ∞ reléció definició szerint

akkor és csak akkor teljesül, ha ∑_{n=0}^{∞} nP (|ξ| = n) < ∞. Ezt úgy is írhatjuk, hogy

∑_{n=0}^{∞} n (P (|ξ| > n − 1) − P (ξ < n)) < ∞, és bármely rögzített N egész számra

∑_{n=0}^{N} nP (|ξ| = n) = ∑_{n=0}^{N} n (P (|ξ| > n − 1) − P (|ξ| > n)) = ∑_{n=0}^{N−1} P (|ξ| > n)−NP (|ξ| > N).

(∗)

Ha E|ξ| = ∞, akkor ∑_{n=1}^{∞} P (|ξ| > n) = lim_{N→∞} ∑_{n=0}^{N−1} P (|ξ| > n) ≥ lim_{N→∞} ∑_{n=0}^{N} nP (|ξ| = n) =

∞ a (∗) reláció alapján. Ha E|ξ| < ∞, akkor NP (|ξ| > N) ≤ E|ξ| minden N-re,

azaz az előző kifejezésnek van egy N-től független felső becslése. Ezért ∑_{n=1}^{∞} P (|ξ| >

n) = lim_{N→∞} ∑_{n=0}^{N−1} P (|ξ| > n) ≤ lim_{N→∞} ∑_{n=0}^{N} nP (|ξ| = n) + const. < ∞, szintén a (∗) reláció

alapján.

Egy általános ξ valószínűségi változó esetén definiáljuk a xi_{1} és ξ_{2} valószínűségi változókat úgy, hogy k ≤ |xi| < k + 1 esetén ξ_{1} = k, ξ_{2} = k + 1, k = 0, 1, 2, . . .. Ekkor ξ_{1} ≤ |ξ| ≤ ξ_{2}, és ξ_{2} −ξ_{1} ≡ 1, ezért az Eξ_{1}, E|ξ| és Eξ_{2} várható értékek egyszerre végesek

vagy végtelenek. Továbbá ∑_{n=0}^{∞} P (|xi| > n) = ∑_{n=0}^{∞} P (ξ_{2} > n, ezért a Lemma állítása az

általános esetben következik annak már bebizonyított speciális esetéből.

Megmutatjuk az előbbi feladat eredményének és a Borel–Cantelli lemma segítségével, hogy amennyiben E|ξ_{1}| = ∞, akkor a ξ_{1} valószínűségi változóval azonos eloszlású ξ_{j}, j = 1, 2, …, független valószínűségi változók nem teljesítik a nagy számok erős

törvényét. Pontosabban azt állítjuk, hogy ebben az esetben az S_{n}(ω) = ∑_{j=1}^{n} ξ_{j}(ω),

n = 1, 2, …, összegekre az S_{n}(ω) majdnem minden ω ∈ Ω pontban nem konvergens. Valóban, az előbb megfogalmazott eredmény, és a ξ_{j} valószínűségi változók azonos

eloszlása miatt az E|ξ_{1}| = ∞ feltételből következik, hogy ∑_{n=1}^{∞} P (|ξ_{1}| > n) = ∑_{n=1}^{∞} P (|ξ_{n}| >

n) = ∞. Ezért, és a ξ_{n} valószínűségi változók függetlensége miatt a Borel–Cantelli lemmából következik, hogy majdnem minden ω ∈ Ω-ra |ξ_{n}(ω)| > n végtelen sok az (ω elemi eseménytől függő) n indexre. Valóban, tegyük fel, hogy valamely ω ∈ Ω

elemi eseményre lim_{n→∞} \frac{S_{n}(ω)}{n} = a valamilyen véges a számra, amelyik értéke függhet

az ω elemi eseménytől. Ekkor viszont a lim_{n→∞} \frac{S_{n−1}(ω)}{n} = a reláció is teljesül, ahonnan lim_{n→∞} (\frac{S_{n}(ω)}{n} − \frac{S_{n−1}(ω)}{n}) = lim_{n→∞} \frac{ξ_{n}(ω)}{n} = 0. Ez a reláció viszont, mint láttuk egy 1

valószínűségi halmazon nem teljesül.

Láttuk, hogy mind a nagy számok gyenge mind a nagy számok erős törvényének bizonyításához arra van szükségünk, hogy képesek legyünk független (és egyforma elosz-

lású), nulla várható értékű ξ_{1}, ξ_{2}, …, valószínűségi változók S_{n} = ∑_{j=1}^{n} ξ_{j}, n = 1, 2, …,

összegének eloszlásfüggvényére jó becslést tudjunk adni. Pontosabban arra van szükségünk, hogy jól meg tudjuk becsülni minden n indexre és rögzített ε > 0 számra a P (|S_{n}| > εn) valószínűségeket. Valójában a nagy számok erős törvényének a bi-

zonyításában hasznosabb, ha a P ( sup_{1≤m≤n} |S_{m}| > εn) valószínűségeket tudjuk jól meg-

becsülni. Első látásra azt gondolhatnánk, hogy az ilyen valószínűségek becslésére alkalmazhatnánk a centrális határeloszlástételt. Valójában a helyzet bonyolultabb.

A centrális határeloszlástétel jó aszimptotikát ad a P (S_{n} > x\sqrt{n}) valószínűségekre nagy n indexre, és rögzített x számra. De szabad-e rögzített x helyett n-től függő x_{n} = ε\sqrt{n} számot írni, és alkalmazni formálisan a centrális határeloszlásban szereplő képletet nem törődve az x_{n} számnak az n indextől való függésével? Az, hogy e kérdés felvetésénél nem formális kötőzködésről van szó mutatja a következő egyszerű példa: Legyenek ξ_{1}, ξ_{2} …, független egyforma eloszlású valószínűségi változók, melyekre P (ξ_{1} = 1) =

P (ξ_{1} = −1) = \frac{1}{2}, S_{n} = ∑_{j=1}^{n} ξ_{j}. Ekkor a p_{n}(x) = P (S_{n} ≥ nx) valószínűségre p_{n}(x) = 0,

ha x > 1, és p_{n}(x) = 2^{−n}, ha x = 1. (Az x < 1 esetben is jó aszimptotikus formulát lehet adni a p_{n}(x) mennyiségre, de ahhoz külön vizsgálódás lenne szükséges, ezért ezt most nem tesszük.) Ez a példa azt mutatja, hogy a p_{n}(x) függvény nem úgy viselkedik, ahogy a centrális határeloszlástételből adódó formális analógia sugallná. A P (S_{n} ≥ nx) alakú valószínűségek vizsgálatával a valószínűségszámítás egyik fontos és érdekes fejezete a nagy eltérések elmélete foglalkozik. Ez az elmélet nem témája a jelen előadássorozatnak.

A nagy számok erős törvényének a bizonyítását nem dolgozom ki. Mindössze azt teszem, hogy megfogalmazom a valószínűségszámítás egy fontos egyenlőtlenségét, melynek az itt nem tárgyalt bizonyítása is tanulságos, és a részletek kidolgozása nélkül jelzem, hogyan következik a Kolmogorov egyenlőtlenségből a nagy számok erős törvénye.

Kolmogorov egyenlőtlenség. Legyenek ξ_{1}, …, ξ_{n} független, (nem feltétlenül egy-

forma eloszlású) valószínűségi változók, Eξ_{k} = 0, Eξ_{k}^{2} = σ_{k}^{2}, S_{k} = ∑_{p=1}^{k} ξ_{p}, k = 1, …, n.

Ekkor

P ( sup_{1≤k≤n} |S_{k}| ≥ x) ≤ \frac{ES_{n}^{2}}{x^{2}} = \frac{∑_{k=1}^{n} σ_{k}^{2}}{x^{2}}

minden x > 0-ra.

Érdemes megjegyezni, hogy a Kolmogorov egyenlőtlenség ugyanazt a felső becslést adja annak valószínűségére, hogy az S_{k} részletösszegek szuprémuma nagyobb mint valamilyen x > 0 szám, mint amit a Csebisev egyenlőtlenség ad annak az eseménynek a valószínűségére, hogy az utolsó tag S_{n} nagyobb, mint x. Természetesen

P ( sup_{1≤k≤n} |S_{k}| > x|) ≥ P (S_{n}| > x|) ,

de mint ahogy a Kolmogorov és Csebisev egyenlőtlenség összehasonlítása is sugallja a fenti egyenlőtlenség baloldala nem sokkal nagyobb mint a jobboldala.

A nagy számok erős törvényének bizonyításvázlata a Kolmogorov egyenlőtlenség segítségével. Természetes gondolat szétválasztani a ξ_{n} valószínűségi változók túl nagy és nem túl nagy értékeinek a hatását a bizonyításban. Ez sugallja, hogy érdemes a ξ_{n} valószínűségi változók következő felbontását venni: ξ_{n} = ξ_{n}I(|ξ_{n}| ≤ n)+ξ_{n}I(|ξ_{n}| > n) = ξ′_{n} +ξ′′_{n}, ahol I(A) egy A halmaz indikátorfüggvényét jelöli. Azt, hogy a ξ_{n} valószínűségi változó értékeit az n szinten csonkítottuk az teszi természetessé, hogy az utolsó kitűzött

feladat szerint az E|ξ_{1}| < ∞ feltétel ekvivalens a ∑_{n=1}^{∞} P (ξ′′_{n} = 0) = ∑_{n=1}^{∞} P (|ξ_{n}| >

n) = ∑_{n=1}^{∞} P (|ξ_{1}| > n) < ∞ feltétellel, ami azt jelenti, hogy egy valószínűséggel, a

ξ′′_{n} valószínűségi változók véges sok kivétellel nullával egyenlőek. Ez azt jelenti, hogy elég a véges szórással rendelkező ξ′_{n} valószínűségi változók összegeinek maximumára jó becslést adni. Ez lehetséges a Kolmogorov egyenlőtlenség segítségével, ha jó becslést tudunk adni a ξ′_{n} valószínűségi változók várható értékére és szórásnégyzetére.

Némi nem túl nehéz, de itt nem tárgyalt számolás segítségével meg lehet mu-

tatni, hogy lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n} Eξ′_{k} = − lim_{n→∞} \frac{1}{n} ∑_{k=1}^{n} Eξ′′_{k} = 0, és ez lehetővé teszi a feladat

redukálását arra a problémára, hogy a ξ̄_{k} = ξ′_{k} − Eξ′_{k} valószínűségi változók S̄_{n} =

∑_{k=1}^{n} ξ̄_{k} összegei teljesítik a \frac{S̄_{n}}{n} → 0 relációt 1 valószínűséggel. Ez a redukció azért

hasznos, mert ekkor független, nulla várható értékű valószínűségi változók átlagát kell vizsgálni, és ekkor alkalmazhatjuk a Kolmogorov egyenlőtlenséget. Némi (az integrálok átrendezésén múló, de itt nem tárgyalt) számolás segítségével megmutatható, hogy tel-

jesül a ∑_{k=1}^{∞} \frac{Var ξ̄_{k}}{k^{2}} < ∞ azonosság. Ennek felhasználásával a Kolmogorov egyenlőtlenség

segítségével a következő becsléseket hajthatjuk végre.

P ( sup_{2^{n−1}<k≤2^{n}} |S_{k} − S_{2^{n−1}}| > ε2^{n−1}) = P ( sup_{1≤k≤2^{n−1}} |∑_{j=1}^{k} ξ_{j+2^{n−1}} | > ε2^{n−1})

≤ \frac{∑_{k=2^{n−1}+1}^{2^{n}} Var ξ_{k}}{ε^{2}2^{2(n−1)}} ≤ const. ∑_{k=2^{n−1}+1}^{2^{n}} \frac{Var ξ_{k}}{ε^{2}k^{2}} ,

ahonnan a ξ̄_{k} valószínűségi változók szórásnégyzetére felírt becslés alapján

∑_{n=1}^{∞} P ( sup_{2^{n−1}<k≤2^{n}} |S_{k} − S_{2^{n−1}}| > ε2^{n−1}) < ∞.

Ezért a Borel–Cantelli lemma alapján egy valószínűséggel

sup_{2^{n−1}<k≤2^{n}} |S_{k}(ω) − S_{2^{n−1}}(ω)| ≤ ε2^{n−1} véges sok (ω-tól függő) n index kivételével.

Innen viszont S_{N}(ω) ≤ ∑_{n: 2^{n−1}≤N} sup_{2^{n−1}<k≤2^{n}} |S_{k}(ω) − S_{2^{n−1}}(ω)| ≤ const. + 4Nε majd-

nem minden ω-ra egy csak ω-tól függő konstanssal. Mivel ez az állítás minden ε > 0-ra és N-re igaz, innen következik a nagy számok erős törvénye.

Annak szükséges és elégséges feltétele is ismert, hogy független egyforma eloszlású valószínűségi változók teljesítsék a nagy számok gyenge törvényét. Megfogalmazom ezt az eredményt, de az állítás bizonyítását elhagyom.

Tétel. Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók sorozata F eloszlásfüggvénnyel. Ezek a valószínűségi változók akkor és csak akkor tel-

jesítik a nagy számok gyenge törvényét, azaz a \frac{1}{n} ∑_{k=1}^{n} ξ_{k} átlag akkor és csak akkor kon-

vergál sztochasztikusan n → ∞ esetében egy a számhoz, −∞ < a < ∞, ha

lim_{x→∞} x [F (−x) + (1 − F (x))] = 0, és lim_{u→∞} ∫_{−u}^{u} xF ( dx) = a.

Ha összehasonlítjuk a nagy számok gyenge és erős törvényét azt látjuk, hogy a nagy számok gyenge törvénye némileg enyhébb megkötések mellett érvényes mint a nagy számok erős törvénye. Érdemes látni független, egyforma eloszlású valószínűségi változók olyan sorozatát, amelyik teljesíti a nagy számok gyenge, de nem teljesíti a nagy számok erős törvényét. Ilyen példát fogalmazok meg a következő nem kötelező házi feladatban. Egyben jelzem, hogyan lehet bebizonyítani azt, hogy ez a példa teljesíti a nagy számok gyenge törvényét anélkül, hogy felhasználnánk a nem bizonyított tételt a nagy számok gyenge törvényének szükséges és elégséges feltételéről.

Nem kötelező házi feladat

Legyen ξ_{k}, k = 1, 2, …, független, egyforma eloszlású valószínűségi változók soro-

zata, az f(x) = \frac{C}{x^{2} log |x|}, ha |x| > 2. f(x) = 0, ha |x| ≤ 2, képlettel megadott

sűrűségfüggvénnyel. (∫_{|x|>2} \frac{C dx}{x^{2} log |x|} = 1.) Definiáljuk az S_{n} = ∑_{k=1}^{m} ξ_{k}, n =

1, 2, …, részletösszegeket. Lássuk be, hogy E|ξ_{1}| = ∞, ezért ezek a valószínűségi változók nem teljesítik a nagy számok erős törvényét. Másrészt az \frac{S_{n}}{n} átlagok szto-

chasztikusan tartanak nullához, azaz minden ε > 0 számra P (|\frac{S_{n}}{n} | > ε) → 0, ha n → ∞.

Segítség: Legyen ξ̄_{k} = ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| ≤ a_{n}), ¯ ξ̄_{k} = ¯ ξ̄_{k}^{(n)} = ξ_{k}I (|ξ_{k}| > a_{n}), és S̄_{n} =

∑_{k=1}^{n} ξ̄_{k}, ¯ S̄_{n} = ∑_{k=1}^{n} ¯ ξ̄_{k}. Ekkor P (|S_{n}| > εn) ≤ P (|S̄_{n}| > \frac{ε}{2}n) + P (|¯S̄_{n}| > \frac{ε}{2}n) ≤

\frac{Var S̄_{n}}{\frac{ε^{2}}{4} n^{2}} + nP ( ¯ξ̄_{1} ≠ 0). Adjunk az a_{n} konstans alkalmas megválasztásával (például

a_{n} = n) jó becslést a P (|S_{n}| > nε) valószínűségre.

Természetesen felvetődik a következő kérdés: Legyenek ξ_{1}, ξ_{2}, …, független egy-

forma eloszlású valószínűségi változók, melyekre Eξ_{1} = 0. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k}, n =

1, 2, . . .. Ekkor a nagy számok gyenge törvénye szerint a \frac{S_{n}}{n} átlagok sztochasztikusan tartanak nullához, a nagy számok erős törvénye szerint pedig egy valószínűséggel is nullához tartanak. Hogyan lehet élesíteni a nagy számok gyenge illetve erős törvényét?

Pontosabban fogalmazva, milyen a_{n}, n = 1, 2, … sorozatokra mondhatjuk, hogy \frac{S_{n}}{a_{n}}

sztochasztikusan tart nullához, ha n → ∞? Milyen b_{n}, n = 1, 2, … sorozatokra mond-

hatjuk, hogy \frac{S_{n}}{b_{n}} egy valószínűséggel tart nullához, ha n → ∞? Az egyszerűség kedvéért

tegyük fel, hogy olyan valószínűségi változókat tekintünk, melyeknek van második momentumuk.

Az első kérdésre a válasz viszonylag egyszerű következménye a centrális határeloszlástételnek, és ezt tartalmazza a következő feladat. A második kérdésre a választ nehezebb megadni. Erre a kérdésre az alább megfogalmazott bizonyítás nélkül közölt iterált logaritmustétel adja meg a választ.

Feladat:

Legyenek ξ_{1}, ξ_{2}, …, független egyforma eloszlású valószínűségi változók, melyekre

Eξ_{1} = 0 és Eξ_{1}^{2} < ∞. Legyen S_{n} = ∑_{k=1}^{n} ξ_{k}, n = 1, 2, . . .. Ekkor pozitív valós

számok valamely a_{n} sorozatára a \frac{S_{n}}{a_{n}} valószínűségi változók akkor és csak akkor

tartanak sztochasztikusan nullához n → ∞ esetén, ha lim_{n→∞} \frac{a_{n}}{\sqrt{n}} = ∞.

Végül megfogalmazom a valószínűségszámítás egyik híres eredményét, az úgynevezett iterált logaritmus tételt

Iterált logaritmus tétel. Legyenek ξ_{1}(ω), ξ_{2}(ω), …, független, egyforma eloszlású valószínűségi változók valamilyen (Ω, A, P) valószínűségi mezőn, melyekre Eξ_{1}(ω) = 0, Var ξ_{1}(ω) = σ^{2} < ∞. Ekkor

lim sup_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = 1, majdnem minden ω ∈ Ω elemi eseményre,

és

lim inf_{n→∞} \frac{ξ_{1}(ω) + ⋯ + ξ_{n}(ω)}{\sqrt{2nσ^{2} log log n}} = −1, majdnem minden ω ∈ Ω elemi eseményre.