Folytonos idejű Markov láncok és folyamatok.

A folytonos idejű Markov láncok és Markov folyamatok elméletét nem fogom olyan részletesen tárgyani, mint a diszkrét Markov láncokét. Megelégszem néhány fontos probléma és eredmény ismertetésével.

Láttuk, hogy diszkrét idejű Markov láncok átmenetvalószínűségeinek megadásához elegendő az egy lépéses P (i, j) = P (1, i, j) átmenetvalószínűségeket definiálni. Ezek ismeretében az n-lépéses P (n, i, j) valószínűségeket ki lehet számolni az n lépésszám szerinti teljes indukcióval a

P (n, i, j) = ∑_{k:E_{k}∈E} P (n − 1, i, k)P (k, j)

Chapman–Kolmogorov azonosság segítségével tetszőleges n pozitív egész számra ki tudjuk számolni. Szeretnénk megtalálni ennek az eredménynek a folytonos idejű megfelelőjét. Ebben az esetben nincsen a 0 időpont után közvetlenül következő időpont. Viszont tekinthetünk egy kis h számot, és felírhatjuk a P (i, j, t+h) időpontbeli átmenetvalószínűségeket a Chapman–Kolmogorov azonosság segítségével. Ezután a h számmal 0-hoz tartva egy olyan differenciálegyenletet kapunk az átmenetvalószínűségekre, amely segít megérteni a Markov lánc átmenetvalószínűségeinek viselkedését. Abból a célból, hogy ezt jobban megértsük tekintsük először a véges sok E_{1}, …, E_{k} állapotot felvevő Markov láncokat, tekintsük ennek P (i, j, t) = P (X(t) = E_{j}|X(0) = E_{i}) átmenetvalószínűségeit, és az átmenetvalószínűségek által meghatározott Π(t) = (P (i, j, t)) k × k méretű (sztochasztikus) átmenet mátrixokat, t ≥ 0. Be fogjuk látni egy egyszerű Tétel segítségével, hogy amennyiben a Π(t) átmenet mátrixok rendszere differenciálható függvénye a t ≥ 0 időparaméternek, akkor a Markov lánc eloszlásainak viselkedése a t ≥ 0 egyszerűen megadható a időpont függvényében, mint egy lineáris differenciálegyenlet megoldása. Előtte megfogalmazok egy itt nem bizonyított eredményt, amely azt mondja ki, hogy az azt követő Tétel feltételei nagyon általános feltételek mellett teljesülnek.

Propozició. Ha egy véges állapotterű folytonos idejű Markov lánc Π(t) átmenetmátrixai, t ≥ 0, folytonosak a nullában, akkor azok deriválhatóak is minden t ≥ 0 számra.

Tétel véges állapotterű folytonos idejű Markov láncok eloszlásainak viselkedéséről. Legyen X(t), t ≥ 0 Markov lánc egy k (véges) elemű E_{1}, …, E_{k} állapottéren P (i, j, t) = P (X(t) = E_{j}|X(0) = E_{0}) átmenetvalószínűségekkel. Jelölje

Π(t) = ((P (i, j, t)), 1 ≤ i, j ≤ k, t ≥ 0,

a Markov lánc átmenetvalószínűség mátrixait. Tegyük fel, hogy a Π(t) mátrixnak létezik a (jobboldali, koordinátánként vett) differenciálhányadosa a t = 0 pontban. Jelölje a Q mátrix ezt a differenciálhányadost. Ha P (t) = (P (t, 1), …, P (t, k)), t ≥ 0, jelöli a Markov lánc t időpontbeli eloszlását, azaz, P (t, j) = P (X(t) = E_{j}), akkor ez a vektor értékű függvény teljesíti a

\frac{d}{dt}P (t) = P (t)Q, t ≥ 0,

differenciálegyenletet, amelynek megoldása

P (t) = P (0)e^{tQ},

ahol P (0) = (P (0, 1), …, P (0, k)) a Markov lánc eloszlása a nulla időpontban.

A tétel bizonyítása. A (stacionárius) Markov tulajdonságai miatt P (t + h) = P (t)Π(h), ahonnan \frac{P (t+h)−P (t)}{h} = P (t)\frac{Π(h)−I}{h}, ahol I az identitás mátrixot jelöli. Mivel Π(0) = I, a fenti azonosságból h → 0 határátmenettel következik a felírt differenciálegyenlet. (Némi plusz munkával, amit most elhagyunk be lehet bizonyítani, hogy a fenti h → 0 határátmenet negatív h számokra is igaz. Ez könnyen látható, ha először megmutatjuk, hogy P (t) a t változó folytonos függvénye.) A tétel második állítása a lineáris differenciálegyenleteknek az analízisben tanult megoldásából következik.

Első megjegyzés. A tételben szereplő Q mátrixot a Markov lánc infinitezimális operátorának hívják az irodalomban.

Második megjegyzés. Az e^{tQ} kifejezést a Q mátrix Jordan alakjának a felírása segítségével érdemes kiszámolni. Ha a Q mátrixnak megtaláljuk a J Jordán alakját, akkor a Q mátrixot reprezentálhatjuk Q = CJC^{−1} alakban alkalmas invertálható C mátrix segítségével, és ekkor e^{tQ} = Ce^{tJ}C^{−1}. A J Jordan alakú mátrix e^{tJ} alakú függvénye egyszerűen kiszámítható.

Feladat. Mutassuk meg, hogy a Q mátrix sorösszegei nullával egyenlőek.

Meg akarjuk mutatni, hogy a véges sok állapotot felvevő Markov láncokhoz hasonlóan, megszámlálhatóan sok állapotot felvevő Markov láncoknak az átmenetvalószínűségei is teljesítenek olyan differenciálegyenletrendszereket, amelyek fontos szerepet játszanak a Markov láncok viselkedésének a tanulmányozásában. Ebben az előadásban két fontos speciális modellt fogunk vizsgálni részletesebben, a születési és születési és halálozási folyamatokat. Megmutatjuk, hogy ezek ‘infinitezimálisan kis’ időintervallum alatt bekövetkezett megváltozásainak ismeretében fel lehet írni olyan differenciálegyenleteket, amelyek lehetővé teszik e folyamatok átmenetvalószínűségeinek kiszámítását tetszőleges időintervallumban.

Felmerül az a kérdés, hogy ezeknek a Markov folyamatok átmenetvalószínűségeit meghatározó differenciálegyenletekneknek egyértelmű-e a megoldásuk. Kiderült, hogy ez az egyértelműségi kérdés nem pusztán technikai probléma, hanem olyan a Markov láncok viselkedését leíró bonyolultabb jelenségekhez kapcsolódik, amelyek már a legegyszerűbb modellekben, a születési folyamatokban is megjelennek, és vizsgálatuk a Markov folyamatok elméletének fontos része. Két különböző differenciálegyenletrendszert, az úgynevezett Kolmogorov féle forward és Kolmogorov féle backward differenciálegyenleteket fogunk felírni és alkalmazni vizsgálatainkban. Később bebizonyítjuk és tárgyaljuk ezeket a differenciálegyenleteket általános Markov folyamatok esetében is.

Mind a születési mind a születési és halálozási folyamat olyan Markov lánc, amelynek állapottere az E = {0, 1, 2, … } természetes számok halmaza. A tekintett modellek olyan Markov láncok, amelyek egy populáció fejlődését írják le. Annak, hogy X(t) = j az a szemléletes tartalma, hogy a Markov lánc által leírt populáció létszáma a t időpontban j. A (stacionárius) Markov lánc teljes definiciójához meg kell adnunk a P (t, i, j) = P (X(t) = j|X(0) = 0) átmenetvalószínűségeket. Mind a születési mind a születési és halálozási folyamat definiciójával meg fogunk adni egy aszimptotikus formulát a P (t, i, j) átmenetvalószínűségek értékére kis t számok esetére a modell paramétereinek tekintett számok segítségével. Azt mondjuk, hogy egy Markov lánc születési vagy születési és halálozási folyamat az adott paraméterekkel, ha annak átmenetvalószínűségei teljesítik az előírt aszimptotikus formulát.

Születési folyamat definiciója. Azt mondjuk, hogy egy X(t), t ≥ 0, időben folytonos (stacionárius) Markov lánc az E = {0, 1, 2, … } állapottéren születési folyamat λ_{0}, λ_{1}, … paraméterekkel, ha P (t, i, j) = P (X(t) = j|X(0) = i) átmenetvalószínűségei teljesítik a

P (h, i, i + 1) = λ_{i}h + o(h), P (h, i, i) = 1 − λ_{i}h + o(h), és
P (h, i, j) = o(h), ha j ≠ i és j ≠ i + 1 h → 0 esetén

relációt.

A születési folyamat definiciójának szemléletes tartalma nyílvánvaló. A populáció tagjai nem halnak meg, és egy i elemű populációban kis h idő alatt 1 új egyed születhet közelítőleg λ_{i}h valószínűséggel.

Születési és halálozási folyamat definiciója. Azt mondjuk, hogy egy X(t), t ≥ 0, időben folytonos (stacionárius) Markov lánc az E = {0, 1, 2, … } állapottéren születési és halálozási folyamat λ_{0}, λ_{1}, … és μ_{0}, μ_{q}, … paraméterekkel, (μ_{0} = 0), ha P (t, i, j) = P (X(t) = j|X(0) = i) átmenetvalószínűségei teljesítik a

P (h, i, i + 1) = λ_{i}h + o(h), P (h, i, i − 1) = μ_{i}h + o(h),
P (h, i, i) = 1 − (λ_{i} + μ_{i})h + o(h),
és P (h, i, j) = o(h), ha j ≠ i és j ≠ i ± 1 h → 0 esetén

relációt.

A születési és halálozási folyamat definiciója a születési folyamathoz hasonlóan interpretálható. Egy i elemű populációban közelítőleg λ_{i}h valószínűséggel történik egy születés, μ_{i} valószínűséggel történik egy halálozás kis h idő alatt.

Tekintsünk egy születési folyamatot, λ_{0}, λ_{1}, … paraméterekkel tetszőleges kezdeti t = 0 időpontbeli eloszlással, és jelölje P_{n}(t) annak a valószínűségét, hogy a Markov lánc a t időpontban az n állapotban van. Ekkor

P_{n}(t + h) = (1 − hλ_{n})P_{n}(t) + hλ_{n−1}P_{n−1}(t) + o(h), ha n ≥ 1, és h → 0,

és

P_{0}(t + h) = (1 − λ_{0}h)P_{0}(t) + o(h), ha h → 0,

mert a t + h időpontban (elhanyagolhatóan kis valószínűségű eseményeket figyelment kívül hagyva) vagy úgy lehet a populációnak n eleme, hogy az n időpontban a populációnak n eleme van és az adott időintervallumban nem következett be születés, aminek valószínűsége P_{n}(t)(1 − λ_{n}h + o(h)) vagy a populációnak a t időpontban n − 1 eleme van, és az adott időintervallumban egy születés történt. Ez utóbbi esemény valószínűsége P_{n−1}(t)λ_{n−1}h + o(h). Átrendezve az első egyenletet kapjuk, hogy

\frac{P_{n}(t + h) − P_{n}(t))}{h} = −λ_{n}P_{n}(t) + λ_{n−1}P_{n−1}(t) + o(1), ha n ≥ 1, és h → 0,

ahonnan h → 0 határátmenettel kapjuk, hogy

P′_{n}(t) = −λ_{n}P_{n}(t) + λ_{n−1}P_{n−1}(t), ha n ≥ 1.  (1a)

Hasonlóan

P′_{0}(t) = −λ_{0}P_{0}(t).  (1b)

A születési folyamat átmenetvalószínűségeit megadó differenciálegyenletek fenti levezetésében nem fogalmaztuk meg azokat a feltételeket, amelyek szükségesek ahhoz, hogy a benne szereplő határátmeneteket végrehajthassuk. A születési és születési és halálozási folyamatok ismertetése után fogom tárgyalni azt, hogy milyen feltételek mellett érvényesek az ott felírt egyenletek és azok általánosításai.

Vegyük észre, hogy rögzítve egy i ≥ 0 számot és tekintve P_{i}(0) = 1, P_{j}(0) = 0, ha j ≠ i kezdeti feltételt, az (1a), (1b) differenciálegyenlet rendszer rekurzív módon megoldható. Azt kapjuk, hogy P_{j}(t) = 0 a 0 ≤ j < i esetben minden t ≥ 0 számra. Ezután indukcióval megoldható az (1a) egyenletet először az i paraméterre, majd ezután indukcióval j = i = 1, j = i + 2 számokra és így tovább.

Látszólag ilyen módon kielégítő leírását kapjuk ezáltal a tiszta születési folyamatoknak. Valójában számos kérdés nyitva maradt. Tisztáznunk kell, hogy a kapott megoldásrendszer teljesíti-e a Chapman–Kolmogorov egyenleteket, azaz tekinthető-e egy Markov lánc átmenetvalószínűségeinek. Erre a kérdésre igenlő a válasz, de a bizonyítást elhagyjuk. Ugyancsak érdekes kérdés, hogy a kapott megoldás teljesíti-e a

∑_{j=1}^{∞} P (t, i, j) = 1 egyenletet minden t ≥ 0 számra, ha ez a reláció teljesíti ezt az egyen-

letet t = 0 számra. Ez az összeg mindig kisebb vagy egyenlő, mint 1, de előfordulhat, hogy szigorúan kisebb, mint 1. Ennek szükséges és elégséges feltételét tartalmazza az alábbi tétel, amelynek bizonyítását elhagyom, de adok egy heurisztikus magyarázatot rá.

Tétel születési folyamatok viselkedéséről. Tekintsük egy λ_{0}, λ_{1}, …, paraméterekkel definiált X(t), t ≥ 0, születési folyamatot P (t, i, j) = P (X(t) = j|X(0) = i)

átmenetvalószínűségekkel. A ∑_{j=i}^{∞} P (t, i, j) = 1 azonosság teljesül minden t ≥ 0 számra,

ha ∑_{n=i}^{∞} \frac{1}{λ_{n}} = ∞. Ha ∑_{n=i}^{∞} \frac{1}{λ_{n}} < ∞, akkor ∑_{j=i}^{∞} P (t, i, j) < 1 minden t > 0 számra.

Az előző tétel annak a szükséges és elégséges feltételét adja meg, hogy a születési folyamat populációjának létszáma egy alkalmas véges időintervallumban pozitív valószínűséggel eléri a végtelent. Ha ez bekövetkezik valamely [0, t_{0}] időintervallumban, akkor

∑_{j=i}^{∞} P (t, i, j) < 1 minden t > t_{0} számra. Ha van ilyen t_{0} szám, akkor minden t_{0} > 0 ilyen

szám.

Az alábbi feladat segíthet az előző tétel okának megértésében.

Nem kötelező feladat. Tekintsünk egy időben folytonos, stacionárius Markov láncot valamely E = {E_{1}, E_{2}, … } állapottéren P (t, i, j) = P (X(t) = E_{j}|X(0) = E_{i}) átmenetvalószínűségekkel. Tegyük fel, hogy a P (t, j, j) folytonos függvény. Mutassuk, hogy ebben az esetben F (t) = P (X(u) = E_{j}minden 0 ≤ u ≤ t időpontra|X(0) = E_{j}) = e^{−λ_{j}t} alkalmas λ_{j} > 0 számmal, azaz az E_{j} állapotban való állandó tartózkodás hosszának ideje exponenciális eloszlású.

Segítség: Vegyük észre, hogy F (t + s) = F (t)F (s). Ha az F (t) függvény a nullában folytonos, akkor a fenti egyenletnek F (t) = e^{−λt}, λ > 0, alakú a megoldása.

A fenti feladat eredménye mutatja, hogy egy időben folytonos Markov folyamat egy időpontban exponenciális sok ideig tartozkódik. Egy születési folyamatban az n helyen való tartozkódás ξ_{n} ideje exponenciális eloszlású valószínűségi változó λ = λ_{n} paraméterrel. Továbbá ezek a valószínűségi változók különböző n indexekre függetlenek. Az i állapotból induló születési folyamat akkor és csak akkor éri el a végtelent véges idő

alatt, ha ∑_{n=i}^{∞} ξ_{n} < ∞. A valószínűségszámítás klasszikus eredményeiből (Kolmogorov

féle három sor tétel) lehet látni, hogy ez az összeg egy valószínűséggel divergál, ha

∑_{n=i}^{∞} \frac{1}{λ_{n}} = ∞, és egy valószínűséggel konvergál, ha ∑_{n=i}^{∞} \frac{1}{λ_{n}} < ∞.

A születési folyamat átmenetvalószínűségeit leíró (1a) és (1b) egyenletek a Kolmogorov féle forward egyenletek speciális esetei. Később tárgyalni fogom ennek az egyenletnek pontos megfogalmazását és bizonyítását. Ez az eredmény felveti azt a kérdést is, hogy van-e a olyan születési folyamat, amelynek átmenetvalószínűségeit nem lehet megtalálni a Kolmogorov féle forward egyenlet megoldásaiként, mert nem elégíti ki ennek az egyenlet érvényességéhez szükséges összes feltételt. Erre a kérdésre igenlő a válasz, de ennek okára csak heurisztikus magyarázatot adok, a részletes bizonyítást elhagyom.

A születési és halálozási folyamat hasonlóan vizsgálható a születési folyamatokhoz. Ha a születési és halálozási folyamat paraméterei λ_{0}, λ_{1}, …, illetve μ_{0}, μ_{1}, …, akkor annak P_{n}(t) valószínűsége, hogy a folyamat a t időpontban az n értéket veszi fel teljesíti a

P_{n}(t + h) = (1 − h(λ_{n} + μ_{n}))P_{n}(t) + hλ_{n−1}P_{n−1}(t) + hμ_{n+1}P_{n+1}(t) + o(h), ha n ≥ 1,

és h → 0, és

P_{0}(t + h) = (1 − λ_{0}h)P_{0}(t) + hμ_{1}P_{1}(t) + o(h), ha h → 0,

egyenleteket, ahonnan h → 0 határátmenettel kapjuk, hogy

P′_{n}(t) = −(λ_{n} + μ_{n})P_{n}(t) + λ_{n−1}P_{n−1}(t) + μ_{n+1}P_{n+1}(t), ha n ≥ 1.  (2a)

Hasonlóan

P′_{0}(t) = −λ_{0}P_{0}(t) + μ_{1}P_{1}(t).  (2b)

Ez a születési és halálozási folyamatról szóló Kolmogorov féle forward egyenlet, amelyet hasonlóan indokolhatunk, mint a születési folyamatokról szóló egyenletet. Ebben az esetben a megoldás nem írható fel olyan explicit módon, mint a születési folyamat esetén, és nem adható egyszerű univerzális válasz arra a kérdésre sem, hogy mikor jut el egy ilyen folyamat véges idő alatt pozitív valószínűséggel a végtelenbe.

A Kolmogorov féle backward egyenleteknek is először a születési és születési és halálozási folyamatok esetén érvényes alakját ismertetem röviden. A születési folyamatok esetében érvényes a

P (t + h, i, j) = (1 − λ_{i}h)P (t, i, j) + λ_{i}hP (t, i + 1, j) + o(h)

reláció érvényes, mert először a [0, h], majd a [h, t + h] intervallumot figyelve annak valószínűségét, hogy a születési folyamat t + h idő alatt az i állapotból a j állapotba jut úgy írhatjuk fel, mint annak a valószínűsége, hogy a folyamat a [0, h] idő alatt az i állapotot nem változtatja, majd t idő alatt az i állapotból a j állapotba jut, plusz annak a valószínűsége, hogy a [0, h] idő alatt az i állapotból az i + 1 állapotba jut, majd t idő alatt az i+1 állapotból a j állapotba jut plusz egy o(h) nagyságú esemény valószínűsége. A tekintett események közül az első valószínűség körülbelül (1−λ_{i}h)P (t, i, j), a második pedig λ_{i}hP (t, i + 1, j). A felírt aszimptotikus relációból azt kapjuk h → 0 határátmenet segítségével, hogy

P′(t, i, j) = −λ_{i}P (t, i, j) + λ_{i}P (t, i + 1, j).  (3)

Ez a Kolmogorov féle backward egyenlet a születési folyamatra. A születési és halálozási folyamat esetében hasonló indolkással kapjuk, hogy

P (t + h, i, j) = (1 − λ_{i}h − μ_{i}h)P (t, i, j) + λ_{i}hP (t, i + 1, j) + μ_{i}hP (t, i − 1, j) + o(h),

ahonnan

P′(t, i, j) = −(λ_{i} + μ_{i})P (t, i, j) + λ_{i}P (t, i + 1, j) + μ_{i}P (t, i − 1, j).  (4)

A (3) és (4) formulában felírt backward egyenletek kapcsolata az (1a), (1b) illetve (2a), (2b) forward egyenletek kapcsolatának megértése alaposabb vizsgálatot igényel. Ennek érdekében először felírjuk a forward és backward egyenleteket az általános esetben

Az alábbiakban a Kolmogorov féle forward és backward egyenleteket bebizonyítjuk tetszőleges Markov láncokra. Érdemes ezt a kérdést kissé általánosabban vizsgálni, és nem feltétlenül stacionárius, időben folytonos, legfeljebb megszámlálható sok különböző értéket felvevő Markov láncokat tekinteni.

Legyen X(t), t ≥ 0, nem feltétlenül stacionárius Markov lánc egy véges vagy megszámlálhatóan végtelen E = {E_{1}, E_{2}, … } állapottéren, P (s, t, i, j) = P (X(t) = j|X(s) = i), 0 ≤ s ≤ t < ∞, átmenetvalószínűségekkel. Ezek az átmenetvalószínűségek teljesítik a

P (s, t, i, j) = ∑_{k:E_{k}∈E} P (s, u, i, k)P (u, t, k, j) s ≤ u ≤ t  (5)

Chapman–Kolmogorov egyenleteket. Megmutatjuk, hogy amennyiben az átmenetvalószínűségek teljesítenek bizonyos folytonosság jellegű feltételeket is, akkor kielégítenek bizonyos differenciálegyet rendszert is. Sőt két különböző differenciálegyenletrendszert is levezethetünk. Az egyiket, az úgynevezett Kolmogorov féle forward differenciálegyenletrendszert úgy kapjuk, hogy tekintük a \frac{P (s,t+h,i,j)−P (s,t,i,j)}{h} differenciahányadosokat, illetve ezek limeszeit h → 0 esetén, és a P (s, t + h, i, j) átmenetvalószínűséget úgy számoljuk ki a Chapman–Kolmogorov egyenlet segítségével, hogy követjük annak valószínűségét, hogy az s időpontban az E_{i} állapotban tartozkodó trejektória a t időpontban eljut valamely E_{k} állapotba, majd onnan h idő múlva az E_{j} állapotba jut. A másik egyenletrendszert, a Kolmogorov-féle backward differenciálegyenletrendszert úgy kapjuk, hogy a \frac{P (s,t,i,j)−P (s−h,t,i,j)}{h} differenciahányadosokat, illetve ezek limeszeinek viselkedését vizsgáljuk h → 0 esetén. Ebben az esetben a P (s−h, t, i, j) átmenetvalószínűséget úgy számoljuk ki a Chapman–Kolmogorov egyenlet segítségével, hogy követjük annak valószínűségét, hogy az s − h időpontban az E_{i} állapotban tartozkodó trejektória h időpont múlva eljut valamely E_{k} állapotba, majd onnan t−s idő múlva az E_{j} állapotba kerül.

Mind a Kolmogorov féle forward mind a Kolmogorov féle backward egyenlet teljesüléséhez bizonyos feltételeknek teljesülni kell. Először megfogalmazom azokat az 1a), 2a), 3a) feltételeket, amelyek teljesülése esetén be tudjuk bizonyítan a Kolmogorov féle forward egyenleteket, majd megfogalmazom és bebizonyítom ezeket az egyenleteket.

1a) feltétel: Minden E_{j} állapothoz létezik olyan c_{j}(t) ≥ 0 függvény, amelyre

lim_{h→0} \frac{[1 − P (t, t + h, j, j)]}{h} = c_{j}(t) minden t ≥ 0 számra.  (6)

2a) feltétel: Minden E_{j} és E_{k}, E_{j} ≠ E_{k}, állapotpárhoz és t időponthoz léteznek olyan folytonos p_{j,k}(t) ‘átmenet valószínűség’ függvények, melyekre teljesül, hogy

lim_{h→0} \frac{P (t, t + h, j, k)}{h} = c_{j}(t)p_{j,k}(t) j ≠ k  (7)

reláció, ahol c_{j}(t) az 1a) feltételben szereplő függvény. Továbbá,

∑_{k:E_{k}∈E} p_{j,k}(t) = 1, p_{j,j}(t) = 0 minden t ≥ 0 számra.

3a) feltétel: A 2a) feltételben megfogalmazott (7) relációban vett határértékben a konvergencia egyenletes a k változóban minden rögzített j indexre és t ≥ 0 időpontra.

Látni fogjuk, hogy a fenti feltételek teljesülése esetén fel tudunk írni egy differenciálegyenletrendszert, amelynek megoldása megadja a Markov lánc átmenetvalószínűségeit. Ez a hozzáállás természetes analogonja a véges állapotterű folytonos idejű Markov láncok eloszlásainak viselkedéséről szóló tételnek. A Markov lánc átmenetvalószínűségeit annak segítségével próbáljuk meghatározni, hogy az átmenetvalószínűség kis időtartam alatt bekövetkezett változásairól van információnk. Ez hasonló az említett tétel eredményéhez, amelyben a Markov lánc infinitezimális operátora segítségével határoztuk meg az átmenetvalószínűségeket. Hasonló szellemet tükröz a mechanika tudománya is, ahol egy rendszer mozgását az annak lokális kis idő alatt közelítőleg megadó differenciálegyenletek segítségével próbáljuk meghatározni.

A fent megfogalmazott 1a) és 2a) feltételek természetesek. Az 1a) feltevés azt fejezi ki, hogy kis idő alatt a Markov lánc csak kis valószínűséggel változtatja meg az állapotát, annak a valószínűsége, hogy megváltoztatja közelítőleg arányos a h időtartammal, és természetesen függhet attól, hogy melyik állapotban tartózkodik a Markov lánc. Az, hogy ez a valószínűség függhet a t időponttól, azzal függ össze, hogy a Markov lánc nem feltétlenül stacionárius. Az 1a) feltétel tartalmának jobb megértéséhez hozzájárulhat az alább megfogalmazott feladat is.

A 2a) feltétel azt fogalmazza meg, hogy ha a Markov lánc a t időpontban vagy egy ehhez közeli időpontban megváltoztatja az állapotát, és egy E_{j} állapotból a valamely más állapotba ugrik, akkor annak valószínűsége, hogy az új állapot valamely E_{k} állapot lesz, az közelítőleg valamely p_{j,k}(t) valószínűség. Értelemszerűen, p_{j,j}(t) = 0. A 3a) feltétel viszont tisztán technikai jellegű. Ez a feltétel a forward egyenlet gyengeségeit tükrözi. Van olyan Markov lánc, amelynek átmenetvalószínűségeit nem kaphatjuk meg az alább ismertetendő Kolmogorov féle forward egyenlet megoldásaként, mert a Markov lánc átmenet valószínűségei nem teljesítik a 3a) tulajdonságot.

A Kolmogorov féle forward differenciálegyenletek. Legyen X(t), t ≥ 0, (nem feltétlenül stacionárius) folytonos idejű Markov lánc egy E = {E_{1}, E_{2}, … } állapottéren P (s, t, i, j) = P (X(t) = E_{j}|X(s) = E_{i}) átmenetvalószínűségekkel. Ha ezek az átmenetvalószínűségek teljesítik az 1a), 2a) és 3a) feltételeket, akkor teljesítik az

\frac{∂P (s, t, i, j)}{∂t} = −c_{j}(t)P (s, t, i, j) + ∑_{k:E_{k}∈E} P (s, t, i, k)c_{k}(t)p_{k,j}(t)

egyenleteket is. Ezeket az egyenleket hívják Kolmogorov féle forward egyenleteknek.

Bizonyítás. Az (5) Chapman–Kolmogorov egyenlet alapján

P (s, t + h, i, j) = ∑_{k:E_{k}∈E} P (s, t, i, k)P (t, t + h, k, j).

Ennek az azonosságnak és a 3a) feltételben szereplő (6) formula alapján

\frac{P (s, t + h, i, j) − P (s, t, i, j)}{h}

= −c_{j}(t)P (s, t, i, j) + ∑_{k:E_{k}∈E, k≠j} P (s, t, i, k)\frac{P (t, t + h, k, j)}{h} + o(1),

ahol o(1) azt jelenti, hogy a maradéktag tart 0-hoz h → 0 esetben.Az a2) feltétel alapján meg lehet becsülni a \frac{P (k,j,t,t+h)}{h} törtek határértékét, és mivel h → 0 esetén ez a konvergencia egyenletes a 3a) feltétel alapján, és ∑_{k} P (s, t, i, k) ≤ 1, ezért a

lim_{h→0} P (s, t, i, k)\frac{P (t,t+h,k,j)}{h} = P (s, t, i, k)c_{k}(t)p_{k,j}(t) határérték alapján megkapjuk a for-

ward Chapman–Kolmogorov egyenletet. (A fenti érvelésben ∑_{k} P (s, t, i, k) ≤ 1 egyen-

lőtlenséget írtam és nem egyenlőséget. Ennek oka az, hogy nem akarunk kizárni olyan Markov láncokat, amelyekben a Markov lánc vége iHo alatt kiszalad a végtelenbe vagy egy határpontba. Láttuk, hogy ilyen lehetőség már a születési folyamatokban is megjelenhet.)

Rátérek a backward Kolmogorov egyenletek ismertetése. Ezek bizonyítása az alábbi 1b) és 2b) feltételeken alapul.

1b) feltétel: Minden E_{j} állapothoz létezik olyan c_{j}(t) ≥ 0 függvény, amelyre

lim_{h→0} \frac{[1 − P (t − h, t, j, j)]}{h} = c_{j}(t) minden t ≥ 0 számra.  (6′)

2b) feltétel: Minden E_{j} és E_{k}, E_{j} ≠ E_{k}, állapotpárhoz és t időponthoz léteznek olyan folytonos p_{j,k}(t) ‘átmenet valószínűség’ függvények, melyekre teljesül, hogy

lim_{h→0} \frac{P (t − h, t, j, k)}{h} = c_{j}(t)p_{j,k}(t) j ≠ k  (7′)

reláció, ahol c_{j}(t) a 2b) feltételben szereplő függvény. Továbbá,

∑_{k:E_{k}∈E} p_{j,k}(t) = 1, p_{j,j}(t) = 0 minden t ≥ 0 számra.

A fenti tulajdonságok természetes megfelelői az 1a) és 2a) tulajdonságoknak. Viszont nem fogalmaztam meg semmilyen a 3a) tulajdonságnak megfelelő feltételt. A következő eredményben megmutatom, hogy a Kolmogorov féle backward egyenlet érvényességéhez elegendő a fent megfogalmazott 1b) és 2b) tulajdonság.

A Kolmogorov féle backward differenciálegyenletek. Legyen X(t), t ≥ 0, (nem feltétlenül stacionárius) folytonos idejű Markov lánc egy E = {E_{1}, E_{2}, … } állapottéren P (s, t, i, j) = P (X(t) = E_{j}|X(s) = E_{i}) átmenetvalószínűségekkel. Ha ezek az átmenetvalószínűségek teljesítik az 1b) és 2b) feltételeket, akkor teljesítik az

\frac{∂P (s, t, i, j)}{∂s} = c_{i}(s)P (s, t, i, j) − c_{i}(s) ∑_{k:E_{k}∈E} P (s, t, k, j)p_{i,k}(s)

egyenleteket is. Ezeket az egyenleket hívják Kolmogorov féle backward egyenleteknek.

A tétel bizonyítása. Jelen esetben az (1) Chapman–Kolmogorov egyenletet a következő formában fogjuk használni:

P (s − h, t, i, j) = ∑_{k:E_{k}∈E} P (s − h, s, i, k)P (s, t, k, j).

Innen, és a (6′) formulából kapjuk, hogy

\frac{P (s − h, t, i, j) − P (s, t, i, j)}{h}

= −c_{i}(s)P (s, t, i, j) + ∑_{k:E_{k}∈E,k≠i} \frac{P (s − h, s, i, k)}{h}P (s, t, k, j) + o(1),  (8)

ahol o(1) azt jelenti, hogy a maradéktag 0-hoz tart, ha h → 0. A 2b) feltétel alapján lim_{h→0} \frac{P (s−h,s,i,k)}{h}P (s, t, k, j) = c_{i}(s)p_{i,k}P (s, t, k, j). Ha végrehajtjuk tagonként a határát-

menetet a (8) képlet jobboldalán, megkapjuk a backward Kolmogorov egyenlőtlenséget. A probléma az, hogy külön indoklást igényel ennek a tagonkénti határátmenetnek a jogossága. A következő érvelés mutatja, hogy ezt meg lehet tenni anélkül, hogy ehhez külön feltételeket kellene előírni. Ez rendkívül lényeges különbség a forward és backward Kolmogorov egyenletek között.

Tekintsünk egy elég nagy N számot, amelyre az is igaz, hogy N ≥ i. Akkor a (8) formula jobboldalán levő végtelen összeg N-nél nagyobb tagjainak hozadékát a következő módon lehet megbecsülni:

0 ≤ ∑_{k>N} \frac{P (s − h, s, i, k)}{h}P (s, t, k, j) ≤ ∑_{k>N} \frac{P (s − h, s, i, k)}{h} ≤ \frac{1 − ∑_{k=1}^{N} P (s − h, s, i, k)}{h}

= \frac{1 − P (s − h, s, i, i)}{h} − \frac{∑_{k:1≤k≤N, k≠i} P (s − h, s, i, k)}{h} → c_{i}(s) (1 − ∑_{k=1}^{N} p_{i,k}(s)) .

A fenti egyenlőtlenség első sorának végén megint egyenlőtlenséget írtam, mert csupán a

gyengébb ∑_{k=1}^{∞} P (s − h, i, k) ≤ 1 feltételt kívánom használni, nem követelem meg, hogy

pontos egyenlőség teljesüljön.

Mivel ∑_{k=1}^{∞} p_{i,k}(s) = 1, ezért tetszőleges ε > 0 számra az utolsó egyenlőtlenségben

becsült kifejezés limesze kisebb, mint ε, ha N ≥ N(ε). Innen következik, hogy a (8) azonosságban jobbodlalán el lehet végezni a tagonkénti határátmenet képzést. A tételt bebizonyítottuk.

Kolmogorov forward és backward egyenletei némileg egyszerűsödnek stationárius Markov folyamatok esetében. Ekkor c_{i}(t) = c_{i}, P (s, t, i, j) = P (t − s, i, j), p_{i,j}(t) = p_{i,j}, \frac{∂P (s,t,i,j)}{∂t} = P′(t − s, i, j) és \frac{∂P (s,t,i,j)}{∂s} = −P′(t − s, i, j). A születési folyamat esetén c_{i}(t) = λ_{i}, p_{i,i+1}(t) = 1, p_{i,j}(t) = 0, ha j ≠ i + 1. A születési és halálozási folyamat esetében c_{i}(t) = λ_{i} + μ_{i}, p_{i,i+1}(t) = \frac{λ_{i}}{λ_{i}+μ_{i}}, p_{i,i−1}(t) = \frac{μ_{i}}{λ_{i}+μ_{i}} és p_{i,j}(t) = 0, ha j ≠ i + 1 és j ≠ i − 1.

Röviden, a bizonyítások elhagyásával ismertetem, milyen megoldást ad a Kolmogorov féle forward és backward egyenlet a születési folyamat átmenetvalószínűségeinek a kiszámítására. Láttuk, hogy a forward egyenlet segítségével egyértelműen rekurzív módon egyértelműen kiszámolhatók az átmenetvalószínűségek. Be lehet látni (nem triviális módon) azt is, hogy ezek a megoldások teljesítik a Chapman–Kolmogorov egyenletet.

A Kolmogorov féle backward egyenlet nem oldható meg olyan explicit módszerrel, mint a forward egyenlet. De be lehet látni (szintén nem triviális módon), hogy a forward egyenlet megoldása egyben megoldása a backward egyenletnek is. Felmerül a kérdés, van-e a backward egyenletnek más megoldása is. A válasz igenlő abban az esetben, ha a születési folyamat olyan, hogy pozitív valószínűséggel véges idő alatt eljut a végtelenbe. Sőt a backward egyenletnek olyan megoldása is van, amelyik teljesíti a Chapman–Kolmogorov egyenletet, tehát valószínűségszámítási szempontból érdekes.

Az, hogy a backward egyenletnek van olyan megoldása, amely nem megoldása a forward egyenletnek szoros kapcsolatban van azzal a ténnyel, hogy a forward egyenlet teljesülésének feltételei között szerepelt az a 3a) feltétel, amely bizonyos egyenletességet követelt meg egy konvergenciában, míg a backward egyenletnek olyan megoldásai is lehetnek, amelyen nem teljesítenek egy ilyen feltételt. A backward egyenlet valószínűségszámítási szempontból érdekes megoldásának létezik természetes interpretációja. Rögzítsünk egy i állapotot, és ha a születési folyamat kifutott a végtelenbe, akkor azonnal ugorjon az i pontba, és onnan a tekintett születési folyamat fejődési törvényei szerint fejlődjön tovább.

Az előbb vázlatosan tárgyalt példa hátterében egy a Markov folyamatok elméletében fontos probléma rejtőzik. A tekintett Markov láncnak állapotterének a végtelen határpontja, és felmerül a kérdés, hogyan fejlődik a Markov folyamat azután, hogy egy határpontját elérte. Ez nehéz kérdés, és mint a fenti példa mutatja, már a legegyszerűbb modellekben is megjelenhet egy ilyen kérdés.