\magnification=\magstep1
\input amstex
\hsize=16truecm
\parskip=2.5pt plus 1pt
\TagsOnRight

\define\A{{\bold A}}
\define\BB{{\bold B}}
\define\DD{{\bold D}}
\define\T{{\bold T}}
\define\U{{\bold U}}
\define\({\left(}
\define\){\right)}
\define\[{\left[}
\define\]{\right]}
\define\e{\varepsilon}
\define\oo{\omega}
\define\const{\text{\rm const.}\,}
\define\Var{\text{\rm Var}\,}
\define\Cov{\text{\rm Cov}\,}
\define\VV{\tilde V}
\define\vv{\tilde v}
\define\eeta{\tilde\eta}
\define\supp {\sup\limits}
\define\inff{\inf\limits}
\define\summ{\sum\limits}
\define\prodd{\prod\limits}
\define\limm{\lim\limits}
\define\limsupp{\limsup\limits}
\define\liminff{\liminf\limits}
\define\bigcapp{\bigcap\limits}
\define\bigcupp{\bigcup\limits}
\def\Re{\text{\rm Re}\,}
\font\script=cmcsc10

\centerline{\bf Az inform\'aci\'osz\'am\'{\i}t\'as n\'eh\'any fontos
fogalma \'es eredm\'enye.}

\beginsection 1. Az entr\'opia \'es felt\'eteles entr\'opia fogalma
\'es tulajdons\'agai.

Annak \'erdek\'eben, hogy meg\'erts\"uk az entr\'opia fogalm\'at
\'es azt, hogy milyen probl\'em\'ak vezettek annak
megalkot\'as\'ahoz tekints\"uk a k\"ovetkez\H{o} k\'erd\'est.
Tudunk-e nyerni a tot\'on, ha j\'ol ismerj\"uk a tot\'oban
szerepl\H{o} csapatok erej\'et, \'es ez\'ert nagy
val\'osz\'{\i}n\H{u}s\'eggel meg tudjuk tippelni a
m\'erk\H{o}z\'esek eredm\'eny\'et? Mivel igaz\'an nagy nyerem\'enyt
csak telital\'alatos szelv\'ennyel lehet nyerni, foglalkozunk
azzal a k\'erd\'essel, hogy h\'any szelv\'enyt kell
kit\"olteni a telital\'alat el\'er\'ese \'erdek\'eben annak,
aki \'ert \'es annak aki nem \'ert a futballhoz. Azt v\'arjuk,
hogy egy futballhoz \'ert\H{o}nek sokkal jobbak a nyer\'esi
es\'elyei. Ez \'{\i}gy is van. De ahhoz, hogy ezt jobban
meg\'erts\"uk \'es a probl\'em\'at alaposabban vizsg\'alhassuk
el\H{o}sz\"or meg kell fogalmazni a k\'erd\'est pontosabban.

Ha biztos telital\'alatot szeretn\'enk el\'erni, akkor hi\'aba
tudjuk az eredm\'enyeket nagy, de nem 100 sz\'azal\'ekos
biztons\'aggal eltal\'alni,  c\'elunkat csak \'ugy \'erhetj\"uk el,
ha minden lehets\'eges kimenetre fogadunk. Ebben az esetben
teh\'at nem tudunk m\'ast tenni, mint egy olyan fogad\'o, aki
semmit sem tud az egyes m\'erk\H{o}z\'esek val\'osz\'{\i}n\H{u}
eredm\'eny\'er\H{o}l.
M\'as azonban a helyzet, ha megel\'egsz\"unk azzal, hogy nagy,
mondjuk $0.95$ val\'osz\'{\i}n\H{u}s\'eggel nyerj\"unk. Ekkor a
futballhoz \'ert\H{o} hat\'arozott el\H{o}nyben van a futballhoz
nem \'ert\H{o}vel szemben. Neki sokkal kevesebb szelv\'enyt kell
kit\"olteni e c\'el el\'er\'ese \'erdek\'eben, mint a m\'asiknak.
M\'asr\'eszt elk\'epzelhet\H{o}, hogy \'erdemes tot\'ozni, ha 10000
szelv\'eny kit\"olt\'es\'evel tudjuk biztos\'{\i}tani a majdnem
biztos nyer\'est, de nem \'erdemes akkor, ha ehhez 100000
szelv\'enyt kell kit\"olten\"unk.

A fenti k\'erd\'es term\'eszetesen elvezet a k\"ovetkez\H{o}
probl\'em\'ahoz. Tegy\"uk fel, hogy $n$ m\'erk\H{o}z\'es van, ezek
eredm\'enye egym\'ast\'ol f\"uggetlen, \'es meg tudjuk it\'elni,
hogy a p\'alyav\'alaszt\'o $p_1$,
a vend\'egcsapat $p_2$ val\'osz\'{\i}n\H{u}s\'eggel nyer,
\'es $p_3$ val\'osz\'{\i}n\H{u}s\'eggel lesz az eredm\'eny
d\"ontetlen. Tegy\"uk fel, hogy ezek a $p_1$, $p_2$ \'es $p_3$
val\'osz\'{\i}n\H{u}s\'egek mindegyik tal\'alkoz\'on ugyanazok
a sz\'amok, \'es az egyes m\'erk\H{o}z\'esek eredm\'enyei
egym\'ast\'ol f\"uggetlenek. Jel\"olj\"uk a p\'alyav\'alaszt\'o
nyer\'es\'enek bek\"ovetkezt\'et 1-gyel, a
ven\-d\'eg\-csa\-pa\-t\'et 2-vel, a d\"ontetlen eredm\'enyt
pedig $x$-szel,  \'ugy ahogy az a tot\'oban szok\'as. Arra
vagyunk kiv\'ancsiak, hogy h\'any tippet, h\'any $n$
hossz\'us\'ag\'u 1, 2, $x$ sorozatot kell megadnunk ahhoz, hogy
$p$ val\'osz\'{\i}n\H{u}s\'eggel ezen tippek valamelyike
tartalmazza az \"osszes m\'erk\H{o}z\'es helyes
v\'egeredm\'eny\'et. A $p$ sz\'am egy az 1 sz\'amn\'al kicsit
kisebb r\"ogz\'{\i}tett (azaz a m\'erk\H{o}z\'esek $n$
sz\'am\'at\'ol nem f\"ugg\H{o}) sz\'am,
\'es minket az \'erdekel, hogy k\"or\"ulbel\"ul h\'any tippet
kell megadnunk c\'elunk el\'er\'ese \'erdek\'eben akkor, ha $n$,
azaz a m\'erk\H{o}z\'esek sz\'ama nagyon nagy. Vil\'agos, hogy ez
a sz\'am f\"ugg a $p_1$, $p_2$ \'es $p_3$ sz\'amokt\'ol, azaz
att\'ol, hogy milyen biztons\'aggal tudjuk megtippelni az
eredm\'enyeket. Az, hogy semmit nem tudunk a lehets\'eges
v\'egeredm\'enyr\H{o}l azt jelenti, hogy $p_1=p_2=p_3=\frac13$.

El\H{o}sz\"or pongyol\'an fogalmazom meg az eredm\'enyeket,
\'es azokra egy heurisztikus indokl\'ast adok, majd megadom
az \'all\'{\i}t\'asok \'es felhaszn\'alt fogalmak pontos
megfogalmaz\'as\'at az \'altal\'anos esetben, \'es ismertetem
a prec\'{\i}z bizony\'{\i}t\'asokat.

Meg tudjuk mondani, hogyan kell kit\"olteni a szelv\'enyeket,
ha pontosan $k$ tippet tehet\"unk, \'es az a c\'elunk, hogy a
lehet\H{o} legnagyobb val\'osz\'{\i}n\H{u}s\'eggel legyen
telital\'alatunk. Ha $k=1$, akkor a m\'erk\H{o}z\'essorozat
legval\'osz\'{\i}n\H{u}bb eredm\'eny\'ere \'erdemes tippelni.
Ha $k=2$, akkor a k\'et legval\'osz\'{\i}n\H{u}bb eredm\'enyre
tippelj\"unk, \'es \'altal\'anos $k$ eset\'en a legjobb
strat\'egia a $k$ legval\'osz\'{\i}n\H{u}bb eredm\'enyre
fogadni. Ezut\'an ha meghat\'arozzuk, hogy melyik az a
legkisebb $k=k(n)$ sz\'am, amelyre  a $k$
legval\'osz\'{\i}n\H{u}bb eredm\'eny valamelyike legal\'abb $p$
val\'osz\'{\i}n\H{u}s\'eggel bek\"ovetkezik, akkor
megoldjuk a feladatot. Ennek a $k=k(n)$ sz\'amnak a pontos
meghat\'aroz\'asa azonban neh\'ez. Enn\'el sokkal
egyszer\H{u}bb az al\'abbi \'ervel\'es, amely a nagy
sz\'amok (gyenge) t\"orv\'enye seg\'{\i}ts\'eg\'evel
j\'o k\"ozel\'{\i}t\H{o} \'ert\'eket ad a keresett $k=k(n)$
sz\'amra.

Be fogjuk l\'atni, hogy akkor \'erhet\H{o} el, hogy majdnem
1~val\'osz\'{\i}n\H{u}s\'eggel lesz te\-li\-ta\-l\'a\-la\-tunk $n$
m\'erk\H{o}z\'es tippel\'ese sor\'an, ha k\"or\"ulbel\"ul $2^{Hn}$
szelv\'enyt t\"olt\"unk ki al\-kal\-mas m\'odon, ahol $H$ egy
a $p_1$, $p_2$ \'es $p_3$ val\'osz\'{\i}n\H{u}s\'egekt\H{o}l
f\"ugg\H{o} sz\'am. Azaz, exponenci\'alisan sok szelv\'enyt kell
kit\"olteni, de az hogy milyen $H$ egy\"utthat\'o szerepel a
kitev\H{o}ben att\'ol f\"ugg, hogy milyen biztons\'aggal tudjuk
eltal\'alni a m\'erk\H{o}z\'esek eredm\'eny\'et. Ennek a $H$
sz\'amnak a kisz\'am\'{\i}t\'asa vezet el az entr\'opia
fogalm\'anak be\-ve\-ze\-t\'e\-s\'e\-hez.

A m\'erk\H{o}z\'essorozat eredm\'enye egy $n$ hossz\'us\'ag\'u
v\'eletlen 1, 2 \'es $x$ jelekb\H{o}l \'all\'o sorozat, ahol
mindegyik jel a t\"obbiekt\H{o}l f\"uggetlen\"ul $p_1$
val\'osz\'{\i}n\H{u}s\'eggel vesz fel 1 $p_2$
val\'osz\'{\i}n\H{u}s\'eggel 2 \'es $p_3$
val\'osz\'{\i}n\H{u}s\'eggel $x$ \'ert\'eket. C\'elunk
viszonylag kev\'es sorozat kiv\'alaszt\'asa \'ugy, hogy annak
val\'osz\'{\i}n\H{u}s\'ege, hogy a megjelen\H{o} v\'eletlen
sorozat ezen sorozatok valamelyike legyen majdnem 1. Vegy\"uk
\'eszre, hogy a nagy sz\'amok (gyenge) t\"orv\'enye szerint
majdnem minden sorozat olyan, hogy k\"or\"ulbel\"ul $np_1$
darab 1 \'ert\'eket, $np_2$ darab 2 \'ert\'eket \'es
$np_3$ darab $x$ \'ert\'eket tartalmaz. Nevezz\"unk egy
ezzel a tulajdons\'aggal rendelkez\H{o} sorozatot tipikusnak.
Nagy $n$ sz\'amra el\'eg a tipikus sorozatokra tippelni, mert
annak a val\'osz\'{\i}n\H{u}s\'ege, hogy valamelyik nem tipikus
sorozat jelenik meg majdnem nulla. Ez\'ert azt kell
meghat\'aroznunk, hogy h\'any tipikus sorozat van.

A tipikus sorozatok sz\'am\'at a k\"ovetkez\H{o} heurisztikus
\'ervel\'es seg\'{\i}ts\'eg\'evel ha\-t\'a\-roz\-hat\-juk meg.
Egy r\"ogz\'{\i}tett tipikus sorozat megjelen\'es\'enek a
val\'osz\'{\i}n\H{u}s\'ege k\"or\"ulbel\"ul
$p_1^{np_1}p_2^{np_2}p_3^{np_3}$, a tipikus
sorozatok \"osszval\'osz\'{\i}n\H{u}s\'ege majdnem 1, ez\'ert
a tipikus sorozatok sz\'ama k\"or\"ulbel\"ul
$\frac1{p_1^{np_1}p_2^{np_2}p_3^{np_3}}=2^{nH}$,
ahol $H=-p_1\log p_1-p_2\log p_2-p_3\log p_3$. Itt \'es
a tov\'abbiakban is a $\log$ jel 2-es alap\'u logaritmust fog
jelenteni. A term\'eszetes logaritmust az $\ln$ kifejez\'es
fogja jel\"olni.

Megfogalmazom \'es bebizony\'{\i}tom a fenti heurisztikus
\'ervel\'es seg\'{\i}ts\'eg\'evel kapott eredm\'eny egy
ter\-m\'e\-sze\-tes \'altal\'anos\'{\i}t\'as\'at.
El\H{o}tte ismertetem az eredm\'enyben megjelen\H{o} entr\'opia
fogalm\'at.

\medskip\noindent
{\bf Entr\'opia definici\'oja.}\/ {\it Legyen $\xi$ egy
\'ert\'ekeit egy v\'eges vagy megsz\'aml\'alhat\'oan v\'egtelen
$X=\{x_1,x_2,\dots\}$ halmazon felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$P(\xi=x_j)=p(x_j)$, $j=1,2,\dots$, ahol $\summ_j p(x_j)=1$. A
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o entr\'opi\'aja a
$$
H(\xi)=-\sum_j p(x_j)\log p(x_j)
$$
esetleg v\'egtelen \'ert\'eket felvev\H{o} mennyis\'eg, ahol
$\log$ a 2-es alap\'u logaritmust jel\"oli.}

\medskip\noindent
{\bf 1.~Megjegyz\'es.} {\it K\'enyelmi okokb\'ol megengedj\"uk,
hogy az entr\'opia fenti definici\'oj\'aban $P(\xi=x_j)=0$ legyen
bizonyos $x_j$ \'ert\'ekekre. Annak \'erdek\'eben, hogy a
definici\'o ebben az esetben is \'ertelmes legyen bevezetj\"uk
a $0\log 0=0$ konvenci\'ot.}

\medskip\noindent
{\bf 2.~Megjegyz\'es.} {\it Ha t\"obb $\xi_1,\dots,\xi_k$ v\'eges
vagy megsz\'aml\'alhat\'o sok \'ert\'eket felvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'onk van, akkor ezek
egy\"uttes $H(\xi_1,\dots,\xi_k)$ entr\'opi\'aj\'at \'ugy
de\-fi\-ni\-\'al\-juk, hogy a $\xi_1,\dots,\xi_k$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o sorozatot term\'eszetes
m\'odon azonos\'{\i}tjuk a $(\xi_1,\dots,\xi_k)$ v\'eletlen
vektorral, \'es annak entr\'opi\'aj\'at defini\'aljuk, mint
a $H(\xi_1,\dots,\xi_k)$ entr\'opi\'at. Ter\-m\'e\-sze\-te\-sen
a tekintett v\'eletlen vektor eloszl\'as\'at a
$$
P((\xi_1,\dots,\xi_k)=(x^{(1)}_{i_1},\dots,x^{(k)}_{i_k}))
=P(\xi_1=x^{(1)}_{i_1},\dots,\xi_k=x^{(k)}_{i_k})
$$
k\'eplet defini\'alja minden
$x^{(1)}_{i_1},\dots,x^{(k)}_{i_k}$ sorozatra.}

\medskip
Vegy\"uk \'eszre, hogy egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o entr\'opi\'aja nem f\"ugg att\'ol, hogy $\xi$ milyen
\'ert\'ekeket vesz fel. Az csak a val\'osz\'{\i}n\H{u}s\'egi 
mez\H{o}nek a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal
meghat\'arozott partici\'oj\'at\'ol f\"ugg, azaz att\'ol a 
partici\'ot\'ol, amelynek elemei a $\xi$ val\'osz\'{\i}n\H{u}s\'egi 
v\'altoz\'o n\'{\i}v\'ohalmazai, vagyis azok a halmazok, ahol $\xi$ 
valamilyen r\"ogz\'{\i}tett \'ert\'eket vesz fel. Hasonl\'o 
megjegyz\'es \'erv\'enyes a k\'es\H{o}bb bevezetend\H{o} felt\'eteles 
entr\'opi\'ara is.

A k\"ovetkez\H{o} eredm\'enyt fogjuk bizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol.}
{\it Legyen $\xi$ egy \'ert\'ekeit valamely v\'eges
$X=\{x_1,x_2,\dots,x_r\}$ halmazon f\"olvev\H{o}
val\-\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o,
$\xi_1,\dots,\xi_n$ pedig f\"uggetlen, a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval azonos eloszl\'as\'u
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok sorozata. Ekkor
minden $\e>0$ \'es $\delta>0$ sz\'amhoz l\'etezik olyan
$n_0=n_0(\e,\delta)$ k\"usz\"obindex, hogy $n\ge n_0$ eset\'en
minden a $P((\xi_1,\dots,\xi_n)\in A)\ge\delta$ felt\'etelt
teljes\'{\i}t\H{o}
$A=\{(x^{(k)}_{j_1},\dots,x^{(k)}_{j_n}),\;1\le k\le L\}$
$X$ halmazbeli $n$-hossz\'us\'ag\'u sorozatokb\'ol
\'all\'o halmaz $L$ elemsz\'ama teljes\'{\i}ti az
$L=|A|\ge 2^{(1-\e)nH(\xi)}$ egyenl\H{o}tlens\'eget.

Megford\'{\i}tva, l\'etezik olyan
$\bar A=\{(x^{(k)}_{j_1},\dots,x^{(k)}_{j_n}),\;1\le k\le \bar L\}$
$\bar L$ darab $X$ halmazbeli $n$-hossz\'us\'ag\'u sorozatb\'ol
\'all\'o halmaz, amelyre $P((\xi_1,\dots,\xi_n)\in\bar A)\ge1-\delta$,
\'es az $\bar A$ halmaz $\bar L$ elemsz\'ama teljes\'{\i}ti az
$\bar L=|\bar A|\le 2^{(1+\e)nH(\xi)}$ egyenl\H{o}tlens\'eget.
A fenti egyenl\H{o}tlens\'egekben $H(\xi)$ a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o entr\'opi\'aj\'at jel\"oli.}

\medskip\noindent
{\it Megjegyz\'es.} A fenti t\'etel akkor is \'erv\'enyes, ha a
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o nem csak
v\'eges sok, hanem megsz\'aml\'alhat\'oan v\'egtelen sok \'ert\'eket
is felvehet. Egy kieg\'esz\'{\i}t\'esben ismertetem ennek az
\'altal\'anosabb eredm\'enynek a bizony\'{\i}t\'as\'at. Ez a
bizony\'{\i}t\'as n\'eh\'any \'uj gondolatot ig\'enyel. Egy
k\'es\H{o}bb t\'argyaland\'o h\'{\i}res eredm\'enynek, az
\'ugynevezett Breiman--McMillan t\'etelnek egy speci\'alis \'es
egyszer\H{u}en igazolhat\'o eset\'et fogjuk felhaszn\'alni.

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Jel\"olje $B$ az \"osszes olyan
$X$-beli elemekb\H{o}l \'all\'o $n$ hossz\'us\'ag\'u
$x_{j_1},\dots,x_{j_n}$ sorozatok halmaz\'at, amely
sorozatok legal\'abb $np(x_k)(1-\e/2)$ multiplicit\'assal
tartalmazz\'ak az $x_k$ jelet minden $1\le k\le r$ indexre, ahol
$p(x_k)=P(\xi=x_k)$. A nagy sz\'amok gyenge t\"orv\'enye sze\-rint
$P((\xi_1,\dots,\xi_n)\in B)\ge1-\frac\delta2$, ha
$n\ge n_0(\e,\delta)$ alkalmas $n_0(\e,\delta)$ k\"usz\"obindexszel.
Ez\'ert
$P((\xi_1,\dots,\xi_n)\in A\cap B)\ge\frac\delta2$, ha
$P((\xi_1,\dots,\xi_n)\in A)\ge\delta$. El\'eg bel\'atni, hogy
az $A\cap B$ halmaz sz\'amoss\'aga nagyobb, mint $2^{n(1-\e)H(\xi)}$.
Ennek \'erdek\'eben defini\'aljuk a k\"ovetkez\H{o} mennyis\'egeket.
Legyen $s(k,x^{(n)})$ az $x^{(n)}=(x_{j_1},\dots,x_{j_n})$ 
so\-ro\-zat\-ban lev\H{o}
$x_k$ jelek sz\'ama minden $1\le k\le r$ indexre. Ekkor minden
$x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A\cap B$, illetve
\'altal\'anosabban minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in B$ 
so\-ro\-zat\-ra
$$
\align
&P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))\\
&\qquad=\prod_{k=1}^r p(x_k)^{s_k(x)}
\le p(x_1)^{n(1-\e/2)p(x_1)}\cdots p(x_r)^{n(1-\e/2)p(x_r)}
=2^{-n(1-\e/2)H(\xi)},
\endalign
$$
\'es mivel $P((\xi_1,\dots,\xi_n)\in A\cap B)\ge\frac\delta2$, az
$A\cap B$ halmaz sz\'amoss\'aga nagyobb, mint
$\frac\delta2 2^{n(1-\e/2)H(\xi)}\ge 2^{n(1-\e)H(\xi)}$, ha az
$n_0(\e,\delta)$ k\"usz\"obindexet el\'eg nagyra v\'alasztjuk.

Olyan $\bar A$ halmazt, amelyre
$P((\xi_1,\dots,\xi_n)\in\bar A)>1-\delta$, \'es elemsz\'ama
teljes\'{\i}ti a k\'{\i}v\'ant fels\H{o} becsl\'est  v\'alaszthatuk
\'ugy, mint az \"osszes olyan $n$ hossz\'us\'ag\'u $X$-beli
elemeket tartalmaz\'o $(x_{j_1},\dots,x_{j_n})$ sorozatb\'ol
\'all\'o halmazt, amely sorozatok legfeljebb $np(x_k)(1+\e)$
multiplicit\'assal tartalmazz\'ak az $x_k$ jelet minden
$1\le k\le r$ indexre. Ism\'et a nagy sz\'amok gyenge
t\"orv\'eny\'ere hivatkozva kapjuk, hogy
$P((\xi_1,\dots,\xi_n)\in A)\ge1-\delta$, ha
$n\ge n_0(\e,\delta)$ alkalmas $n_0(\e,\delta)$ k\"usz\"obindexszel.
M\'asr\'eszt minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in \bar A$ sorozatra
$$
\align
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
&=\prod_{k=1}^r p(x_k)^{s_k(x)}
\ge p(x_1)^{n(1+\e)p(x_1)}\cdots p(x_r)^{n(1+\e)p(x_r)} \\
&=2^{-n(1+\e)H(\xi)},
\endalign
$$
\'es mivel az ilyen sorozatok \"osszval\'osz\'{\i}n\H{u}s\'ege
kisebb vagy egyenl\H{o} mint 1, innen k\"o\-vet\-ke\-zik, hogy az
$\bar A$ halmaz sz\'amoss\'aga kisebb, mint $2^{n(1+\e)H(\xi)}$.

\medskip
A fent bizony\'{\i}tott eredm\'enyt a k\"ovetkez\H{o} m\'odon is
interpret\'alhatjuk. Tekints\"uk egy $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval azonos eloszl\'as\'u,
f\"uggetlen  val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
$n$-hossz\'us\'ag\'u sorozatait, \'es v\'alasszuk ki e
v\'eletlen sorozatok $p$-ed r\'esz\'et alkalmas m\'odon, \'ugy
hogy csak viszonylag kev\'es sorozatot kelljen kiv\'alasztanunk. A
$p$-ed r\'esz kifejez\'es itt azt jelenti, hogy a kiv\'alasztott
sorozatok \"osszval\'osz\'{\i}n\H{u}s\'ege legal\'abb $p$. Az
ebben a feladatban szerepl\H{o} $p$ sz\'am teljes\'{\i}ti a
$0<p<1$ egyenl\H{o}tlens\'eget, egy\'ebk\'ent tetsz\H{o}legesen
v\'alaszthatjuk. Azt l\'attuk be, hogy c\'elunkat el\'erhetj\"uk
$2^{nH(\xi)+o(n)}$ a\-lkal\-ma\-san v\'alasztott sorozat
megad\'as\'aval, de kevesebbel m\'ar nem. Ennek az eredm\'enynek
megfogalmazhatjuk az al\'abbi k\"ovetkezm\'eny\'et. Ha a
tekintett v\'eletlen sorozatok nagy r\'esz\'et meg
akarjuk jel\"olni k\"ul\"onb\"oz\H{o}, de azonos hossz\'us\'ag\'u
v\'eletlen 0--1 sorozatokkal, ahol a `nagy r\'esz\'et'
kifejez\'es azt jelenti, hogy a sorozatok kis (alkalmasan
v\'alasztott) $\e$ val\'osz\'{\i}n\H{u}s\'egi r\'esz\'et
figyelmen k\'{\i}v\"ul hagyhatjuk, akkor az egyes sorozatokat
k\"or\"ulbel\"ul $nH(\xi)$ hossz\'us\'ag\'u 0--1 sorozatokkal
kell megjel\"oln\"unk. Ezt szok\'as \'ugy interpret\'alni, hogy
a tekintett v\'eletlen sorozat egyes tagjainak
a megnevez\'es\'ehez $H(\xi)$ bit sz\"uks\'eges, azaz ennyi
inform\'aci\'o kell annak megismer\'es\'ehez.

Olyan probl\'em\'at tekintett\"unk, amelynek vizsg\'alat\'aban
term\'eszetes m\'odon megjelent az entr\'opia fogalma.
Tekints\"uk ennek a probl\'em\'anak egy olyan v\'altozat\'at,
ahol az el\H{o}bb t\'argyalt feladathoz hasonl\'oan egy v\'eletlen
sorozatot akarunk nagy val\'osz\'{\i}n\H{u}s\'eggel eltalal\'alni,
de rendelkez\"unk bizonyos plusz inform\'aci\'oval. Nevezetesen
ismerj\"uk egy m\'asik, a minket \'erdekl\H{o} v\'eletlen
sorozattal kapcsolatban lev\H{o} v\'eletlen sorozat \'ert\'ekeit,
\'es ezt a plusz inform\'aci\'ot is fel k\'{\i}v\'anjuk haszn\'alni.
A probl\'ema jobb meg\'ert\'ese \'er\-de\-k\'e\-ben tekints\"uk
a kor\'aban vizsg\'alt tot\'oz\'asr\'ol sz\'ol\'o feladat egy olyan
v\'altozat\'at, amelyben ilyen k\'erd\'es mer\"ul fel.

A k\"ovetkez\H{o} feladatot vizsg\'aljuk. Megint egy
m\'erk\H{o}z\'essorozat eredm\'enyeire aka\-runk j\'ol tippelni a
tot\'on. Viszont a m\'erk\H{o}z\'esek el\H{o}tti napon az egyes
ta\-l\'al\-ko\-z\'o\-kon r\'esztvev\H{o} egy\"uttesek ifj\'us\'agi
csapatai is j\'atszanak egym\'as ellen, \'es annak eredm\'eny\'et
megismerhetj\"uk a tot\'oszelv\'eny kit\"olt\'ese el\H{o}tt. Az,
hogy az ifj\'us\'agi csapatok milyen eredm\'enyt \'ernek el, hogy
vannak felk\'esz\"ulve, inform\'aci\'ot ad a nagy csapatok
fel\-k\'e\-sz\"ult\-s\'e\-g\'e\-r\H{o}l is, \'es ez
megv\'altoztatja megit\'el\'es\"unket a lehets\'eges
v\'egeredm\'enyek va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-g\'e\-r\H{o}l.
A tot\'oszelv\'enyek kit\"olt\'es\'en\'el \'erdemes ezt az
inform\'aci\'ot is figyelembe venni. A k\'erd\'es az, hogy hogyan
vegy\"uk ezt figyelembe, \'es ezen plusz inform\'aci\'ok
felhaszn\'al\'asa eset\'en h\'any szelv\'enyt kell kit\"olten\"unk
annak \'erdek\'eben, hogy nagy val\'osz\'{\i}n\H{u}s\'eggel
telital\'alatot \'erj\"unk el.

Fogalmazzuk meg a feladatot pontosabban. Tekints\"uk $n$
m\'erk\H{o}z\'esp\'ar eredm\'enyeit, amelyeket jel\"olj\"unk a
$(\xi_l,\eta_l)$, $1\le l\le n$, jelp\'arokkal. (Az $l$-ik
m\'erk\H{o}z\'esp\'ar eredm\'enye a tot\'o $l$-ik
fordul\'oj\'aban szerepl\H{o} feln\H{o}tt \'es a nekik
megfelel\H{o} ifj\'us\'agi csapatok
m\'er\-k\H{o}\-z\'e\-s\'e\-nek az eredm\'enye, amelyeket
$\xi_l$-lel illetve $\eta_l$-lel jel\"ol\"unk.) Tegy\"uk fel,
hogy ezek a $(\xi_l,\eta_l)$ vektorok egym\'ast\'ol
f\"uggetlenek, \'es azonos eloszl\'as\'uak, tov\'abb\'a ezt
az eloszl\'ast ismerj\"uk. Vezess\"uk be az
$r(i,j)=P(\xi_l=i,\eta_l=j)$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge\-ket, ahol az $i$
\'es $j$ v\'altoz\'ok az 1, 2 \'es $x$
\'ert\'ekeket veheti fel. A k\'erd\'es az, hogy ismerve az
$\eta_1,\dots,\eta_n$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
\'ert\'ekeit, h\'any $n$ hossz\'us\'ag\'u 1, 2, $x$ sorozatot
kell (alkalmasan) a tot\'oszelv\'anyen megadni, ha azt akarjuk
el\'erni, hogy ezen tippsorozatok valamelyike majdnem
1 val\'osz\'{\i}n\H{u}s\'eggel megegyezzen a v\'eletlen
$\xi_1,\dots,\xi_n$ sorozattal. Most is feltessz\"uk, hogy a
m\'erk\H{o}z\'esek $n$ sz\'ama nagy.

El\H{o}sz\"or a feladat heurisztikus megold\'as\'at ismertetem,
majd megfogalmazok egy \'altal\'anosabb eredm\'enyt, \'es megadom
annak a bizony\'{\i}t\'as\'at.

Jel\"olje $p(i)=r(i,1)+r(i,2)+r(i,x)$ a $\xi_l$ \'es
$q(j)=r(1,j)+r(2,j)+r(x,j)$ az $\eta_l$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok eloszl\'as\'at, ahol $i$ \'es $j$ az 1, 2 \'es $x$
\'ert\'ekeket veszi fel, \'es jel\"olje
$r(i|j)=\frac{r(i,j)}{q(j)}=P(\xi_l=i|\eta_l=j)$ a $\xi_l$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o felt\'eteles eloszl\'as\'at
felt\'eve az $\eta_l$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'ert\'ek\'et. Tekints\"uk az olyan $y_{v_1}$,\dots, $y_{v_l}$
sorozatokat, amelyek k\"or\"ulbel\"ul $nq(j)$ darab $j$ jelet
tartalmaznak, ahol $j=1$, 2 vagy $x$. Ha az $\eta_1$,\dots,
$\eta_n$ sorozat, azaz az ifj\'us\'agi m\'erk\H{o}z\'esek
eredm\'enyeinek a sorozata ilyen ar\'anyban veszi fel ezeket
az \'ert\'ekeket, akkor
tippelj\"unk \'ugy, hogy az \"osszes olyan tippet megadjuk,
amelyekben azon k\"or\"ulbel\"ul $nq(j)$ m\'erk\H{o}z\'es
k\"oz\"ul, amelyeknek ifj\'us\'agi m\'erk\H{o}z\'es
megfelel\H{o}j\'eben az $\eta_l=j$ eredm\'eny sz\"uletett
k\"or\"ulbel\"ul $nq(j)r(i|j)=np(i,j)$ m\'erk\H{o}z\'es
eredm\'eny\'et  tippelj\"uk $i$-nek, $i=1,2$ vagy $x$. Ha az
$\eta_l$, $1\le l\le n$, m\'erk\H{o}z\'esek eredm\'enyei nem
teljes\'{\i}tik a k\'{\i}v\'ant felt\'etelt, akkor a
tot\'oszelv\'enyeket tetsz\H{o}legesen kit\"olthetj\"uk,
csup\'an arra \"ugyelve, hogy ne t\"olts\"unk ki t\'ul sok
szelv\'enyt.

A nagy sz\'amok t\"orv\'eny\'eb\H{o}l k\"ovetkezik, hogy az
adott m\'odon kit\"oltve a szelv\'enyeket majdnem egy
val\'osz\'{\i}n\H{u}s\'eggel lesz telital\'alatunk. Azt kell m\'eg
megbecs\"ul\"unk, hogy h\'any szelv\'enyt t\"olt\"ott\"unk ki. Ezt
az el\H{o}z\H{o} feladatban alkalmazott heurisztikus
\'ervel\'eshez hasonl\'oan tehetj\"uk meg. El\'eg csak azokat
az eseteket n\'ezni, amelyekben az $\eta_1,\dots,\eta_l$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'altal felvett
$y_{v_1},\dots,y_{v_n}$ eredm\'enyek k\"or\"ulbel\"ul $nq(j)$ $j$
eredm\'enyt tartalmaznak, $j=1,2$ vagy $x$. Ebben az esetben egy
olyan $\xi_1=x_{u_1},\dots,\xi_n=x_{u_n}$ eredm\'enynek, amelyre
tippelt\"unk a felt\'eteles val\'osz\'{\i}n\H{u}s\'ege
a $P(\cdot|\eta_1=y_{v_1},\dots,\eta_n=y_{v_n})$ felt\'eteles
eloszl\'as szerint k\"or\"ulbel\"ul
$\prodd_{i\in\{1,2,x\}}\prodd_{j\in\{1,2,x\}}r(i|j)^{nr(i,j)}$,
\'es mivel annak felt\'eteles val\'osz\'{\i}n\H{u}s\'ege a
tekintett felt\'eteles val\'osz\'{\i}n\H{u}s\'eg szerint, hogy
lesz telital\'alatunk majdnem 1, ez\'ert a kit\"olt\"ott
szelv\'enyek sz\'ama k\"or\"ulbel\"ul
$$
\prodd_{i\in\{1,2,x\}}\prodd_{j\in\{1,2,x\}}r(i|j)^{-nr(i,j)}
=2^{n\bar H},
$$
ahol $\bar H=-\summ_{i\in\{1,2,x\}}\summ_{j\in\{1,2,x\}}
r(i,j)\log\frac{r(i,j)}{q(j)}$. Teh\'at k\"or\"ulbel\"ul
$2^{n\bar H}$ szelv\'eny ki\-t\"ol\-t\'e\-s\'e\-vel tudunk majdnem
biztosan telital\'alatot el\'erni.

\medskip
Annak \'erdek\'eben, hogy a fenti heurisztikus t\'argyal\'asban
kapott eredm\'enyt pontosabban megfogalmazhassuk vezess\"uk be
a k\"ovetkez\H{o} fogalmat.

\medskip\noindent
{\bf A felt\'eteles entr\'opia definici\'oja.} {\it Legyen adva
k\'et $\xi$ \'es $\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amelyek \'ert\'ekeiket egy v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen $X=\{x_1,x_2,\dots\}$ illetve $Y=\{y_1,y_2,\dots\}$
halmazon veszik fel, \'es egy\"uttes eloszl\'asuk valamely
$r(x_i,y_j)=P(\xi=x_i,\eta=y_j)$, $x_i\in X$, $y_j\in Y$,
f\"uggv\'eny. Vezess\"uk be a
$q(y_j)=P(\eta=y_j)=\summ_{x_i\in X}r(x_i,y_j)$
val\'osz\'{\i}n\H{u}s\'egeket is minden $y_j\in Y$ \'ert\'ekre.
A $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o felt\'eteles
entr\'opi\'aja az $\eta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ora vonatkoz\'olag a
$$
H(\xi|\eta)=-\sum_{x_i\in X}\sum_{y_j\in Y}
r(x_i,y_j)\log\frac{r(x_i,y_j)}{q(y_j)}
$$
esetleg v\'egtelen \'ert\'eket felvev\H{o} mennyis\'eg, ahol
$\log$ a 2-es alap\'u logaritmust jel\"oli. A fenti defini\'oban
megengedj\"uk az $r(x_i,y_j)=0$ lehet\H{o}s\'eget bizonyos $(x_i,y_j)$
p\'arokra. Annak \'erdek\'eben, hogy a fenti \"osszeget ekkor is
\'ertelmezhess\"uk bevezetj\"uk a $0\log 0=0\log\frac00=0$
konvenci\'ot.}

\medskip\noindent
{\bf Megjegyz\'es.} {\it Abban az esetben, ha $H(\eta)<\infty$,
\'erv\'enyes a
$$
H(\xi|\eta)=-\sum_{x_i\in X}\sum_{y_j\in Y} r(x_i,y_j)\log r(x_i,y_j)
+\sum_{y_j\in Y} q(y_j)\log q(y_j)=H(\xi,\eta)-H(\eta)
$$
azonoss\'ag.}

\medskip
A k\"ovetkez\H{o} t\'etel megfogalmaz\'as\'anak \'erdek\'eben
vezess\"unk be n\'eh\'any jel\"ol\'est. Legyen adva egy 
$X=\{x_1,\dots,x_r\}$ halmaz, \'es jel\"olje $X^n$ az $X$ halmazbeli 
elemekb\H{o}l \'all\'o $n$ hossz\'us\'ag\'u $(x_{i_1},\dots,x_{i_n})$
sorozatok halmaz\'at, ahol $x_{i_k}\in X$ minden $1\le k\le n$ indexre.
Hasonl\'oan, legyen adva egy $Y=\{y_1,\dots,y_s\}$ halmaz, \'es
jel\"olje $Y^n$ az $y_{j_k}\in Y$, $1\le k\le n$, elemekb\H{o}l 
\'all\'o $n$ hossz\'us\'ag\'u $(y_{j_1},\dots,y_{j_n})$ sorozatok
halmaz\'at. To\-v\'ab\'b\'a, jel\"olje $X^n\times Y^n$ az
$(x^{(n)},y^{(n)})=((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))$,
$x^{(n)}\in X^n$, $y^{(n)}\in Y^n$ sorozatok halmaz\'at.
Adva egy $A\subset X^n\times Y^n$
halmaz \'es egy $(y_{j_1},\dots,y_{j_n})\in Y^n$ sorozat legyen
$A(y_{j_1},\dots,y_{j_n})$ az $A$ halmaz metszete az
$X^n\times\{(y_{j_1},\dots,y_{j_n})\}$ halmazzal, azaz
$$
A(y_{j_1},\dots,y_{j_n})=\{(x_{i_1},\dots,x_{i_n})\colon\;
((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))\in A\}.
$$
Jel\"olje $|A|$ egy (v\'eges) $A$ halmaz elemsz\'am\'at.

\medskip\noindent
{\bf T\'etel f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o \'es egy m\'asik f\"uggetlen
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-\-gi v\'altoz\'okb\'ol
\'all\'o v\'eletlen sorozat szerint tipikus sorozatok
sz\'am\'ar\'ol.} {\it Legyen adva egy $(\xi,\eta)$
v\'eletlen vektor, amelynek koordin\'at\'ai k\"oz\"ul $\xi$
\'ert\'ekeit egy $X=\{x_1,\dots,x_r\}$ $\eta$ pedig
egy $Y=\{y_1,\dots,y_s\}$ v\'eges halmazon
veszi fel. Legyen adva f\"ug\-get\-len \'es a $(\xi,\eta)$
p\'arral azonos eloszl\'as\'u
$((\xi_1,\eta_1),\dots,(\xi_n,\eta_n))$ v\'eletlen vektorok
egy so\-ro\-za\-ta. Ekkor minden $0<\e,\delta<1$
sz\'amp\'arhoz l\'etezik olyan $n_0=n_0(\e,\delta)$
k\"usz\"obindex, hogy minden $n\ge n_0$ sz\'amra igaz a
k\"ovetkez\H{o} \'all\'{\i}t\'as. Ha $B\subset Y^n$ \'es
$A\subset X^n\times Y^n$ olyan halmazok, amelyekre
$P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge\delta$
minden $(y_{j_1},\dots,y_{j_n})\in B$ sorozatra, akkor
l\'etezik olyan $B_1\subset B$ halmaz,
amely\-re $P((\eta_1,\dots,\eta_n)\in B_1)
\ge P((\eta_1,\dots,\eta_n)\in B)-\delta$, \'es
az $A(y_{j_1},\dots,y_{j_n})$ halmaz sz\'amoss\'aga
teljes\'{\i}ti az
$|A(y_{j_1},\dots,y_{j_n})|>2^{n(1-\e)H(\xi|\eta)}$
egyenl\H{o}tlens\'eget minden
$(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra.

A m\'asik ir\'any\'u egyenl\H{o}tlens\'eg
megfogalmaz\'as\'aban csak azt az ese\-tet tekintj\"uk,
amikor $B=Y^n$, ez\'ert $P((\eta_1,\dots,\eta_n)\in B)=1$.
L\'eteznek olyan $A\subset X^n\times Y^n$ \'es
$B_1\subset Y^n$ halmazok, amelyekre
$P((\eta_1,\dots,\eta_n)\in B_1)\ge1-\delta$,
$P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge1-\delta$
minden $(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra,
tov\'abb\'a az $A(y_{j_1},\dots,y_{j_n})$ halmaz
sz\'amoss\'aga teljes\'{\i}ti az
$|A(y_{j_1},\dots,y_{j_n})|\le2^{n(1+\e)H(\xi|\eta)}$
egyen\-l\H{o}t\-len\-s\'e\-get minden
$(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra.
A fenti egyenl\H{o}tlens\'egekben $H(\xi|\eta)$ a $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o
felt\'eteles ent\-r\'o\-pi\'a\-j\'at jel\"oli az $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ora
vo\-nat\-ko\-z\'o\-lag.}

\medskip\noindent
{\bf Feladat:} {\it Bizony\'{\i}tsuk be a fenti t\'etel olyan
\'elesebb form\'aj\'at, amelyben megengedj\"uk azt is, hogy
az $X$ \'es $Y$ halmazok megsz\'aml\'alhat\'oan v\'egtelen
sz\'amoss\'ag\'uak legyenek.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/ Vezess\"uk be az
$r(x_i,y_j)=P(\xi=x_i,\eta=y_j)$,
$q(y_j)=P(\eta=y_j)=\summ_{i=1}^r r(x_i,y_j)$
\'es $r(x_i|y_j)=P(\xi=x_i|\eta=y_j)=\frac{r(x_i,y_j)}{q(y_j)}$,
$1\le i\le r$, $1\le j\le s$, mennyis\'egeket. Adva egy
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in Y^n$ vektor, jel\"olje 
$s(y^{(n)},j)$ az $y^{(n)}$
sorozatban szerepl\H{o} $y_j$ elemek sz\'am\'at, $1\le j\le s$, \'es
defini\'aljuk a k\"ovetkez\H{o} $B_0\in Y^n$ halmazt:
$$
\align
B_0=\{y^{(n)}&=(y_{j_1},\dots,y_{j_n})\colon\; y^{(n)}\in Y^n,\;
s(y^{(n)},j)\ge(1-\tfrac\e4)nq(y_j) \\ 
&\qquad\qquad \text{ minden } 1\le j\le s \text{ indexre}\}.
\endalign
$$
Ekkor a nagy sz\'amok t\"orv\'enye szerint
$P((\eta_1,\dots,\eta_n)\in B_0)\ge1-\delta$, ha $n\ge n_0$ egy
el\'eg nagy $n_0=n_0(\e,\delta)$ k\"usz\"obindexszel, ez\'ert
a $B_1=B\cap B_0$ halmazra $B_1\subset B$, \'es
$P((\eta_1,\dots,\eta_n)\in B_1)\ge
P((\eta_1,\dots,\eta_n)\in B_0)-\delta$. Defini\'aljuk minden
$(x^{(n)},y^{(n)})=((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))
\in X^{n}\times Y^{n}$ sorozatra az $\ell(x^{(n)},y^{(n)},i,j)$ 
mennyis\'eget minden $1\le i\le r$ \'es $1\le j\le s$ indexre \'ugy, 
mint az $(x^{(n)},y^{(n)})$ vektorban szerepl\H{o} olyan
$(x_{i_k},y_{j_k})$, $1\le k\le n$, p\'arok sz\'am\'at,
amelyek egyenl\H{o}ek az $(x_i,y_j)$ p\'arral. Adva egy
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_0$ vektor defini\'aljuk a
k\"ovetkez\H{o} $C(y^{(n)})\subset X^n$ halmazt.
$$
\align
C(y^{(n)})&=\{x^{(n)}=(x_{i_1},\dots,x_{i_n})\colon\;
(x^{(n)},y^{(n)})\in X^n\times Y^n,\\
&\qquad \ell(x^{n)},y^{(n)},i,j)\ge (1-\tfrac\e2)nr(x_i,y_j) 
\quad \text{minden }1\le i\le r,\; 1\le j\le s \text{ p\'arra} \}.
\endalign
$$
A nagy sz\'amok t\"orv\'enye alapj\'an 
$P((\xi_1,\dots,\xi_n)\in C(y^{(n)})|\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})
\ge1-\frac\delta2$, ha $y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_0$. 
Ugyanis, ha $y^{(n)}\in B_0$, akkor e felt\'eteles 
val\'osz\'{\i}n\H{u}s\'eg felt\'etel\'eben 
$s(y^{(n)},j)\ge nq(y_j)(1-\frac\e4)$ olyan $k$
index van, amelyre $\eta_k=y_j$. A $\xi_k$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy\"uttes eloszl\'asa ezen
$k$ indexekre a tekintett felt\'eteles eloszl\'as szerint
megegyezik $s(y^{(n)},j)\ge (1-\frac\e4)nq(y_j)$ f\"uggetlen, 
$r(\cdot|y_j)$ eloszl\'as\'u va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi 
v\'altoz\'o egy\"uttes eloszl\'as\'aval. Ez\'ert ez a sorozat a 
nagy sz\'amok t\"orv\'enye szerint t\"obb, mint
$(1-\frac\delta{2rs})$ val\'osz\'{\i}n\H{u}s\'eggel tartalmaz
legal\'abb $n(1-\frac\e4)^2q(y_j)r(x_i|y_j)\ge n(1-\frac\e2)r(x_i,y_j)$
sz\'am\'u $x_i$ elemet minden $1\le i\le r$ indexre, ha 
$n\ge n_0(\e,\delta)$. Innen \'es a t\'etel felt\'eteleib\H{o}l az 
is k\"ovetkezik, hogy tetsz\H{o}leges
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_1$ vektorra
$$
P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A,
(\xi_1,\dots,\xi_n)\in C(y^{(n)})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge\frac\delta2,
$$
ami \'ugy is \'{\i}rhat\'o, hogy
$$
P((\xi_1,\dots,\xi_n)\in C(y^{(n)})\cap A(y^{(n)})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge\frac\delta2,
$$
ahol $A(y^{(n)})=A(y_{j_1},\dots,y_{j_n})$.
Felhaszn\'alva ezt az egyenl\H{o}tlens\'eget \'es a $C(y^{(n)})$ 
halmaz elemeinek a tulajdons\'agait bel\'atjuk, hogy
$|A(y^{(n)})\cap C(y^{(n)})|\ge2^{n(1-\e)H(\xi|\eta)}$.
Ennek \'erdek\'eben vegy\"uk \'eszre, hogy tetsz\H{o}leges
$y^{(n)}=(y_{j_1},\dots,y_{j_n})\in B_1$ \'es
$(x_{i_1},\dots,x_{i_n})\in C(y^{(n)})$ vektorokra
$$
\align
&P(\xi_1=x_{i_1},\dots,\xi_n=x_{i_n}|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})=\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{\ell(x^{(n)},y^{(n)},i,j)}\\
&\qquad \le\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{(1-\e/2)nr(x_i,y_j)}=2^{-n(1-\e/2)H(\xi|\eta)}.
\endalign
$$
Az utols\'o k\'et egyenl\H{o}tlens\'egb\H{o}l k\"ovetkezik,
hogy
$$
|A(y_{j_1},\dots,y_{j_n})|\ge
|A(y_{j_1},\dots,y_{j_n})\cap C(y^{(n)})|\ge \frac\delta2
2^{n(1-\e/2)H(\xi|\eta)}\ge 2^{(1-\e)nH(\xi|\eta)},
$$
ha $y^{n)}=(y_{j_1},\dots,y_{j_n})\in B_1$.

A m\'asik ir\'any\'u becsl\'est az alkalmas $B_1\subset Y^n$ \'es
$A\subset X^n\times Y^n$ halmazok alkalmas definici\'oj\'aval
hasonl\'oan bizony\'{\i}thatjuk. Legyen
$$
\align
B_1=\{y^{(n)}=(y_{j_1},\dots,y_{j_n})\colon\; &y^{(n)}\in Y^n,\;
s(y^{(n)},j)\le(1+\tfrac\e2)nq(y_j) \\
&\qquad \text{ minden } 1\le j\le s
\text{ indexre}\},
\endalign
$$
\'es
$$
\align
A&=\{(x^{(n)},y^{(n)})
=((x_{i_1},\dots,x_{i_n}),(y_{j_1},\dots,y_{j_n}))\colon\;
(x^{(n)},y^{(n)})\in X^n\times Y^n,\; y^{(n)}\in B_1,\\
&\qquad\ell(x^{(n)},y^{(n)},i,j)\le (1+\e)nr(x_i,y_j)
\text{ minden }1\le i\le r,\; 1\le j\le s \text{ p\'arra} \}.
\endalign
$$
Az el\H{o}z\H{o} eset \'ervel\'es\'ehez hasonl\'oan
bizony\'{\i}thatjuk a nagy sz\'amok t\"orv\'enye
seg\'{\i}ts\'eg\'evel, hogy
$P((\eta_1,\dots,\eta_n)\in B_1)\ge1-\delta$, ha $n\ge n_0$, \'es
$$
\align
&P(((\xi_1,\dots,\xi_n),(\eta_1,\dots,\eta_n))\in A|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\\
&\qquad=P((\xi_1,\dots,\xi_n),\in A(y_{j_1},\dots,y_{j_n})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\ge1-\delta
\endalign
$$
minden $(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra. Tov\'abb\'a
$$
\align
&P(\xi_1=x_{i_1},\dots,\xi_n=x_{i_n}|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})=\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{\ell(x^{(n)},y^{(n)},i,j)}\\
&\qquad \ge\prod_{i=1}^r\prod_{j=1}^s
r(x_i|y_j)^{(1+\e)nr(x_i,y_j)}=2^{-n(1+\e)H(\xi|\eta)},
\endalign
$$
ha $(y_{j_1},\dots,y_{j_n})\in B_1$ \'es
$(x_{i_1},\dots,x_{i_n})\in A(y_{j_1},\dots,y_{j_n})$.
Felhaszn\'alva a (trivi\'alis)
$P((\xi_1,\dots,\xi_n)\in A(y_{j_1},\dots,y_{j_n})|
\eta_1=y_{j_1},\dots,\eta_n=y_{j_n})\le1$ egyenl\H{o}tlens\'eget
innen kapjuk, hogy
$|A(y_{j_1},\dots,y_{j_n})|\le2^{n(1+\e)H(\xi|\eta)}$
minden $(y_{j_1},\dots,y_{j_n})\in B_1$ sorozatra.

\medskip
A most bizony\'{\i}tott eredm\'enyt az el\H{o}z\H{o} eredm\'enyhez
hasonl\'oan a k\"ovetkez\H{o}k\'epp is interpret\'alhatjuk.
Legyen adva egy v\'eges sok \'ert\'eket felvev\H{o} $(\xi,\eta)$
v\'eletlen vektor (val\'oj\'aban az al\'abb megfogalmazott
\'all\'{\i}t\'as akkor is igaz, ha ez a v\'eletlen vektor
v\'egtelen sok \'ert\'eket is felvehet, de ezt nem
bizony\'{\i}tottuk be), \'es f\"uggetlen  v\'eletlen vektoroknak
egy ezzel a v\'eletlen vektorral azonos eloszl\'as\'u,
$n$-hossz\'us\'ag\'u $(\xi_1,\eta_1)$,\dots, $(\xi_n,\eta_n)$
sorozata. Ismerve az $\eta_1,\dots,\eta_n$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \'ert\'ekeit, ki akarunk
v\'alasztani viszonylag kev\'es sorozatot \'ugy, hogy ezek egyike
majdnem biztos meg\-egyez\-z\'ek a $\xi_1,\dots,\xi_n$ v\'eletlen
sorozat \'ert\'ek\'evel. A majdnem biztos kiv\'alaszt\'as itt
azt jelenti, hogy r\"ogz\'{\i}t\"unk egy kis $\e>0$ sz\'amot,
megadjuk az $(\eta_1,\dots,\eta_n)$ sorozatok lehets\'eges
\'ert\'ekeinek egy legal\'abb $1-\e$ m\'ert\'ek\H{u} halmaz\'at,
\'es amennyiben az $(\eta_1,\dots,\eta_n)$ sorozat ezek
valamelyik\'evel egyenl\H{o}, akkor kijel\"olj\"uk $n$
hossz\'us\'ag\'u sorozatok egy vi\-szony\-lag kev\'es elemb\H{o}l
\'all\'o halmaz\'at \'ugy, hogy annak a val\'osz\'{\i}n\H{u}s\'ege,
hogy a $(\xi_1,\dots,\xi_n)$ v\'eletlen sorozat megegyezik
ezek valamelyik\'evel legal\'abb $1-\e$. A kiv\'alasztott
sorozatok halmaza f\"ugghet az $(\eta_1,\dots,\eta_n)$ vektor
\'ert\'ek\'et\H{o}l. Azt l\'attuk be, hogy ezt megtehetj\"uk
$2^{nH(\xi|\eta)+o(n)}$ a\-lkal\-ma\-san v\'alasztott sorozat
seg\'{\i}ts\'eg\'evel, de kevesebbel m\'ar nem. Ennek az
eredm\'enynek megfogalmazhatjuk az al\'abbi k\"ovetkezm\'eny\'et.

Meg akarjuk nevezni a $(\xi_1,\dots,\xi_n)$ sorozatokat
az $\eta_1,\dots,\eta_n$ sorozat ismeret\'eben $m=m(n)$
hossz\'us\'ag\'u az $\eta_1,\dots,\eta_n$ sorozatt\'ol
f\"ugg\H{o} v\'alaszt\'assal 0--1 sorozatokkal \'ugy, hogy
$1-\e$ val\'osz\'{\i}n\H{u}s\'eggel egy $(\xi_1,\dots,\xi_n)$
sorozatot megnevez\"unk, \'es r\"ogz\'{\i}tett
$\eta_1,\dots,\eta_n$ sorozat megjelen\'ese eset\'en k\'et
k\"ul\"onb\"oz\H{o} $\xi_1,\dots,\xi_n$ sorozat elnevez\'ese
k\"ul\"onb\"oz\H{o}. Ez lehets\'eges $m=nH(\xi|\eta)+o(n)$
hossz\'us\'ag\'u 0--1 sorozatokkal, de r\"ovidebb sorozatokkal nem.
Ezt szok\'as \'ugy interpret\'alni, hogy az $\eta_1,\dots,\eta_n$
sorozat ismeret\'eben a $\xi_1,\dots,\xi_n$ sorozat
egyes tagjainak a megnevez\'es\'ehez $H(\xi|\eta)$ bit
sz\"uks\'eges, azaz az $\eta_k$ v\'altoz\'ok \'ert\'ek\'enek az
ismeret\'eben ennyi inform\'aci\'o kell az egyes $\xi_k$
v\'eletlen v\'altoz\'ok megismer\'es\'ehez.

\medskip
Megfogalmazom \'es bebizony\'{\i}tom az entr\'opi\'aval
\'es felt\'eteles entr\'opi\'aval kapcsolatos legfontosabb
egyenl\H{o}tlens\'egeket. Ezek mindegyike heurisztikus szinten
`nyilv\'anval\'o' k\"ovetkezm\'enye az entr\'opia \'es
felt\'eteles entr\'opia szeml\'eletes tartalm\'anak.

\medskip\noindent
{\bf T\'etel az entr\'opi\'aval \'es felt\'eteles entr\'opi\'aval
kapcsolatos fontos egyen\-l\H{o}t\-len\-s\'e\-gek\-r\H{o}l.}
{\it Legyenek $\xi$, $\eta$ \'es $\zeta$ v\'eges vagy
megsz\'aml\'alhat\'o sok \'er\-t\'e\-ket f\"olvev\H{o}
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok. Ezek teljes\'{\i}tik
a k\"ovetkez\H{o} egyenl\H{o}tlens\'egeket:

\medskip
\item{a1.)} $H(\xi)\ge0$, \'es egyenl\H{o}s\'eg akkor \'es csak
akkor \'erv\'enyes, ha a $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o egy val\'osz\'{\i}n\H{u}s\'eggel egy konstanssal
egyenl\H{o}.
\item{a2.)} Ha a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $n$
\'ert\'eket vesz fel, akkor $H(\xi)\le\log n$. Egyenl\H{o}s\'eg
akkor \'es csak akkor \'erv\'enyes, ha a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal felvett
$x_1,\dots,x_n$ \'ert\'ekekre $P(\xi=x_k)=\frac1n$ minden
$1\le k\le n$ indexre.

\medskip
\item{b.)} $H(\xi,\eta)\le H(\xi)+H(\eta)$, illetve kiss\'e
\'altal\'anosabban $H(\xi|\eta)\le H(\xi)$. Egyenl\H{o}s\'eg
akkor \'es csak akkor teljes\"ul a m\'asodik, \'altal\'anosabb
egyenl\H{o}tlens\'egben, ha $\xi$ \'es $\eta$ f\"uggetlenek, vagy
$H(\xi|\eta)=\infty$.

\medskip
\item{c.)} $H(\eta)\le H(\xi,\eta)$, illetve kiss\'e
\'altal\'anosabban $H(\xi|\eta)\ge0$. Egyenl\H{o}s\'eg akkor
\'es csak akkor teljes\"ul a m\'asodik, \'altal\'anosabb
egyenl\H{o}tlens\'egben, ha $\xi=f(\eta)$ valamely
$f(\cdot)$ f\"uggv\'ennyel, azaz $\xi$ az $\eta$ f\"uggv\'enye.

\medskip
\item{d.)} $H(\xi|\eta,\zeta)\le H(\xi|\eta)$. Abban az esetben,
ha l\'etezik olyan a $(\xi,\eta)$ v\'eletlen vektort\'ol
f\"uggetlen $Z$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, amelyre
$\zeta=h(\eta,Z)$ valamely alkalmas $h$ f\"uggv\'ennyel, akkor
egyenl\H{o}s\'eg \'all fenn.

}\medskip\noindent
{\it Megjegyz\'es.}\/ A felt\'eteles entr\'opi\'ar\'ol sz\'ol\'o
b) \'es c) pontban megfogalmazott egyen\-l\H{o}t\-len\-s\'e\-gek
akkor is \'erv\'enyesek, ha $H(\eta)=\infty$. Ebben az esetben
ezek az \'all\'{\i}t\'asok t\"obbet mondanak, mint a nekik
megfelel\H{o} az entr\'opi\'ar\'ol megfogalmazott
egyenl\H{o}tlens\'egek.

\medskip\noindent
{\bf K\"ovetkezm\'eny.}  {\it
\item{a.)} $H(f(\xi))\le H(\xi)$ tetsz\H{o}leges $f(\cdot)$
f\"uggv\'enyre.  Vegye fel egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o \'ert\'ekeit egy v\'egtelen $X=\{x_1,x_2,\dots\}$ 
halmazban, legyen $H(\xi)<\infty$, \'es defini\'aljuk minden 
$K\ge 1$ sz\'amra egy olyan $\xi^{(K)}$, val\'osz\'{\i}n\H{u}s\'egi 
v\'altoz\'ot, amelyre $\xi=x_j$ eset\'en $\xi^{(K)}=x_j$, ha 
$j\le K$, \'es $\xi^{(K)}=x^*$ valamely $x^*\neq x_j$ 
\'ert\'ekkel, ha $j>K$. Ezzel a v\'alaszt\'assal
$H(\xi^{(K)})\le H(\xi)$, \'es minden $\e>0$ sz\'amhoz l\'etezik
olyan $K_0=K_0(\e)$ index, hogy $H(\xi^{(K)})\ge H(\xi)-\e$,
ha $K\ge K_0$.

\item{b.)} \'Erv\'enyesek a 
$H(\xi,\eta|\zeta)=H(\eta|\xi,\zeta)+H(\xi|\zeta)$ \'es 
$H(\xi,\eta)=H(\eta|\xi)+H(\xi)$ azo\-nos\-s\'a\-gok. Tov\'abb\'a
$H(\xi,\eta|\zeta)\ge H(\xi|\zeta)$, \'es egyenl\H{o}s\'eg
akkor \'es csak akkor \'all fenn, ha vagy $\eta=f(\xi,\zeta)$ alkalmas
$f$ f\"uggv\'ennyel vagy $H(\xi|\zeta)=\infty$. Tov\'abb\'a
$H(\xi,\eta|\zeta)\le H(\xi|\zeta)+H(\eta|\zeta)$.

}\medskip\noindent
{\it A k\"ovetkezm\'eny bizony\'{\i}t\'asa.}\/ Az a) r\'esz
bizony\'{\i}t\'asa: $H(\xi)=H(\xi,f(\xi))\ge H(f(\xi))$ a
t\'etel c) pontja szerint. Innen k\"ovetkezik a
$H(\xi^{(K)})\le H(\xi)$ egyenl\H{o}tlens\'eg, az $X$ t\'eren
defini\'alt $f(x_j)=x_j$, ha $j\le K$, \'es $f(x_j)=x^*$, ha $j\ge K$
v\'alaszt\'assal. Legyen $p(x_j)=P(\xi=x_j)$, $j=1,2,\dots$. A
$H(\xi)=-\summ_{j=1}^\infty p(x_j)\log p(x_j)<\infty$ felt\'etelb\H{o}l
k\"ovetkezik, hogy l\'etezik olyan $K_0=K_0(\e)$ index, hogy
$-\summ_{j=1}^{K_0} p(x_j)\log p(x_j)<H(\xi)-\e$. Ilyen $K_0=K_0(\e)$
v\'alaszt\'assal igaz az a) r\'esz utols\'o \'all\'{\i}t\'asa is.

A k\"ovetkezm\'eny b) r\'esz\'eben szerepl\H{o} els\H{o} azonoss\'ag
k\"ovetkezik a 
$H(\xi,\eta|\zeta)
=\summ_{i,j,k}P(\xi=i,\eta=j,\zeta=k)
\log\frac{P(\xi=i,\eta=j,\zeta=k)}{P(\zeta=k)}$ \'es
$H(\eta|\xi,\zeta)+H(\xi|\zeta)
=\summ_{i,j,k}P(\xi=i,\eta=j,\zeta=k)
(\log\frac{P(\xi=i,\eta=j,\zeta=k)}{P(\xi=i,\zeta=k)}+
\log\frac{P(\xi=i,\zeta=k)}{P(\zeta=k)})$ rel\'aci\'okb\'ol. A
m\'asodik azonoss\'ag hasonl\'ona indokolhat\'o. A b) r\'esz
tov\'abbi \'all\'{\i}t\'asa k\"ovetkezik a
$H(\xi,\eta|\zeta)=H(\eta|\xi,\zeta)+H(\xi|\zeta)$ azonoss\'agb\'ol
\'es a t\'etel c) illetve d) r\'esz\'enek az \'all\'{\i}t\'as\'ab\'ol.

\medskip
\'Erts\"uk meg, hogy az el\H{o}bb megfogalmazott t\'etel
egyenl\H{o}tlens\'egei az entr\'opia \'es felt\'eteles entr\'opia
szeml\'eletes tartalm\'anak megfelel\H{o} tulajdons\'agokat fejeznek
ki. Az a1) tulajdons\'ag azt mondja, hogy a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'altal felvett
\'ert\'ek meg\-is\-me\-r\'e\-s\'e\-hez pozit\'{\i}v inform\'aci\'o
sz\"uks\'eges, kiv\'eve azt az elfajul\'o esetet, amikor $\xi$
\'ert\'eke (ismert) konstans, \'es ez\'ert nulla inform\'aci\'o is
elegend\H{o}. Az a2) \'all\'{\i}t\'as szerint egy $n$ \'ert\'eket
felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek
a megismer\'es\'ehez akkor kell a legt\"obb inform\'aci\'o, ha minden
\'ert\'eket egyforma val\'osz\'{\i}n\H{u}s\'eggel vesz fel, amit
\'ugy is interpret\'alhatunk, hogy azonk\'{\i}v\"ul, hogy tudjuk,
hogy $\xi$ $n$ \'ert\'eket vesz fel, semmilyen plusz inform\'aci\'onk
nincs annak viselked\'es\'er\H{o}l.

A b) tulajdons\'ag azt fejezi ki, hogy egy $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek az ismerete
cs\"okkentheti egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'ert\'ek\'enek megismer\'es\'ehhez sz\"uks\'eges inform\'aci\'ot.
Akkor nincs cs\"okken\'es, ha $\xi$ \'es $\eta$ f\"uggetlenek,
\'es ez\'ert $\eta$ ismerete semmilyen \'ert\'ekes inform\'aci\'ot
nem ad $\xi$ viselked\'es\'er\H{o}l. A c) tulajdons\'ag szerint
egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek a
megismer\'es\'ehez pozit\'{\i}v inform\'aci\'o sz\"uks\'eges egy
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek az
ismeret\'eben is. Akkor el\'eg nulla inform\'aci\'o, ha $\xi$ az
$\eta$ ismert f\"uggv\'enye.

A d) tulajdons\'ag jelent\'ese az, hogy egy $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'enek a
megismer\'es\'ehez kevesebb inform\'aci\'o sz\"uks\'eges, ha egy
$\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ek\'en
k\'{\i}v\"ul egy m\'asik $\zeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o \'ert\'ek\'et is ismerj\"uk. Semmilyen nyeres\'eget
nem jelent viszont $\zeta$ ismerete, ha az a m\'ar ismert $\eta$
\'es egy mind a $\xi$ mind az $\eta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ot\'ol f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o f\"uggv\'enye.

\medskip
A t\'etel bizony\'{\i}t\'as\'aban fontos szerepet j\'atszik
egy egyszer\H{u} \'all\'{\i}t\'as, amelyet a bizony\'{\i}t\'as
jobb \'attekinthet\H{o}s\'ege \'erdek\'eben k\"ul\"on lemm\'aban
fogalmazok meg.

\medskip\noindent
{\bf Lemma az $x\log x$ f\"uggv\'eny viselked\'es\'er\H{o}l.}
{\it A $g(x)=x\log x$, ha $x>0$, $g(0)=0$ f\"uggv\'eny egy a
$[0,\infty)$ f\'elegyenesen folytonos, szigor\'uan konvex
f\"uggv\'eny, amelyre $g(0)=g(1)=0$.}

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ K\"onnyen l\'athat\'o, hogy
$g(x)$ folytonos f\"uggv\'eny a $[0,\infty)$ f\'el\-egye\-ne\-sen,
\'es $g(0)=g(1)=0$. Ezenk\'{\i}v\"ul $g''(x)=\frac{\log e}x>0$
minden $x>0$ sz\'amra, ahon\-nan k\"ovetkezik, hogy $g(x)$
szigor\'uan konvex f\"uggv\'eny.

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.} Jel\"olje $X=\{x_1,x_2,\dots\}$
a $\xi$, $Y=\{y_1,y_2,\dots\}$ az $\eta$ \'es $Z=\{z_1,z_2,\dots\}$
a $\zeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ekeit. Az
a) b) \'es c) r\'eszben haszn\'aljuk a $p(x_i)=P(\xi=x_i)$,
$q(y_j)=P(\eta=y_j)$ \'es $r(x_i,y_j)=P(\xi=x_i,\eta=y_j)$
jel\"ol\'est. Az a1) \'all\'{\i}t\'as nyilv\'anval\'o, mert
$-p(x_i)\log p(x_i)>0$, ha $0<p(x_i)<1$, \'es $0\log 0=1\log 1=0$.
Az a2) \'all\'{\i}t\'as k\"ovetkezik a
$$
-H(\xi)=n\sum_{i=1}^n\frac1n g(p(x_i))\ge ng\(\frac 1n
\sum_{i=1}^np(x_i)\)=ng\(\frac1n\)=-\log n
$$
egyenl\H{o}tlens\'egb\H{o}l, ahol $g(x)$ a lemm\'aban szerepl\H{o}
konvex f\"ugg\-v\'eny. Mivel a $g(\cdot)$ f\"ugg\-v\'eny szigor\'uan
konvex egyenl\H{o}s\'eg csak a $p(x_i)=\frac1n$, $1\le i\le n$, esetben
lehets\'eges.

A b) \'all\'{\i}t\'as bizony\'{\i}t\'asa \'erdek\'eben \'{\i}rjuk fel
a
$$ \allowdisplaybreaks
\align
H(\xi|\eta)&=-\sum_{i,j} q(y_j)\frac{r(x_i,y_j)}{q(y_j)}
\log \frac{r(x_i,y_j)}{q(y_j)}
=-\sum_i\(\sum_j q(y_j) g\(\frac{r(x_i,y_j)}{q(y_j)}\)\)\\
&\le -\sum_i\(g\(\sum_j q(y_j)\frac{r(x_i,y_j)}{q(y_j)}\)\)
=-\sum_i g(p(x_i))=H(\xi)
\endalign
$$
egyenl\H{o}tlens\'eget. E sz\'amol\'asban felhaszn\'altuk a
$g(x)=x\log x$ f\"uggv\'eny konvexit\'as\'at a $q(y_j)$, $q(y_j)>0$,
$\summ_j q(y_j)=1$, s\'ulyokkal, azaz azt, hogy
$\summ_j q(y_j)g(u_j)\le g\(\summ_j q(y_j)u_j)\)$ minden $u_1\ge0$,
$u_2\ge0$,\dots sz\'amsorozatra, \'es a $\summ_j r(x_i,y_j)=p(x_i)$
azonoss\'agot. Felhaszn\'alva a $g(\cdot)$ f\"uggv\'eny
szigor\'u konvexit\'as\'at kapjuk, hogy egyenl\H{o}s\'eg akkor
\'es csak akkor lehets\'eges, ha vagy $H(\xi|\eta)=\infty$ vagy
b\'armely r\"ogz\'{\i}tett $i$ indexre
$\frac{r(x_i,y_j)}{q(y_j)}=\alpha_i$ valamely $\alpha_i$ sz\'ammal
minden $j$ indexre. Ez azt jelenti. hogy $r(x_i,y_j)=\alpha_iq(j)$,
\'es ezt az azonoss\'agot \"osszegezve a $j$ v\'altoz\'ora azt
kapjuk, hogy $p(x_i)=\alpha_i\summ_j r(x_i,y_j)=\alpha_i$, azaz
$r(x_i,y_j)=p(x_i)q(y_j)$ minden $i$ \'es $j$ indexre, teh\'at a
$\xi$ \'es $\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
f\"uggetlenek.

A c) \'all\'{\i}t\'as bizony\'{\i}t\'asa \'erdek\'eben vegy\"uk \'eszre,
hogy a 
$$
H(\xi|\eta)=-\summ_{i,j} r(x_i,y_j)\log \frac{r(x_i,y_j)}{q(y_j)}
$$
azonoss\'ag jobboldal\'an csak nem-pozit\'{\i}v tagok szerepelnek a 
$0\le\frac{r(x_i,y_j)}{q(y_j)}\le1$ rel\'aci\'o miatt. Innen 
k\"ovetkezik, hogy $H(\xi|\eta)\ge0$. (A fenti \"osszeg tagjainak azonos
el\H{o}jel\'et implicite a b) r\'esz bizony\'{\i}t\'as\'aban is
felhaszn\'altuk. Ez feljogos\'{\i}tott minket arra, hogy a 
bizony\'{\i}t\'asban vizsg\'alt \"osszeget a sz\'amunkra megfelel\H{o}
m\'odon \'atrendezz\"uk.) Egyenl\H{o}s\'eg csak akkor 
lehets\'eges, ha mindegyik $\frac{r(x_i,y_j)}{q(y_j)}$ tag vagy 
null\'aval vagy eggyel egyenl\H{o}.
Ez azt jelenti, hogy l\'etezik egy olyan $i(j)$ index, hogy
$\frac{r(x_{i(j)},y_j)}{q(y_j)}=1$, azaz $P(\xi=x_{i(j)}|\eta=y_j)=1$.
Ez\'ert egyenl\H{o}s\'eg akkor \'es csak akkor teljes\"ul, ha
$\xi=f(\eta)$ valamely alkalmas $f$ f\"uggv\'ennyel.

A d) r\'esz \'all\'{\i}t\'as\'anak vizsg\'alat\'aban vezess\"uk be
a $p(x_i)=P(\xi=x_i)$ \'es $q(y_j)=P(\eta=y_j)$ mennyis\'egek mellett
az $u(x_i,y_j)=P(\xi=x_i,\eta=y_j)$, $v(y_j,z_k)=P(\eta=y_j,\zeta=z_k)$
valamint a $t(x_i,y_j,z_k)=P(\xi=x_i,\eta=y_j,\zeta=z_k)$
mennyis\'egeket is. Ezekkel a jel\"ol\'esekkel fel\'{\i}rhatjuk, hogy
$$ \allowdisplaybreaks
\align
H(\xi|\eta,\zeta)&=-\sum_{x_i,y_j,z_k}t(x_i,y_j,z_k)
\log\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)} \\
&=-\sum_{x_i,y_j} \(\sum_{z_k} q(y_j)
\frac{v(y_j,z_k)}{q(y_j)}\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}
\log\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}\)\\
&=-\sum_{x_i,y_j} q(y_j)\(\sum_{z_k}\frac{v(y_j,z_k)}{q(y_j)}
g\(\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}\)\) \\
&\le -\sum_{x_i,y_j} q(y_j)
g\(\sum_{z_k}\frac{v(y_j,z_k)}{q(y_j)}
\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}\)\\
&= -\sum_{x_i,y_j} q(y_j) g\(\sum_{z_k}\frac{t(x_i,y_j,z_k)}{q(y_j)}\)
= -\sum_{x_i,y_j} q(y_j) g\(\frac{u(x_i,y_j)}{q(y_j)}\)\\
&=-\sum_{x_i,y_j}P(\xi=x_i,\eta=y_j)
\log\frac{P(\xi=x_i,\eta=y_j)}{P(\eta=y_j)}=H(\xi|\eta).
\endalign
$$
E sz\'amol\'asokban felhaszn\'altuk azt, hogy a $g(\cdot)$
f\"uggv\'eny konvex, $\summ_k\frac{v(y_j,z_k)}{q(y_j)}=1$, \'es
$\summ_k\frac{t(x_i,y_j,z_k)}{q(y_j)}=\frac{u(x_i,y_j)}{q(y_j)}$.
A kapott egyenl\H{o}tlens\'egben azonoss\'agot \'{\i}rhatunk
abban a speci\'alis esetben, ha
$\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}=\alpha(i,j)$,
azaz, ha ez a t\"ort csak az csak az $x_i$ \'es $y_j$
v\'altoz\'ot\'ol f\"ugg. Speci\'alisan egyenl\H{o}s\'eg
\'erv\'enyes, ha
$\frac{t(x_i,y_j,z_k)}{v(y_j,z_k)}={u(x_i,y_j)}{q(y_j)}$
vagy ekvivalens m\'odon megfogalmazva akkor, ha
$P(\zeta=z_k|\xi=x_i,\eta=y_j)=P(\zeta=z_k|\eta=y_j)$
minden $i$, $j$ \'es $k$ indexre. (N\'emi sz\'amol\'as
megmutatja, mi\'ert \'erdemes az $\alpha(i,j)$ f\"uggv\'enyt
\'{\i}gy v\'alasztani.) A t\'etel bizony\'{\i}t\'as\'at
befejezz\"uk, ha megmutatjuk, hogy ez az azonoss\'ag teljes\"ul
akkor, ha $\zeta=h(\eta,Z)$ egy a $(\xi,\eta)$ v\'eletlen
vektort\'ol f\"uggetlen $Z$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'oval. Ez az azonoss\'ag viszont igaz, mert az
adott esetben $P(\zeta=z_k|\xi=x_i,\eta=y_j)=
P(h(y_j,Z)=z_k|\xi=x_i,\eta=y_j)=P(h(y_j,Z)=z_k)$, \'es
hasonl\'oan $P(\zeta=z_k|\eta=y_j)=
P(h(y_j,Z)=z_k|\eta=y_j)=P(h(y_j,Z)=z_k)$.

\medskip\noindent
{\bf Kieg\'esz\'{\i}t\'es:} {\it F\"uggetlen, \'ert\'ekeiket
esetleg v\'egtelen halmazban felvev\H{o}
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'al\-to\-z\'ok\-b\'ol
\'all\'o tipikus sorozatok sz\'am\'anak a becsl\'ese.}

\medskip\noindent
A {\it f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol}
sz\'ol\'o t\'etelben becs\-l\'est adtunk arra, hogy h\'any
tipikus sorozatot tartalmaz egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'oval azonos eloszl\'as\'u f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok $\xi_1,\dots,\xi_n$
sorozata. Pontosabban fogalmazva azt becs\"ult\"uk meg, hogy
r\"ogz\'{\i}tve egy kis $\e>0$ sz\'amot k\"or\"ulbel\"ul h\'any
sorozatot tartalmaz a $(\xi_1,\dots,\xi_n)$ v\'eletlen sorozatok
egy $1-\e$ m\'ert\'ek\H{u} alkalmasan v\'alasztott r\'eszhalmaza.
A v\'alasz a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $H(\xi)$
entr\'opi\'aj\'at\'ol f\"ugg.
Ezt az eredm\'enyt csak abban az esetben l\'attuk be, ha a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o csak v\'eges sok
\'ert\'eket vehet fel. Ugyanakkor term\'eszetes azt v\'arni, hogy
a t\'etel \'all\'{\i}t\'asa \'erv\'enyes megsz\'aml\'alhat\'oan
v\'egtelen sok \'ert\'eket felvev\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o eset\'en. Bel\'atjuk, hogy
ez t\'enyleg \'{\i}gy van. Az egyszer\H{u} fogalmaz\'as
\'erdek\'eben feltessz\"uk, hogy $H(\xi)<\infty$, hiszen
val\'oj\'aban minket csak ez az eset \'erdekel. A k\"ovetkez\H{o}
eredm\'enyt fogom bizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel f\"uggetlen, v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen sok \'ert\'eket felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol.}
{\it A f\"uggetlen va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol
megfogalmazott t\'etel \'all\'{\i}t\'asa akkor is
\'er\-v\'e\-nyes, ha az abban szerepl\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'ert\'ekeit valamely
v\'eges vagy v\'egtelen $X=\{x_1,x_2,\dots,\}$ halmazon veszi
fel, \'es mind\"ossze annyit tesz\"unk fel r\'ola, hogy
$H(\xi)<\infty$.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/ Defini\'aljuk a
$p(x_k)=P(\xi=x_k)$, $k=1,2,\dots$, f\"uggv\'enyt, \'es adva
f\"uggetlen a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval
azonos eloszl\'as\'u, f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'oknak egy $\xi_1,\dots,\xi_n$ sorozata vezess\"uk
be a $\zeta_j=-\log p(\xi_j)$, $1\le j\le n$,
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'okat.  Vegy\"uk
\'eszre, hogy $E\zeta_j=H(\xi)$, \'es a nagy sz\'amok (gyenge)
t\"orv\'enye alapj\'an
$$
\frac1n\sum_{j=1}^n \zeta_j\Rightarrow H(\xi),
\quad\text{ha }n\to\infty,
$$
ahol $\Rightarrow$ sztochasztikus konvergenci\'at jel\"ol.
Jel\"olje $\eta_k(n)$ a $\xi_1,\dots,\xi_n$ sorozatban
szerepl\H{o} $x_k$ elemek sz\'am\'at. Ekkor az el\H{o}bb
fel\'{\i}rt formula ekvivalens a k\"ovetkez\H{o}
\'all\'{\i}t\'assal:
$$
\frac1n\sum_k (\eta_k(n)-np(x_k))\log p(x_k)\Rightarrow 0,
\quad\text{ha }n\to\infty, \tag A1
$$

Megmutatom, hogy a (A1) rel\'aci\'ob\'ol k\"ovetkezik a
t\'etel \'all\'{\i}t\'asa. E c\'elb\'ol v\'alasszunk olyan
$\e_n\to0$ \'es $\delta_n\to0$ sorozatokat, amelyekre
$$
P\(\left|\sum_k (\eta_k(n)-np(x_k))\log p(x_k)\right|>n\e_n\)
\le\delta_n. \tag A2
$$
Ez az (A1) rel\'aci\'o \'erv\'enyess\'ege miatt megtehet\H{o}.
Adva egy $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in X^n$ sorozat jel\"olje
$s(k,x^{(n)})$ azon $r$, $1\le r\le n$, indexek sz\'am\'at, amelyekre
$x_{j_r}=x_k$. Defini\'aljuk minden $n=1,2,\dots$ indexre az
$$
A_1(n)=\left\{x^{(n)}=(x_{j_1},\dots,x_{j_n})\colon\; x^{(n)}\in X^n,\;
\sum_{k=1}^\infty (s(k,x^{(n)})-np(x_k))\log p(x_k)\le n\e_n\right\}
$$
\'es
$$
A_2(n)=\biggl\{x^{(n)}=(x_{j_1},\dots,x_{j_n})\colon\; x^{(n)}\in X^n,\;
\sum_{k=1}^\infty (s(k,x^{(n)})-np(x_k))\log p(x_k)\ge -n\e_n\biggr\}
$$
halmazokat, ahol $\e_n$ megegyezik az (A2) formul\'aban szerepl\H{o}
$\e_n$ sz\'ammal. Vegy\"uk \'eszre, hogy mivel 
$(\xi_(\oo),\dots,\xi_n(\oo))=(x_{j_1},\dots,x_{j_n})$,
$x^{(n)}=(x_{j_1},\dots,x_{j_n}))$ eset\'en $\eta_k(n)(\oo)=s(k,x^{(n)}$,
ez\'ert az (A2) formula alapj\'an
$P((\xi_1,\dots,\xi_n)\in A_j(n))\ge1-\delta_n\ge 1-\delta/2$
mind $j=1$ mind $j=2$ indexszel,
ha $n\ge n_0(\delta,\e)$ alkalmas $n_0$ k\"usz\"obindexszel.
A f\H{o} r\'eszben ismertetett bizony\'{\i}t\'ast
alkalmazhatjuk a most t\'argyalt esetben is minim\'alis
v\'altoztat\'asokkal, ha megmutatjuk, hogy egy
$x^{(n)}=(x_{j_1},\dots,x_{j_n})\in X^n$ vektorra
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))\le2^{-n(1-\e)H(\xi)},
\quad\text{ha } x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_1(n).
$$
\'es
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))\ge2^{-n(1+\e)H(\xi)},
\quad\text{ha } x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_2(n),
$$
felt\'eve, hogy $n\ge n_0(\e,\delta)$ egy alkalmas $n_0$
k\"usz\"obindexszel. Ezekb\H{o}l az
egyen\-l\H{o}t\-len\-s\'e\-gek\-b\H{o}l ugyanis a f\H{o}
r\'eszben ismertetett bizony\'{\i}t\'as m\'odszer\'evel
k\"o\-vet\-ke\-zik a sz\'amunkra sz\"uk\-s\'e\-ges becsl\'es
az $A_1(n)$ illetve az $A_2(n)$ halmaz elemsz\'am\'ara.

A k\'{\i}v\'ant becsl\'esek bizony\'{\i}t\'as\'anak az
\'erdek\'eben \'{\i}rjuk fel az al\'abbi azonoss\'agot
minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in X^n$ vektorra.
$$
\align
&P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
=\prod_{k=1}^\infty p(x_k)^{s(k,x)} \\
&\qquad= \exp\left\{\frac1{\log 2}
\sum_{k=1}^\infty n p(x_k)\log p(x_k)
+\frac1{\log 2}\sum_{k=1}^\infty
\log p(x_k)\cdot(s(k,x^{(n)})-np(x_k))\right\}.
\endalign
$$
Innen k\"ovetkezik, hogy
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
\le 2^{-nH(\xi)}\cdot 2^{n\e_n}\ge2^{-n(1-\e/2)H(\xi)}
$$
minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_1(n)$ vektorra, \'es
$$
P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
\ge 2^{-nH(\xi)}\cdot 2^{-n\e_n}\ge2^{-n(1+\e)H(\xi)}
$$
minden $x^{(n)}=(x_{j_1},\dots,x_{j_n})\in A_2(n)$ vektorra, ha
$n\ge n_0(\e,\delta)$. Innen k\"ovetkezik, hogy az
$A_1(n)$ \'es $A_2(n)$ halmazok elemsz\'ama teljes\'{\i}ti az 
$|A_1(n)|\ge 2^{n(1-\e)H(\xi)}$ \'es $|A_2(n)|\le 2^{n(1+\e)H(\xi)}$ 
egyen\-l\H{o}t\-len\-s\'e\-ge\-ket. S\H{o}t az is igaz,
hogy amennyiben $B\subset X^n$ olyan halmaz, amelyre
$P((\xi_1,\dots,\xi_n)\in B)\ge\delta$, akkor
$|A_1(n)\cap B|\ge 2^{n(1-\e)H(\xi)}$.

\beginsection 2. Forr\'ask\'odol\'as \'es dek\'odol\'as.

Az inform\'aci\'oelm\'elet egyik legfontosabb probl\'em\'aja
a k\"ovetkez\H{o} k\'odol\'asi probl\'em\'anak nevezett
k\'erd\'es. Legyen adva val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
valamely $\xi_1,\xi_2,\dots$ v\'eges vagy v\'egtelen sorozata,
amelynek tagjai \'ert\'ek\"uket valamely $X$ v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen sz\'amoss\'ag\'u halmazban
veszik fel. A $\xi_1,\xi_2\dots$ sorozatot forr\'asnak, a
$\xi_j$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok
\'altal felvett \'ert\'ekek $X$ halmaz\'at pedig (forr\'as)
ABC-nek szok\'as nevezni az irodalomban. Ennek a
$\xi_1,\xi_2\dots$ sorozatnak az \'ert\'ekeit szeretn\'enk
k\"oz\"olni valakivel, akit felhaszn\'al\'onak nevez\"unk.
E c\'el el\'er\'ese \'erdek\'eben bizonyos jeleket le\-adunk
a felhaszn\'al\'onak, aki ezeket a jeleket, esetleg
n\'emi hib\'aval, megkapja. Azt az appar\'atust, amely
ezeket a jeleket tov\'abb\'{\i}tja csa\-tor\-n\'a\-nak nevezz\"uk.
A felhaszn\'al\'o, a csatorn\'an kereszt\"ul megkapott jelek
seg\'{\i}ts\'eg\'evel megpr\'ob\'alja rekonstru\'alni az eredeti
$\xi_1,\xi_2,\dots$ \"uzenetet. Tegy\"uk fel, hogy a kiindul\'o
$\xi_1,\xi_2,\dots$ sorozat egym\'as ut\'ani jelei meg\'erkeznek
bizonyos sebess\'eggel, \'es mi le tudjuk adni a csatorn\'an a
jeleinket a felhaszn\'al\'onak bizonyos sebess\'eggel. A k\'erd\'es
az, hogy mikor tudjuk egy a felhaszn\'al\'oval kor\'abban
egyeztetett m\'odszer seg\'{\i}ts\'eg\'evel el\'erni, hogy \H{o} a
kapott jelsorozat seg\'{\i}ts\'eg\'evel viszonylag kis hib\'aval
rekonstru\'alni tudja az eredeti $\xi_1,\xi_2,\dots$ forr\'ast.

Az el\H{o}bb megfogalmazott k\'odol\'asi probl\'ema egy tipikus
esete az, ha egy sz\"oveg egym\'as ut\'ani bet\H{u}i \'erkeznek (a
sz\'ok\"ozi sz\"uneteket k\"ul\"on jelnek tekintj\"uk), \'es ezt a
folyamatosan \'erkez\H{o} sz\"oveget akarjuk k\"oz\"olni egy
t\H{o}l\"unk t\'avol lev\H{o} ismer\H{o}s\"unknek. Ennek
\'erdek\'eben le tudunk adni egym\'as ut\'an 0 \'es 1 jeleket egy
t\'av\'{\i}r\'on. Azt akarjuk el\'erni, hogy ismer\H{o}s\"unk, aki
e jeleket megkapja k\'epes legyen viszonylag pontosan
rekonstru\'alni az eredeti sz\"oveget m\'eg akkor is, ha a
jeltov\'abb\'{\i}t\'asban id\H{o}nk\'ent hib\'ak l\'epnek fel.
Azt vizsg\'aljuk, hogy ez mikor lehets\'eges. C\'elszer\H{u} az
egyes bet\H{u}knek bizonyos jelsorozatot (k\'odot) megfeleltetni.
\'Ugy k\'{\i}v\'anjuk ezt tenni, hogy ismer\H{o}s\"unk k\'epes
legyen a kapott jelsorozat seg\'{\i}ts\'eg\'evel viszonylag
pontosan rekonstru\'alni (dek\'odolni) az eredeti sorozatot m\'eg
akkor is, ha a leadott jelsorozat egyes jelei hib\'asan
\'erkeznek meg hozz\'a.

C\'elunkat el\'erhetj\"uk p\'eld\'aul \'ugy, hogy mindegyik
bet\H{u}nek ugyanolyan hossz\'u \'es egy\-m\'as\-t\'ol
k\"ul\"onb\"oz\H{o} k\'odsz\'ot feleltet\"unk meg, \'es mindegyik
k\'od\-sz\'ot egym\'as ut\'an sz\'az\-szor k\"uldj\"uk el a
csatorn\'an. Ekkor kicsi annak a val\'osz\'{\i}n\H{u}s\'ege,
hogy egy ilyen 100-szor el\-k\"ul\-d\"ott jel az esetek
t\"obbs\'eg\'eben helytelen\"ul \'erkezik, \'{\i}gy
ismer\H{o}s\"unk nagy  va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg\-gel
rekonstru\'alni tudja az eredeti \"uzenetet. A probl\'ema az,
hogy ilyen m\'odszerrel az \"uzenet tov\'abb\'{\i}t\'asa
t\'uls\'agosan sok id\H{o}t vesz ig\'enybe, \'es ez\'ert esetleg
nem tudjuk k\"ovetni az eredetileg \'erkez\H{o} jelsorozat
sebess\'eg\'et. C\'elunk teh\'at az, hogy egy olyan m\'odszert
dolgozzunk ki, amelynek seg\'{\i}ts\'eg\'evel az eredeti
h\'{\i}rforr\'ast viszonylag gyorsan \'es pontosan
meg tudjuk ismertetni a felhaszn\'al\'oval. A m\'odszer
kidolgoz\'as\'an\'al \'erdemes
figyelembe venni azt, hogy a (v\'eletlen) $\xi_1,\xi_2,\dots$
forr\'as milyen val\'osz\'{\i}n\H{u}s\'egi t\"orv\'enynek tesz
eleget, illetve, hogy milyen val\'osz\'{\i}n\H{u}s\'eggel
k\"ovetkeznek be bizonyos hib\'ak, amikor a jeleket leadjuk a
csatorn\'an.

Az el\H{o}bb megfogalmazott k\'odol\'asi probl\'em\'at \'erdemes
a k\"ovetkez\H{o} k\'et probl\'ema vizsg\'alat\'anak a
seg\'{\i}ts\'eg\'evel megoldani. Az els\H{o} probl\'ema a
k\"ovetkez\H{o}. Adva egy r\"ogz\'{\i}tett $n$ sz\'am, \'es
egy r\"ogz\'{\i}tett $V=\{v_1,v_2,\dots\}$ v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen halmaz, tekints\"uk a
$$
\xi_{ln+1},\dots,\xi_{l(n+1)}, \qquad l=1,2,\dots,
$$
blokkokat. V\'alaszuk ki ezenk\'{\i}v\"ul a $V$ halmazbeli
elemeket tartalmaz\'o $n$-hossz\'us\'ag\'u sorozatoknak egy
alkalmas $A=A(n)\subset V^n$ r\'eszhalmaz\'at. (Itt, \'es a
tov\'abbiakban, $V^n$ jel\"oli a $V$ halmazbeli, \'es $X^n$
az $X$ halmazbeli elemeket  tartalmaz\'o $n$  hossz\'us\'ag\'u
sorozatok halmaz\'at.) Feleltess\"unk meg egy ilyen blokk
minden lehets\'eges
$(\xi_{ln+1},\dots,\xi_{l(n+1)})=(x_{p(1)},\dots,x_{p(n)})$
\'er\-t\'e\-k\'e\-nek egy
$f(x_{p(1)},\dots,x_{p(n)})=(v_{i_1},\dots,v_{i_n})\in A(n)$
ele\-mek\-b\H{o}l \'all\'o $(v_{i_1},\dots,v_{i_n})\in A(n)$
sorozatot \'ugy, hogy
l\'etezz\'ek olyan $g\colon A(n)\to X^n$ f\"uggv\'eny,
amely\-re
$$
P(g(f(\xi_{ln+1},\dots,\xi_{(l+1)n}))
=(\xi_{ln+1},\dots,\xi_{(l+1)n}))\ge1-\e\quad\ \text{minden }
l=0,1,\dots \text{ indexre}   \tag2.1
$$
egy kis fix $\e>0$ sz\'ammal. Az $f(\cdot)$ f\"uggv\'enyt
k\'od\-f\"ugg\-v\'eny\-nek, az $f(x_{p(1)},\dots,x_{p(n)})$
sorozatot az $x_{p(1)},\dots,x_{p(n)}$ sorozat k\'odj\'anak
nevezz\"uk, a $g(\cdot)$ f\"uggv\'enyt pedig dek\'odol\'o
f\"uggv\'enynek h\'{\i}vjuk. Azt mondjuk, hogy $\e$-n\'al
kisebb hib\'aval  k\'odoltunk, ha a (2.1)~re\-l\'a\-ci\'o
teljes\"ul. C\'elunk egy a (2.1) formul\'at teljes\'{\i}t\H{o}
$f(\cdot)$, $g(\cdot)$ f\"uggv\'enyp\'ar megtal\'al\'asa az $n$
blokkhosszt\'ol f\"ugg\H{o} viszonylag kis elemsz\'am\'u $A(n)$
halmazzal. E feladat megold\'as\'at nevezz\"uk forr\'as
k\'odol\'asnak \'es forr\'as dek\'odol\'asnak. A m\'asodik
feladat arr\'ol sz\'ol, hogy amikor a forr\'as
k\'odol\'asak\'ent kapott sorozat
\'ert\'ek\'et alkalmas csatorna esetleg hib\'as
k\"ozvet\'{\i}t\'ese seg\'{\i}ts\'eg\'evel k\"oz\"olj\"uk a
felhaszn\'al\'oval, akkor \H{o} hogyan tudja viszonylag kis
hib\'aval rekonstru\'alni a csatorn\'an kereszt\"ul elk\"uld\"ott
sorozatot. Ezt a feladatot, amelyet csatorna k\'odol\'asnak \'es
dek\'odol\'asnak neveznek a k\"ovetkez\H{o} fejezetben fogom
t\'argyalni, \'es mag\'at a feladatot is csak ott fogom
pontosan megfogalmazni.

E fejezet t\'em\'aja a forr\'as k\'odol\'as \'es dek\'odol\'as.
Csak azzal az esettel fogok fog\-lal\-koz\-ni, amikor a
$\xi_1,\xi_2,\dots$ forr\'as f\"uggetlen \'es egyforma
eloszl\'as\'u v\'eges vagy meg\-sz\'am\-l\'al\-ha\-t\'o\-an
v\'egtelen sok \'ert\'eket felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok sorozata. Ebben az esetben egy j\'o forr\'as
k\'odol\'as \'es dek\'odol\'as megtal\'al\'asa viszonylag
egyszer\H{u} feladat, az k\"onnyen megtehet\H{o} az el\H{o}z\H{o}
fejezet eredm\'enyeinek a seg\'{\i}ts\'eg\'evel. T\'argyalni
fogom tov\'abb\'a ennek a feladatnak egy \"on\-ma\-g\'a\-ban is
\'erdekes v\'altozat\'at, amelyben egy v\'eletlen sorozatot
akarunk viszonylag r\"ovid sorozattal \'ugy k\'odolni, hogy az
hib\'atlanul dek\'odolhat\'o legyen. A k\'odolt sorozat hossza
f\"ugghet a v\'eletlent\H{o}l, de e v\'eletlen sz\'ohossz
v\'arhat\'o \'ert\'ek\'et szeretn\'enk kicsiv\'e tenni.

Megfogalmazom ezt a m\'odos\'{\i}tott feladatot pontosabban.
Legyen adva egy $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o, amely \'ert\'ekeit egy v\'eges $X=\{x_1,\dots,x_M\}$
halmazban veszi fel,  \'es amely\-nek ismert a $P(\xi=x_i)=p(i)$,
$1\le i\le M$, eloszl\'asa. (Az egyszer\H{u}s\'eg  kedv\'e\'ert
feltettem, hogy a $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
$X$ \'ert\'ekk\'eszlete egy v\'eges halmaz, b\'ar t\"obb al\'abb
ismertetend\H{o} eredm\'eny akkor is \'erv\'enyes, ha az $X$
halmaz sz\'amoss\'aga megsz\'aml\'alhat\'oan v\'egtelen is
lehet.) Legyen adva egy v\'eges $d$-elem\H{u}
$Y=\{y_1,\dots,y_d\}$ halmaz, amelyet a tov\'abbiakban ABC-nek
fogunk nevezni, \'es a $\xi$ val\'osz\'{\i}n\H{u}s\'egi
v\'al\-to\-z\'o\-val azonos eloszl\'as\'u $\xi_1,\dots,\xi_l$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oknak egy sorozata. Nevezz\"uk
az $Y$ halmaz elemeib\H{o}l \'all\'o  v\'eges $y_{j_1},\dots,y_{j_n}$
sorozatokat szavaknak. Minden $x_i\in X$ elemnek meg akarunk
feleltetni egy  $u(i)=y^{(i)}_{j_1},\dots,y^{(i)}_{j_{n(i)}}$ $n(i)$
hossz\'us\'ag\'u $Y$ halmaz elemeib\H{o}l \'all\'o sorozatot,
amelyet az $x_i$ sorozat nev\'enek fogunk nevezni. \'Ugy
k\'{\i}v\'anjuk ezt a megfeleltet\'est csin\'alni, hogy ha
egym\'as ut\'an felsorolj\'ak nek\"unk egy $x_{i_1},\dots,x_{i_l}$
sorozat elemeinek $u(i_1),\dots,u(i_l)$ neveit, akkor k\'epesek
legy\"unk ennek alapj\'an az $x_{i_1},\dots,x_{i_l}$ sorozatot
egy\'ertelm\H{u}en rekonstru\'alni. Az ilyen $x_i\to u(i)$,
$x_i\in X$, lek\'epez\'eseket egy\'ertelm\H{u}en dek\'odolhat\'o
k\'odol\'asoknak fogjuk nevezni. Ennek pontos definici\'oj\'at
al\'abb ismertetem. Azzal a k\'erd\'essel fogunk foglalkozni,
hogy milyen ki\-csi\-v\'e tudjuk tenni egy egy\'ertelm\H{u}en
dek\'odolhat\'o $x_i\to u(i)$, $1\le i\le M$, k\'odol\'as $n(i)$
hossz\'anak a v\'arhat\'o \'ert\'ek\'et, azaz a
$\summ_{i=1}^M p(i)n(i)$ mennyis\'eget.

\medskip\noindent
{\bf Az egy\'ertelm\H{u}en dek\'odolhat\'o k\'odol\'as
definici\'oja.} {\it Legyen $X=\{x_1,x_2,\dots\}$ egy v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen sz\'amoss\'ag\'u halmaz \'es
$Y=\{y_1,\dots,y_d\}$ egy m\'asik $d$ elemsz\'am\'u halmaz (ABC).
Egy az $X$ halmaz elemeit az $Y$ halmaz elemeib\H{o}l \'all\'o v\'eges
elemsz\'am\'u $u(x_i)=y^{(i)}_{j_1}\dots y^{(i)}_{j_{n(i)}}$ sorozatokba
k\'epez\H{o} lek\'epez\'es\'et az $X$ halmaznak az $Y$ ABC szavaival
v\'egzett  egy\'ertelm\H{u}en dek\'odolhat\'o k\'odol\'as\'anak
nevez\"unk, ha minden $x_{i_1},\dots,x_{i_l}$, $l=1,2,\dots$,
$x_{i_j}\in X$,  $1\le j\le l$, sorozatnak az
$u(x_{i_1}),\dots,u(x_{i_l})$ sorozatot megfeleltetve teljes\"ul
az $u(x_{i_1}),\dots,u(x_{i_{l_1}})
\neq u(x'_{i_1}),\dots,u(x'_{i_{l_2}})$ rel\'aci\'o, ha
$x_{i_1},\dots,x_{i_{l_1}}\neq x'_{i_1},\dots,x'_{i_{l_2}}$.
(Megjegyzem, hogy az $u(x_i)$ sorozat $n(i)$ hossza f\"ugghet
az $x_i\in X$ elemt\H{o}l.)}

\medskip\noindent
El\H{o}sz\"or az eredeti k\'odol\'asi feladattal foglalkozom.
Megfogalmazom azt az eredm\'enyt, amely megadja, hogy milyen
$N(n)$ elemsz\'am\'u $A(n)\subset V^n$ halmaz
seg\'{\i}ts\'eg\'evel lehet megadni valamely f\"uggetlen,
egyforma eloszl\'as\'u $\xi_1,\dots,\xi_n$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okb\'ol
\'all\'o forr\'asnak egy $\e$-n\'al kisebb hib\'aj\'u, azaz
a (2.1) rel\'aci\'ot teljes\'{\i}t\H{o} $f(\cdot)$
k\'odol\'as\'at \'es $g(\cdot)$ dek\'odol\'as\'at. A most
ismertetett t\'etel val\'oj\'aban az el\H{o}z\H{o} fejezet
bizonyos eredm\'enyeinek egyszer\H{u} k\"ovetkezm\'enye.

\medskip\noindent
{\bf T\'etel f\"uggetlen, egyforma eloszl\'as\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okb\'ol \'all\'o forr\'as
kis hib\'aj\'u k\'odol\'as\'ar\'ol \'es dek\'odol\'as\'ar\'ol.}
{\it Legyen $\xi$ egy \'ert\'ekeit valamely v\'eges vagy
megsz\'aml\'alhat\'oan v\'egtelen sz\'amoss\'ag\'u
$X=\{x_1,x_2,\dots\}$ halmazon f\"olvev\H{o}
val\-\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o,
$\xi_1,\dots,\xi_n$ pedig f\"uggetlen, a $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'oval azonos eloszl\'as\'u
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'ok sorozata.
Legyen ezenk\'{\i}v\"ul adva egy $V=\{v_1,v_2,\dots\}$ halmaz.
Jel\"olje $X^n$ az $X$ halmazb\'ol, $V^n$ a $V$ halmaz
elemeib\H{ol} \'all\'o $n$ hossz\'us\'ag\'u sorozatok halmaz\'at.
V\'alasszunk egy $N=N(n)$ elemsz\'am\'u $A=A(n)\subset V^n$
halmazt. Minden $\e>0$ \'es $\delta>0$ sz\'amhoz l\'etezik
$n_0=n_0(\e,\delta)$ k\"usz\"obindex \'ugy, hogy ha $n\ge n_0$
\'es $N(n)\ge2^{(1+\delta) H(\xi)n}$, akkor l\'eteznek olyan
$f\colon\;X^n\to A(n)$ \'es $g\colon\;A(n)\to X^n$
f\"uggv\'enyek, amelyekre
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\ge1-\e$.
Megford\'{\i}tva, ha $N(n)\le2^{(1-\delta)H(\xi)n}$, \'es
$n\ge n_0(\e,\delta)$ akkor minden $f\colon\;X^n\to A(n)$ \'es
$g\colon\;A(n)\to X^n$ f\"ugg\-v\'eny\-p\'ar\-ra
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\le\e$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.} L\'attuk a
 f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o tipikus sorozatok sz\'am\'ar\'ol
sz\'ol\'o t\'etel bizony\'{\i}t\'as\'aban (ha megsz\'aml\'alhat\'oan
v\'egtelen sz\'amoss\'ag\'u halmazokkal aka\-runk dolgozni,
akkor e t\'etelnek a kieg\'esz\'{\i}t\'esben t\'argyalt
\'al\-ta\-l\'a\-no\-s\'{\i}\-t\'a\-s\'at kell tekinten\"unk),
hogy $n\ge n_0(\e,\delta)$ eset\'en l\'etezik olyan
$B\subset X^n$ halmaz, amelyre az $B$ halmaz kevesebb, mint
 $2^{(1+\delta)H(\xi)n}$ elemet tartalmaz, \'es
$P((\xi_1,\dots,\xi_n)\in B)\ge 1-\e$. V\'alasszunk egy ilyen $B$
halmazt, \'es soroljuk fel az elemeit, mint
$B=\{x_1^{(n)},x_2^{(n)},\dots,x_{\bar N(n)}^{(n)}\}$ valamely
$\bar N(n)\le2^{(1+\delta)nH(\xi)}$ sz\'ammal. Soroljuk fel az
$A(n)$ halmaz elemeit is, mint
$A(n)=\{v_1^{(n)},v^{(n)},\dots,v_{N(n)}^{(n)}\}$.
Ha $N(n)\ge2^{(1+\delta)H(\xi)n}$, \'es $n\ge n_0(\e,\delta)$
akkor $\bar N(n)\le N(n)$. Defini\'aljuk ebben az esetben az
$f(x)$ f\"uggv\'enyt egy olyan $x=(x_1,\dots,x_n)\in X^n$ elemre,
amelyre $x\in B$, \'es ez\'ert fel\'{\i}rhat\'o $x=x^{(n)}_k$,
$1\le k\le\bar N(n)$, alakban, \'ugy mint
$f(x)=f(x^{(n)}_k)=v^{(n)}_k$. Ha $x\notin B$, legyen
$f(x)=v^{(n)}_1$. Defini\'aljuk a $g(v^{(n))}_k)$ f\"uggv\'enyt,
mint $g(v^{(n)}_k)=x^{(n)}_k$, ha $k\le\bar N(n)$. Ha
$\bar N(n)<k\le N(n)$, akkor a $g(v^{(n)}_k)$ f\"uggv\'enyt
tetsz\H{o}leges m\'odon defini\'alhatjuk. Ilyen v\'alaszt\'assal
$P(g(f(\xi_1,\dots,\xi_n))
=(\xi_1,\dots,\xi_n))\ge P((\xi_1,\dots,\xi_n)\in B)\ge1-\e$.

A t\'etel m\'asodik fel\'enek bizony\'{\i}t\'as\'aban azt haszn\'aljuk
ki, hogy $n\ge n_0$ eset\'en l\'etezik olyan $\bar B\subset X^n$
halmaz, amelyre $P((\xi_1,\dots,\xi_n)\in\bar B)\ge1-\frac\e2$,
\'es a $\bar B$ halmaz elemei viszonylag nagy 
val\'osz\'{\i}n\H{u}s\'eggel jelennek meg. Pontosabban,
$P((\xi_1,\dots,\xi_n)=(x_{j_1},\dots,x_{j_n}))
\le 2^{-(1-\frac\delta2)H(\xi)n}$ az 
$(x_{j_1},\dots,x_{j_n})\in \bar B$ vektorokra. Ha
$N(n)\le2^{(1-\delta)H(\xi) n}$ eset\'en is lenne olyan
$f(\cdot)$, $g(\cdot)$ f\"uggv\'enyp\'ar, amelyre
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\ge\e$,
akkor l\'etezne olyan $B_0\subset X^n$ halmaz, amelyre
$P((\xi_1,\dots,\xi_n)\in B_0)\ge\e$, \'es az \"osszes
$x=(x_{j_1},\dots,x_{j_n})\in B_0$ vektor $f(x)\in A(n)$
k\'epe k\"ul\"onb\"oz\H{o} lenne. (A $B_0$ halmazt \'ugy
v\'alaszthatjuk, mint azon $x\in X^n$ vektorok halmaz\'at,
amelyekre $g(f(x))=x$.) Ekkor az is igaz lenne, hogy
$P((\xi_1,\dots,\xi_n)\in B_0\cap\bar B)\ge\frac\e2$, \'es minden
$x\in B_0\cap\bar B$ vektorra $P((\xi_1,\dots,\xi_n)=x)
\le 2^{-(1-\frac\delta2)H(\xi)n}$. Innen k\"ovetkezne,
hogy az $B_0\cap\bar B$ halmaz elemsz\'ama nagyobb, mint
$\frac\e2 2^{(1-\frac\delta2)H(\xi)n}>
2^{(1-\delta)H(\xi)n}$, ha $n\ge n_0(\e,\delta)$.
Ez ellentmond annak, hogy minden $x\in B_0\cap \bar B$
vektor $f(x)\in A(n)$ k\'epe k\"ul\"onb\"oz\H{o}, mert az $A(n)$
halmaz elemsz\'ama $N(n)\le2^{(1-\delta)H(\xi)n}$.

\medskip\noindent
{\it Megjegyz\'es.}\/ Mivel a tekintett $\xi_1,\xi_2,\dots$
sorozat f\"uggetlen \'es egyforma eloszl\'as\'u
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'okb\'ol \'all,
ez\'ert az el\H{o}z\H{o} t\'etel eredm\'eny\'et alkalmazhatjuk 
nemcsak a $(\xi_1,\dots,\xi_n$ hanem a 
$(\xi_{ln+1},\dots,\xi_{(l+1)n})$ sorozatra tetsz\H{o}leges 
$l=1,2,\dots$ indexre. Ez\'ert a (2.1) rel\'aci\'o
is teljes\"ul egy alkalmas $f(\cdot)$, $g(\cdot)$
f\"uggv\'enyp\'arral, ha az $A(n)$ halmaz $N(n)$ elemsz\'am\'ara
$N(n)\ge2^{(1+\delta)H(\xi)n}$, \'es $n\ge n_0(\e,\delta)$. 
Tov\'abb\'a
$P(g(f(\xi_{ln+1},\dots,\xi_{(l+1)n}))=(\xi_{ln+1},\dots,\xi_{(l+1)n}))
\le\e$
minden $l=0,1,\dots$ indexre \'es $f,g$ f\"uggv\'enyp\'arra, ha
$N(n)\le 2^{(1-\delta)H(\xi)n}$, \'es $n\ge n_0(\e,\delta)$.

\medskip\noindent
R\'at\'erek az egy\'ertelm\H{u}en dek\'odolhat\'o k\'odok
vizsg\'alat\'ara. Azt vizsg\'aljuk, hogyan lehet egy $M$
elemb\H{o}l \'all\'o $X=\{x_1,\dots,x_M\}$ halmaz elemeit,
pontosabban ezen elemekb\H{o}l \'all\'o sorozatokat
hib\'atlanul k\'odolni \'es dek\'odolni viszonylag
r\"ovid k\'odokkal egy $d$ elem\H{u} $Y=\{y_1,\dots,y_d\}$
ABC seg\'{\i}ts\'eg\'evel. Az \'altal\'anoss\'ag
megszor\'{\i}t\'asa n\'elk\"ul feltehetj\"uk,
hogy $Y=\{1,\dots,d\}$. \'Erdemes bevezetni a
k\"o\-vet\-ke\-z\H{o} fogalmat.

\medskip\noindent
{\bf Prefix k\'odok definici\'oja.} {\it Legyen adva egy
$X=\{x_1,\dots,x_M\}$ halmaz, \'es egy $Y=\{1,\dots,d\}$
ABC. Feleltess\"unk meg minden $x_i\in X$ elemnek egy
$u(x_i)=j^{(i)}_1,\dots j^{(i)}_{n(i)}$, $1\le j^{(i)}_s\le d$,
$1\le s\le n(i)$, sorozatot. Azt mondjuk, hogy ez a
megfeleltet\'es az $X$ halmaz elemeinek prefix k\'odja,
ha nincs olyan $x_p\in X$, $x_q\in X$ p\'ar, amelyre
az $u(x_p)$ sorozat az $u(x_q)$ sorozat megszor\'{\i}t\'asa
annak elej\'ere, azaz semmilyen $x_p$, $x_q$ p\'arra
nem lehet megkapni az $u(x_p)$ sorozatot \'ugy, hogy alkalmas
sz\'am\'u jelet let\"orl\"unk az $u(x_q)$ sorozat
v\'eg\'er\H{o}l.}

\medskip
Fontos lesz sz\'amunkra az al\'abbi lemm\'aban megfogalmazott
egyszer\H{u} \'esz\-re\-v\'e\-tel.

\medskip\noindent
{\bf Lemma a prefix k\'odok egy tulajdons\'ag\'ar\'ol.}
{\it Minden prefix k\'od egy\'ertelm\H{u}en
de\-k\'o\-dol\-ha\-t\'o k\'od.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Ha egy $x_1,\dots,x_n$ sorozatnak
egy $u(x_1),u(x_2),\dots,u(x_n)$ prefix k\'od felel meg, akkor
a prefix tulajdons\'ag alapj\'an meg tudjuk \'allap\'{\i}tani,
hol fejez\H{o}dik be e sorozatban az $u(x_1)$, sorozat, \'es \'{\i}gy
azonos\'{\i}that\'o az $x_1$ jel. Ezut\'an rekurz\'{\i}v m\'odon
meg tudjuk hat\'arozni egym\'as ut\'an az $x_2$, $x_3$,\dots
\'ert\'eketet is.

\medskip
L\'eteznek nem prefix, de egy\'ertelm\H{u}en dek\'odolhat\'o
k\'odok. P\'eld\'aul, ha $X$ k\'et elem\H{u} halmaz, \'es $D=\{1,2\}$
v\'alaszthatjuk $x_1$ k\'odj\'anak az 1, $x_2$ k\'odj\'anak az 1,2
sorozatot. Vagy $x_1$ k\'odj\'anak az 1, $x_2$ k\'odj\'anak az
$1,\dots,1,2$ sorozatot, ahol az 1 jeleknek egy $n$ hossz\'us\'ag\'u
sorozat\'at vett\"uk a 2 jel el\H{o}tt egy
tetsz\H{o}leges (ismert) pozit\'{\i}v eg\'esz $n$ sz\'ammal.
Ezek egy\'ertelm\H{u}en dek\'odolhat\'o, de nem prefix k\'odok.
Viszont, mint l\'atni fogjuk, minden egy\'ertelm\H{u}en
dek\'odolhat\'o k\'odhoz lehet tal\'alni egy legal\'abb ugyanolyan
j\'o prefix k\'odot, ez\'ert figyelm\"unket koncentr\'alhatjuk a
prefix k\'odokra. Ezeknek megvan az az
el\H{o}ny\"uk is, hogy gyorsan dek\'odolhat\'oak. Ha egym\'as ut\'an
meg\'erkeznek az $x_{j_1}$, $x_{j_2},\dots$, jelek prefix k\'odjai,
akkor mihelyt meg\'erkezett egy jel k\'odja, azonnal dek\'odolhatjuk
azt. Nem prefix, de egy\'ertelm\H{u}en dek\'odolhat\'o k\'odok
eset\'eben a helyzet bonyolultabb. P\'eld\'aul, ha a k\'et elem\H{u}
$X$ halmaz $x_1$ elem\'enek a k\'odszava 1, az  $x_2$ elem k\'odszava
$1,\dots,1,2$, ($n$ darab 1 jellel), akkor egy 1 jel meg\'erkez\'ese
ut\'an lehet, hogy m\'eg $n$ jel meg\'erkez\'es\'et is meg kell
v\'arni, \'es csak azut\'an tudjuk eld\"onteni, hogy ez az 1-es jel
az $x_1$ k\'odszava vagy az $x_2$ k\'odszav\'anak az els\H{o} eleme
volt-e. Egy\'ebk\'ent l\'etezik egy m\'odszer annak
eld\"ont\'es\'ere, hogy mikor dek\'odolhat\'o egy k\'od
egy\'ertelm\H{u}en, (l\'asd (Robert Ash: Information theory,
Theorem 2.2.1), de erre a meglehet\H{o}sen bonyolultan
bizony\'{\i}that\'o  eredm\'enyre nem lesz sz\"uks\'eg\"unk. Ez\'ert
azt nem t\'argyalom.

A k\"ovetkez\H{o} eredm\'enyben, amelyet
Kraft--egyenl\H{o}tlens\'egnek is h\'{\i}vnak az irodalomban,
megadjuk, hogy milyen hossz\'uak lehetnek egy prefix k\'od
k\'odszavai.

\medskip\noindent
{\bf T\'etel egy prefix k\'od szavainak lehets\'eges hossz\'ar\'ol.
(Kraft egyenl\H{o}tlens\'eg.)}
{\it Legyen $X=\{x_1,\dots,x_M\}$ egy $M$ elem\H{u} halmaz,
\'es legyen $u(x_i)$, $1\le i\le M$, e halmaz egy prefix k\'odja az
$Y=\{1,\dots,d\}$ $d$-elem\H{u} ABC-vel. Jel\"olje $n(i)$ az
$u(x_i)$ sz\'o k\'odhossz\'at. Ekkor teljes\"ul a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eg.
Megford\'{\i}tva, ha az $n(i)$, $1\le i\le M$, pozit\'{\i}v eg\'esz
sz\'amok sorozata teljes\'{\i}ti a $\summ_{i=1}^M d^{-n(i)}\le1$
egyenl\H{o}tlens\'eget, akkor l\'etezik az $X$ halmaz elemeinek
olyan $u(x_i)$, $1\le i\le M$, prefix k\'odja az $Y=\{1,\dots,d\}$
$d$-elem\H{u} ABC-vel, amelyre az $u(x_i)$ sz\'o k\'odhossza $n(i)$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Feltehetj\"uk, hogy az $x_i\in X$
elemek \'ugy vannak indexelve, hogy $n(1)\le n(2)\le\cdots\le n(M)$.
Ha adva van egy $u(x_i)$, $1\le i\le M$, prefix k\'od, akkor
minden egyes $u(x_i)$ k\'odsz\'onak feleltess\"uk meg az \"osszes
olyan $n(M)$ hossz\'us\'ag\'u, az $Y=\{1,\dots,d\}$ halmaz
elemeib\H{o}l \'all\'o sorozatok halmaz\'at, amely sorozatok az
$u(x_i)$ k\'odsz\'o folytat\'asai. Az $u(x_i)$ k\'odsz\'onak
$d^{n(M)-n(i)}$ ilyen folytat\'asa van, \'es az $u(\cdot)$ k\'od
prefix tulajdons\'aga miatt \'{\i}ly m\'odon csupa
k\"ul\"onb\"oz\H{o} $n(M)$ hossz\'us\'ag\'u az $\{1,\dots,d\}$
halmaz elemeib\H{o}l \'all\'o sorozatot kapunk. Mivel \"osszesen
$d^{n(M)}$ ilyen sorozat van, ez\'ert
$\summ_{i=1}^M d^{n(M)-n(i)}\le d^{n(M)}$. Innen $d^{n(M)}$-mel
osztva megkapjuk a $\summ_{i=1}^M d^{-n(i)}\le1$
egyen\-l\H{o}t\-len\-s\'e\-get.

Ha adva van egy $1\le n(1)\le n(2)\le\cdots\le n(M)$ a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eget
teljes\'{\i}t\H{o} sorozat, akkor a k\"ovetkez\H{o} m\'odon tudunk
a k\'{\i}v\'ant hossz\'us\'ag\'u k\'odszavakb\'ol \'all\'o prefix
k\'odot konstru\'alni. Legyen $u(x_1)$ tetsz\H{o}leges $n(1)$
hossz\'us\'ag\'u az $Y=\{1,\dots,d\}$ halmaz elemeib\H{o}l \'all\'o
sorozat. Az $i$ v\'altoz\'o szerinti indukci\'oval defini\'aljuk
az $u(x_i)$ k\'odszavakat \'ugy, hogy az $u(x_1),\dots,u(x_i)$
k\'odszavak az $X_i=\{x_1,x_2,\dots,x_i\}$ halmaz prefix
k\'odj\'at alkoss\'ak. Ha az $i-1$ indexre tal\'altunk ilyen
k\'odszavakat, akkor a prefix tulajdons\'ag meg\H{o}rz\'es\'ehez
az indukci\'o $i$-ik l\'ep\'es\'eben el\'eg olyan $n(i)$
hossz\'us\'ag\'u $u(x_i)$ k\'odsz\'ot tal\'alni, amely nem
folytat\'asa egyik $u(x_j)$, $1\le j\le i-1$, k\'odsz\'onak sem.
Ez azt jelenti, hogy az $d^{n(i)}$ darab $n(i)$ hossz\'us\'ag\'u,
az $Y=\{1,\dots,d\}$ halmaz elemeib\H{o}l \'all\'o sorozat
k\"oz\"ul $\summ_{j=1}^{i-1} d^{n(i)-n(j)}$ sorozat
v\'alaszt\'asa van tiltva. Akkor tudunk egy k\'{\i}v\'ant
tulajdons\'ag\'u $u(x_i)$ sorozatot (k\'odsz\'ot) v\'alasztani,
ha $\summ_{j=1}^{i-1} d^{n(i)-n(j)}<d^{n(i)}$, azaz, ha
$\summ_{j=1}^{i-1} d^{-n(j)}<1$. Az adott felt\'etel mellett ez
a tulajdons\'ag minden $2\le i\le M$ indexre teljes\"ul. Ezzel
bel\'attuk a t\'etel m\'asodik \'all\'{\i}t\'as\'at is.

\medskip
A k\"ovetkez\H{o} eredm\'eny azt \'all\'{\i}tja, hogy adott
sz\'ohossz\'us\'ag\'u k\'odszavakkal rendelkez\H{o} prefix
k\'odok l\'etez\'es\'enek sz\"uks\'eges felt\'etele
egyben annak is sz\"uks\'eges felt\'etele, hogy l\'etezzen
ilyen hossz\'us\'ag\'u k\'odszavakkal rendelkez\H{o}
egy\-\'er\-tel\-m\H{u}en de\-k\'o\-dol\-ha\-t\'o k\'od.

\medskip\noindent
{\bf T\'etel egy\'ertelm\H{u}en dek\'odolhat\'o k\'odok
l\'etez\'es\'enek sz\"uks\'eges felt\'etel\'er\H{o}l.} {\it Legyen
$X=\{x_1,\dots,x_M\}$ egy $M$ elem\H{u} halmaz, \'es legyen
$u(x_i)$ e halmaz egy egy\-\'er\-tel\-m\H{u}\-en dek\'odolhat\'o
k\'odja az $Y=\{1,\dots,d\}$ $d$-elem\H{u} ABC-vel. Ekkor az
$u(x_i)$ k\'odszavak $n(i)$ k\'odhosszai teljes\'{\i}tik a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eget.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Jel\"olje $\oo_j$ azon $x_i\in X$,
$1\le i\le M$, pontok sz\'am\'at, amelyek $u(x_i)$  k\'odszav\'anak
a hossza $n(i)=j$, \'es legyen $r=\supp_{1\le i\le M}n(i)$.
Ezzel a jel\"ol\'essel
$\summ_{i=1}^M d^{-n(i)}=\summ_{j=1}^r\oo_j d^{-j}$,
\'es a bizony\'{\i}tand\'o egyenl\H{o}tlens\'eg
$\summ_{j=1}^r\oo_j d^{-j}\le1$ alakban is \'{\i}rhat\'o.
Ezen egyenl\H{o}tlens\'eg igazol\'asa \'erdek\'eben vegy\"unk egy
pozit\'{\i}v eg\'esz $p$ sz\'amot, \'es \'{\i}rjuk fel a
$$
\(\summ_{j=1}^r\oo_j d^{-j}\)^p=(\oo_1d^{-1}+\cdots+\oo_rd^{-r})^p
=\sum_{k=p}^{pr} N_kd^{-k}
$$
azonoss\'agot, ahol
$$
N_k=\sum_{(i_1,\dots,i_p)\colon\; i_1+\cdots+i_p=k}
\oo_{i_1}\dots\oo_{i_p}, \quad p\le k\le pr.
$$
Azt \'all\'{\i}tom, hogy teljes\"ul az $N_k\le d^k$
egyenl\H{o}tlens\'eg minden $p\le k\le pr$ indexre. Val\'oban, az
$\oo_{i_1}\dots\oo_{i_p}$ szorzat azon
$u(x_{l_1}),\dots, u(x_{l_p})$ k\'odsz\'osorozatok sz\'am\'aval
egyenl\H{o}, amelyekre $n(l_1)=i_1$,\dots, $n(l_p)=i_p$. Ez\'ert
$N_k$ egyenl\H{o} azon $u(x_{l_1}),\dots, u(x_{l_p})$
k\'od\-sz\'o\-so\-ro\-za\-tok sz\'am\'aval, amelyek \"osszhossza
$k$-val egyenl\H{o}. Az egy\'ertelm\H{u} dek\'odolhat\'os\'ag miatt
az \"osszes el\H{o}bb felsorolt k\'odsz\'osorozat k\"ul\"onb\"oz\H{o},
ez\'ert sz\'amuk kisebb, mint az \"osszes lehets\'eges $k$
hossz\'us\'ag\'u az $Y=\{1,\dots,d\}$ halmaz elemeit tartalmaz\'o
sorozat sz\'ama. Ez\'ert $N_k\le d^k$, amint \'all\'{\i}tottuk.

A fenti \"osszef\"ugg\'esekb\H{o}l k\"ovetkezik, hogy
$$
\(\summ_{j=1}^r\oo_j d^{-j}\)^p\le
\sum_{k=p}^{pr} d^k\cdot d^{-k}=(p(r-1)+1)\le pr,
$$
\'es $p$-ik gy\"ok\"ot vonva, majd $p\to\infty$ hat\'ar\'atmenetet
v\'eve kapjuk, hogy
$$
\summ_{j=1}^r\oo_j d^{-j}\le\lim_{p\to\infty} (pr)^{1/p}=1,
$$
ahonnan k\"ovetkezik a bizony\'{\i}tani k\'{\i}v\'ant
$\summ_{j=1}^r\oo_j d^{-j}\le1$ egyenl\H{o}tlens\'eg.

A bizony\'{\i}t\'as gondolat\'anak jobb meg\'ert\'ese \'erdek\'eben
\'erdemes megjegyezni, hogy a vizsg\'alt
$\(\summ_{j=1}^r\oo_j d^{-j}\)^p$ kifejez\'es egyenl\H{o} az
\"osszes $u(x_{l_1}),\dots, u(x_{l_p})$ sorozat sz\'am\'aval. A
$p\to\infty$ hat\'ar\'atmenet alkalmaz\'asakor haszn\'altuk ki azt,
hogy a hossz\'u $x_{l_1},\dots,x_{l_p}$ sorozatok k\'odjai is
egy\'ertelm\H{u}en dek\'odolhat\'ok.

\medskip\noindent
Legyen adva egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amely \'ert\'ekeit egy $X=\{x_1,\dots,x_M\}$ halmazon veszi
fel, \'es $P(\xi=x_i)=p(i)$, $1\le i\le M$. Legyen $u(x_i)$,
$x_i\in X$, az $X$ halmaz elemeinek egy olyan k\'odja,  amelyre
$u(x_i)$ egy $n(i)$ hossz\'us\'ag\'u az $Y=\{1,\dots,d\}$
halmaz elemeib\H{o}l \'all\'o sorozat. Jel\"olje $|u(\xi)|$ a
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o $u(\xi)$
k\'odj\'anak a hossz\'at, azaz, ha $\xi=x_i$, akkor bevezetve
az $|u(x_i)|=n(i)$ jel\"ol\'est azt \'{\i}rhatjuk, hogy
$u(\xi)=u(x_i)$, \'es $|u(\xi)|=n(i)$. Az $u(\xi)$
v\'eletlen k\'odsz\'o $|u(\xi)|$ hossz\'anak a v\'arhat\'o
\'ert\'eke $E|u(\xi)|=\summ_{i=1}^M p(i)n(i)$. Az $u(\xi)$
v\'eletlen k\'odsz\'o hossz\'anak a v\'arhat\'o \'ert\'ek\'ere
k\'{\i}v\'anunk j\'o als\'o becsl\'est adni, ha $u(x_i)$,
$x_i\in X$ prefix, illetve \'altal\'anosabban, ha az egy\'ertelm\H{u}en
dek\'odolhat\'o k\'od. Ezenk\'{\i}v\"ul j\'o fels\H{o} becsl\'est
is akarunk adni egy j\'ol v\'alasztott prefix k\'od
hossz\'anak a v\'arhat\'o \'ert\'ek\'ere.

Tudjuk, hogy akkor \'es csak akkor l\'etezik $n(i)$, $1\le i\le M$,
hossz\'u, az $Y=\{1,\dots,d\}$ ABC-t haszn\'al\'o k\'odszavakkal
rendelkez\H{o} prefix, illetve  \'altal\'anosabban
egy\'ertelm\H{u}en dek\'odolhat\'o k\'od, ha teljes\"ul a
$\summ_{i=1}^M d^{-n(i)}\le1$ egyenl\H{o}tlens\'eg. Ez\'ert
probl\'em\'ank ahhoz az eg\'esz-\'ert\'ek\H{u} sz\'els\H{o}\'ert\'ek
fel\-adat\-hoz vezet, hogy keress\"uk meg a
$\summ_{i=1}^M p(i)n(i)$ kifejez\'es (majdnem) optimum\'at a
$\summ_{i=1}^M d^{-n(i)}\le1$ felt\'etel mellett. Ezen
optimaliz\'aci\'os probl\'ema vizsg\'alat\'aban hasznos az al\'abbi
becsl\'es, amelyet $I$-divergencia tipus\'u becsl\'esnek fogok
h\'{\i}vni. Ugyanis, mint egy megjegyz\'esben el\-ma\-gya\-r\'a\-zom,
ez a becsl\'es tekinthet\H{o}, \'ugy mint az inform\'aci\'oelm\'elet
egyik fontos, a k\'es\H{o}bb bevezetend\H{o} $I$-divergenci\'ar\'ol
sz\'ol\'o becsl\'es\'enek a speci\'alis esete.

\medskip\noindent
{\bf Egy $I$-divergencia tipus\'u becsl\'est megfogalmaz\'o lemma.}
{\it Legyen $a_1,a_2,\dots$ \'es $b_1,b_2,\dots$ k\'et v\'eges vagy
v\'egtelen, ugyanannyi elemet tartalmaz\'o sorozat, amelyekre
$a_i\ge0$, $b_i\ge0$ minden $i$ indexre, \'es $a=\summ_ia_i<\infty$,
$b=\summ_ib_i<\infty$. Ekkor
$$
\sum_i a_i\log \frac{a_i}{b_i}\ge a\log \frac ab.
$$
(Ezen egyen\H{o}tlens\'egben az $x\cdot\log\frac0x=0$, ha $x\ge0$,
\'es $x\cdot\log\frac x0=\infty$, ha $x>0$ konvenci\'ot alkalmazzuk.)}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Fel fogjuk haszn\'alni, hogy az els\H{o}
fejezetben bevezetett \'es vizsg\'alt $g(x)=x\log x$, $x\ge0$,
f\"uggv\'eny konvex. A $g(x)$ f\"uggv\'eny a konvexit\'as\'at az
$u_i=\frac{a_i}{b_i}$ koordin\'at\'ak, \'es
$p_i=\frac{b_i}{\summ_i b_i}=\frac{b_i}b$ s\'ulyok
v\'alaszt\'as\'aval fogom alkalmazni. (Nyilv\'an $p_i\ge0$,
\'es $\summ_i p(i)=1$.) A $g(x)$ f\"uggv\'eny konvexit\'as\'at
felhaszn\'alva azt kapjuk, hogy
$$
\sum_i a_i\log \frac{a_i}{b_i}=b\sum_i p_i g(u_i)\ge bg\(\sum_i p_iu_i\)
=bg\(\frac ab\)=a\log \frac ab.
$$

\medskip\noindent
{\it Megjegyz\'es.} A fenti lemm\'at k\"onnyen reduk\'alni lehet
arra a speci\'alis esetre, amikor $\sum_i a_i=\sum_i b_i=1$.
Ebben az esetben az egyenl\H{o}tlens\'eg jobboldal\'an 0 \'all.
Ez a reduk\'alt egyenl\H{o}tlens\'eg felfoghat\'o az al\'abbi
egyenl\H{o}tlens\'eg speci\'alis eset\'enek. Legyen $\mu$ \'es
$\nu$ k\'et olyan val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek
ugyanazon az $(X,\Cal X)$ m\'erhet\H{o} t\'eren, amelyekre a
$\nu$ m\'ert\'ek abszolut folytonos a $\mu$ m\'ert\'ekre
n\'ezve. Jel\"olje $\frac{d\nu}{d\mu}$ a $\nu$ m\'ert\'eknekek
a $\mu$ m\'ert\'ek szerinti Radon--Nikodym deriv\'altj\'at.
Ekkor $\int_X\log\frac{d\nu}{d\mu}(x)\,d\nu(x)\ge0$. Ez az
egyenl\H{o}tlens\'eg tekinthat\H{o} \'ugy, mint a k\'es\H{o}bb
bevezetend\H{o} $I$-divergencia egy fontos tulajdons\'aga.
Egy\'ebk\'ent ez az egyenl\H{o}tlens\'eg a lemm\'ahoz hasonl\'oan
bizony\'{\i}that\'o.

\medskip
A most ismertetett  lemma seg\'{\i}t az al\'abbi eredm\'eny
bizony\'{\i}t\'as\'aban.

\medskip\noindent
{\bf T\'etel egy\'ertelm\H{u}en dek\'odolhat\'o \'es
prefix k\'odok hossz\'anak v\'arhat\'o \'er\-t\'e\-k\'e\-r\H{o}l.}
{\it Vegye fel egy $\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\'ert\'ekeit egy $X=\{x_1,\dots,x_M\}$ halmazon, amely\-nek
 az eloszl\'as\'at a  $P(\xi=x_i)=p(i)$, $1\le i\le M$, k\'eplet
adja meg. Legyen $u(x_i)$, $x_i\in X$, az  $X$ halmaznak
egy az $Y=\{1,\dots,d\}$ halmaz seg\'{\i}ts\'eg\'evel
defini\'alt prefix, vagy \'al\-ta\-l\'a\-no\-sab\-ban,
egy\'ertelm\H{u}en dek\'odolhat\'o k\'odja, \'es jel\"olje $n(i)$
az $u(x_i)$ k\'od\-sz\'o sz\'ohossz\'at. Ekkor az $u(\xi)$
v\'eletlen k\'odsz\'o $|u(\xi)|$ hossz\'anak a v\'arhat\'o
\'ert\'eke teljes\'{\i}ti az
$$
E|u(\xi)|=\summ_{i=1}^M p(i)n(i)\ge \frac{H(\xi)}{\log d}
$$
egyenl\H{o}tlens\'eget. Megford\'{\i}tva, l\'etezik az
$X$ halmaznak olyan prefix k\'odja, amelyre
$$
E|u(\xi)|=\summ_{i=1}^M p(i)n(i)\le \frac{H(\xi)}{\log d}+1.
$$
}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Legyen $u(x_i)$, $1\le i\le M$, az $X$
halmaznak az $Y=\{1,\dots,d\}$ ABC seg\'{\i}ts\'eg\'evel defini\'alt
egy\'ertelm\H{u}en dek\'odolhat\'o k\'odja, \'es legyen $n(i)$ az
$u(x_i)$ k\'odsz\'o k\'odhossza. Tudjuk, hogy ekkor
$\summ_{i=1}^M d^{-n(i)}\le1$. Alkalmazzuk az el\H{o}z\H{o}
lemm\'aban bizony\'{\i}tott egyenl\H{o}tlens\'eget $a_i=p(i)$
\'es $b_i=d^{-n(i)}$, $1\le i\le M$, v\'alaszt\'assal. Ekkor
$a=\summ_{i=1}^M a_i=1$, \'es $b=\summ_{i=1}^M b_i\le1$, ahonnan
$$
\sum_{i=1}^M p(i)\log (p(i)d^{n(i)})
=\sum_{i=1}^M a_i\log\frac{a_i}{b_i}\ge a\log\frac ab\ge0.
$$
Teh\'at $\log d\cdot\summ_{i=1}^M n(i)p(i)\ge
-\summ_{i=1}^M p(i)\log p(i)$, azaz
$\log d\cdot Eu|(\xi)|\ge H(\xi)$, \'es ezt kellett be\-l\'at\-ni.

L\'attuk, hogy a t\'etel m\'asodik fel\'enek igazol\'asa
\'erdek\'eben olyan $n(i)$, $1\le i\le M$, pozit\'{\i}v eg\'esz
sz\'amokat  kell tal\'alnunk, amelyekre
$\summ_{i=1}^M d^{-n(i)}\le 1$, \'es az
$E|u(\xi)|=\summ_{i=1}^M p(i) n(i)$ v\'arhat\'o \'ert\'ek
vi\-szony\-lag kicsi. Term\'eszetes olyan $n(i)$ sz\'amokat
v\'alasztani, amelyekre az $E|u(\xi)|$ v\'arhat\'o \'ert\'ekre
adott als\'o becsl\'es bizony\'{\i}t\'as\'aban felhaszn\'alt
$I$-divergencia tipus\'u becsl\'est megfogalmaz\'o lemm\'aban
sze\-rep\-l\H{o} egyenl\H{o}tlens\'eg majdnem egyenl\H{o}s\'eggel
teljes\"ul. Ez\'ert v\'alasszunk olyan $n(i)$ eg\'esz sz\'amokat,
amelyekre $d^{-n(i)}\le p(i)$, \'es a
$d^{-n(i)}$ sz\'am olyan k\"ozel van a $p(i)$ sz\'amhoz, amennyire
ez a felt\'etel megengedi. Ennek alapj\'an a k\"ovetkez\H{o}
v\'alaszt\'ast tessz\"uk. Legyen minden $1\le i\le M$ indexre
$n(i)$ az az eg\'esz sz\'am, amelyre
$\frac{p(i)}d\le d^{-n(i)}\le p(i)$. Ekkor
$\summ_{i=1}^M d^{-n(i)}\le\summ_{i=1}^Mp(i)=1$, azaz l\'etezik
a k\'{\i}v\'ant hossz\'us\'ag\'u k\'odszavakkal rendelkez\H{o}
prefix k\'od. M\'asr\'eszt $n(i)\le-\frac{\log p(i)}{\log d}+1$,
\'es ez\'ert $E|u(\xi)|=\summ_{i=1}^M p(i) n(i)
\le -\summ_{i=1}^M \frac{p(i)\log p(i)}{\log d}+\summ_{i=1}^Mp(i)
=\frac{H(\xi)}{\log d}+1$, teh\'at e prefix k\'od hossz\'anak
a v\'arhat\'o \'ert\'eke teljes\'{\i}ti a k\'{\i}v\'ant
egyenl\H{o}tlens\'eget.

\medskip
Az egy\'ertelm\H{u}en dek\'odolhat\'o \'es
prefix k\'odok hossz\'anak v\'arhat\'o \'er\-t\'e\-k\'e\-r\H{o}l
sz\'ol\'o t\'etel fels\H{o} becsl\'es\'enek bizony\'{\i}t\'as\'aban
defini\'alt prefix k\'od hossza k\"ozel van az optimumhoz, de nem
felt\'etlen\"ul egyenl\H{o} vele. Ugyanakkor ismert az optim\'alis,
\'ugy\-ne\-ve\-zett Huffman k\'od konstrukci\'oja is. (L\'asd
Robert Ash: Information Theory, Lemma 2.6.2), amely el\'egg\'e
bonyolult.  Ez\'ert e k\'od tulajdons\'agai nehezen
vizs\-g\'al\-ha\-t\'o\-ak, \'es jelent\H{o}s\'ege
korl\'atozott. Emiatt mi a Huffman k\'odot nem t\'argyaljuk.

Hasonl\'o jelens\'eggel tal\'alkoztunk, amikor f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok $n$ hossz\'u\-s\'a\-g\'u
sorozataib\'ol \'all\'o viszonylag kis elem\-sz\'a\-m\'u majdnem 1
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-g\H{u}, alkalmasan defi\-ni\-\'alt
halmazok elem\-sz\'a\-m\'at becs\"ult\"uk.  Ott sem az optim\'alis
halmaz elemsz\'am\'at becs\"ult\"uk. Ez a
leg\-va\-l\'o\-sz\'{\i}\-n\H{u}bb sorozatok alkalmas elemsz\'am\'u
halmaza lett volna. Ehelyett egy olyan csak aszimptotikusan
optim\'alis halmazt tekintett\"unk, amelynek elem\-sz\'a\-m\'at a
nagy sz\'amok t\"or\-v\'e\-nye seg\'{\i}ts\'eg\'evel j\'ol tudtuk
becs\"ulni.

\beginsection 3. Csatorna k\'odol\'as \'es dek\'odol\'as.

E fejezet f\H{o} t\'em\'aja az a k\'erd\'es, hogy hogyan lehet
egy a jeleket esetleg hib\'aval k\"ozvet\'{\i}t\H{o} csatorn\'an
kereszt\"ul viszonylag biztosan \'es gyorsan \"uzeneteket
\'atadni. K\'es\H{o}bb azt a k\'erd\'est is t\'argyalom,
hogy az ebben \'es az el\H{o}z\H{o} fejezetekben bizony\'{\i}tott
ered\-m\'e\-nyek seg\'{\i}ts\'eg\'evel hogyan lehet egy
h\'{\i}rforr\'as k\"ozvet\'{\i}t\'es\'et egy csatorn\'an
kereszt\"ul j\'ol to\-v\'ab\-b\'{\i}\-ta\-ni.

Egy \"uzenetnek egy (h\'{\i}rk\"ozl\'esi) csatorna
seg\'{\i}ts\'eg\'evel v\'egrehajtott tov\'abbad\'asa azt
jelenti szem\-l\'e\-le\-te\-sen, hogy a csatorna bemeneti
v\'eg\'en leadnak egy jelet, \'es ennek ha\-t\'a\-s\'a\-ra
valamilyen m\'asik jel jelenik meg a csatorna m\'asik,
kimeneti v\'eg\'en. A kimeneti  jel \'ert\'eke f\"ugghet a
v\'eletlent\H{o}l, \'es az, hogy a kimeneti oldalon milyen
val\'osz\'{\i}n\H{u}s\'eggel milyen jel jelenik meg, att\'ol
f\"ugg, hogy mi volt a bemeneti jel. Egy felhaszn\'al\'o, aki
a kimeneti jelet megismeri, megpr\'ob\'al ennek alapj\'an
visszak\"ovetkeztetni a leadott bemeneti jelre. Olyan
elj\'ar\'ast akarunk kidolgozni a csatorna tulajdons\'againak
az ismeret\'eben, amely lehet\H{o}v\'e teszi, hogy a
felhaszn\'al\'o viszonylag nagy val\'osz\'{\i}n\H{u}s\'eggel
helyesen k\"ovetkeztessen a leadott bemeneti jelre.
Fogalmazzuk meg ezt a v\'azlatosan le\'{\i}rt probl\'em\'at
pontosabban. Ennek \'erdek\'eben bevezetem el\H{o}sz\"or a
(h\'{\i}rk\"ozl\'esi) csatorna fogalm\'at.

\medskip\noindent
{\bf (H\'{\i}rk\"ozl\'esi) csatorna \'es a csatorna \'altal
\"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
definici\'oja.} {\it Legyen adva k\'et $V=\{v_1,v_2,\dots\}$
\'es $\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy
meg\-sz\'am\-l\'al\-ha\-t\'o\-an v\'egtelen halmaz. Egy
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$
\'atmenetval\'osz\'{\i}n\H{u}s\'eg f\"uggv\'enyt a $V$ \'es $\VV$
halmaz k\"oz\"otti csatorn\'anak nevez\"unk. Az, hogy a
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$ f\"uggv\'eny
\'atmenetval\'osz\'{\i}n\H{u}s\'eg f\"uggv\'eny azt jelenti, hogy
$p(\vv_j|v_i)\ge0$ minden $v_i\in V$ \'es $\vv_j\in\VV$ p\'arra,
\'es $\summ_{\vv_j\in\VV} p(\vv_j|v_i)=1$ minden $v_i\in V$
elemre. A $V$ halmazt a csatorna bemeneti, a $\VV$ halmazt a
csatorna kimeneti oldal\'anak fogjuk h\'{\i}vni,
a $v_i\in V$ pontokat bemeneti, a $\vv_j\in\VV$ pontokat pedig
kimeneti jeleknek fogjuk nevezni. Azt mondjuk hogy k\'et $\eta$
\'es $\tilde\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
\"ossze van kapcsolva a $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
csatorn\'aval ha $\eta(\oo)\in V$, $\eeta(\oo)\in\VV$ minden $\oo$
elemi esem\'enyre, \'es $P(\eeta=\vv_j|\eta=v_i)=p(\vv_j|v_i)$
minden $v_i\in V$ \'es $\vv_j\in\VV$ elemp\'arra.}

\medskip
Ha egy csatorn\'an leadunk valamely $v_i\in V$ bemeneti jelet, akkor
a felhaszn\'al\'o $p(\vv_j|v_i)$ val\'osz\'{\i}n\H{u}s\'eggel kapja
a $\vv_j$ kimeneti jelet. Ezen kimeneti jel seg\'{\i}ts\'eg\'evel
pr\'ob\'alja megtal\'alni a bemeneti jel \'ert\'ek\'et.
Ennek \'erdek\'eben term\'eszetes a k\"ovetkez\H{o} tipus\'u
elj\'ar\'as alkalmaz\'asa. A bemeneti oldalon alkalmas m\'odon
kiv\'alasztunk n\'eh\'any $v_{i_1}\in V$,\dots, $v_{i_N}\in V$
elemet bizonyos $N$ elemsz\'ammal, \'es ezen jelek valamelyik\'et
adjuk le a csatorn\'an. Ezeknek a bemeneti jeleknek a
kiv\'alaszt\'as\'at nevezz\"uk csatorna k\'odol\'asnak. \'Ugy
k\'{\i}v\'anjuk ezt a kiv\'alaszt\'ast v\'egrehajtani, hogy az
egyes kiv\'alasztott elemeket a csatorn\'an leadva, azok nagy
val\'osz\'{\i}n\H{u}s\'eggel k\"ul\"onb\"oz\H{o} halmazokba
essenek. Ez a k\"ovetkez\H{o}t jelenti. Ha egy $v_i\in V$ jelet
leadunk a csatorn\'an, akkor jel\"olje az $\eeta(v_i)$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o a kimen\H{o} jel
\'ert\'ek\'et. Olyan $v_{i_1}\in V$,\dots, $v_{i_N}\in V$ elemeket
akarunk a k\'odol\'asban v\'alasztani, amelyekhez tal\'alhat\'oak
olyan diszjunt $B_1\subset \VV$,\dots, $B_N\subset\VV$ diszjunkt
halmazok, amelyekre a $P(\eeta(v_{i_k})\in B_k)$
val\'osz\'{\i}n\H{u}s\'egek minden $1\le k\le N$ indexre viszonylag
nagyok. Ha a kimeneti oldalon egy olyan $\vv_j$ jel jelent meg,
amelyre $\vv_j\in B_k$, akkor tekintse a felhaszn\'al\'o a
$v_{i_k}$ jelet a  bemeneti jelnek. A $B_k$, $1\le k\le N$,
halmazok kiv\'alaszt\'as\'at \'es a $B_k\to v_{i_k}$
lek\'epez\'es megad\'as\'at csatorna dek\'ododol\'asnak
nevezz\"uk. E definici\'ot \'ugy adtam meg,
hogy amennyiben $\vv_j\notin\bigcupp_{i=k}^N B_k$ akkor az
itt ismertetett elj\'ar\'as szerint nem dek\'odoljuk a $\vv_j$
kimenetet. Az azonban, hogy ezt az elvet k\"ovetj\"uk-e, vagy olyan
elj\'ar\'ast adunk, amelyikben mindig tudunk dek\'odolni csak apr\'o
\'{\i}zl\'esbeli k\'erd\'es. A $B_k$ halmazok kiterjeszt\'es\'evel
ugyanis azt is el\'erhetj\"uk, hogy ezek a halmazok ne csak
diszjunktak legyenek, hanem egyben a $\VV$ halmaz egy partici\'oj\'at
is szolg\'altass\'ak. Ilyen v\'alaszt\'assal minden kimenetet tudunk
dek\'odolni, \'es az elj\'ar\'asban a j\'o dek\'odol\'as
val\'osz\'{\i}n\H{u}s\'ege a $B_k$ halmazok kiterjeszt\'ese
\'altal nem cs\"okkent. C\'elunk viszonylag sok k\'odsz\'o
kiv\'alaszt\'asa \'ugy, hogy a dek\'odol\'as nagy
val\'osz\'{\i}n\H{u}s\'eggel j\'o legyen. A k\'es\H{o}bbi
eredm\'enyek pontos megfogalmaz\'as\'anak az \'erdek\'eben
vezess\"uk be a k\"ovetkez\H{o} definici\'ot.

\medskip\noindent
{\bf Egy csatorna \'altal $\lambda$ megk\"ul\"onb\"oztethet\H{o}
elemekb\H{o}l \'all\'o halmaz definici\'oja.} {\it Legyen adva
k\'et $V=\{v_1,v_2,\dots\}$ \'es $\tilde V=\{\vv_1,\vv_2,\dots\}$
v\'eges vagy megsz\'aml\'alhat\'oan v\'egtelen halmaz, \'es
k\"ozt\"uk egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$ csatorna.
Ha egy $v_{i_1}\in V$,\dots, $v_{i_N}\in V$ sorozat elemeihez
l\'eteznek olyan $B_1\subset\VV$,\dots $B_N\subset\VV$
halmazok, amelyekre
$$
P(B_k|v_{i_k})=\summ_{j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda \quad
\text{minden $1\le k\le N$ indexre},
$$
 akkor azt mondjuk, hogy az
$A=\{v_{i_1},\dots,v_{i_N}\}$ halmaz elemei $\lambda$
megk\"ul\"onb\"oztethet\H{o}ek.}

\medskip\noindent
{\it Megjegyz\'es.}\/ Az el\H{o}bbi definic\'oban fel\'{\i}rt
egyenl\H{o}tlens\'eget \'ugy is megfogalmazhatjuk, hogy
amennyiben $\eta$ \'es $\eeta$ k\'et a csatorn\'aval
\"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, akkor
$$
P(\eeta\in B_k|\eta=v_{i_k})\ge 1-\lambda \quad
\text{minden $1\le k\le N$ indexre}.
$$
A k\'es\H{o}bbiekben t\"obbsz\"or ezt a jellemz\'es\'et fogjuk
haszn\'alni az egy csatorna \'altal $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o halmazoknak.

\medskip
Egy az el\H{o}bb le\'{\i}rt m\'odon defini\'alt j\'o, azaz kis
hib\'aj\'u csatorna k\'odol\'as, dek\'odol\'as definici\'oja egy
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o
$v_{i_1}\in V$,\dots, $v_{i_N}\in V$ sorozat megad\'as\'at
jelenti kis $\lambda>0$ param\'eterrel az e sorozatokhoz tartoz\'o
$B_1\subset\VV$,\dots, $B_N\subset\VV$ halmazokkal egy\"utt.
A minket \'erdekl\H{o} feladatokban val\'oj\'aban nem egy jelet,
hanem egy jelsorozat elemeit adjuk le egym\'as ut\'an a csatorn\'an,
\'es c\'elunk ennek a jelsorozatnak a min\'el pontosabb
azonos\'{\i}t\'asa. Minket az az eset \'erdekel els\H{o}sorban,
amikor a jelsorozat egyes jelei egym\'ast\'ol f\"uggetlen\"ul,
\'es ugyanolyan t\"orv\'enyszer\H{u}s\'egek szerint mennek \'at
a csatorn\'an. E fejezetben csak ezt az esetet fogom t\'argyalni.
A probl\'ema pontos megfogalmaz\'asa \'erdek\'eben bevezetem az
eml\'ekezet n\'elk\"uli csatorna fogalm\'at.

\medskip\noindent
{\bf Eml\'ekezet n\'elk\"uli csatorna definici\'oja.}  {\it Legyen
adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmaz, \'es k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$,
$\vv_j\in\VV$, \'atmenetval\'osz\'{\i}n\H{u}s\'egekkel defini\'alt
csatorna. Az e csatorna \'altal defini\'alt $n$~hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna olyan csatorna, amelynek  bemeneti
jelei a $V^n$, kimeneti jelei a $\VV^n$ halmaz elemei, azaz $n$
elem\H{u} $v_{i_k}$ illetve $\vv_{j_k}$, $1\le k\le n$,
elemekb\H{o}l \'all\'o sorozatok, \'atmenetval\'oszin\H{u}s\'ege
pedig $p((\vv_{j_1},\dots,\vv_{j_n})|(v_{i_1},\dots,v_{j_n}))
=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})$ tetsz\H{o}leges
$v=(v_{i_1},\dots,v_{i_n})\in V^n$, \'es
$\vv=(\vv_{j_1},\dots,\vv_{j_n})\in \VV^n$ sorozatokra.}

\medskip
Az eml\'ekezet n\'elk\"uli csatorna term\'eszetes
megfelel\H{o}je a f\"uggetlen, egyforma el\-osz\-l\'a\-s\'u
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok sorozatainak. Azt a
k\'erd\'est fogjuk vizsg\'alni, hogy egy $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna bemeneti
oldal\'an aszimptotikusan h\'any a csatorna \'altal $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemet tartalmaz\'o halmazt lehet
kiv\'alasztani nagy $n$ \'es r\"ogz\'{\i}tett $0<\lambda<1$
sz\'am eset\'en. Be fogjuk l\'atni, hogy nagyon \'altal\'anos
felt\'etelek mellett ez a sz\'am $2^{Cn(1+o(1))}$, ahol a $C$
sz\'am, amelyet csatorna kapacit\'asnak fogunk h\'{\i}vni, a
csatorna tulajdons\'agait\'ol f\"ugg. Ahhoz, hogy az eredm\'enyt
pontosan megfogalmazzam defini\'alni kell a csatorna
kapacit\'ast. Ennek \'erdek\'eben bevezetem el\H{o}sz\"or
k\'et val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o k\"olcs\"on\"os
inform\'aci\'oj\'anak a fogalm\'at.

\medskip\noindent
{\bf A k\"olcs\"on\"os inform\'aci\'o fogalma.} {\it Legyen $\eta$
\'es $\eeta$ k\'et \'ert\'ekeiket egy $V=\{v_1,v_2,\dots\}$ illetve
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmazon felvev\H{o} val\'osz\'{\i}n\H{u}s\'egi v\'al\-to\-z\'o,
\'es jel\"olje $r(v_i,\vv_j)=P(\eta=v_i,\eeta=v_j)$, $v_i\in V$,
$\vv_j\in\VV$, az egy\"uttes eloszl\'asukat. Vezess\"uk be a
$p(v_i)=P(\eta=v_i)=\summ_{\vv_j\VV} r(v_i,\vv_j)$ \'es
$q(\vv_j)=P(\eeta=\vv_j)=\summ_{v_i\in V} r(v_i,v_j)$, $v_i\in V$,
$\vv_j\in\VV$, mennyis\'egeket is. Ezzel a jel\"ol\'essel az $\eta$
\'es $\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'al\-to\-z\'ok
k\"olcs\"on\"os inform\'aci\'oja az
$$
I(\eta\wedge\eeta)=\sum_{v_i\in V,\vv_j\in\VV}
r(v_i,\vv_j) \log\( \frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\)
$$
kifejez\'essel egyenl\H{o}.}

\medskip\noindent
{\bf T\'etel a k\"olcs\"on\"os inform\'aci\'o
viselked\'es\'er\H{o}l.} {\it \'Erv\'enyes az
$I(\eta\wedge\eeta)\ge0$ egyen\-l\H{o}t\-len\-s\'eg, \'es
egyenl\H{o}s\'eg akkor \'es csak akkor \'all fenn ebben a
formul\'aban, ha $\eta$ \'es $\eeta$ f\"uggetlenek.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Alkalmazzuk az
$r(v_i,\vv_j)=P(\eta=v_i,\eeta=\vv_j)$, \'es
$p(v_i)=\summ_{\vv_j\in\VV} r(v_i,\vv_j)$,
$q(\vv_j)=\summ_{v_i\in V} r(v_i,\vv_j)$ $v_i\in V$, $\vv_j\in\VV$,
jel\"ol\'eseket. Azt kapjuk, felhaszn\'alva a $g(x)=x\log x$
f\"uggv\'eny szigor\'u konvexit\'as\'at, hogy
$$
\align
I(\eta\wedge\eeta)&=\sum_{v_i\in V,\vv_j\in\VV}
r(v_i,\vv_j) \log\( \frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\)
=\sum_{v_i\in V,\vv_j\in\VV} p(v_i)q(\vv_j)
g\(\frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\) \\
&\ge g\(\sum_{v_i\in V,\vv_j\in\VV} r(v_i,\vv_j)\)=g(1)=0,
\endalign
$$
Ebben a sz\'amol\'asban a $g(x)$ f\"uggv\'eny konvexit\'as\'at
alkalmaztuk a $p(v_i)q(\vv_j)$ s\'uly\-f\"ugg\-v\'ennyel. Vegy\"uk
\'eszre, hogy $\summ_{v_i\in V,\vv_j\in\VV}p(v_i)q(\vv_j)=1$, \'es
$p(v_i)q(\vv_j)\ge0$ minden $i$ \'es $j$ indexre.
Tov\'abb\'a felhaszn\'altuk azt is, hogy mivel a $g(x)$, $x\ge0$,
f\"uggv\'eny alulr\'ol korl\'atos, ez\'ert jogunk van a
bizony\'{\i}t\'asban haszn\'alt konvexit\'asi tulajdons\'agot akkor
is haszn\'alni, ha v\'egtelen sok oszt\'opontot tekint\"unk.
Egyenl\H{o}s\'eg a $g(x)$ f\"uggv\'eny szigor\'u konvexit\'asa miatt
csak akkor teljes\"ul, ha
$\frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}=\alpha$ egy az $i$ \'es
$j$ indext\H{o}l nem f\"ugg\H{o} $\alpha$ sz\'ammal minden
$i$ \'es $j$ indexre. (Ha $p(v_i)q(\vv_j)=0$, akkor $r(v_i,\vv_j)=0$,
\'es ekkor ezt a t\"ortet tetsz\H{o}leges m\'odon defini\'alhatjuk.)
De mivel
$\summ_{v_i,\vv_j} p(v_i)q(\vv_j)=\summ_{v_i,\vv_j}r(v_i,\vv_j)=1$,
ez csak akkor lehets\'eges, hogy $\alpha=1$, azaz az $\eta$ \'es
$\eeta$ val\'osz\'{\i}n\H{u}s\'agi v\'altoz\'ok f\"uggetlenek.

\medskip\noindent
{\it 1. Megjegyz\'es.}\/ Ha az $\eeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o entr\'opi\'aja teljes\'{\i}ti a $H(\tilde\eta)<\infty$
felt\'etelt (vagy $H(\eta)<\infty$), akkor az
$\eta$ \'es $\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
k\"olcs\"on\"os inform\'aci\'oja egy\-sze\-r\H{u}b\-ben is
kifejezhet\H{o}, \'es az el\H{o}z\H{o} t\'etel \'all\'{\i}t\'asa
k\"ovetkezik az entr\'opia m\'ar bizony\'{\i}tott
tulajdons\'agaib\'ol is. Ekkor
$$
\align
I(\eta\wedge\eeta)&=\sum_{v_i\in V,\vv_j\in\VV}
r(v_i,\vv_j) \log\(\frac{r(v_i,\vv_j)}{p(v_i)q(\vv_j)}\)\\
&=\sum_{v_i\in V,\vv_j\in\VV}r(v_i,\vv_j)
\log\frac{r(v_i,\vv_j)}{q(\vv_j)}
-\sum_{v_i\in V,\vv_j\in\VV}r(v_i,\vv_j) \log p(v_i) \\
&=H(\eeta)-H(\eeta|\eta),
\endalign
$$
ahonnan $(I\eta\wedge\eeta)=H(\eeta)-H(\eeta|\eta)\ge0$, \'es
egyenl\H{o}s\'eg csak akkor \'all fenn, ha $\eta$ \'es
$\eeta$ f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok. Ha a $H(\eta)<\infty$ felt\'etel is teljes\"ul,
akkor $I(\eta\wedge\eeta)=H(\eta)+H(\eeta)-H(\eta,\eeta)
=H(\eta)-H(\eta|\eeta)=H(\eeta)-H(\eeta|\eta)$.

\medskip\noindent
{\it 2. Megjegyz\'es.}\/ \'Erdemes felid\'ezni az els\H{o}
fejezetben t\'argyalt eredm\'enyeket \'es t\'argyalni azok
kapcsolat\'at a k\"olcs\"on\"os inform\'aci\'o fogalm\'aval.
El\H{o}sz\"or azt a p\'eld\'at t\'argyaltuk, hogy ha egy
m\'erk\H{o}z\'essorozat $\xi_1,\dots,\xi_n$ eredm\'enyei
egym\'ast\'ol f\"uggetlen \'es egy $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok, akkor
k\"or\"ulbel\"ul $2^{nH(\xi)}$ szelv\'enyt kell
kit\"olteni annak \'erdek\'eben, hogy majdnem biztosan legyen
telital\'alatunk. Ha ismerj\"uk egy m\'asik m\'erk\H{o}z\'essorozat
$\eta_1,\dots,\eta_n$ eredm\'enyeit, \'es a
$(\xi_1,\eta_1),\dots,(\xi_n,\eta_n)$ eredm\'enyp\'arok
egym\'ast\'ol f\"uggetlen, \'es egy $(\xi,\eta)$ v\'eletlen
vektorral azonos eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok, akkor az $\eta_1,\dots,\eta_n$ m\'erk\H{o}z\'essorozat
eredm\'enyeinek ismeret\'eben k\"or\"ulbel\"ul $2^{n H(\xi|\eta)}$
szelv\'enyt kell kit\"olten\"unk a majdnem biztos telital\'alat
el\'er\'es\'ehez, teh\'at k\"or\"ulbel\"ul
$2^{-n(H(\xi)-H(\xi|\eta))}=2^{-nI(\xi\wedge\eta)}$-szoros\'at
annak amennyi szelv\'enyt akkor kell kit\"olten\"unk, ha az
$\eta_1,\dots,\eta_n$ m\'erk\H{o}z\'essorozat eredm\'enyeit nem
ismerj\"uk.

Ezt az eredm\'enyt heurisztikusan \'ugy is interpret\'alhatjuk,
hogy az $\eta_j$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o ismerete
$I(\xi\wedge\eta)$-vel cs\"okkenti a $\xi_j$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o megismer\'es\'ehez
sz\"uk\-s\'e\-ges inform\'aci\'ot.
Az $I(\xi\wedge\eta)=H(\xi)-H(\xi|\eta)=H(\eta)-H(\eta|\xi)$
azonoss\'ag azt jelenti, hogy a k\"olcs\"on\"os inform\'aci\'onak
ebben az interpret\'aci\'oj\'aban a $\xi$ \'es $\eta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok szerepe felcser\'elhet\H{o}.

\medskip
Bevezetem a csatorna kapacit\'as fogalm\'at.

\medskip\noindent
{\bf A csatorna kapacit\'as fogalma.} {\it Legyen adva k\'et
$V=\{v_1,v_2,\dots\}$ \'es $\tilde V=\{\vv_1,\vv_2,\dots\}$
v\'eges vagy megsz\'aml\'alhat\'o halmaz, \'es k\"oz\"ott\"uk
egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel
defini\'alt csatorna. A csatorna kapacit\'as\'at a
$$
C=\sup_{\eta,\eeta} I(\eta\wedge\eeta)
$$
k\'eplet adja meg, ahol a szupr\'emumban az \"osszes a csatorna
\'altal \"osszekapcsolt $(\eta,\eeta)$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'art tekintj\"uk.}

\medskip\noindent
{\it Megjegyz\'es.}\/ L\'attuk, hogy egy csatorna kapacit\'asa
mindig nagyobb vagy egyenl\H{o}, mint nulla. S\H{o}t, jellemezni
lehet azt az esetet is, amikor a csatorna kapacit\'as null\'aval
egyenl\H{o}. Ez akkor k\"ovetkezik be, ha b\'armely k\'et a
csatorn\'aval \"osszekapcsolt $\eta$ \'es $\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o f\"uggetlen. Nem neh\'ez
bel\'atni, hogy ez akkor \'es csak akkor lehets\'eges, ha a
csatorn\'at meghat\'aroz\'o $p(\vv_j|v_i)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egek nem f\"uggnek a $v_i$
bemeneti jel \'ert\'ek\'et\H{o}l. Ez azt jelenti, hogy
b\'armely bemeneti jel lead\'asa eset\'en ugyanolyan
val\'osz\'{\i}n\H{u}s\'eggel kapjuk b\'armely kimeneti jelet.
Ekkor a kimeneti jel ismerete semmilyen inform\'aci\'ot nem
ny\'ujt arr\'ol, hogy milyen bemeneti jelet adtak le.

\medskip\noindent
E fejezet f\H{o} eredm\'enyei arra adnak becsl\'est, hogy, milyen
nagy, azaz h\'any $\lambda$
meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} elemet tartalmaz\'o
halmazt lehet konstru\'alni  egy $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna bemeneti oldal\'an.
A k\"ovetkez\H{o} eredm\'enyeket fogom bel\'atni.

\medskip\noindent
{\bf Csatorna k\'odol\'asi t\'etel.} {\it Legyen adva
adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmaz, \'es k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$,
$\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i\-}n\H{u}\-s\'e\-gek\-kel
defini\'alt $C<\infty$ csatorna kapacit\'as\'u csatorna.
Tekints\"unk egy ezen csatorna \'altal defini\'alt
$n$~hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli csatorn\'at. Minden
$0<\lambda<1$ \'es $\e>0$ sz\'amhoz l\'etezik olyan
$n_0=n_0(\e,\lambda)$ k\"usz\"obindex \'ugy, hogy amennyiben
$n\ge n_0$, akkor l\'etezik $N\ge 2^{(1-\e)Cn}$
$n$ hossz\'us\'ag\'u $(v^{(k)}_{j_1},\dots,v_{j_n}^{(k)})\in V^n$,
$1\le k\le N$, alak\'u $\lambda$ megk\"ul\"onb\"oztethet\H{o}
sorozatot tartalmaz\'o halmaz ennek az $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorn\'anak a bemeneti oldal\'an.}

\medskip
A fenti eredm\'eny megford\'{\i}t\'as\'at, azaz egy $\lambda$
megk\"ul\"onb\"oztethet\H{o} halmaz elem\-sz\'a\-m\'a\-ra adott
fels\H{o} becsl\'est  csak v\'eges \'allapotter\H{u}
csatorn\'akra fogom bizony\'{\i}tani. Egy csatorn\'at v\'eges
\'allapotter\H{u}nek nevezek, ha mind a bemeneti jelek $V$ mind
a kimeneti jelek $\VV$ halmaza v\'eges elemsz\'am\'u.

\medskip\noindent
{\bf A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'asa.}
{\it Legyen adva k\'et $V=\{v_1,\dots,v_m\}$ \'es
$\tilde V=\{\vv_1,\dots,\vv_n\}$ v\'eges halmaz, \'es
k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel
defini\'alt v\'eges \'allapotter\H{u} $C<\infty$ csatorna
kapacit\'as\'u csatorna. Tekints\"unk egy ezen csatorna \'altal
defini\'alt $n$~hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli
csatorn\'at. Legyen $A$ a $V^n$ halmaz egy $\lambda$
megk\"ul\"onb\"oztethet\H{o} sorozatokat tartalmaz\'o
 r\'eszhalmaza valamely $0<\lambda<1$ sz\'ammal. Ekkor
l\'etezik olyan $n_0=n_0(\e,\lambda)$ k\"usz\"obindex, hogy
amennyiben $n\ge n_0$, akkor az $A$ halmaz elemsz\'ama kisebb,
mint $2^{(1+\e)Cn}$. S\H{o}t, igaz a k\"ovetkez\H{o}
\'elesebb becsl\'es. Az adott tulajdons\'ag\'u $A$~halmaz
elemsz\'ama kisebb, mint
$\frac2{1-\lambda}2^{Cn+K\sqrt n/\sqrt{1-\lambda}}$ egy
alkalmas, a csatorna tulajdons\'agait\'ol f\"ugg\H{o} $K$
konstanssal.}

\medskip\noindent
{\it Megjegyz\'es.}\/ Az el\H{o}bb megfogalmazott eredm\'enyt
az irodalomban gyakran a
a csatorna k\'odol\'asi t\'etel er\H{o}s megford\'{\i}t\'as\'anak
h\'{\i}vj\'ak. E t\'etel bizony\'{\i}t\'as\'aban ki fogjuk 
haszn\'alni, hogy a tekintett csatorna v\'eges \'allapotter\H{u}.
\'Altal\'anos, nem felt\'etlen\"ul v\'eges \'allapotter\H{u}
csatorn\'ak eset\'eben csak egy gyeng\'ebb \'all\'{\i}t\'ast
tudnak bizony\'{\i}tani, amelyet a csatorna k\'odol\'asi t\'etel 
gyenge megford\'{\i}t\'as\'anak neveznek. Mi ezzel az
eredm\'ennyel nem fogunk foglalkozni. Megel\'egsz\"unk a
csatorna k\'odol\'asi t\'etel er\H{o}s megford\'{\i}t\'as\'anak
a bizony\'{\i}t\'as\'aval abban a speci\'alis esetben, amikor
a csatorna v\'eges \'allapotter\H{u}.

\medskip
Miel\H{o}tt r\'at\'ern\'ek a fenti t\'etelek
bizony\'{\i}t\'as\'ara, heurisztikus magyar\'azatot adok arra,
hogy mi\'ert term\'eszetes ilyen eredm\'enyeket v\'arni.

Ha adva van egy csatorn\'at meghat\'aroz\'o $P(\vv_j|v_i)$,
$v_i\in V$, $\vv_j\in \VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'eg
f\"ugg\-v\'eny, akkor tekints\"unk egy ehhez az
\'atmenetval\'osz\'{\i}n\H{u}s\'eghez adapt\'alt $\mu$
m\'ert\'eket a $V\times\VV$ halmazon, azaz egy olyan $\mu$
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'eket, amelyre egy $\mu$
eloszl\'as\'u $(\eta,\eeta)$ v\'eletlen vektor teljes\'{\i}ti a
$P(\eeta=\vv_j|\eta_i=v_i)=p(\vv_j|v_i)$ azonoss\'agot minden
$v_i\in V$ \'es $\vv_j\i\VV$ pontra. V\'alasszuk ezt a $\mu$
m\'ert\'eket \'ugy, hogy egy $\mu$ eloszl\'as\'u $(\eta,\eeta)$
p\'arra $I(\eta\wedge\eeta)=C$, vagy legal\'abbis
$I(\eta\wedge\eeta)$ nagyon k\"ozel van a $C$ csatorna
kapacit\'ashoz. Te\-kint\-s\"uk a $\mu$ m\'ert\'ek $\mu^n$
$n$-ik hatv\'any\'at a $V^n\times \VV^n$ szorzatt\'eren,
\'es jel\"olje $\nu_1^{n}$ \'es $\nu_2^n$ a $\mu^n$ m\'ert\'ek
vet\"ulet\'et a $V^n$ illetve $\VV^n$ t\'erre. Pr\'ob\'aljunk a
$\lambda$ megk\"ul\"onb\"oztethet\H{o} $v_1\in V^n$,
$v_2\in V_n$,\dots, sorozatokat a $\nu_1^n$ m\'ert\'ek szerint
tipikus sorozatok k\"oz\"ul kiv\'alasztani, \'es v\'alasszuk a
$v_k$ vektornak megfelel\H{o} $B_k$ halmazt \'ugy, mint a
$\mu^n(\cdot|v_k)$ felt\'eteles m\'ert\'ek sze\-rin\-ti tipikus
sorozatok halmaz\'at, illetve ezen halmaz kis
m\'odos\'{\i}t\'as\'at. Ezt a m\'o\-do\-s\'{\i}\-t\'ast a $B_k$
halmazok diszjunkts\'ag\'anak a biztos\'{\i}t\'asa \'erdek\'eben
tessz\"uk. Annak \'erdek\'eben,
hogy megbecs\"ulj\"uk h\'any ilyen $(v_k,B_k)$ p\'art tudunk
v\'alasztani becs\"ulj\"uk meg a $B_k$ halmazok
$\nu_2^n$ m\'ert\'ek\'et. Az els\H{o} fejezet eredm\'enyei
alapj\'an a $B_k$ halmaz k\"or\"ulbel\"ul $2^{nH(\eeta|\eta)}$
sorozatb\'ol \'all, \'es az egyes sorozatok $\nu_2^n$ m\'ert\'eke
k\"or\"ulbel\"ul $2^{-nH(\eta)}$. Ez\'ert
$\nu_2^n(B_k)\sim 2^{nH(\eeta|\eta)-nH(\eta)}
=2^{-nI(\eta\wedge\eeta)}$, \'es k\"or\"ulbel\"ul
$2^{nI(\eta\wedge\eeta)}$ $B_k$ halmaz fedi le a $\VV^n$ teret.
Viszont, ha enn\'el sokkal kevesebb, nevezetesen csak
$2^{n(1-\e)C}\sim 2^{(1-\e)nI(\eta\wedge\eeta)}$ sz\'am\'u
$B_k$ halmazt v\'alasztunk, akkor b\'{\i}zhatunk abban, hogy
ily m\'odon egy a csatorna k\'odol\'asi t\'etelt
teljes\'{\i}t\H{o} rendszert kapunk. A csatorna k\'odol\'asi
t\'etel bizony\'{\i}t\'asa tekinthet\H{o} \'ugy,
mint a fenti heurisztikus okoskod\'as rendbe t\'etele.

Arra, hogy a fenti m\'odon v\'egzett konstrukci\'o \'eles
eredm\'enyt ad csak kev\'esb\'e meggy\H{o}z\H{o} heurisztikus
\'ervet tudok adni. Mindenesetre jegyezz\"uk meg, hogy b\'ar a
$v_k$ sorozatokat \'es a $B_k$ hozz\'atartoz\'o
halmazokat ebben a konstrukci\'oban egy v\'eletlen
szorzatm\'ert\'ek szerint v\'alasztottuk ki, ez a v\'alaszt\'as
kev\'esb\'e speci\'alis, mint ahogy az els\H{o} pillanatban
l\'atszik. A f\"uggetlens\'egb\H{o}l csak azt haszn\'altuk ki,
hogy a $(v_i,\vv_j)$ p\'arok relat\'{\i}v gyakoris\'aga
el\H{o} van \'{\i}rva, \'es a te\-kin\-tett  $\mu$ m\'ert\'ek
megv\'alaszt\'as\'aval ezt a relat\'{\i}v gyakoris\'agot adtuk
meg. Ha  j\'ol \'{\i}rjuk el\H{o} a kiv\'alasztand\'o $v_k$
vektorokban szerepl\H{o} jelek relat\'{\i}v gyakoris\'ag\'at
akkor ezzel a megszor\'{\i}t\'assal nem cs\"okkentett\"uk
l\'enyegesen a keresett $\lambda$ megk\"ul\"onb\"oztethet\H{o}
sorozatokb\'ol \'all\'o $A$ halmaz nagys\'ag\'at. Ez\'ert sz\'ep
esetekben a v\'eletlen v\'alaszt\'as j\'o eredm\'enyt ad.

A csatorna k\'odol\'asi t\'etel bizony\'{\i}t\'asa k\'et lemm\'an
alapszik. Az els\H{o} az eml\'ekezet n\'elk\"uli csatorna
kapacit\'as\'ar\'ol sz\'ol.

\medskip\noindent
{\bf Lemma az eml\'ekezet n\'elk\"uli csatorna kapacit\'as\'ar\'ol.}
{\it Legyen adva adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen sz\'amoss\'ag\'u halmaz, \'es k\"oz\"ott\"uk egy
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'atmenetval\'osz\'{\i}n\H{u}s\'egekkel defini\'alt
$C<\infty$ csatorna kapacit\'as\'u csatorna. Adva  k\'et olyan
$\eta$ \'es $\tilde\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o,
amelyek \"ossze vannak kap\-csol\-va ezzel a csatorn\'aval,
tekints\"uk f\"uggetlen, az $(\eta,\eeta)$ p\'arral azonos
eloszl\'as\'u v\'eletlen vektorok egy
$(\eta_1,\eeta_1)$,\dots, $(\eta_n,\eeta_n)$ sorozat\'at, \'es
defini\'aljuk az $\iota_k=\iota_{\eta_k\wedge\eeta_k}$,
$1\le k\le n$, val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'okat a
k\"ovetkez\H{o} k\'eplet seg\'{\i}ts\'eg\'evel:
$\iota_k=\log\frac{p(\vv_j|v_i)}{q(\vv_j)}$, ha $\eta_k=v_i$ \'es
$\eeta_k=\vv_j$, ahol $q(\vv_j)=P(\eeta=\vv_j)$. Minden $\e>0$
sz\'amhoz megadhat\'oak olyan a csatorn\'aval \"osszekapcsolt
$\eta$ \'es $\tilde\eta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
amelyekre $\frac1n\summ_{k=1}^n\iota_k=\frac1n\summ_{k=1}^n
\iota_{\eta_k\wedge\eeta_k}\Rightarrow I(\eta\wedge\eeta)$,
ahol $\Rightarrow$ sztochasztikus konvergenci\'at jel\"ol, \'es
$I(\eta\wedge\eeta)>(1-\e)C$.

Ha feltessz\"uk, hogy a tekintett csatorna olyan, hogy
b\'armely e csatorn\'aval \"ossze\-kap\-csolt $\eta$ \'es $\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'arra teljes\"ul a
$H(\eeta)<\infty$  rel\'aci\'o is, akkor az is igaz, hogy egy az
e csatorna \'altal defini\'alt $n$~hossz\'us\'ag\'u eml\'ekezet
n\'elk\"uli csatorna csatorna kapacit\'asa $nC$-vel egyenl\H{o}.}

\medskip\noindent
{\it Megjegyz\'es:}\/ Val\'oj\'aban, e lemm\'anak csak az els\H{o},
k\"onnyen bizony\'{\i}that\'o r\'esz\'ere lesz sz\"uks\'eg\"unk.
A m\'asodik r\'eszben megfogalmazott eredm\'eny t\'argyal\'as\'anak
ink\'abb elvi okai vannak.
Ezen  eredm\'eny szeml\'eletes tartalma az, hogy egy eml\'ekezet
n\'elk\"uli csatorna kapacit\'as\'at, azaz k\'et ezen
csatorn\'aval \"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o k\"ol\-cs\"o\-n\"os inform\'aci\'oj\'at nem lehet
blokkos\'{\i}t\'assal n\"ovelni. A leg\-jobb, amit tenni tudunk
az, hogy az egyes koordin\'at\'aknak megfelel\H{o} bemeneti \'es
ki\-me\-ne\-ti jeleket egym\'ast\'ol f\"uggetlen\"ul optim\'alisan
v\'alasztjuk. Ez egy\'ebk\'ent azt is jelenti, hogy nem lehet
a k\'odol\'asi t\'etel becsl\'es\'et trivi\'alis
blokkos\'{\i}t\'assal jav\'{\i}tani. A csatorna k\'odol\'asi
t\'etel \'al\-ta\-lunk megfogalmazott \'es k\'es\H{o}bb
bizony\'{\i}tand\'o alakj\'ab\'ol k\"ovetkezik, hogy ez nem
le\-het\-s\'e\-ges v\'eges \'allapotter\H{u} csatorn\'akban.
A fent megfogalmazott lemma eredm\'enye kiz\'arja az ilyen
tipus\'u jav\'{\i}t\'as lehet\H{o}s\'eg\'et \'altal\'anosabb
csatorn\'ak eset\'eben is. A $H(\eeta)<\infty$
felt\'etel  sze\-re\-pel\-te\-t\'e\-s\'e\-nek e lemma
megfogalmaz\'as\'aban  technikai okai vannak. E felt\'etel
teljes\"ul\'ese  vizsg\'alatainkat egyszer\H{u}bb\'e teszi,
mert ekkor  elker\"ul\"unk bizonyos nem fel\-t\'et\-le\-n\"ul
abszolut  konvergens sorok \'atrendez\'es\'evel kapcsolatos
k\'enyelmetlen sz\'amol\'asokat.

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ V\'alasszunk olyan a csatorn\'aval
\"osszekapcsolt $\eta$ \'es $\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'al\-to\-z\'o\-kat amelyekre
$I(\eta\wedge\eeta)\ge (1-\e)C$, ahol $C$ a csatorna
kapacit\'asa. Ekkor
$$ \allowdisplaybreaks
\align
E\iota_k&=\summ_{v_i,\vv_j}
P(\eta=v_i,\eeta=\vv_j)\log\frac{p(\vv_j|v_i)}{q(\vv_j))}
=\summ_{v_i,\vv_j} r(v_i,\vv_j)\log\frac{r(v_i,\vv_j)}
{p(v_i)q(\vv_j)} \\
&=I(\eta\wedge\eeta)\ge (1-\e)C,
\endalign
$$
ahol $r(v_i,\vv_j)=P(\eta=v_i,\eeta=\vv_j)$, $p(v_i)=P(\eta=v_i)$,
\'es $q(\vv_j)=P(\eeta=\vv_j)$. Ez\'ert a nagy sz\'amok
gyenge t\"orv\'enye alapj\'an
$\frac1n\summ_{k=1}^n\iota_k\Rightarrow I(\eta\wedge\eeta)$,
ha $n\to\infty$, \'es $I(\eta\wedge\eeta)\ge (1-\e)C$.

Egy $n$ hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli csatorna
kapacit\'as\'anak a kisz\'amol\'asa \'er\-de\-k\'e\-ben
tekints\"unk k\'et ezen eml\'ekezet n\'elk\"uli csatorna \'altal
\"osszekapcsolt $\eta=(\eta_1,\dots,\eta_n)$ \'es
$\eeta=(\eta_1,\dots,\eeta_n)$ v\'eletlen vektort, \'es
becs\"ulj\"uk meg az $I(\eta\wedge\eeta)$ k\"olcs\"on\"os
inform\'aci\'ot. Ennek \'erdek\'eben el\H{o}sz\"or megmutatom,
hogy $H(\eeta|\eta)=\summ_{k=1}^n H(\eeta_k|\eta_k)$.

Vezess\"uk be a k\"ovetkez\H{o} jel\"ol\'eseket:
$$ \allowdisplaybreaks
\align
p(v_{i_1},\dots,v_{i_n})&=P(\eta_1=v_{i_1},\dots,\eta_n=v_{i_n}),\\
q(\vv_{j_1},\dots,\vv_{j_n})&=
P(\eeta_1=\vv_{j_1},\dots,\eeta_n=\vv_{j_n}),\\
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
&=P(\eta_1=v_{i_1},\dots,\eta_n=v_{i_n},
\eeta_1=\vv_{j_1},\dots,\eeta_n=\vv_{j_n}).
\endalign
$$
Ezekkel a jel\"ol\'esekkel
$r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})=
p(v_{i_1},\dots,v_{i_n})\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})$,
\'es
$$ \allowdisplaybreaks
\align
H(\eeta|\eta)&=\summ_{(v_{i_1},\dots,v_{i_n}),(v_{j_1},\dots,v_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\log\(\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k}) \)\\
&=\summ_{(v_{i_1},\dots,v_{i_n}),(v_{j_1},\dots,v_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\(\summ_{k=1}^n\log p(\vv_{j_k}|v_{i_k}) \)\\
&=\summ_{k=1}^n \summ_{(v_{i_1},\dots,v_{i_n}),(v_{j_1},\dots,v_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\log p(\vv_{j_k}|v_{i_k}).
\endalign
$$
Vezess\"uk be a k\"ovetkez\H{o} mennyis\'egeket is:
$r_k(v_{i_k},\vv_{j_k})=P(\eta_k=v_{i_k},\eeta_k=\vv_{j_k})$,
$1\le k\le n$. Azt \'all\'{\i}tom, hogy ezzel a jel\"ol\'essel
az utols\'o azonoss\'ag jobb oldal\'an l\'ev\H{o} kifejez\'es
bels\H{o} \"osszeg\'et \'{\i}gy \'{\i}rhatjuk fel r\"ogz\'{\i}tett
$k$ indexre.
$$
\align
&\summ_{(v_{i_1},\dots,v_{i_n}),(v_{j_1},\dots,v_{j_n})}
r(v_{i_1},\dots,v_{i_n},\vv_{j_1},\dots,\vv_{j_n})
\log p(\vv_{j_k}|v_{i_k})\\
&\qquad=\sum_{(v_{i_k},\vv_{j_k})} r_k(v_{i_k},v_{j_k})
\log p(\vv_{j_k}|v_{i_k}).
\endalign
$$
Val\'oban, r\"ogz\'{\i}tve a tekintett \"osszegz\'esben a $v_{i_k}$,
\'es $\vv_{j_k}$ argumentumokat, \'es \"osszegezve az \"osszes
t\"obbi argumentum szerint az
$r_k(v_{i_k},v_{j_k})\log p(\vv_{j_k}|v_{i_k})$ kifejez\'est kapjuk,
majd ezekre az argumentumokra is \"osszegezve megkapjuk az el\H{o}bb
fel\'{\i}rt azonoss\'agot. Ezt az azonoss\'agot \"osszegezve a $k$
v\'altoz\'o szerint, \'es felhaszn\'alva az el\H{o}z\H{o}
azonoss\'agot azt kapjuk, hogy
$$
H(\eeta|\eta)=\sum_{k=1}^n
\sum_{(v_{i_k},\vv_{j_k})} r_k(v_{i_k},v_{j_k})
\log p(\vv_{j_k}|v_{i_k})=\sum_{k=1}^n H(\eeta_k|\eta_k),
$$
amint azt \'all\'{\i}tottam.

Vegy\"uk \'eszre, hogy  felt\'eteleink teljes\"ul\'ese eset\'eben
$H(\eeta)\le\summ_{k=1}^n H(\eeta_k)<\infty$, ez\'ert
$I(\eta\wedge\eeta)=H(\eeta)-H(\eeta|\eta)\le
\summ_{k=1}^n(H(\eeta_k)-H(\eeta_k|\eta_k))
=\summ_{k=1}^nI(\eta_k\wedge\eeta_k)$. Tov\'abb\'a, ha az
$\eta=(\eta_1,\dots,\eta_n)$ \'es $\eeta=(\eeta_1,\dots,\eeta_n)$
v\'eletlen vektorok az em\-l\'e\-ke\-zet n\'elk\"uli csatorna
szerinti \"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok,
akkor ezek $(\eta_k,\eeta_k)$, $1\le k\le n$, koordin\'at\'ai
\"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok azon
kiindul\'o csatorna szerint, amelynek a
se\-g\'{\i}t\-s\'e\-g\'e\-vel az em\-l\'e\-ke\-zet n\'elk\"uli
csatorn\'at defini\'altuk. Ez\'ert $I(\eta_k\wedge\eeta_k)\le C$,
\'es a bizony\'{\i}tott egyenl\H{o}tlens\'egb\H{o}l az is
k\"ovetkezik,  hogy $I(\eta\wedge\eeta)\le nC$. Mivel ez
tetsz\H{o}leges az eml\'ekezet n\'elk\"uli csatorna szerint
\"ossze\-kap\-csolt  $\eta$ \'es $\eeta$ v\'eletlen vektorokra
igaz, innen k\"ovetkezik, hogy egy $n$ hossz\'us\'ag\'u eml\'ekezet
n\'elk\"uli csatorna csatorna kapacit\'asa kisebb vagy
egyenl\H{o}, mint~$nC$.

Annak \'erdek\'eben, hogy bel\'assuk, hogy az $n$ hossz\'us\'ag\'u
eml\'ekezet n\'elk\"uli csatorna kapacit\'asa
val\'oj\'aban egyenl\H{o} az $nC$ mennyis\'eggel tekints\"unk
egym\'ast\'ol f\"ug\-get\-len, \'es az eml\'ekezet n\'elk\"uli
csatorn\'at meghat\'aroz\'o csatorn\'aval \"osszekapcsolt
$(\eta_k,\eeta_k)$, $1\le k\le n$, val\'osz\'{\i}n\H{u}s\'egi
p\'arokat. Ekkor az $\eta=(\eta_1,\dots,\eta_n)$ \'es
$\eeta=(\eeta_1,\dots,\eeta_n)$ v\'eletlen vektorok
\"osszekapcsoltak az eml\'ekezet n\'elk\"uli csatorna \'altal, \'es
$I(\eta\wedge\eeta)=\summ_{k=1}^n I(\eta\wedge_k\eeta_k)$. Mivel
minden $\e>0$ sz\'amra az $(\eta_k,\eeta_k)$ p\'arokat \'ugy is
v\'alaszthatjuk, hogy az $I(\eta_k\wedge\eeta_k)\ge C-\e$
rel\'aci\'o teljes\"ulj\"on, innen k\"ovetkezik, hogy egy
$n$ hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli csatorna csatorna
kapacit\'asa nagyobb vagy egyenl\H{o}, mint $nC$. A lemm\'at
bel\'attuk.

\medskip
A k\"ovetkez\H{o} lemm\'aban olyan als\'o becsl\'est adunk egy
alkalmasan konstru\'alt $\lambda$ megk\"ul\"onb\"oztethet\H{o}
halmaz elemsz\'am\'ar\'ol, amely lehet\H{o}v\'e teszi, hogy az
el\H{o}z\H{o} lemma seg\'{\i}ts\'eg\'evel
bebizony\'{\i}tsuk a csatorna k\'odol\'asi t\'etelt.

\medskip\noindent
{\bf Als\'o becsl\'es alkalmasan konstru\'alt $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemeket tartalmaz\'o halmaz
elemsz\'am\'ar\'ol.} {\it Legyen adva adva k\'et
$V=\{v_1,v_2,\dots\}$ \'es $\tilde V=\{\vv_1,\vv_2,\dots\}$
v\'eges vagy megsz\'aml\'alhat\'o halmaz, \'es k\"oz\"ott\"uk
egy $p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i\-}n\H{u}\-s\'e\-gek\-kel
defini\'alt csatorna. Legyen $\eta$ \'es $\eeta$ k\'et e
csatorn\'aval \"ossze\-kap\-csolt val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, \'es vezess\"uk be a $\iota_{\eta\wedge\eeta}$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot is a k\"ovetkez\H{o}
k\'ep\-let seg\'{\i}ts\'eg\'evel:
$\iota_{\eta\wedge\eeta}=\log\frac{p(v_i|\vv_j)}{q(\vv_j)}$,
ha $\eta=v_i$, \'es $\eeta=\vv_j$, ahol $q(\vv_j)=P(\eeta=\vv_j)$.
V\'alasszunk k\'et tetsz\H{o}leges $z>0$ \'es $0<\lambda<1$ sz\'amot.
L\'etezik a bemeneti jelek $V$ halmaz\'anak olyan $\lambda$
megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o r\'eszhalmaza,
amelynek $N$ elem\-sz\'a\-ma teljes\'{\i}ti az
$$
N\ge 2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))
$$
egyenl\H{o}tlens\'eget.}

\medskip
Miel\H{o}tt le\'{\i}rn\'am a bizony\'{\i}t\'ast ismertetem
annak f\H{o} gondolat\'at. Egy $\{v_{i_1},\dots,v_{i_N}\}$
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o
halmazt keres\"unk viszonylag nagy $N$ elemsz\'ammal, valamint
a $v_{i_k}$ pontokhoz olyan diszjunkt $B_{k}$ halmazokat
akarunk t\'ars\'{\i}tani, amelyekre
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$.
\'Erdemes olyan $B_k$ halmazokat v\'alasztani, amelyekre a
$P(\eeta\in B_k)=\summ_{\vv_j\in B_k}q(\vv_j)$
val\'osz\'{\i}n\H{u}s\'egek kicsik. Mivel
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$.
(egy heurisztikus okoskod\'asban feltehetj\"uk, hogy az utols\'o
k\'epletben egyenl\H{o}s\'eg van,) ez azt sugallja, hogy olyan
$B_k$ halmazokat \'erdemes defini\'alni, amelyek $\vv_j\in B_k$
elemeire $\frac{q(\vv_j)}{p(\vv_j|v_{i_k})}$ kicsi. Ez\'ert a
$B_k$ halmazt
$B_k=\VV\setminus\{\vv_j\colon\;\frac{p(\vv_j|v_{i_k})}{q(\vv_j)}\le z\}$
alakban keress\"uk, ahol a $z$ sz\'amot a te\-kin\-tett csatorna
tu\-laj\-do\-n\-s\'a\-gai\-t\'ol f\"ugg\H{o}en alkalmasan
v\'alasztjuk meg. \'Ugy akarjuk a $\lambda$
megk\"ul\"onb\"oztethet\H{o} $v_{i_k}\in V$ pontokat v\'alasztani,
hogy a $v_{i_k}$ pont a neki megfelel\H{o} $B_k$ halmazzal
egy\"utt teljes\'{\i}tse a
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$
egyenl\H{o}tlens\'eget. Val\'oj\'aban kiss\'e m\'ask\'eppen kell
elj\'arni annak \'erdek\'eben, hogy diszjunkt $B_k$ halmazokat
v\'alasszunk. Ha a $v_{i_1}$, \dots, $v_{i_{k-1}}$ pontokat \'es
$B_1,\dots,B_{k-1}$ halmazokat m\'ar kiv\'alasztottuk, akkor
pr\'ob\'alunk olyan $v_{i_k}\in V$ pontot \'es hozz\'atartoz\'o
$B_k=(\VV\setminus \bigcupp_{j=1}^{k-1}B_j)
\setminus\{\vv_j\colon\;\frac{p(\vv_j|v_{i_k})}{q(\vv_j)}\le z\}$
 halmazt tal\'alni, amelyekre
$\summ_{\vv_j\in B_k}p(\vv_j|v_{i_k})\ge1-\lambda$.
Ezt az elj\'ar\'ast addig folytatjuk szukcesszive, am\'{\i}g meg
nem akadunk. A lemma arr\'ol sz\'ol, hogy ilyen m\'odon mekkora
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemekb\H{o}l \'all\'o
halmazt tudunk konstru\'alni.

\medskip\noindent
{\it A lemma bizony\'{\i}t\'asa.}\/ Defini\'aljuk a
$$
W=\left\{(v_i,\vv_j)\colon\; (v_i,\vv_j)\in V\times\VV,\;
\frac{p(\vv_j|v_i)}{q(\vv_j)}<2^z\right\},
$$
\'es
$$
W^{v_i}=\{\vv_j\colon\;\vv_j\in\VV,\; (v_i,\vv_j)\in W\},
\quad v_i\in V,
$$
halmazokat. Egy olyan $v_{i_1}\in V$ pontot v\'alasztunk, amelyre
$P(\eeta\in \VV\setminus W^{v_{i_1}}|\eta=v_{i_1})\ge 1-\lambda$,
felt\'eve, hogy ilyen pont l\'etezik. Ebben az esetben legyen
$B_1=\VV\setminus W^{v_{i_1}}$.
Ellenkez\H{o} esetben befejezz\"uk a procedur\'at egyetlen pont
kiv\'alaszt\'asa n\'elk\"ul. A
$v_{i_1}\in V$,\dots, $v_{i_{k}}\in V$ pontokat szukcesszive
v\'alasztjuk egym\'as ut\'an, \'es a $v_{i_p}$ ponthoz
t\'ars\'{\i}tott $B_p$ halmazt a
$$
B_1=\VV\setminus V^{v_1},\quad
B_p=\(\bigcapp_{l=1}^{p-1} W^{v_{i_l}}\)\setminus W^{v_{i_p}},
\qquad p=2,3,\dots.
$$
k\'eplettel defini\'aljuk. Ezek a $B_1,B_2,\dots$ halmazok
diszjunktak. Ha a $v_{i_1}\in V$,\dots, $v_{i_{k}}\in V$ pontok
m\'ar ki vannak v\'alasztva, akkor a $k+1$-k l\'ep\'esben olyan
$v_{i_{k+1}}\in V$ pontot keres\"unk, amelyre
$P(\eeta\in\(\bigcapp_{l=1}^kV^{v_{i_l}}\)
\setminus V^{v_{i_{k+1}}}|\eta=v_{i_{k+1}})\ge1-\lambda$, ugyanis ez
jelenti azt, hogy $P(\eeta\in B_{k+1}|\eta=v_{i_{k+1}})\ge1-\lambda$.
Ha ez a felt\'etel teljes\"ul, akkor v\'alasztunk egy k\'{\i}v\'ant
tulajdons\'ag\'u $v_{i_{k+1}}\in V$ pontot, ha nem teljes\"ul, akkor
a $v_{i_p}$ pontok v\'alaszt\'as\'at a $k$-ik l\'ep\'esben
befejezz\"uk. A lemm\'aban szerepl\H{o} $N$ sz\'amot v\'alaszthatjuk
\'ugy, mint a leg\-na\-gyobb olyan $k$ sz\'amot, amelyre v\'alasztottunk
$v_{i_k}$ pontot. Ugyanis az $A=\{v_{i_1},\dots,v_{i_N}\}$
halmaz pontjai a $B_1,\dots,B_N$ halmazokkal egy\"utt $\lambda$
megk\"ul\"onb\"oztethet\H{o} pontok.

Azon $k$ index nagys\'ag\'ara kell teh\'at j\'o als\'o becsl\'est
adni, amelyikre m\'eg tudjuk folytatni az algoritmusunkat, \'es
megfelel\H{o} tulajdons\'ag\'u $v_{i_k}\in V$ pontot tal\'alni.
A $k$-ik l\'ep\'es ut\'an akkor \'es csak akkor tudunk megfelel\H{o}
tulajdons\'ag\'u $v_{i_{k+1}}\in V$ pontot tal\'alni, ha
$\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\le\lambda$,
ahol $\VV(1)=\VV$, \'es
$\VV(k)=\bigcupp_{l=1}^{k}(\VV\setminus W^{v_{i_l}})$, $k=1,2,\dots$.
Azt, hogy a k\'{\i}v\'ant felt\'etel \'erdekes esetekben teljes\"ul
a k\"ovetkez\H{o} becsl\'esek seg\'{\i}ts\'eg\'evel tudjuk
megmutatni.
$$
\align
&\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\le
\sum_{v_i\in V}P(\eta=v_i)P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\\
&\qquad=\sum_{v_i\in V}P(\eta=v_i,\eeta\in \VV(k)\cup W^{v_i})
=P((\eta,\eeta)\in (V\times \VV(k))\cup W)\\
&\qquad\le P(\eeta\in \VV(k))+P((\eta,\eeta)\in W).
\endalign
$$
M\'asr\'eszt
$P((\eta,\eeta)\in W)=P(\iota_{\eta\wedge\eeta}<z)$,
\'es a $\VV(k)$ halmaz definici\'oja alapj\'an
$$ \allowdisplaybreaks
\align
P(\eeta\in\VV(k))&\le\sum_{l=1}^k
P(\eeta\in \VV\setminus W^{v_{i_l}})
=\sum_{l=1}^k\sum_{\vv_j\colon
\frac{p(\vv_j|v_{i_l})}{q(\vv_j)}\ge 2^z} q(\vv_j)\\
&\le\sum_{l=1}^k\sum_{\vv_j\colon
\frac{p(\vv_j|v_{i_l})}{q(\vv_j)}\ge 2^z}
2^{-z}p(\vv_j|v_{i_l})
\le\sum_{l=1}^k\sum_{\vv_j\in \VV}2^{-z}p(\vv_j|v_{i_l})
=\sum_{l=1}^k2^{-z}=k2^{-z}.
\endalign
$$
A fenti becsl\'esekb\H{o}l k\"ovetkezik, hogy
$$
\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\le
P(\iota_{\eta\wedge\eeta}<z)+k2^{-z},
$$
ez\'ert
$\inff_{v_i\in V}P(\eeta\in \VV(k)\cup W^{v_i}|\eta=v_i)\le\lambda$,
ha $k\le2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))$.
Ez azt jelenti, hogy a k\'{\i}v\'ant tulajdons\'ag\'u $u_{i_k}\in V$
pontok v\'alaszt\'as\'at tudjuk folytatni a $\bar k=
[2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))]+1$ \'ert\'ekig,
ahol $[x]$ az $x$ sz\'am eg\'esz r\'esz\'et jel\"oli.
Innen k\"ovetkezik a lemma \'all\'{\i}t\'asa.

\medskip\noindent
{\it A csatorna k\'odol\'asi t\'etel bizony\'{\i}t\'asa.}\/
V\'alasszunk olyan $(\eta',\eeta')$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o p\'art, amelynek tagjai \"ossze vannak kapcsolva az
eml\'ekezet n\'elk\"uli csatorn\'at meg\-ha\-t\'a\-ro\-z\'o
csatorn\'aval, \'es $I(\eta'\wedge\eeta')\ge(1-\frac\e4)C$.
Legyen $(\eta_1,\eeta_1)$, $(\eta_2,\eeta_2)$,\dots,
$(\eta_n,\eeta)$ f\"uggetlen, az $(\eta',\eeta')$ v\'eletlen
vektorral azonos eloszl\'as\'u v\'eletlen vektorok sorozata,
\'es a $\iota_k$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'ot defini\'alja a
$\iota_k=\log\frac{p(\vv_j|v_i)}{q(\vv_j)}$, ha $\eta_k=v_i$,
\'es $\eeta_k=\vv_j$ k\'eplet. Vezess\"uk be az
$\eta=(\eta_1,\dots,\eta_n)$ \'es $\eeta=(\eeta_1,\dots,\eeta_n)$
v\'eletlen vektorokat, \'es defini\'aljuk seg\'{\i}ts\'eg\"ukkel a
$\iota_{\eta\wedge\eeta}$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ot
\'ugy, mint az {\it Als\'o ecsl\'es alkalmasan konstru\'alt
$\lambda$ megk\"ul\"onb\"oztethet\H{o} elemeket tartalmaz\'o halmaz
elemsz\'am\'ar\'ol}\/ eredm\'eny megfogalmaz\'as\'aban tett\"uk.
Ekkor $\iota_{\eta\wedge\eeta}=\summ_{k=1}^n\iota_k$, ez\'ert
az eml\'ekezet n\'elk\"uli csatorna kapacit\'as\'ar\'ol
sz\'ol\'o lemma (els\H{o}) eredm\'enye alapj\'an l\'etezik olyan
$n_0$ k\"usz\"obindex, amely\-re igaz, hogy
$P(\iota_{\eta\wedge\eeta}<(1-\frac\e2)Cn)\le \frac\lambda2$,
ha $n\ge n_0$. Ez\'ert alkalmazva az {\it Als\'o becsl\'es
alkalmasan konstru\'alt $\lambda$ megk\"ul\"onb\"oztethet\H{o}
elemeket tartalmaz\'o halmaz elemsz\'am\'ar\'ol} eredm\'eny\'et
$z=(1-\frac\e2)Cn$ v\'alaszt\'assal azt kapjuk, hogy
$N\ge 2^z(\lambda-P(\iota_{\eta\wedge\eeta}<z))\ge
2^{(1-\e/2)Cn}\frac\lambda2\ge 2^{(1-\e)Cn}$, ha
$n\ge n_0(\e,\lambda)$. A t\'etel bizony\'{\i}t\'as\'at
befejezt\"uk.

\medskip
A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak a
bizony\'{\i}t\'asa v\'eges \'allapotter\H{u} csa\-tor\-n\'ak\-ra
azon alapul, hogy ebben az esetben a csatorna kapacit\'ast
defini\'al\'o szupr\'emum felv\'etetik, \'es explicit m\'odon
lehet jellemezni azokat a csatorn\'aval \"osszekapcsolt
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'arok
eloszl\'as\'at, amelyek k\"olcs\"on\"os inform\'aci\'oja
egyenl\H{o} a csatorna kapacit\'assal. Az al\'abbi eredm\'enyt
fogom bebizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel v\'eges \'allapotter\H{u} csatorna optim\'alis
bemenet\'enek a jellemz\'es\'er\H{o}l.} {\it Le\-gyen adva k\'et
$V=\{v_1,\dots,v_m\}$ \'es $\tilde V=\{\vv_1,\dots,\vv_n\}$
v\'eges halmaz, \'es k\"oz\"ott\"uk egy
$p(\vv_j|v_i)$, $v_i\in V$, $\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gek\-kel
defini\'alt v\'eges \'allapotter\H{u} $C<\infty$ csatorna
kapacit\'as\'u csatorna. L\'etezik olyan e csatorn\'aval
\"osszekapcsolt $\eta$, $\eeta$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'ar,
amely\-re $I(\eta\wedge\eeta)=C$. Egy e csatorn\'aval
\"osszekapcsolt $\eta$, $\eeta$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'arra akkor \'es
csak akkor igaz az $I(\eta\wedge\eeta)=C$ egyenl\H{o}s\'eg, ha a
$p(v_i)=P(\eta=v_i)$, $v_i\in V$, \'es $q(\vv_j)=P(\eeta=\vv_j)$,
$\vv_j\in\VV$,  val\'osz\'{\i}n\H{u}s\'egek teljes\'{\i}tik a
$$
\summ_{\vv_j\in\VV} p(\vv_j|v_i)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}\le C
\quad \text{minden $v_i\in V$ pontban}  \tag3.1
$$
egyenl\H{o}tlens\'egeket, \'es ha $p(v_i)>0$, akkor a $v_i$ pontnak
megfelel\H{o} egyenl\H{o}tlens\'egben egyen\-l\H{o}\-s\'e\-get
is \'{\i}rhatunk.}

\medskip\noindent
{\it Megjegyz\'es.} A (3.1) k\'eplet \'ugy \'ertend\H{o}, hogy
$p(\vv_j|v_i)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}=0$, ha
$p(\vv_j|v_i)=0$. A t\'etel azt is \'all\'{\i}tja, hogy $q(\vv_j)>0$,
ha $p(\vv_j|v_i)>0$ valamilyen $v_i$ bemen\H{o} \'allapotra
(egy az $I(\eta\wedge\eeta)=C$ felt\'etelt teljes\'{\i}t\H{o} a
csatorn\'aval \"osszekapcsolt $\eta,\eeta$ p\'ar \'altal defini\'alt
$q(\vv_j)=P(\eeta=\vv_j)$ val\'osz\'{\i}n\H{u}s\'egre). Igaz a
$$
\summ_{\vv_j\in\VV} p(\vv_j|v_i)\log\frac{p(\vv_j|v_i)}{q(\vv_j)}\ge0
\quad \text{minden $v_i\in V$ pontban}
$$
egyenl\H{o}tlens\'eg is. Ez k\"ovetkezik p\'eld\'aul a
m\'asodik fejezetben bizony\'{\i}tott {\it Egy $I$-di\-ver\-gen\-cia
tipus\'u lemm\'abol} az $a_j=p(\vv_j|v_i)$ \'es
$b_j=q(\vv_j)$ szereposzt\'assal felhaszn\'alva az
$A=\summ_{\vv_j\in\VV}p(\vv_j|v_i)=1$ \'es
$B=\summ_{\vv_j\in \VV}q(\vv_j)=1$ rel\'aci\'okat.

\medskip
A t\'etel bizony\'{\i}t\'asa k\'et f\"uggv\'enyek
konvexit\'as\'aval (vagy konk\'av\'{\i}t\'as\'aval) kapcsolatos
eredm\'enyen alapul. Az els\H{o} lemma arr\'ol sz\'ol, hogy egy
f\"uggv\'eny, amely a k\"olcs\"on\"os inform\'aci\'ot defini\'al\'o
f\"uggv\'eny term\'eszetes kiterjeszt\'es\'enek tekinthet\H{o} a
pozit\'{\i}v ort\'ansra konk\'av.

\medskip\noindent
{\bf Lemma egy f\"uggv\'eny konk\'avit\'as\'ar\'ol.} {\it Legyenek
adva bizonyos $p(i,j)$, $1\le i\le M$, $1\le j\le N$ sz\'amok,
amelyekre $0\le p(i,j)\le 1$ minden $1\le i\le M$ \'es
$1\le j\le N$ indexre, \'es $\summ_{j=1}^N p(i,j)=1$ minden
$1\le i\le M$ indexre. Defini\'aljuk seg\'{\i}ts\'eg\"ukkel az
$$
F(u_1,\dots,u_M)
=\sum_{i=1}^M\sum_{j=1}^N u_i p(i,j)\log\frac{p(i,j)}{y_j},
\quad u_i\ge 0 \text{ minden } 1\le i\le M \text{ indexre}
$$
f\"uggv\'enyt, ahol $y_j=y_j(u_1,\dots,u_M)=\summ_{i=1}^Mp(i,j)u_i$.
Az $F(u_1,\dots,u_M)$ f\"uggv\'eny foly\-to\-nos \'es konk\'av az
$A=\{(u_1,\dots,u_M)\colon\; u_i\ge0, \;1\le i\le M\}$ halmazon.}

\medskip\noindent
{\it Megjegyz\'es.} Az $F$ f\"uggv\'enyt defini\'al\'o \"osszeg
\'ugy \'ertend\H{o}, hogy csak azon $(i,j)$ p\'arokra \"osszegz\"unk,
amelyekre $p(i,j)>0$. Teh\'at az
$u_i p(i,j)\log\frac{p(i,j)}{y_j}=0$ konvenci\'ot fogjuk alkalmazni
a $p(i,j)=0$ esetben akkor is, ha $y_j=0$. Sz\"uks\'eges m\'eg
defini\'alni az $u_i p(i,j)\log\frac{p(i,j)}{y_j}$
kifejez\'est akkor, ha az $u_i=0$, mert ekkor is el\H{o}fordulhat,
hogy $y_j=0$. Ebben az esetben az
$u_i p(i,j)\log\frac{p(i,j)}{y_j}=0$, ha $u_i=0$ konvenci\'ot
fogjuk alkalmazni. A k\"ovetkez\H{o} sz\'amol\'asokban az
egyszer\H{u}bb jel\"ol\'es kedv\'e\'ert a $\log$ term\'eszetes \'es
nem 2 alap\'u logaritmust fog jel\"olni, de ennek nincs nagy
jelent\H{o}s\'ege. A term\'eszetes logaritmusr\'ol a 2 alap\'u
logaritmusra val\'o \'att\'er\'es csak $\log_2 e$-vel val\'o
szorz\'ast jelent.

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Az $F$ f\"uggv\'eny folytonos, ha a
hat\'aron \'ugy defini\'aljuk, ahogy a fenti meg\-jegy\-z\'es\-ben
tett\"uk. Ezen \'all\'{\i}t\'as egyetlen r\'eszletesebb
indokl\'ast ig\'enyl\H{o} r\'esze az, hogy az olyan $(i,j)$
indexp\'arokra, amelyekre $p(i,j)>0$ az
$u_i p(i,j)\log\frac{p(i,j)}{y_j}$ f\"uggv\'eny folytonos az
olyan $u$ pontokban is, amelyek $i$-ik koordin\'at\'aja
$u_i=0$. Azt kell ellen\H{o}rizni, hogy ha $u_i^{(n)}\to0$,
akkor $u_i^{(n)}p(i,j)\log\frac{p(i,j)}{y^{(n)}_j}\to0$. De
ekkor $\frac{p(i,j)}{y_j^{(n)}}\le \frac1{u^{(n)}_i}$, ez\'ert
$u_i^{(n)}p(i,j)\log\frac{p(i,j)}{y^{(n)}_j}
\le u^{(n)}_ip(i,j)\log\frac1{ u^{(n)}_i}\to0$,
\'es ezt kellett bel\'atni. Ha $u_i>0$ akkor az
$u_ip(i,j)\log\frac{p(i,j)}{y_j}$ f\"uggv\'eny folytonoss\'aga
k\"onnyen l\'athat\'o.

Az $F$ f\"uggv\'eny konk\'avit\'as\'anak
bizony\'{\i}t\'as\'ahoz el\'eg megmutatni, hogy a
$\(\frac{\partial^2 F}{\partial u_k\partial u_l}\)$, $1\le k,l\le M$,
m\'atrix negat\'{\i}v szemidefinit minden $(u_1,\dots,u_M)$, $u_i>0$,
$1\le i\le M$ pontban. (Mivel az $F$ f\"uggv\'eny folytonos el\'eg
csak azokat a pontokat tekinteni, amelyek koordin\'at\'ai szigor\'uan
pozit\'{\i}vak.) Sz\'amoljuk ki e m\'atrix elemeit. Fel\'{\i}rhatjuk,
hogy
$$
\frac{\partial F}{\partial u_k}=\sum_{j=1}^Np(k,j)\log p(k,j)
-\summ_{j=1}^N p(k.j)\log y_j
-\summ_{i=1}^M\summ_{j=1}^N u_i p(i,j)\frac{p(k,j)}{y_j}.
$$
Az utols\'o kifejez\'esben szerepl\H{o} kett\H{o}s szumma
val\'oj\'aban konstans. Ugyanis
$$
\summ_{i=1}^M\summ_{j=1}^N u_i p(i,j)\frac{p(k,j)}{y_j}
=\summ_{j=1}^N\frac{p(k,j)}{y_j}\(\summ_{i=1}^M u_i p(i,j)\)
=\summ_{j=1}^N p(k,j)\frac{y_j}{y_j}=1.
$$
Innen
$$
\frac{\partial F}{\partial u_k}
=\summ_{j=1}^Np(k,j)\log\frac{p(k,j)}{y_j}-1
=\summ_{j=1}^N y_j g\(\frac{p(k,j)}{y_j}\)-1,
\tag3.2
$$
(ahol $g(x)=x\log x$), \'es
$$
\frac{\partial^2 F}{\partial u_k\partial u_l}=
-\frac{\partial}{\partial u_l}\(\summ_{j=1}^N p(k,j)\log y_j\)
=-\summ_{j=1}^N\frac{p(k,j)p(l,j)}{y_j}.
$$
(A fenti sz\'amol\'asok jogosak. Az $u_i>0$ minden $1\le i\le N$
felt\'etel biztos\'{\i}tja, hogy $y_j>0$ minden $j$ indexre.
Ez\'ert az $\frac1{y_j}$ alak\'u tagok megjelen\'ese nem
okoz probl\'em\'at a fenti sz\'amol\'asokban.)

Az $F$ f\"uggv\'eny konk\'avit\'as\'anak a bizony\'{\i}t\'as\'ahoz
azt kell bel\'atni,  hogy tetsz\H{o}leges
$((\alpha(1),\dots,\alpha(M))$ vektorra
$$
\summ_{k=1}^M\summ_{l=1}^M
\frac{\partial^2 F}{\partial u_k\partial u_l}\alpha(k)\alpha(l)\le0.
$$
Viszont
$$
\align
&\summ_{k=1}^M\summ_{l=1}^M
\frac{\partial^2 F}{\partial u_k\partial u_l}\alpha(k)\alpha(l)
=-\sum_{k=1}^M\sum_{l=1}^M\summ_{j=1}^N\frac{p(k,j)p(l,j)}{y_j}
\alpha(k)\alpha(l)\\
&\qquad =-\summ_{j=1}^N\frac1{y_j}\sum_{k=1}^M\sum_{l=1}^M
p(k,j)p(l,j)\alpha(k)\alpha(l)
=-\summ_{j=1}^N\frac1{y_j}\(\sum_{k=1}^Mp(k,j)\alpha(k)\)^2\le0.
\endalign
$$

\medskip
Sz\"uks\'eg\"unk lesz m\'eg az el\H{o}z\H{o} lemma egy
kieg\'esz\'{\i}t\'es\'ere is, amelyik a
$\frac{\partial F}{\partial u_k}(u)$ parci\'alis deriv\'alt
viselked\'es\'et olyan $u$ vektorokra is le\'{\i}rja, amelyeknek
van 0 koordin\'at\'aja. Ami\-kor a $k$-ik koordin\'ata szerinti
parci\'alis deriv\'altat tekintj\"uk meg kell k\"ul\"onb\"oztetn\"unk
azt az esetet, amikor az $u$ vektor $u_k$ koordin\'at\'aja
az $u_k>0$ \'es amikor az $u_k=0$ rel\'aci\'ot teljes\'{\i}ti.
Be fogjuk l\'atni, hogy az els\H{o} esetben a parci\'alis deriv\'alt
folytonos, \'es teljes\'{\i}ti a (3.2) formul\'at. A m\'asodik
esetben azt \'all\'{\i}tom, hogy ekkor is l\'etezik (az
egyoldali) parci\'alis deriv\'alt, \'es az egyenl\H{o} a parci\'alis
deriv\'alt ir\'anymenti hat\'ar\'ert\'ek\'evel. Ez az ir\'anymenti
hat\'ar\'er\'ek azonban v\'egtelen is lehet.

Azt, hogy a $\frac{\partial F}{\partial u_k}(u)$ f\"uggv\'enynek
l\'etezik ir\'anymenti hat\'ar\'ert\'eke az $u=(u_1,\dots,u_M)$
pontban azt jelenti, hogy l\'etezik a
$G_k(u)=\limm_{t\to0+}\frac{\partial F}{\partial u_k}(u+t\tilde u)$
esetleg v\'egtelennel egyenl\H{o} hat\'ar\'ert\'ek minden olyan
$\tilde u=(\tilde u_1,\dots,\tilde u_M)$ vektorra, amelynek $k$-ik
koordin\'at\'aja $\tilde u_k=1$, \'es $u+t\tilde u\in A$ el\'eg
kis $t>0$ sz\'amokra. Tov\'abb\'a ez a hat\'ar\'ert\'ek nem f\"ugg
az $\tilde u$ vektor v\'alaszt\'as\'at\'ol. A $\limm_{t\to0+}$
azt jelenti, hogy szigor\'uan pozit\'{\i}v $t>0$ sz\'amokkal
tekintj\"uk ezt a limeszt. Nem neh\'ez l\'atni az $F$
f\"uggv\'eny konk\'avit\'as\'anak felhaszn\'al\'as\'aval, hogy
ha a $G_k(u)$ ir\'anymenti hat\'ar\'ert\'ek l\'etezik egy olyan
$u=(u_1,\dots,u_M)$ pontban, amelyre $u_k=0$, akkor
$G_k(u)=\frac{\partial F}{\partial u_k}(u)$, ahol
$\frac{\partial F}{\partial u_k}(u)$ a megfelel\H{o} f\'eloldali
parci\'alis deriv\'altat jel\"oli.

\medskip\noindent
{\bf Kieg\'esz\'{\i}t\'es az egy f\"uggv\'eny konk\'avit\'as\'ar\'ol
sz\'ol\'o lemm\'ahoz.} {\it A lemm\'aban te\-kin\-tett $F$
f\"uggv\'eny $\frac{\partial F}{\partial u_k}$ parci\'alis
deriv\'altja folytonos f\"uggv\'eny az
$$
A_k=\{(u_1,\dots,u_M)\colon\; u_i\ge0, \text{ minden }
1\le i\le M, \text{ indexre, \'es } u_k>0 \}
$$
halmazon minden $1\le k\le M$ indexre, \'es teljes\'{\i}ti a (3.2)
formul\'at a k\"ovetkez\H{o} ki\-eg\'e\-sz\'{\i}\-t\'es\-sel. Ha
$p(k,j)=0$, akkor $p(k,j)\log \frac{p(k,j)}{y_j}=0$ definici\'o
szerint. Ha $p(k,j)>0$, \'es $u\in A_k$, akkor $y_j>0$.

Ha az $u=(u_1,\dots,u_M)\in A$ pontban $u_k=0$, akkor is l\'etezik a
$\frac{\partial F}{\partial u_k}(u)$ f\"uggv\'eny $G_k(u)$
ir\'anymenti hat\'ar\'ert\'eke az $u$ pontban. Ez az ir\'anymenti
hat\'ar\'ert\'ek akkor \'es csak akkor v\'eges, ha az $y_j=y_j(u)$
sz\'amra $y_j>0$ minden olyan $j$ indexre, amelyre $p(k,j)>0$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Tekints\"unk
egy $u=(u_1,\dots,u_k)\in A_k$ pontot. Mivel $u_k>0$,
$y_j\ge u_kp(k,j)>0$ minden olyan $j$ indexre, amelyre
$p(k,j)>0$. Azt \'all\'{\i}tom, hogy a (3.2) formula minden
$u\in A_k$ pontban \'erv\'enyes, ha azokat a tagokat, amelyekre
$p(k,j)=0$ elhagyjuk az \"osszegez\'esb\H{o}l. Ez esetben csak
olyan $j$ indexeket kell figyelembe venni az \"osszegz\'esben,
amelyekre $\frac1{y_j}<\infty$, ez\'ert a (3.2) formu\'aban
szerepl\H{o} \"osszeg v\'eges. L\'assuk be el\H{o}sz\"or,
hogy a $\frac{\partial F}{\partial u_k}$ kifejez\'esre adott
a (3.2) formu\'at megel\H{o}z\H{o} \"osszef\"ugg\'es
\'erv\'enyes, ha $u\in A_k$.

Ennek igazol\'as\'ahoz el\'eg azt ellen\H{o}rizni, hogy
$$
\frac{\partial}{\partial u_k} u_ip(i,j)\log y_j
=\delta(i,k)p(i,j)\log y_j+u_ip(i,j)\frac{p(k,j)}{y_j},
$$
ahol $\delta(i,k)=0$, ha $i\neq k$,
\'es $\delta(i,k)=1$, ha $i=k$, minden olyan $(i,j)$, p\'arra,
amely\-re $p(i,j)>0$. Ez igaz, ha $u_i>0$, \'es ez\'ert $y_j>0$,
\'es igaz akkor is, ha $u_i=0$, \'es a
$\delta(i,k) p(i,j)\log y_j=0$ valamint a $p(k,j)=0$ esetben a
$\frac{p(k,j)}{y_j}=0$ konvenci\'ot al\-kal\-maz\-zuk. (Ezt a
konvenci\'ot alkalmazzuk akkor is, ha $y_j=0$.) Ekkor az
azonoss\'ag mind a k\'et oldala 0-val  egyenl\H{o}. (Ha $u_i=0$,
akkor $i\neq k$, \'es az azonoss\'ag baloldal\'an szerepl\H{o}
differenci\'aland\'o f\"uggv\'eny a lemma bizony\'{\i}t\'asa
el\H{o}tti megjegyz\'esben megfogalmazott
konvenci\'o szerint azonosan nulla.)

Az az azonoss\'ag, amely seg\'{\i}ts\'eg\'evel a (3.2)
azonoss\'agot ebb\H{o}l a formul\'ab\'ol le\-ve\-zet\-t\"uk
most is alkalmazhat\'o. Teh\'at a (3.2) formula is igaz.
V\'eg\"ul nem neh\'ez l\'atni, hogy a (3.2) k\'eplettel
megadhat\'o $\frac{\partial F}{\partial u_k}(u)$ deriv\'alt
folytonos egy $u\in A_k$ pontban. Azt kell \'eszrevenni,
hogy az $u_k>0$ felt\'etel miatt az $y_j=y_j(u_1,\dots,u_M)$
f\"uggv\'eny folytonos \'es null\'at\'ol szepar\'alt az
$u=(u_1,\dots,u_k)$ pont egy kis k\"ornyezet\'eben minden olyan
$j$ indexre, amelyre $p(k,j)>0$. Ez\'ert a
$g\(\frac{p(k,j)}{y_j}\)$ \'es
$\frac{\partial F}{\partial u_k}$ f\"uggv\'enyek is
folytonosak ebben a pontban.

Ha $u=(u_1,\dots,u_M)\in A$ olyan pont, amelyre $u_k=0$, \'es az
$\tilde u=(\tilde u_1,\dots,\tilde u_M)$ pontra $\tilde u_k=1$,
\'es $u+t\tilde u\in A$ el\'eg kis $t>0$ sz\'amra, akkor
$u+t\tilde u\in A_k$ kis $t>0$ sz\'amokra. Ez\'ert a
$\frac{\partial F}{\partial u_k}(u+t\tilde u)$ kifejez\'esre
\'erv\'enyes a (3.2) formula, \'es az ir\'anymenti deriv\'alt
l\'etez\'es\'ehez azt kell ellen\H{o}rizni, hogy az e formula
jobb  oldal\'an szerepl\H{o} kifejez\'esnek van az $\tilde u$
vektort\'ol f\"uggetlen hat\'ar\'ert\'eke. Ez azonban k\"onnyen
l\'athat\'o felhaszn\'alva, hogy
$\limm_{t\to0}y_j(u+t\tilde u)=y_j(u)$ minden $1\le j\le M$
indexre. Tov\'abb\'a ez a limesz akkor \'es csak akkor v\'egtelen,
ha l\'etezik olyan $j$ index, amelyre $p(k,j)>0$, \'es $y_j=0$.

\medskip
A m\'asik lemma, amely hasznos lesz az
egy v\'eges \'allapotter\H{u} csatorna optim\'alis
bemenet\'enek a jellemz\'es\'eben az \'ugynevezett Kuhn--Tucker
t\'etelnek egy speci\'alis \'es egyszer\H{u}bben bizony\'{\i}that\'o
esete. A Kuhn--Tucker t\'etel a konvex programoz\'as egyik alapvet\H{o}
eredm\'enye. B\'ar a Kuhn--Tucker t\'etel \'altal\'anos alakj\'ara
nem lesz sz\"uks\'ag\"unk, r\"oviden, bizony\'{\i}t\'as n\'elk\"ul
ismertetni fogom ezt az eredm\'enyt is. A bizony\'{\i}t\'as
megtal\'alhat\'o p\'eld\'aul Ji\u{r}\'{\i} Matou\u{s}ek \'es Bernd
G\"artner {\it Understanding and Using Linear Programming}\/
k\"onyv\'eben (Proposition 8.7.2). Bizony\'{\i}tani csak a
k\"ovetkez\H{o} eredm\'enyt fogom.

\medskip\noindent
{\bf A Kuhn--Tucker t\'etel egy speci\'alis esete.} {\it Legyen
adva egy folytonos \'es kon\-k\'av $F(u_1,\dots,u_M)$
f\"ugg\-v\'eny az
$A=\{(u_1,\dots,u_M)\colon\; u_i\ge0,\;1\le i\le M\}$ halmazon,
amelyre a $\frac{\partial F}{\partial u_k}$ parci\'alis
de\-ri\-v\'alt l\'etezik \'es folytonos az
$A_k=\{(u_1,\dots,u_M)\colon\; u_i\ge0,\;1\le i\le M,\text{ \'es }u_k>0\}$
halmazon minden $1\le k\le M$ indexre, tov\'abb\'a l\'etezik a
$\frac{\partial F}{\partial u_k}$ parci\'alis de\-ri\-v\'alt
ir\'anymenti hat\'ar\'ert\'eke azon  $u=(u_1,\dots,u_M)\in A$
pontokban is, amelyekre $u_k=0$. Keress\"uk az $F(u_1,\dots,u_M)$
f\"uggv\'eny maximum\'at a $\summ_{i=1}^Mu_i=1$ felt\'etel
mellett, azaz az $A\cap B$ halmazon, ahol
$B=\{(u_1,\dots,u_M)\colon\;\summ_{i=1}^Mu_i=1\}$. Egy
$\bar u=(\bar u_1,\dots,\bar u_M)$, $\bar u\in A\cap B$,
vektor akkor \'es csak akkor megold\'asa ennek a
sz\'els\H{o}\'ert\'ek feladatnak, ha l\'etezik olyan $D<\infty$
konstans, amelyre $\frac{\partial F}{\partial u_i}(\bar u)\le D$
minden $1\le i\le M$ indexre, \'es ebben a rel\'aci\'oban
egyenl\H{o}s\'eg \'all azon $i$ indexekre, amelyekre $\bar u_i>0$.}

\medskip\noindent
{\it Bizony\'{\i}t\'as.} Legyen $\bar u=(\bar u_1,\dots,\bar u_M)$
a sz\'els\H{o}\'ert\'ek feladat megold\'asa. V\'alasszuk ki e
vektor k\'et $\bar u_i$ \'es $\bar u_j$ koordin\'at\'at \'ugy,
 hogy $\bar u_i>0$. Jel\"olje $u(i,j)$ azt az $M$-dimenzi\'os
vektort, amelynek az $i$-ik koordin\'at\'aja $-1$, a $j$-ik
koordin\'at\'aja 1, \'es az \"osszes t\"obbi koordin\'at\'aja 0.
Ekkor az $\bar u(\vartheta)=\bar u+\vartheta u(i,j)$
vektorra $\bar u(\vartheta)\in A\cap B$, ha a $\vartheta>0$
sz\'am el\'eg kicsi. Innen azt kapjuk, hogy a
$g(\vartheta)=\frac{F(\bar u(\vartheta))-F(\bar u)}{\vartheta}$
f\"uggv\'eny kis $\vartheta>0$ param\'eterrel teljes\'{\i}ti a
$$
0\ge g(\vartheta)=\frac{dF(u(\vartheta))}{d\vartheta}(\vartheta')
=\(-\frac{\partial F}{\partial u_i}+
\frac{\partial F}{\partial u_j}\)(\bar u+\vartheta'\bar u(i,j))
$$
rel\'aci\'ot alkalmas $0<\vartheta'<\vartheta$ sz\'ammal.
A $\vartheta\to0$ hat\'ar\'atmenetet alkalmazva ebben a k\'epletben
azt kapjuk, hogy $\frac{\partial F}{\partial u_j}(\bar u)
\le\frac{\partial F}{\partial u_i}(\bar u)$. Legyen
$D=\frac{\partial F}{\partial u_i}(\bar u)$. Ekkor
$\frac{\partial F}{\partial u_j}(\bar u)\le D$ minden $1\le j\le M$
indexre. De mivel a fenti \'ervel\'esben tetsz\H{o}leges olyan
$i$ indexet v\'alaszthatunk, amelyre $\bar u_i>0$ innen az is
k\"ovetkezik, hogy
$D=\frac{\partial F}{\partial u_i}(\bar u)$ minden olyan $i$ indexre,
amelyre $\bar u_i>0$.

Megford\'{\i}tva, legyen $\bar u=(\bar u_1,\dots,\bar u_M)\in A\cap B$
olyan vektor, amelyikre l\'etezik olyan $D<\infty$ sz\'am, amelyre
$\frac{\partial F}{\partial u_i}(\bar u)\le D$ minden $1\le i\le M$
indexre, \'es ebben a rel\'aci\'oban egyenl\H{o}s\'eg van azon $i$
indexekre, amelyekre $\bar u_i>0$. Ekkor, mivel $F$ konk\'av
f\"uggv\'eny
$$
F(\vartheta u+(1-\vartheta)\bar u)
\ge\vartheta F(u)+(1-\vartheta)F(\bar u),
$$
azaz
$$
\frac{F(\bar u+\vartheta(u-\bar u))-F(\bar u)}\vartheta
\ge F(u)-F(\bar u)
$$
minden $u\in A\cap B$ vektorra \'es $0\le \vartheta\le 1$ sz\'amra.
Innen $\vartheta\to0$ hat\'ar\'atmenettel
$$
\sum_{i=1}^M\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)
\ge F(u)-F(\bar u).
$$
Azt \'all\'{\i}tom, hogy
$\summ_{i=1}^M\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)\le0$.
Val\'oban, abban a speci\'alis esetben, amikor
$\frac{\partial F}{\partial u_i}(\bar u)= D$ minden $1\le i\le M$
indexre ez a rel\'aci\'o egyenl\H{o}s\'eggel is \'erv\'enyes,
mert $\summ_{i=1}^M\bar u_i=\summ_{i=1}^M u_i=1$ az $u\in B$ \'es
$\bar u\in B$ felt\'etel miatt. A
$\frac{\partial F}{\partial u_i}(\bar u)<D$ szigor\'u
egyenl\H{o}tlens\'eg csak olyan $i$ indexekre \'erv\'enyes, amelyekre
$\bar u_i=0$. Ezenk\'{\i}v\"ul $u_i\ge0$ az $u\in A$ rel\'aci\'o
miatt, ez\'ert ebben az esetben
$\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)\le D(u_i-\bar u_i)$.
Innen
$\summ_{i=1}^M\frac{\partial F}{\partial u_i}(\bar u)(u_i-\bar u_i)
\le\summ_{i=1}^M D(u_i-\bar u_i)=0$, amint \'all\'{\i}tottam.
Azt kaptuk, hogy $F(u)-F(\bar u)\le0$ minden $u\in A\cap B$ vektorra,
teh\'at a $\bar u$ pont a vizsg\'alt sz\'els\H{o}\'ert\'ek feladat
megold\'asa. A t\'etelt bel\'attuk.

\medskip
Megfogalmazom a Kuhn--Tucker t\'etel eredeti alakj\'at.

\medskip\noindent
{\bf Kuhn--Tucker t\'etel.} {\it Tekints\"uk a
$$
\gather
\min f(x_1,\dots,x_N)\\
Ax^*=b  \\
x_i\ge0 \text{ minden } 1\le i\le N \text{ indexre}
\endgather
$$
optimaliz\'aci\'os feladatot, ahol $f(x_1,\dots,x_N)$ egy
minden\"utt differenci\'alhat\'o, konvex f\"ugg\-v\'eny,
$b=(b_1,\dots,b_M)\in R^M$, $A$ egy $N\times M$ m\'eret\H{u}
m\'atrix, $x^*$ az $x$ vektor transzpon\'altj\'at jel\"oli,
\'es $x=(x_1,\dots,x_N)$. Egy
$\bar x=(\bar x_1,\dots,\bar x_N)\in R^N$, $x_i\ge0$,
$1\le i\le N$, $A\bar x^*=b$, vektor akkor \'es csak akkor
megold\'asa ennek az optimaliz\'aci\'os feladatnak, ha
l\'etezik olyan $m=(m_1,\dots,m_M)\in R^M$ vektor, amelyre
$$
\frac{\partial f}{\partial x_j}(\bar x_1,\dots,\bar x_N)+ (m, a_j)
\;\;\left\{ \aligned
&=0 \quad \text{ha }\bar x_j>0\\
&\ge0 \quad \text{ha }x_j=0,
\endaligned \right.
$$
ahol $a_j$ az $A$ m\'atix $j$-ik oszlop\'at, \'es $(x,y)$ az
$x$ \'es $y$ vektorok skal\'arszorzat\'at jel\"oli.}

\medskip
Az el\H{o}z\H{o}leg t\'argyalt konk\'av f\"uggv\'eny
maximaliz\'aci\'os probl\'em\'aja \'atfogalmazhat\'o ilyen
konvex optimaliz\'aci\'os probl\'em\'av\'a $-1$-gyel val\'o
szorz\'as seg\'{\i}ts\'eg\'evel. Az optimaliz\'aci\'o ott
kimondott felt\'etele is \'atfogalmazhat\'o az e t\'etelben
kimondott alakra. Ebben az esetben az $1\times N$ m\'eret\H{u}
$A$ m\'atrix szerep\'et a csupa 1 sz\'amot tartalmaz\'o
vektor j\'atssza, \'es az 1 dimenzi\'os $m$ vektor $-D$-vel
egyenl\H{o}, a t\'etelben szerel\H{o} $D$ sz\'ammal. Az e
jegy\-zet\-ben bizony\'{\i}tott t\'etel, --- ha eltekint\"unk
az $F$ f\"uggv\'enyre tett simas\'agi felt\'etelekt\H{o}l --- a
Kuhn--Tucker t\'etel speci\'alis eset\'enek tekinthet\H{o}
ezzel a szereposzt\'assal.

A Kuhn--Tucker t\'etel l\'enyeges \'ujdons\'aga az \'altalunk
t\'argyalt eredm\'enyhez k\'epest az, hogy t\"obb
line\'aris felt\'etel megk\"ovetel\'ese eset\'en is jellemzi az
optim\'alis meg\-ol\-d\'a\-so\-kat. A bizony\'{\i}t\'as
l\'enyegesen \'uj gondolatok
felhaszn\'al\'as\'at ig\'enyelte. A t\'etel
igazol\'as\'anak f\H{o} neh\'ezs\'ege a benne szerepl\H{o}
felt\'etel sz\"uk\-s\'e\-ges\-s\'e\-g\'e\-nek, vagyis annak a
t\'enynek a bizony\'{\i}t\'asa, hogy ha egy
$x=(x_1,\dots,x_N)$ vektor megold\'asa a minimum feladatnak,
akkor az teljes\'{\i}ti a megadott egyen\-l\H{o}\-s\'e\-gek\-b\H{o}l
\'es egyen\-l\H{o}t\-len\-s\'e\-gek\-b\H{o}l \'all\'o felt\'etelt.
K\"ul\"on\"osen fontos a felt\'etelben szerepl\H{o} $m$
vektor megtal\'al\'asa. Ezt meg lehet tenni a line\'aris
prog\-ra\-mo\-z\'as dualit\'as t\'etel\'enek a seg\'{\i}ts\'eg\'evel.
Az eredeti optimaliz\'aci\'os feladat megold\'asa teljes\'{\i}t 
egy line\'aris optimaliz\'aci\'os feladatot (implicit
m\'odon defini\'alt egy\"utthat\'okkal), \'es az $m$ vektor
e line\'aris programoz\'asi feladat du\'alj\'anak a megold\'asa.

Maga a Kuhn--Tucker t\'etel jellege hasonl\'{\i}t a
Lagrange-f\'ele multiplik\'ator m\'od\-szer\-re. A l\'enyeges
k\"ul\"onbs\'eg a k\'et eredm\'eny k\"oz\"ott az, hogy a
Kuhn--Tucker t\'etel az nemcsak sz\"uks\'eges, hanem
el\'egs\'eges felt\'etel\'et is ad arra, hogy egy vektor
az optim\'aliz\'aci\'os feladat megold\'asa legyen, \'es az
optimum keres\'esekor a tartom\'any hat\'arpontjait is
figyelembe veszi. Ennek viszont az az \'ara, hogy csak
viszonylag speci\'alis probl\'em\'akat lehet ezzel a
m\'odszerrel vizsg\'alni. \'Igy p\'eld\'aul a probl\'em\'aban
szerepl\H{o} k\'enyszer felt\'etelek line\'arisak.

Az el\H{o}z\H{o}leg igazolt eredm\'enyek seg\'{\i}tenek az
al\'abbi bizony\'{\i}t\'asban.

\medskip\noindent
{\it A v\'eges \'allapotter\H{u} csatorna optim\'alis
bemenet\'enek a jellemz\'es\'er\H{o}l sz\'ol\'o t\'etel
bi\-zo\-ny\'{\i}\-t\'a\-sa.} Ha egy a a csatorn\'aval
\"osszekapcsolt $\eta$, $\eeta$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o p\'ar
$p(v_i)=P(\eta=v_i)$ val\'osz\'{\i}n\H{u}s\'egeit az
egy f\"uggv\'eny konk\'avit\'as\'ar\'ol sz\'ol\'o lemm\'aban
szerepl\H{o} $u_i$, a csatorna $p(\vv_j|v_i)$
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit az e lemm\'aban
szerepl\H{o} $p(i,j)$ sz\'amokkal azonos\'{\i}tom, akkor
$q(\vv_j)=P(\eeta=\vv_j)=y_j$ a szint\'en e lemm\'aban
szerepl\H{o} $y_j$ sz\'amokkal. Tov\'abb\'a, ha $\eta$ \'es
$\eeta$ k\'et a csatorn\'aval \"osszekapcsolt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, \'es $P(\eta=v_i)=u_i$,
$1\le i\le M$, akkor $I(\eta\wedge\eeta)=F(u_1,\dots,u_M)$ a
lemm\'aban defini\'alt $F(\cdot)$ f\"uggv\'ennyel. Ez\'ert
egy olyan $\eta,\eeta$ a csatorn\'aval \"osszekapcsolt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'ar eloszl\'as\'anak
a jellemz\'ese, amelyre $I(\eta\wedge\eeta)=C$, ahol $C$ a
csatorna kapacit\'asa, ekvivalens azzal a feladattal, hogy
tal\'aljuk meg a lemm\'aban defini\'alt (konk\'av)
$F(u_1,\dots,u_M)$, $u_i\ge0$, $1\le i\le M$, f\"uggv\'eny
maximum\'at a $\summ_{i=1}^Mu_i=1$ k\'enyszerfelt\'etel
mellett. E feladatban egy folytonos f\"uggv\'eny maximum\'at
keress\"uk egy kompakt halmazon, teh\'at ez a maximum l\'etezik.
Ennek megtal\'al\'as\'ahoz
alkalmazhatjuk a {\it A Kuhn--Tucker t\'etel egy speci\'alis
ese\-te}\/ n\'even megfogalmazott \'all\'{\i}t\'ast, mert a
minket \'erdekl\H{o} feladatban e t\'etel felt\'etelei
teljes\"ulnek. Tov\'abb\'a a (3.2) formul\'aban kisz\'amoltuk a
$\frac{\partial F}{\partial u_k}$ parci\'alis deriv\'altakat. E
k\'eplet \'es az el\H{o}bb eml\'{\i}tett t\'etel azt adj\'ak,
hogy egy a csatorn\'aval \"osszekapcsolt $\eta,\eeta$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'arra akkor \'es csak
akkor teljes\"ul az $I(\eta\wedge\eeta)=C$ rel\'aci\'o, ha az
$\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
$q(\vv_j)=P(\eta=v_j)$, $1\le j\le N$, eloszl\'asa teljes\'{\i}ti a
$$ \allowdisplaybreaks
\align
\summ_{j=1}^N p(\vv_j|v_k)\log\frac{p(\vv_j|v_k)}{q(\vv_j)}&=D,
\quad\text{ha } p(v_k)>0,\\
\summ_{j=1}^N p(\vv_j|v_k)\log\frac{p(\vv_j|v_k)}{q(\vv_j)}&\le D,
\quad\text{ha } p(v_k)=0  \tag3.3
\endalign 
$$
rel\'aci\'ot valamilyen $D<\infty$ sz\'ammal minden $1\le k\le M$
indexre. A $k$-ik egyenletet vagy egyenl\H{o}tlens\'eget megszorozva
$p(v_k)$-val egyenl\H{o}s\'eget kapunk minden $k$ indexre. Ezeket
\"osszeadva azt kapjuk, hogy
$$
\summ_{k=1}^M\summ_{j=1}^N r(v_k,\vv_j)
\log\frac{p(\vv_j|v_k)}{q(\vv_j)}=D,
$$
ahol $r(v_k,\vv_j)=P(\eta=v_k,\eeta=\vv_j)$, $1\le k\le M$,
$1\le j\le N$. Ennek az egyenletnek a baloldala egyenl\H{o}
az $I(\eta\wedge\eeta)=C$ sz\'ammal. Teh\'at egy a csatorn\'aval
\"osszekapcsolt $\eta,\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
p\'arra akkor \'es csak akkor \'erv\'enyes az $I(\eta\wedge\eeta)=C$
rel\'aci\'o, ha az $\eeta$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o
$q(\vv_j)=P(\eeta=\vv_j)$, $1\le j\le M$, eloszl\'asa teljes\'{\i}ti
a (3.3) rel\'aci\'ot a $D=C$ sz\'ammal. A t\'etelt bel\'attuk.

\medskip
Megfogalmazok egy lemm\'at, amely seg\'{\i}t a csatorna k\'odol\'asi
t\'etel megford\'{\i}t\'as\'anak a bizony\'{\i}t\'as\'aban.

\medskip\noindent
{\bf Fels\H{o} becsl\'es egy $\lambda$ megk\"ul\"onb\"oztethet\H{o}
ele\-me\-ket tartalmaz\'o halmaz elem\-sz\'a\-m\'a\-r\'ol.}
{\it Legyen adva adva k\'et $V=\{v_1,v_2,\dots\}$ \'es
$\tilde V=\{\vv_1,\vv_2,\dots\}$ v\'eges vagy megsz\'aml\'alhat\'o
halmaz, \'es k\"oz\"ott\"uk egy $p(\vv_j|v_i)$, $v_i\in V$,
$\vv_j\in\VV$,
\'at\-me\-net\-va\-l\'o\-sz\'{\i\-}n\H{u}\-s\'e\-gek\-kel
defini\'alt csatorna. Legyen $\eta$ \'es $\eeta$ k\'et e
csatorn\'aval \"osszekapcsolt val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o. Vezess\"uk be a $q(\vv_j)=P(\eeta=\vv_j)$,
$\vv_j\in\VV$, val\'osz\'{\i}n\H{u}s\'egeket \'es az
$$
A(v_i)=\left\{\vv_j\colon\; \vv_j\in\VV, \;\;
\frac{p(\vv_j|v_i)}{q(\vv_j)}\ge2^{\vartheta}\right\},
\quad v_i\in V
$$
halmazokat egy alkalmasan v\'alasztott $\vartheta$ param\'eterrel.
Tegy\"uk fel, hogy teljes\"ul a
$$
P(\eeta\in A(v_i)|\eta=v_i)
=\sum_{\vv_j\colon\; p(\vv_j|v_i)\ge2^\vartheta q(\vv_j)}p((\vv_j|v_i)
\le\gamma   \tag3.4
$$
egyenl\H{o}tlens\'eg valamely $\gamma<1$ sz\'ammal minden
$v_i\in V$ pontra. Legyen $\gamma+\lambda<1$ valamely
$\lambda>0$ sz\'ammal. Ekkor tetsz\H{o}leges
$A=\{v_{i_1},\dots,v_{i_N}\}\subset V$ $\lambda$
meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} pontokb\'ol \'all\'o
halmaz $N$ elemsz\'am\'ara
$N\le\frac{2^\vartheta}{1-\lambda-\gamma}$.}

\medskip\noindent
{\it Megjegyz\'es.}\/ A (3.4) formul\'aban szerepl\H{o}
felt\'eteles val\'osz\'{\i}n\H{u}s\'eget az ott fel\'{\i}rt
\"osszegk\'ent defini\'aljuk abban az esetben is, ha
$P(\eta=v_i)=0$.

\medskip\noindent
{\it Bizony\'{\i}t\'as.}\/ Adva egy
$A=\{v_{i_1},\dots,v_{i_N}\}\subset V$ $\lambda$
megk\"ul\"onb\"oztethet\H{o} pontokb\'ol \'all\'o halmaz
v\'alasszunk olyan $B_1\in \VV$,\dots, $B_N\in \VV$ diszjunkt
halmazokat, amelyekre
$P(\eeta\in B_k|\eta=v_{i_k})\ge1-\lambda$ minden $1\le k\le N$
indexre. Ekkor
$$
\align
1-\lambda-\gamma&\le
P(\eeta\in B_k\setminus A(v_{i_k})|\eta=v_{i_k})
=\summ_{\vv_j\colon\; \vv_j\in B_k, \, p(\vv_j|v_{i_k})
\le 2^\vartheta q(\vv_j)} p(\vv_j|v_{i_k}) \\
&\le 2^\vartheta\summ_{\vv_j\colon\; \vv_j\in B_k,\, p(\vv_j|v_{i_k})
\le 2^\vartheta q(\vv_j)} q(\vv_j)
=2^\vartheta P(\eeta\in B_k\setminus A(v_{i_k}))
\le 2^\vartheta P(\eeta\in B_k)
\endalign
$$
minden $1\le k\le N$ indexre. \"Osszegezve ezeket az
egyenl\H{o}tlens\'egeket minden $1\le k\le N$ indexre \'es
felhaszn\'alva, hogy a $B_k$ halmazok diszjunktak azt kapjuk, hogy
$$
N(1-\lambda-\gamma)\le 2^\vartheta.
$$
A lemm\'at bel\'attuk.

\medskip\noindent
{\it A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak a
bizony\'{\i}t\'asa.}\/ Legyen $\eta'$ \'es $\eeta'$ k\'et olyan
az eml\'ekezet n\'elk\"uli csatorna
\'atmenetval\'osz\'{\i}n\H{u}s\'egeit meghat\'aroz\'o
csatorn\'aval \"osszek\"ot\"ott val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'o, amelyekre $I(\eta'\wedge\eeta')=C$, ahol $C$
ennek a csatorn\'anak a csatorna kapacit\'asa. Legyen
$(\eta_1,\eeta_1),\dots,(\eta_n,\eeta_n)$ az $(\eta',\eeta')$
v\'eleten vektorral azonos eloszl\'as\'u, f\"uggetlen v\'eletlen
vektorok sorozata. Vezess\"uk be az
$\eta=(\eta_1,\dots,\eta_n)$ \'es $\eeta=(\eeta_1,\dots,\eeta_n)$
jel\"ol\'est. A csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak
a bizony\'{\i}t\'as\'aban a {\it fels\H{o} becsl\'es egy $\lambda$
meg\-k\"u\-l\"on\-b\"oz\-tet\-he\-t\H{o} ele\-me\-ket tartalmaz\'o
halmaz elem\-sz\'a\-m\'a\-r\'ol} eredm\'eny\'et fogom alkalmazni az
$\eta,\eeta$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'o
p\'arra $\vartheta=Cn+K\frac{\sqrt n}{\sqrt{1-\lambda}}$ param\'eterrel,
ahol $K$ egy a csatorn\'at\'ol f\"ugg\H{o} el\'eg nagy sz\'am. Ehhez
jogunk van, mert az $\eta$ \'es $\eeta$ val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'ok \"ossze vannak kapcsolva az eml\'ekezet n\'elk\"uli
csatorn\'aval.

Ezen becsl\'es alapj\'an a csatorna k\'odol\'asi t\'etel
megford\'{\i}t\'as\'anak a bizony\'{\i}t\'as\'ahoz el\'eg
megmutatni, hogy
$$
P((\eeta_1,\dots,\eeta_n)\in A((v_{i_1},\dots,v_{i_n}))|
\eta_1=v_{i_1},\dots,\eta_n=v_{i_n})
\le\frac{1-\lambda}2
$$
minden $(v_{i_1},\dots,v_{i_n})\in V^n$ vektorra, ahol
$$
\align
&A((v_{i_1},\dots,v_{i_n})) \\
&\qquad=\left\{(\vv_{j_1},\dots,\vv_{j_n})
\colon\; (\vv_{j_1},\dots,\vv_{j_n})\in\VV^n, \;
\frac{\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})}
{\prodd_{k=1}^n q(\vv_{j_k})}
\ge2^{Cn+K\sqrt n/\sqrt{1-\lambda}}\right\},
\endalign
$$
egy el\'eg nagy $K>0$ konstanssal, mely k\'epletben
$p(\vv_j|v_i)$ jel\"oli az eml\'ekezet n\'elk\"uli
csatorn\'at meghat\'aroz\'o  csatorna
\'at\-me\-net\-va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-ge\-it,
\'es $q(\vv_j)=P(\eeta'=\vv_j)$. Ugyan\-is. ha ez az
egyenl\H{o}tlens\'eg igaz, akkor az el\H{o}bb
eml\'{\i}tett fels\H{o} becsl\'es
$\vartheta=Cn+K\frac{\sqrt n}{\sqrt{1-\lambda}}$ \'es
$\gamma=\frac{1-\lambda}2$ szereposzt\'assal
a t\'etelben megfogalmazott eredm\'enyt szolg\'altatja.

\'At\'{\i}rva az $A((v_{i_1},\dots,v_{i_n}))$ halmaz
definici\'oj\'at \'ugy, hogy a benne szerepl\H{o}
egyen\-l\H{o}t\-len\-s\'eg\-ben a baloldal logaritmusa nagyobb
vagy egyenl\H{o}, mint a jobboldal lo\-ga\-rit\-mu\-sa, \'es
figyelembe v\'eve, hogy a bizony\'{\i}tani k\'{\i}v\'ant
egyenl\H{o}tlens\'egben
tekintett $(\eeta_1,\dots,\eeta_n)$ vektornak mi a
fel\-t\'e\-te\-les el\-osz\-l\'a\-sa az $\eta_1=v_{i_1}$,\dots,
$\eta_n=v_{i_n}$ felt\'etel
mellett a bizony\'{\i}tand\'o \'all\'{\i}t\'asnak megadhatjuk a
k\"ovetkez\H{o} ekvivalens \'atfogalmaz\'as\'at.
R\"ogz\'{\i}ts\"unk valamilyen $v_{i_1}\in V$,\dots, $v_{i_n}\in V$
pontokat, \'es vezess\"uk be a $\zeta_1(v_{i_1})$,\dots,
$\zeta_n(v_{i_n})$ f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okat, \'ugy hogy a $\zeta_k(v_{i_k})$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o eloszl\'as\'at
a $P(\zeta_k(v_{i_k})=\vv_j)=p(\vv_j|v_{i_k})$,
$\vv_j\in\VV$, k\'eplet adja meg minden $1\le k\le n$ indexre.
Ezzel a jel\"ol\'essel a  bizony\'{\i}tani k\'{\i}v\'ant
\'all\'{\i}t\'as eqvivalens a
k\"ovetkez\H{o} egyenl\H{o}tlens\'eggel.
$$
P\(\summ_{i=1}^n \log\frac
{p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}
\ge Cn+\frac{K\sqrt n}{\sqrt{1-\lambda}}\)
\le \frac{1-\lambda}2 \tag3.5
$$
minden $(v_{i_1},\dots,v_{i_n})\in V^n$ vektorra.

Vegy\"uk \'eszre, hogy a (3.5) formula szumm\'aj\'aban
szerepl\H{o} tagok v\'arhat\'o \'ert\'eke
$$
E\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}=
\sum_{j=1}^n p(\vv_j|v_{i_k})\log \frac{p(\vv_j|v_{i_k})}{q(\vv_j)}
$$
Tov\'abb\'a, mivel $I(\eta'\wedge\eeta')=C$, ahol $C$ az eml\'ekezet
n\'elk\"uli csatorn\'at meghat\'aroz\'o csatorna csatorna
kapacit\'asa, ezt az egyenletet \"osszehasonl\'{\i}tva a
{\it lemma az eml\'ekezet n\'elk\"uli csatorna kapacit\'as\'ar\'ol}
eredm\'eny\'eben szerepl\H{o} (3.1) k\'eplettel azt kapjuk,
hogy a tekintett v\'arhat\'o \'ert\'ek kisebb vagy egyenl\H{o},
mint $C$, \'es a $C$ sz\'ammal egyenl\H{o} azon
$v_{i_k}\in V$ pontokra, amelyekre
$P(\eta'=v_{i_k})>0$. Tov\'abb\'a l\'etezik olyan $D<\infty$
konstans, amelyre
$$
E\(\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}
{q(\zeta_k(v_{i_k}))}\)^2
=\sum_{j=1}^n p(\vv_j|v_{i_k})\(\log \frac{p(\vv_j|v_{i_k})}{q(\vv_j)}\)^2
\le D \quad \text{minden $v_i\in V$ pontra},
$$
mert ez a kifejez\'esben egy v\'eges \"osszeg szerepel,
amelynek mindegyik tagja v\'eges. (Tud\-juk, hogy ha $p(\vv_j|v_i)>0$,
akkor $q(\vv_j)>0$, \'es csak v\'eges sok k\"ul\"onb\"oz\H{o}
\"osszeget kell tekinten\"unk.)

A most bizony\'{\i}tott \"osszef\"ugg\'esek \'es a Csebisev
egyenl\H{o}tlens\'eg a k\"ovetkez\H{o} becsl\'est adj\'ak
(3.5) k\'epletben szerepl\H{o} f\"uggetlen
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \"osszeg\'enek az
eloszl\'as\'ara.
$$
\align
&P\(\summ_{i=1}^n \log\frac
{p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}
\ge Cn+\frac{K\sqrt n}{\sqrt{1-\lambda}}\) \\
&\qquad \le P\(\summ_{i=1}^n
\(\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}
-E\log\frac {p(\zeta_k(v_{i_k})|v_{i_k})}{q(\zeta_k(v_{i_k}))}\)
\ge \frac{K\sqrt n}{\sqrt{1-\lambda}}\) \\
&\qquad\le \frac{Dn(1-\lambda)}{K^2n}
\le \frac{1-\lambda}2,
\endalign
$$
ha a $K$ konstanst el\'eg nagynak ($K^2>2D$) v\'alasztjuk. \'Igy a
(3.5)~formul\'at, \'es ezzel a t\'etelt is bebizony\'{\i}tottuk.

\medskip
\'Erdemes lehet heurisztikus szinten \'attekinteni, hogy milyen
gondolatokra \'ep\"ul a csatorna k\'odol\'asi t\'etelnek illetve e
t\'etel megford\'{\i}t\'as\'anak a bizony\'{\i}t\'asa.

Legyen $(\eta,\eeta)$ olyan a csatorn\'aval \"osszekapcsolt
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o p\'art, amely\-re
$I(\eta\wedge\eeta)=C$, ahol $C$ a csatorna kapacit\'asa,
vagy ha ilyen p\'ar nincs akkor az $I(\eta\wedge\eeta)$ sz\'am
nagyon k\"ozel van ehhez a $C$ \'ert\'ekhez. Annak
bizony\'{\i}t\'asa, hogy alkalmas felt\'etelek mellett mind
a k\'et t\'etel \'erv\'enyes azon \'all\'{\i}t\'as igazol\'as\'an
alapul, hogy egy $n$ hossz\'us\'ag\'u eml\'ekezet n\'elk\"uli
csatorn\'aban az
$$
A(v)=\left\{\vv=(\vv_{j_1},\dots,\vv_{j_n})\in\VV_n\colon\;
\prodd_{k=1}^n\frac{p(\vv_{j_k}|v_{i_k})}{q(\vv_{j_k})}
\sim 2^{Cn}\right\}
$$
halmaz teljes\'{\i}ti a
$P((\eeta_1,\dots,\eeta_n)\in A(v)|(\eta_1,\dots,\eta_n)=v)\sim1$
rel\'aci\'ot tipikus  $v=(v_{i_1},\dots,v_{i_n})\in V^n$ pontokban,
ahol $(\eta_1,\eeta_1)$,\dots, $(\eta_n,\eeta_n)$ az $(\eta,\eeta)$
p\'arral azonos el\-osz\-l\'a\-s\'u, f\"uggetlen v\'eletlen vektorok
sorozata, \'es $q(\vv_j)=P(\eeta=\vv_j)$. Az el\H{o}z\H{o}
mondatban haszn\'alt `tipikus' kifejez\'es els\H{o}
k\"ozel\'{\i}t\'esben azt jelenti, hogy a rel\'aci\'o igaz a
$v=(v_{i_1},\dots,v_{i_n})\in V^n$ vektorok majdnem egy
val\'osz\'{\i}n\H{u}s\'egi halmaz\'ara azon
val\'osz\'{\i}n\H{u}s\'egi m\'ert\'ek szerint, amelyet az
$(\eta_1,\dots,\eta_n)$ vektor eloszl\'asa hat\'aroz meg. A
bizony\'{\i}t\'as r\'eszletesebb vizsg\'alata sor\'an a `tipikus'
sz\'o jelent\'es\'et pontos\'{\i}tani kell. \'Erdemes
meg\-je\-gyez\-ni, hogy az $A(v)$ halmazra fel\'{\i}rt rel\'aci\'o
\'ugy is \'{\i}rhat\'o, hogy
$\summ_{k=1}^n\log \frac{p(\eeta_k|v_{i_k})}{q(\eeta_k)}\sim Cn$
majdnem val\'osz\'{\i}n\H{u}s\'eggel ha $(\eeta_1,\dots,\eeta_n)$
eloszl\'as\'at a
$P(\eeta_1=\vv_{j_1},\dots,\eeta_n=\vv_{j_n})
=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k})$ k\'eplet adja meg.
Tov\'abb\'a $E\log\frac
{p(\eeta_k|\eta_k)}{q(\eeta_k)}=I(\eta_k\wedge\eeta_k)=C$. Ez\'ert
az el\H{o}bb fel\'{\i}rt rel\'aci\'o olyan t\'enyt fejez ki, hogy
f\"uggetlen val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok \"osszege k\"ozel
van az \"osszeg v\'arhat\'o \'ert\'ek\'ehez.

Az $A(v)$ halmazra megfogalmazott tulajdons\'ag egyik
k\"ovetkezm\'enye az, hogy egy tipikus $v\in V^n$ pontra
$$
\align
P((\eeta_1,\dots,\eeta_n))\in A(v))&=\sum_{\vv\in A(v)} q(\vv)
=\sum_{\vv\in A(v)} q(\vv)\frac{p(\vv|v)}{q(\vv)}
\frac{q(\vv)}{p(\vv|v)}\\
&\sim2^{-Cn}\sum_{\vv\in A(v)} q(\vv)\frac{p(\vv|v)}{q(\vv)}
=2^{-Cn}\sum_{\vv\in A(v)} p(\vv|v)\sim 2^{-Cn},
\endalign
$$
ahol $q(\vv)=\prodd_{k=1}^n q(\vv_{j_k})$, \'es
$p(\vv|v)=\prodd_{k=1}^n\frac{p(\vv_{j_k}|v_{i_k})}{q(\vv_{j_k}}$.
Ha egy olyan $B(v)\subset\VV^n$ halmazt keres\"unk egy $v\in V^n$
ponthoz, amelyre
$P((\eeta_1,\dots,\eeta_n)\in B(v)|(\eta_1,\dots,\eta_n)=v)
\ge1-\lambda$
valamely kis $\lambda>0$ sz\'amra, akkor a $B(v)$ halmaz az
el\H{o}bb defini\'alt $A(v)$ halmaz kis m\'odos\'{\i}t\'asa a
$P(\cdot|(\eta_1,\dots,\eta_n)=v)$ m\'ert\'ek szerint. S\H{o}t,
n\'eh\'any sz\'amunkra nem l\'enyeges felt\'etel teljes\"ul\'ese
eset\'en az is igaz, hogy az $A(v)$ halmazhoz hasonl\'oan a $B(v)$
halmaz  teljes\'{\i}ti a
$P((\eeta_1,\dots,\eeta_n))\in B(v))\sim 2^{-nC}$ rel\'aci\'ot.
Ez\'ert, ha olyan $(v^{(1)},B^{(1)})$,\dots, $(v^{(N)},B^{(N)})$,
$v^{(k)}\in V^n$, $B^{(k)}\subset\VV^n$, minden $1\le k\le N$ indexre,
p\'arokat keres\"unk, amelyekre
$P((\eeta_1,\dots,\eeta_n)\in B^{(k)}|(\eta_1,\dots,\eta_n)=v^{(k)})>
1-\lambda$
minden $k$ indexre, \'es a $B^{(k)}$ halmazok diszjunktak, akkor
legfeljebb $N=2^{Cn(1+o(1)})$ ilyen p\'art v\'alaszthatunk, \'es ezt
mondja ki a csatorna k\'odol\'asi t\'etel megford\'{\i}t\'asa. A
csatorna k\'odol\'asi t\'etel viszont az \'all\'{\i}tja, hogy ennyi
$(v^{(k)},B^{(k)})$ p\'art ki is lehet v\'alasztani.

Term\'eszetesen, az el\H{o}bb v\'azolt gondolatmenetek pontos
kidolgoz\'asa az \'ervel\'es finom\'{\i}t\'as\'at ig\'enyli
t\"obb ponton. Ezek r\'eszleteit azonban itt nem t\'argyalom,
mert a m\'ar le\'{\i}rt bizony\'{\i}t\'as tartalmazza azokat.
Csak egy figyelemre m\'elt\'o r\'eszletet eml\'{\i}tek. A
csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'aban az $A(v)$
halmazokra fel\'{\i}rt aszimptotikus rel\'aci\'ot nem elegend\H{o}
csak `tipikus' $v\in V^n$ pontokra bel\'atni, azokat minden
$v\in V^n$ pontra igazolni kell. Ez okozza a f\H{o} neh\'ezs\'eget
e t\'etel bizony\'{\i}t\'as\'aban. E probl\'ema lek\"uzd\'es\'eben
a {\it v\'eges \'allapotter\H{u} csatorna optim\'alis bemenet\'enek
a jellemz\'es\'er\H{o}l} sz\'ol\'o t\'etel eredm\'enye seg\'{\i}t.
Ez teszi lehet\H{o}v\'e a vizsg\'aland\'o felt\'eteles
val\'osz\'{\i}n\H{u}s\'eg becsl\'es\'et minden $v\in V^n$
vektorra.

\medskip\noindent
{\bf 4. Kis hib\'aj\'u \'es viszonylag gyors inform\'aci\'o
tov\'abb\'{\i}t\'as a forr\'as \'es csatorna k\'o\-do\-l\'a\-si
t\'etel se\-g\'{\i}t\-s\'e\-g\'e\-vel.}

\medskip\noindent
E fejezetben a k\"ovetkez\H{o} probl\'em\'aval fogunk foglalkozni.
Legyen adva egy inform\'aci\'o forr\'as, azaz legyen adva egy
\'ert\'ekeit egy v\'eges vagy megsz\'aml\'alhat\'oan
v\'egtelen $X=\{x_1,x_2\dots\}$ hal\-ma\-zon felvev\H{o}
$\xi$ val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o, \'es legyen
$\xi_1,\xi_2,\dots$ f\"uggetlen, \'es a $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok
sorozata, amit inform\'aci\'o forr\'asnak fogunk nevezni.
Legyen ezenk\'{\i}v\"ul adva egy eml\'ekezet n\'elk\"uli
csatorna, amelyet egy olyan
csatorna hat\'aroz meg, amely valamely $V=\{v_1,v_2,\dots\}$
bemeneti jelek halmaz\'at \'atviszi kimeneti jelek valamely
$\VV=\{\vv_1,\vv_2,\dots\}$ halmaz\'aba, \'es $p(\vv_j|v_i)$
annak a val\'osz\'{\i}n\H{u}s\'ege, hogy a csatorna
a $v_i$ bemeneti jelet a $\vv_j$ kimeneti jelbe viszi \'at. A
forr\'as jeleit akarjuk k\"oz\"olni a felhaszn\'al\'oval \'ugy,
hogy az (eml\'ekezet n\'elk\"uli) csatorn\'an leadjuk bemeneti
jelek egy sorozat\'at, aminek hat\'as\'ara a felhaszn\'al\'o
kimeneti jelek valamilyen sorozat\'at kapja, \'es ennek
alapj\'an pr\'ob\'alja rekonstru\'alni az inform\'aci\'o
forr\'as $\xi_1,\xi_2,\dots$ \'ert\'ekeit.

Tegy\"uk fel, hogy az inform\'aci\'o forr\'as $\xi_1,\xi_2,\dots$
jelei egys\'egnyi sebess\'eggel \'erkeznek, \'es mi is egys\'egnyi
sebess\'eggel tudjuk tov\'abb\'{\i}tani a $v_i$ jeleket a
csatorn\'an kereszt\"ul. Olyan m\'odszert
sze\-ret\-n\'enk kidolgozni, amely lehet\H{o}v\'e teszi, hogy
a felhaszn\'al\'o a forr\'as minden jel\'et $\e$-n\'al kisebb
hib\'aval rekonstru\'alni tudja, ahol $\e>0$ egy el\H{o}re
r\"ogz\'{\i}tett nagyon kicsi sz\'am. Emellett azt szeretn\'enk,
hogy a felhaszn\'al\'o minden jelet annak meg\'erkez\'ese ut\'an
v\'eges id\H{o}n bel\"ul megismerjen. Pontosabban megfogalmazva
azt k\"o\-ve\-tel\-j\"uk meg, hogy b\'armilyen nagy $n$ sz\'amra
a felhaszn\'al\'o az $n$-ik id\H{o}pontban ismerje az \"osszes
$1\le j\le n-K$ id\H{o}intervallumban leadott $\xi_j$ jelet, ahol
$K$ egy r\"ogz\'{\i}tett sz\'am, amely f\"ugghet az $\e$
hibakorl\'att\'ol, de nem f\"ugg az $n$ id\H{o}pontt\'ol.

A k\"ovetkez\H{o} k\'et a forr\'as \'es csatorna k\'odol\'asr\'ol
sz\'ol\'o  eredm\'enyeken alapul\'o t\'etelben azt mutatom meg,
hogy ilyen inform\'aci\'o tov\'abb\'{\i}t\'as
lehets\'eges akkor, ha a csatorna kapacit\'asa nagyobb, mint a
forr\'as entr\'opi\'aja, de nem lehets\'eges akkor, ha
a forr\'as entr\'opi\'aja nagyobb, mint a csatorna kapacit\'asa.

\medskip\noindent
{\bf T\'etel a j\'o inform\'aci\'o tov\'abb\'{\i}t\'as
lehet\H{o}s\'eg\'er\H{o}l, ha a csatorna kapacit\'asa na\-gyobb,
mint a forr\'as entr\'opi\'aja.} {\it Legyen adva egy \'ert\'ekeit
egy v\'eges vagy meg\-sz\'am\-l\'al\-ha\-t\'o\-an v\'egtelen
$X=\{x_1,x_2\dots\}$ hal\-ma\-zon felvev\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'es e $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u, f\"uggetlen $\xi_1,\xi_2,\dots$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy sorozata. Legyen
ezenk\'{\i}v\"ul adva egy eml\'ekezet n\'elk\"uli
csatorna, amelyet egy olyan csatorna hat\'aroz meg, amely valamely
$V=\{v_1,v_2,\dots\}$ bemeneti jelek halmaz\'at \'atviszi kimeneti
jelek valamely $\VV=\{\vv_1,\vv_2,\dots\}$ halmaz\'aba, \'es
$p(\vv_j|v_i)$ annak a val\'osz\'{\i}n\H{u}s\'ege, hogy a csatorna
a $v_i$ bemeneti jelet a $\vv_j$ kimeneti jelbe viszi \'at.
Tegy\"uk fel, hogy a csatorna $C$ csatorna kapacit\'asa
nagyobb, mint a $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o $H(\xi)$ entr\'opi\'aja. Egy r\"ogz\'{\i}tett $\e>0$
sz\'amra alkalmazzuk a k\"ovetkez\H{o} m\'odszert annak
\'erdek\'eben, hogy megismertess\"uk a $\xi_1,\xi_2,\dots$
sorozat jeleit a felhaszn\'al\'oval.

Az $\e>0$ sz\'amhoz v\'alasszunk el\H{o}sz\"or egy $n_0=n_0(\e)$
k\"usz\"obindexet, majd defini\'aljuk az eml\'ekezet n\'elk\"uli
csatorna $n_0$ hossz\'us\'ag\'u bemeneti jeleib\H{o}l \'all\'o
$V^{n_0}$ halmaznak egy $A=A(n_0)=\{v^{(n_0)}(l)
=(v_1(l),\dots,v_{n_0}(l)),\;1\le l\le N(n_0)\}\subset
V^{n_0}$ r\'eszhalmaz\'at valamely $N=N(n_0)$ elemsz\'ammal,
\'es minden $v^{(n_0)}(l)\in A(n_0)$ vektorhoz adjunk meg
az $n_0$ hossz\'us\'ag\'u kimeneti jelek egy egy alkalmas
$B_l\subset \VV^{n_0}$ r\'eszhalmaz\'at \'ugy, hogy ezek a $B_l$,
$1\le l\le N(n_0)$, halmazok a $\VV^{n_0}$ halmaz egy partici\'oj\'at
adj\'ak. Defini\'aljunk ezenk\'{\i}v\"ul egy
$f\colon X^{n_0}\to A(n_0)$ f\"uggv\'enyt, amelyet k\'odol\'o,
\'es egy $g\colon A(n_0)\to X^{n_0}$ f\"uggv\'enyt, amelyet
dek\'odol\'o f\"uggv\'enynek fogunk nevezni.

Tekints\"uk a $\xi_1,\xi_2,\dots$ sorozat egym\'ast k\"ovet\H{o}
diszjunkt $n_0$ hossz\'us\'ag\'u
$\xi_{ln_0+1}$,\dots, $\xi_{(l+1)n_0}$ blokkjait minden $l=0,1,2,\dots$
sz\'amra. Helyettes\'{\i}ts\"uk be az $l$-ik blokk \'ert\'ekeit az
$f(\cdot)$ k\'odf\"uggv\'enybe, azaz tekints\"uk a (v\'eletlen)
$f(\xi_{ln_0+1},\dots,\xi_{(l+1)n_0})\in A(n_0)$ sorozatot minden
$l=1,2,\dots$ indexre, \'es k\"uldj\"uk a felhaszn\'al\'onak a
csatorn\'an kereszt\"ul ezt a sorozatot. \H{O} v\'egezze
a kapott (v\'eletlen) $(\vv_{j_1},\dots,\vv_{j_{n_0}})\in\VV^{n_0}$
sorozat dek\'odol\'as\'at a k\"ovetkez\H{o} m\'odon.
V\'alassza ki azt a $B_l\in\VV^{n_0}$ halmazt, amelyre
$(\vv_{j_1},\dots,\vv_{j_{n_0}})\in B_l$, \'es vegye a neki
megfelel\H{o}
$v^{(n_0)}_l=(v_{i_1}(l),\dots,v_{i_{n_0}}(l))\in A(n_0)$
sorozatot. Alkalmazza erre a sorozatra a $g(\cdot)$ dek\'odol\'o
f\"uggv\'enyt, azaz vegye a
$g(v_{i_1}(l),\dots,v_{i_{n_0}}(l))\in X^{n_0}$
sorozatot, \'es v\'alassza ezt a
$\xi_{ln_0+1},\dots,\xi_{(l+1)n_0}$ sorozatnak.

Az $n_0$ k\"usz\"obindexet, az $A=A(n_0)\subset V^{n_0}$
r\'eszhalmazt, a $\VV^{n_0}$ halmaznak a $v^{(n_0)}(l)\in A(n_0)$
vektoroknak megfelel\H{o} $B_l$, $1\le l\le N(n_0)$, partici\'oj\'at,
valamint az $f\colon X^{n_0}\to A(n_0)$ k\'odol\'o
\'es a $g\colon A(n_0)\to X^{n_0}$ dek\'odol\'o f\"uggv\'enyt
alkalmasan v\'alasztva el\'erhetj\"uk, hogy a felhaszn\'al\'o
ezen elj\'ar\'as seg\'{\i}ts\'eg\'evel legal\'abb $1-\e$
val\'osz\'{\i}n\H{u}s\'eggel a forr\'as \'altal leadott
$\xi_{ln_0+1},\dots,\xi_{(l+1)n_0}$ sorozatot v\'alassza a leadott
sorozat $l$-ik blokk\-j\'a\-nak, azaz az $l$-ik blokkot legal\'abb
$1-\e$ val\'osz\'{\i}n\H{u}s\'eggel j\'ol dek\'odolja.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/
Ha a csatorna kapacit\'asa nagyobb, mint a forr\'as
entr\'opi\'aja, akkor l\'etezik olyan $\delta>0$ sz\'am, amelyre
$C>H(\xi)+2\delta$. V\'alasszunk egy ilyen $\delta>0$ sz\'amot.
Ekkor a csatorna k\'odol\'asi t\'etel alapj\'an van olyan
$n_0=n_0(\e,\delta)$ k\"usz\"obindex, hogy minden $n\ge n_0$
indexre l\'etezik egy
$2^{(C-\delta)n}\ge N(n)\ge 2^{(H(\xi)+\delta)n}$
elemsz\'am\'u $A(n)\subset V^{n}$ halmaz, valamint a $\VV^{n}$
halmaznak egy olyan $B_1,\dots,B_{N(n)}$ partici\'oja, amely
teljes\'{\i}ti a
$\summ_{\vv^{(n)}\in B_l}p(\vv^{(n)}|(v^{(n)}(l))\ge1-\frac\e2$
egyenl\H{o}tlens\'eget a
$v^{(n)}(l)=(v_{i_1}(l),\dots,v_{i_n}(l))\in A(n)$ vektorra
\'es a neki megfelel\H{o} $B_l\subset \VV^n$ halmazra minden
$1\le l\le N(n_0)$ indexre, ahol
$p(\vv^{(n)}|(v^{(n)}(l))$ az em\'ekezet n\'elk\"uli csatorna
\'atmenetval\'osz\'{\i}n\H{u}s\'ege, azaz
$p(\vv^{(n)}|(v^{(n)}(l))=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k}(l))$
a $\vv^{(n)}=(\vv_{j_1},\dots,\vv_{j_n})$ \'es
$v^{(n)}(l)=(v_{i_1}(l),\dots,v_{i_n}(l))$ jel\"ol\'essel.
Tov\'abb\'a, mivel $N(n)\ge 2^{(H(\xi)+\delta)n}$,
a m\'asodik fejezetben bizony\'{\i}tott {\it f\"ug\-get\-len,
egyforma eloszl\'as\'u val\'osz\'{\i}n\H{u}s\'egi
v\'altoz\'okb\'ol \'all\'o forr\'as kis hib\'aj\'u
k\'odol\'as\'ar\'ol \'es de\-k\'o\-do\-l\'a\-s\'a\-r\'ol}
sz\'ol\'o t\'etel alapj\'an l\'etezik olyan
$f\colon X^n\to A(n)$, k\'odol\'o \'es
$g\colon A(n)\to X^n$ dek\'odol\'o f\"uggv\'eny, amelyre
$P(g(f(\xi_1,\dots,\xi_n))=(\xi_1,\dots,\xi_n))\ge 1-\frac\e2$,
ha $n\ge n_0(\e,\delta)$ egy eset\-leg nagyobb $n_0$
k\"usz\"obindexszel.

V\'alasszunk egy olyan $n_0$ indexet, amelyre l\'etezik a
k\'{\i}v\'ant tulajdons\'ag\'u $A(n_0)\subset V^{n_0}$ halmaz a
$\VV^{n_0}$ halmaz hozz\'atartoz\'o $B_1,\dots,B_{N(n_0)}$
partici\'oj\'aval egy\"utt, valamint l\'etezik a
meg\-fe\-le\-l\H{o} tulajdons\'ag\'u $f$ k\'odol\'o \'es $g$
dek\'odol\'o f\"uggv\'eny is. Ezzel a v\'alaszt\'assal
a t\'etelben le\'{\i}rt dek\'odol\'asi elj\'ar\'as hib\'aja
kisebb, mint $\e$. Val\'oban, tekints\"uk az inform\'aci\'o
forr\'as \'altal leadott $\xi_{ln_0+1},\dots,\xi_{(l+1)n_0}$
sorozat $f(\xi_{ln_0+1},\dots,\xi_{(l+1)n_0})=v^{n_0}_l\in A(n_0)$
k\'odj\'at. A felhaszn\'al\'o legal\'abb $1-\frac\e2$
 val\'osz\'{\i}n\H{u}s\'eggel azonos\'{\i}tani fogja ezt a jelet
a csatorn\'an kereszt\"ul kapott jel seg\'{\i}ts\'eg\'evel.
Ezut\'an a $g(\cdot)$ dek\'odol\'o f\"uggv\'eny
seg\'{\i}ts\'eg\'evel v\'egzett dek\'odol\'as is legfeljebb
$\frac\e2$ val\'osz\'{\i}n\H{u}s\'eggel fogja d\"ont\'ese
hib\'aj\'at n\"ovelni.

\medskip
A m\'asodik t\'etelt, amely azt \'all\'{\i}tja, hogy ha $C<H(\xi)$
akkor nem lehets\'eges az adott m\'odon kis hib\'aj\'u, gyors
adat\'atvitelt bizos\'{\i}tani csak abban az esetben
bizony\'{\i}tom, ha a tekintett csatorna v\'eges
\'allapotter\H{u}, mert csak ebben az esetben bizony\'{\i}tottam
a csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'at, amely fontos
szerepet j\'atszik ezen \'all\'{\i}t\'as igazol\'as\'aban. Olyan
\'all\'{\i}t\'ast fogok bizony\'{\i}tani, amely szerint a $C<H(\xi)$
esetben minden $\e>0$ sz\'amhoz megadhat\'o egy olyan $n_0=n_0(\e)$
k\"usz\"obindex, hogy egy $n\ge n_0$ hossz\'us\'g\'u blokknak
tetsz\H{o}leges a csatorn\'an keresz\"ul t\"ort\'en\H{o}
tov\'abb\'{\i}t\'as\'anak a hib\'aja legal\'abb $1-\e$. Azut\'an
egy k\"ovetkezm\'enyben
megmutatom, hogy a viszonylag r\"ovid blokkoknak is b\'armely a
csatorn\'an kereszt\"ul t\"ort\'en\H{o} tov\'abb\'{\i}t\'as\'anak a
hib\'aja alulr\'ol becs\"ulhet\H{o} egy a forr\'ast\'ol \'es a
csatorn\'at\'ol f\"ugg\H{o} pozit\'{\i}v sz\'ammal.

A t\'etel pontos megfogalmaz\'asa \'erdek\'eben el\H{o}sz\"or azt
defini\'alom, hogy mit jelent egy $n$ hossz\'u\-s\'a\-g\'u sorozat
tov\'abb\'{\i}t\'asa a csatorn\'an kereszt\"ul. Az egyszer\H{u}bb
jel\"ol\'es \'er\-de\-k\'e\-ben csak a $\xi_1,\dots,\xi_n$ sorozat
csatorn\'an kereszt\"ul t\"ort\'en\H{o} tov\'abb\'{\i}t\'as\'ar\'ol
fogok besz\'elni, b\'ar a fogalmat hasonl\'oan defini\'alhatn\'ank
\'es a megfelel\H{o} eredm\'enyt hasonl\'oan
bi\-zo\-ny\'{\i}t\-hat\-n\'ank tetsz\H{o}leges
$\xi_{l+1},\dots,\xi_{l+n}$, $l=0,1,2,\dots$, sorozatra is.

Az $\xi_1,\dots,\xi_n$ sorozat egy a csatorn\'an kereszt\"ul
t\"ort\'en\H{o} tov\'abb\'{\i}t\'as\'at a k\"ovetkez\H{o}
kifejejez\'esek seg\'{\i}ts\'eg\'evel fogjuk defini\'alni.
Vezess\"unk be egy $f\colon X^n\to V^n$ k\'od\-f\"ugg\-v\'enyt,
amely az $n$ hossz\'us\'ag\'u $(\xi_1,\dots,\xi_n)$ sorozatokat
k\'epezi a csatorna bemeneti je\-lei\-nek $(v_1,\dots,v_n)$
sorozataiba. Defini\'aljuk a csatorna $\VV$ kimeneti jeleinek $n$
hossz\'us\'ag\'u so\-ro\-za\-tai\-b\'ol \'all\'o $\VV^n$
halmaznak egy $N=N(n)$ elem\H{u} $B_1,\dots,B_N$ partici\'oj\'at.
Ezenk\'{\i}v\"ul rendelj\"uk hozz\'a e partici\'o mindegyik
$B_l$, $1\le l\le N$, elem\'ehez az $X^n$ halmaz valamely
$x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$ elem\'et
\'ugy, hogy a partici\'o k\"ul\"onb\"oz\H{o} elemeihez
k\"ul\"onb\"oz\H{o} sorozatot rendel\"unk hozz\'a, azaz
$x^{(n)}(l)\neq x^{(n)}(l')$, ha $l\neq l'$.
Al\-kal\-maz\-zuk a k\"ovetkez\H{o} inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'ast. Ha
meg\'erkezik a forr\'asb\'ol a $\xi_1,\dots,\xi_n$ sorozat,
akkor al\-kal\-maz\-zuk r\'a az $f$ k\'odf\"uggv\'enyt. \'Igy
egy $f(\xi_1,\dots,\xi_n)=(v_{i_1},\dots,v_{i_n})\in V^n$
sorozatot kapunk. Ezt \'atengedj\"uk az eml\'ekezet n\'elk\"uli
csatorn\'an \'es kapunk egy $(\vv_{j_1},\dots,\vv_{j_n})\in\VV^n$
sorozatot, amelyet tartalmaz a $B_1,\dots,B_N$ partici\'o egyik
eleme. Ha $(\vv_{j_1},\dots,\vv_{j_n})\in B_l$, $1\le l\le N$,
akkor legyen a dek\'odolt sorozat a $B_l$ halmaznak megfeleltetett
$x^{(n)}=(x_{i_1}(l),\dots,x_{i_n}(l))$ sorozat.
Jel\"olj\"uk ezt az $x^{(n)}$ `dek\'odol\'o' sorozatot
$(\zeta_1,\dots,\zeta_n)$-nel. Akkor tekintj\"uk az inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'ast j\'onak, ha
$(\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n)$.

A k\"ovetkez\H{o} t\'etelt fogom bizony\'{\i}tani.

\medskip\noindent
{\bf T\'etel a j\'o inform\'aci\'o tov\'abb\'{\i}t\'as
lehet\H{o}s\'egeinek a korl\'atair\'ol, ha a csatorna
kapacit\'asa ki\-sebb, mint a forr\'as entr\'opi\'aja.}
{\it Legyen adva egy \'ert\'ekeit
egy v\'eges vagy meg\-sz\'am\-l\'al\-ha\-t\'o\-an v\'egtelen
$X=\{x_1,x_2\dots\}$ hal\-ma\-zon felvev\H{o} $\xi$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'o \'es e $\xi$
va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi v\'altoz\'oval azonos
eloszl\'as\'u, f\"uggetlen $\xi_1,\xi_2,\dots$
val\'osz\'{\i}n\H{u}s\'egi v\'altoz\'ok egy sorozata. Legyen
ezenk\'{\i}v\"ul adva egy eml\'ekezet n\'elk\"uli
csatorna, amelyet egy olyan csatorna hat\'aroz meg, amely valamely
$V=\{v_1,v_2,\dots\}$ bemeneti jelek v\'eges halmaz\'at \'atviszi
kimeneti jelek valamely $\VV=\{\vv_1,\vv_2,\dots\}$ v\'eges
halmaz\'aba, \'es $p(\vv_j|v_i)$ annak a
val\'osz\'{\i}n\H{u}s\'ege, hogy a csatorna
a $v_i$ bemeneti jelet a $\vv_j$ kimeneti jelbe viszi \'at.
Tegy\"uk fel, hogy a csatorna $C$ csatorna kapacit\'asa
kisebb, mint a $\xi$ va\-l\'o\-sz\'{\i}\-n\H{u}\-s\'e\-gi
v\'altoz\'o $H(\xi)$ entr\'opi\'aja. Ekkor minden
r\"ogz\'{\i}tett $\e>0$ sz\'amhoz l\'etezik olyan $n_0=n_0(\e)$
k\"usz\"obindex, amelyre igaz a k\"ovetkez\H{o} \'all\'{i}t\'as.

Adva egy $n\ge n_0$ sz\'am, tekints\"unk egy
$f\colon X^n\to V^n$ k\'od\-f\"ugg\-v\'enyt, \'es vegy\"uk
a $\VV^n$ halmaznak egy $N=N(n)$ elem\H{u} $B_1,\dots,B_N$
partici\'oj\'at. Ezenk\'{\i}v\"ul rendelj\"uk hozz\'a e
partici\'o mindegyik $B_l$, $1\le l\le N$, elem\'ehez az
$X^n$ halmaz egyik
$x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$ elem\'et
\'ugy, hogy $x^{(n)}(l)\neq x^{(n)}(l')$, ha $l\neq l'$.
Alkalmazzuk az ezen $f$ k\'odf\"uggv\'eny, $B_1,\dots,B_N$
partici\'o \'es $B_l\to X^{(n)}$ megfeleltet\'es \'altal
meghat\'arozott az e t\'etel el\H{o}tt le\'{\i}rt inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'ast.
Ezen inform\'aci\'o tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi
elj\'ar\'as hib\'aja legal\'abb $1-\e$, ha $n\ge n_0=n_0(\e)$,
ami azt jelenti, hogy
$P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\le\e$.}

\medskip\noindent
{\it A t\'etel bizony\'{\i}t\'asa.}\/ Azt \'all\'{\i}tom, hogy ha
$H(\xi)>C$, akkor minden $\e>0$ sz\'amhoz l\'etezik olyan
$n_0=n_0(\e)$ k\"usz\"obindex, hogy ha az el\H{o}bb le\'{\i}rt
elj\'ar\'ast alkalmazzuk $n\ge n_0$ hossz\'us\'ag\'u sorozatokra,
akkor b\'arhogy is v\'alasztjuk az $f(\cdot)$ k\'odol\'o
f\"uggv\'enyt, a $\VV^n$ halmaz $B_1,\dots,B_N$ partici\'oj\'at
\'es b\'arhogy is adjuk meg a $B_l$ halmaz elemeinek a
$B_l\to x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))$
hozz\'arendel\'es\'et az $X^n$ halmaz valamely elem\'ehez, a
dek\'odol\'as legfeljebb $\e$ val\'osz\'{\i}n\H{u}s\'eggel ad
helyes eredm\'enyt, azaz
$P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\le\e$.

A bizony\'{\i}t\'ast indirekt m\'odon v\'egzem el. Felt\'etelezem,
hogy nagy $n$ indexekre is l\'etezik olyan $f(\cdot)$
k\'odf\"uggv\'eny, a $\VV^n$ halmaz olyan $B_1,\dots,B_N$
partici\'oja, illetve e partici\'oknak olyan
$B_l\to x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))$
megfeleltet\'ese, amelyre a t\'etel megfogalmaz\'asa el\H{o}tt
le\'{\i}rt m\'odon konstru\'alt $(\zeta_1,\dots,\zeta_n)$
sorozatra $P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\ge\e$.
Mivel $H(\xi)>C$, v\'alaszthatunk olyan $\delta>0$ sz\'amot,
amelyre $H(\xi)(1-\delta)^4>C$. El\H{o}sz\"or azt mutatom meg,
hogy feltev\'es\"unkb\H{o}l k\"ovetkezik, hogy ha
$n\ge n_0= n_0(\e,\delta)$ valamely $n_0$ k\"usz\"obindexszel
akkor l\'etezik $N_1=N_1(n)\ge 2^{(1-\delta)^2H(\xi)n}$ darab
olyan $x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$
sorozat, amelyekre
$$
P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n)
|(\xi_1,\dots,\xi_n)=x^{(n)}(l))\ge\frac\e2
\quad \text{minden $1\le l\le N_1$ indexre.}
$$
Ezt megmutand\'o vegy\"uk
\'eszre, hogy ha defini\'aljuk a
$$
\aligned
B=B(n)&=\{(x_{i_1},\dots,x_{i_n})\colon\;
(x_{i_1},\dots,x_{i_n})\in X^n,\\
&\qquad P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n)
|(\xi_1,\dots,\xi_n)=(x_{i_1},\dots,x_{i_n}))\ge\tfrac\e2\}
\endaligned \tag4.1
$$
halmazt, akkor $P((\xi_1,\dots,\xi_n)\in B)\ge\frac\e2$.
Ugyanis
$$
\e\le P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))
\le P((\xi_1,\dots,\xi_n)\in B)+\frac\e2
(1-P((\xi_1,\dots,\xi_n)\in B)),
$$
ahonnan k\"ovetkezik ez az \'all\'{\i}t\'as. Viszont innen az is
k\"ovetkezik, hogy ha $n\ge n_0$ egy el\'eg nagy $n_0$ sz\'ammal,
akkor a $B(n)$ halmaz elemsz\'ama nagyobb, mint
$2^{(1-\delta)^2H(\xi)n}$. Val\'oban, vezess\"uk be a
$$
\align
B_1=B_1(n)&=\{(x_{i_1},\dots,x_{i_n})\colon\;
(x_{i_1},\dots,x_{i_n})\in X^n, \\
&\qquad P((\xi_1,\dots,\xi_n)=(x_{i_1},\dots,x_{i_n}))
<2^{-(1-\delta)H(\xi)n}\}
\endalign
$$
halmazt. L\'attuk kor\'abban, hogy
$P((\xi_1,\dots,\xi_n)\in B_1)\ge 1-\frac\e4$.
Ez\'ert $P(\xi_1,\dots,\xi_n)\in B\cap B_1)\ge\frac\e4$, ahonnan
a $B\cap B_1$, k\"ovetkez\'esk\'eppen a $B=B(n)$ halmaz elemsz\'ama
nagyobb, mint
$\frac\e42^{(1-\delta)H(\xi)n}\ge 2^{(1-\delta)^2H(\xi)n}$,
\'es val\'oj\'aban a $B$ halmaz elemsz\'am\'ara  ilyen als\'o
becsl\'est k\'{\i}v\'antunk adni.

Tekints\"uk a (4.1) formul\'aban defini\'alt $B(n)$ halmazt, \'es
soroljuk fel az elemeit
$B(n)=\{x^{(n)}(l),\;1\le l\le N(n)\}$
alakban. L\'attuk, hogy $N(n)\ge 2^{(1-\delta)^2H(\xi)n}$.
Fe\-lel\-tes\-s\"uk meg mindegyik $x^{(n)}(l)\in B(n)$ vektornak
a $(v^{(n)}(l),B_{u(l)})$ p\'art, ahol
$v^{(n)}(l)=f(x^{(n)}(l))\in A(n)$ a tekintett modellben
szerepl\H{o} $f(\cdot)$ k\'odf\"uggv\'ennyel, \'es
$B_{u(l)}\in\VV^{(n)}$ a $\VV^{(n)}$ halmaz $B_1,\dots,B_N$
partici\'oj\'anak az a $B_{u(l)}$ eleme, amelyre a te\-kin\-tett
modellben a $B_{u(l)}\to x^{(n)}(l)$ megfeleltet\'est defini\'altuk.
(Ilyen $B_{u(l)}$ halmaz l\'etezik a
$P((\zeta_1,\dots,\zeta_n)=x^{(n)}(l)
|(\xi_1,\dots,\xi_n)=x^{(n)}(l))\ge\frac\e2$ tulajdons\'ag
miatt.) Vegy\"uk \'eszre, hogy
$$
p(B_{u(l)}|v^{(n)}(l))
=\summ_{\vv^{(n)}\in B_{u(l)}}p(\vv^{(n)}|v^{(n)}(l))\ge\frac\e2,
$$
ahol $p(\vv^{(n)}|v^{(n)}(l))$ az eml\'ekezet n\'elk\"uli csatorna
\'atmenetval\'osz\'{\i}n\H{u}s\'ege, azaz
$$
p(\vv^{(n)}|v^{(n)}(l))=\prodd_{k=1}^n p(\vv_{j_k}|v_{i_k}(l)),
$$
ha $\vv^{(n)}=(\vv_{j_1},\dots,\vv_{j_n})$, \'es
$v^{(n)}(l)=(v_{i_1}(l),\dots,v_{i_n}(l))$. A fel\'{\i}rt
egyenl\H{o}tlens\'eg az\'ert igaz, mert benne annak a
val\'osz\'{\i}n\H{u}s\'eg\'et tekintett\"uk, hogy v\'eve az
$x^{(n)}(l)\in X^n$ sorozat $v^{(n)}(l)=f(x^{(n)}(l))$ k\'ep\'et az
$f(\cdot)$ lek\'epez\'es szerint, \'atengedve azt a csatorn\'an,
majd a kapott jelet az \'altalunk le\'{\i}rt m\'odon dek\'odolva
a $(\zeta_1,\dots,\zeta_n)=x^{(n)}(l)$ sorozatot kapjuk.
Ennek val\'osz\'{\i}n\H{u}s\'ege pedig legal\'abb $\frac\e2$.
Vegy\"uk \'eszre azt is, hogy b\'ar lehets\'eges, hogy
$v^{(n)}(l)=v^{(n)}(l')$ akkor is, ha $l\neq l'$, azaz lehet k\'et
k\"ul\"onb\"oz\H{o} $x^{(n)}(l)\in A(n)$ \'es $x^{(n)}(l')\in A(n)$
vektor, amelyekre $l\neq l'$, \'es $f(x^{(n)}(l))=f(x^{(n)}(l'))$,
viszont b\'armely $v^{(n)}\in V^n$ vektorra az
$f(x^{(n)}(l))=v^{(n)}$ rel\'aci\'o legfeljebb $\frac2\e$
k\"ul\"onb\"oz\H{o} $l$ indexre \'allhat fenn. Val\'oban, mivel
$$
\summ_{l\colon f(x^{(n)}(l))=v^{(n)}}p(B_{u(l)}|v^{(n)}(l))=
p\(\left.
\bigcupp_{l\colon f(x^{(n)}(l))=v^{(n)}} B_{u(l)}\right|v^{(n)}\)
\le 1,
$$
\'es az \"osszeg mindegyik tagj\'anak az \'ert\'eke
legal\'abb $\frac\e2$, ez\'ert igaz ez az \'all\'{\i}t\'as.

Tekints\"uk a
$C=C(n)=\{v^{(n)}(l)=f(x^{(n)}(l))\colon\; x^{(n)}(l)\in B_n\}$
halmazt, ahol azon  $v^{(n)}(l)$ vektorok k\"oz\"ul, amelyekre
$v^{(n)}(l)=v^{(n)}$ valamely $v^{(n)}\in V^n$ vektorra csak az
egyik $v^{(n)}(l)$ vektort soroljuk
fel, \'es t\'ars\'{\i}tsuk mindegyik $v^{(n)}(l)\in C$ vektorhoz
a neki megfelel\H{o} $B_{u(l)}$ halmazt a $\VV^n$ halmaz
$B_1,\dots,B_N$ partici\'oj\'ab\'ol. L\'attuk, hogy
$p(B_{u(l)}|v^{(n)}(l))\ge\frac\e2$, ami azt jelenti, hogy a $C$
halmaz elemei a csatorn\'ara n\'ezve $1-\frac\e2$
megk\"ul\"onb\"oztethet\H{o} elemek. M\'asr\'eszt azt is l\'attuk,
hogy a $C$ halmaz elemsz\'ama na\-gyobb, mint
$\frac\e22^{(1-\delta)^2H(\xi)n}\ge 2^{(1-\delta)^3H(\xi)n}
\ge2^{Cn/(1-\delta)}$, ha $n\ge n_0$. Ez viszont ellentmond a
a csatorna k\'odol\'asi t\'etel megford\'{\i}t\'as\'anak.
Ez\'ert ilyen tulajdons\'ag\'u legal\'abb $\e$ pontoss\'ag\'u
inform\'aci\'o tov\'abb\'{\i}t\'as \'es dek\'odol\'as nem
l\'etezhet, ha $n\ge n_0(\e)$ egy el\'eg nagy $n_0$ sz\'ammal.

\medskip\noindent
{\bf K\"ovetkezm\'eny.} {\it Tekints\"uk azt az esetet, amikor
teljes\"uljenek a j\'o  inform\'aci\'o to\-v\'ab\-b\'{\i}\-t\'as
lehet\H{o}s\'egeinek a korl\'atair\'ol sz\'ol\'o t\'etel
felt\'etelei, speci\'alisan $H(\xi)>C$. R\"ogz\'{\i}ts\"unk egy
tetsz\H{o}leges $n\ge 1$ sz\'amot, defini\'aljunk egy
$f\colon X^n\to V^n$ k\'od\-f\"ugg\-v\'enyt, \'es vegy\"uk a
$\VV^n$ halmaznak egy $N=N(n)$ elem\H{u} $B_1,\dots,B_N$
partici\'oj\'at. Ezenk\'{\i}v\"ul rendelj\"uk hozz\'a e
partici\'o mindegyik $B_l$, $1\le l\le N$, elem\'ehez az $X^n$
halmaz egyik $x^{(n)}(l)=(x_{i_1}(l),\dots,x_{i_n}(l))\in X^n$
elem\'et \'ugy, hogy $x^{(n)}(l)\neq x^{(n)}(l')$, ha $l\neq l'$.
Alkalmazzuk azt az ezen $f$ k\'odf\"uggv\'eny, $B_1,\dots,B_N$
partici\'o \'es $B_l\to X^{(n)}$ megfeleltet\'es \'altal
meghat\'arozott inform\'aci\'o tov\'abb\'{\i}t\'asi \'es
de\-k\'o\-do\-l\'a\-si elj\'ar\'ast, amelyet az el\H{o}bbi t\'etel
megfogalmaz\'asa el\H{o}tt vezettem be. L\'etezik olyan a
forr\'ast\'ol \'es csatorn\'at\'ol f\"ugg\H{o}, de az $n$
sz\'amt\'ol f\"uggetlen $\alpha>0$ sz\'am, hogy ezen inform\'aci\'o
tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi elj\'ar\'as hib\'aja
legal\'abb $\alpha$, azaz
$P((\xi_1,\dots,\xi_n)=(\zeta_1,\dots,\zeta_n))\le1-\alpha$.}

\medskip\noindent
{\it A k\"ovetkezm\'eny indokl\'asa.}\/ Azt kell megindokolni,
hogy a $H(\xi)>C$ esetben kis $n$ sz\'amokra sem lehet $n$
hossz\'us\'ag\'u blokkok seg\'{\i}ts\'eg\'evel nagyon j\'o
inform\'aci\'o tov\'abb\'{\i}t\'ast el\'erni.
Be\-l\'at\-tuk, hogy ha $H(\xi)>C$, akkor minden $\e>0$ sz\'amhoz
l\'etezik olyan $n_0=n_0(\e)$ k\"usz\"obindex, hogy az $n\ge n_0$
sz\'amokra minden $n$ hossz\'us\'ag\'u blokkokon alapul\'o
inform\'aci\'o tov\'abb\'{\i}t\'as \'es dek\'odol\'as
hib\'aja legal\'abb $\e$. Ezt az eredm\'enyt fogjuk alkalmazni
$\e=\frac12$ v\'alaszt\'assal. Tekints\"uk az $n_0=n_0(\frac12)$
k\"usz\"obindexet. Azt \'all\'{\i}tom, hogy az $n<n_0$
hossz\'us\'ag\'u blokkokon alapul\'o inform\'aci\'o
tov\'abb\'{\i}t\'as \'es dek\'odol\'as hib\'aja nagyobb vagy
egyenl\H{o}, mint $\frac1{2n_0}$. Innen ad\'odik a
K\"ovetkezm\'eny \'all\'{\i}t\'asa.

A bizony\'{\i}t\'as alapgondolata az, hogy ha l\'etezne olyan
m\'odszer, amely $\frac1{2n_0}$-n\'el kisebb dek\'odol\'asi hib\'at
biztos\'{\i}t, akkor ezt alkalmazva $n_0$ egym\'as ut\'ani blokkra
olyan inform\'aci\'o tov\'abb\'{\i}t\'asi \'es dek\'odol\'asi
elj\'ar\'ast kapn\'ank $n_0$-n\'al hosszabb blokkokra, amelyiknek
a hib\'aja kisebb, mint $\frac12$. Vi\-szont tudjuk, hogy ez nem
lehets\'eges.

Val\'oban, r\"ogz\'{\i}ts\"unk egy $n<n_0$ sz\'amot. Egy $n$
hossz\'us\'ag\'u blokkokon alapul\'o inform\'aci\'o
tov\'abb\'{\i}t\'ast \'es dek\'odol\'ast egy $f\colon X^n\to V^n$
k\'odol\'o f\"ugg\-v\'eny, a $\VV^n$ halmaz egy $B_1,\dots,B_N$
partici\'oja valamint e partici\'o elemeinek egy $B_l\to x^{(n)}(l)$,
$1\le l\le N$, lek\'epez\'ese az $X^n$ t\'erbe hat\'aroz meg.
Defini\'aljunk e mennyis\'egeknek megfelel\H{o} objektumokat az
$n_0 n$ hossz\'us\'ag\'u sorozatok ter\'en a k\"ovetkez\H{o}
m\'odon. Defini\'aljuk az $\bar f$ k\'odol\'asi f\"uggv\'enyt a
$X^{n_0n}$ t\'erben az $\bar f(x_1,\dots,x_{n_0n})
=\prodd_{k=0}^{n_0-1}f(x_{kn+1},\dots,x_{(k+1)n})$ k\'eplettel,
a $\VV^{n_0n}$ halmaznak $N^{n_0}$ elem\-b\H{o}l \'all\'o
partici\'oj\'at pedig a k\"ovetkez\H{o} m\'odon:
E partici\'o elemei a $B(l_{i(1)},\dots,l_{i(n_0)})
=B_{l_{i(1)}}\times \cdots\times B_{l_{i(n_0)}}$
halmazok, ahol $1\le i(j)\le N$ minden $1\le j\le n_0$ indexre.
V\'eg\"ul e partici\'o $B(l_{i(1)},\dots,l_{i(n_0)})$
elem\'enek a
$x^{(n)}(l_{i(1)})\times\cdots\times x^{(n)}(l_{i(n_0)})\in X^{n_0n}$
vektort feleltetem meg.

Nem neh\'ez bel\'atni, hogy ha az eredeti $n_0$ hossz\'us\'ag\'u
blokkokon alapul\'o inform\'aci\'o tov\'abb\'{\i}t\'asban \'es
dek\'odol\'as\'aban a $\xi_{ln+1},\dots,\xi_{(l+1)n}$,
$0\le l<n_0$, blokkok hib\'as de\-k\'o\-do\-l\'a\-s\'a\-nak a
val\'osz\'{\i}n\H{u}s\'ege kisebb, mint $\frac1{2n_0}$, (a
dek\'odol\'as hib\'aja nem f\"ugg az $l$ sz\'amt\'ol), akkor az
$n_0n$ hossz\'us\'ag\'u sorozatok `szorzatter\'eben' az \'uj
objektumok \'altal meg\-ha\-t\'a\-ro\-zott inform\'aci\'o
tov\'abb\'{\i}t\'as \'es dek\'odol\'as hib\'aj\'anak a
val\'osz\'{\i}n\H{u}s\'ege kisebb, mint $n_0\frac1{2n_0}=\frac12$.
Ugyan\-is a `szorzatt\'erben' az \'uj dek\'odol\'as val\'oj\'aban
\'ugy m\H{u}k\"odik, hogy az egyes $kn_0+1\le n\le (k+1)n$
blokkokat, $k=0,\dots,n_0-1$, egym\'ast\'ol f\"uggetlen\"ul az $n$
hossz\'us\'agi blokkokon \'erv\'enyes szab\'aly szerint
tov\'abb\'{\i}tjuk a csatorn\'an kereszt\"ul, majd dek\'odoljuk
\H{o}ket. Ha ezen $n_0$ blokk dek\'odol\'asa mindegyik $k$-ra
kevesebb, mint $\frac1{2n_0}$ val\'osz\'{\i}n\H{u}s\'eggel hib\'as,
akkor igaz az eml\'{\i}tett becsl\'es. De mivel az $n_0n$ hossz\'u
sorozatokkal v\'egzett dek\'odol\'asok hib\'aja legal\'abb
$\frac12$, innen k\"ovetkezik az $n<n_0$ hossz\'u sorozatok
hib\'aj\'ar\'ol megfogalmazott \'all\'{\i}t\'as.




\bye

