1

EXIT charts em cdigos turbo e LDPC

o que so e para que servem?
Slvio A. Abrantes
Departamento de Engenharia Electrotcnica e de Computadores
Faculdade de Engenharia, Universidade do Porto
Porto, Portugal
sam@f e. up. pt
Abril de 2006
Resumo: Neste texto feita a apresentao detalhada dos EXIT charts, um dos mais
importantes mtodos de avaliao do desempenho da descodificao iterativa de
cdigos e sistemas turbo e de cdigos LDPC. A exposio acompanhada por diversos
exemplos de clculo com os dois tipos de cdigos citados.
Palavras-chave: cdigos turbo, cdigos LDPC, processamento turbo, descodificao
iterativa, informao mtua mdia, EXIT Charts.
1. Introduo
Neste artigo faz-se a apresentao dos EXIT charts
1
, grficos que quantificam a transferncia de
informao extrnseca entre descodificadores na descodificao iterativa. Inventados pelo alemo Stephan ten
Brink em 1999 [1], desde ento tm-se revelado muito teis na avaliao do desempenho e na ajuda ao projecto
de cdigos e sistemas turbo e cdigos LDPC
2
. A original ideia de ten Brink foi a de utilizar um dos
conceitos-chave da Teoria da Informao, de Claude Shannon a informao mtua mdia para monitorizar a
descodificao iterativa de cdigos turbo, apresentados ao pblico meia dzia de anos antes, em 1993 [2]. Da
codificao turbo depressa os EXIT charts foram aplicados aos cdigos LDPC e com igual sucesso.
O artigo est estruturado da seguinte forma: na Seco 2 feita uma breve reviso da descodificao
iterativa baseada em razes de verosimilhana LLR; a Seco 3 aborda a avaliao do desempenho da
descodificao iterativa atravs da evoluo da informao mtua mdia e indica como se calculam as funes
de transferncia, ou funes EXIT, dos blocos descodificadores turbo; na Seco 4 mostra-se como se obtm os
EXIT charts correspondentes s funes EXIT da Seco 3; a Seco 5, a ltima, trata dos EXIT charts de
cdigos LDPC regulares e irregulares em canais gaussianos e em canais binrios com rasuras (canais BEC
3
),
fazendo-se a meno s interessantes propriedades da dualidade e da rea. O texto termina com a incluso de
vrios Apndices: os dois primeiros apresentam algumas propriedades de funes densidade de probabilidade
simtricas e consistentes e certas relaes entre LLR condicionais; o Apndice A3 concentra num s local
diversas expresses da informao mtua mdia, o Apndice A4 apresenta a deduo analtica dos limiares de
convergncia dos cdigos LDPC regulares e o Apndice A5 mostra como as percentagens de ramos e de ns de
cdigos LDPC irregulares esto relacionadas entre si.
2. Descodificao iterativa ou turbo
Considere-se a Fig. 1. O bloco Codificador designa quer um codificador turbo ou LDPC quer um
sistema turbo genrico
4
, o bloco Descodificador um descodificador MAP (maximum a posteriori
probability), X e

X representam sequncias de bits 1 e Y representa uma sequncia de smbolos (por exemplo

valores reais). Com codificao turbo o descodificador MAP est equipado com um dos algoritmos BCJR,
log-MAP, max-log-MAP ou SOVA [3] e com codificao LDPC usa o algoritmo da soma-e-produto para

1
EXIT =Extrinsic Information Tranfer.
2
LDPC =Low-Density Parity-Check.
3
BEC =Binary Erasure Channel.
4
Um sistema turbo genrico um sistema concatenado que pode representar, entre outros exemplos, igualizao
turbo, modulao turbo, codificao conjunta de fonte e de canal e recuperao iterativa da temporizao. Em
qualquer caso existe sempre um codificador no emissor e a descodificao/desmodulao feita iterativamente.
2
transferncia de mensagens (message-passing, em ingls) [4]. O bloco Canal representa um canal de
comunicaes genrico: pode ser um canal binrio simtrico, um canal binrio com rasuras, um canal de rudo
branco gaussiano aditivo
5
ou outro qualquer.

Canal
Y
X
Descodificador Codificador
X

Fig. 1. Um sistema de codificao/descodificao genrico.
Tratando-se de um codificador ou de um sistema turbo a codificao feita de modo concatenado em srie
ou em paralelo, como se mostra nas Figs. 2 e 3. Os blocos descodificadores
6
MAP1 e MAP2 presentes no
receptor das figuras so blocos soft-in soft-out, ou SISO, ou seja, aceitam e produzem informaes brandas as
quais, normalmente, so nmeros reais que resultam de expresses logartmicas abreviadamente referidas como
LLR (de Log-Likelihood Ratio). o que iremos considerar para as entradas e sadas L
1
, L
2
, L
a1
, etc., dos
descodificadores. As LLRs mencionadas so assim definidas:
( 1)
( ) ln
( 1)
a
p x
L x
p x
=
=
=
LLR a priori
( | 1)
( | ) ln
( | 1)
p x
L x
p x
=
=
=
y
y
y
LLR condicional a priori (do canal)
( 1| )
( | ) ln
( 1| )
p x
L x
p x
=
=
=
y
y
y
LLR condicional a posteriori
( ) ( | ) ( ) ( | )
e a
L x L x L x L x = y y LLR extrnseca
Nas expresses anteriores p(x|y) e p(y|x) representam ou probabilidades ou funes densidade de
probabilidade (consoante Y seja uma varivel aleatria (v.a.) discreta ou contnua).

Do canal
L
a2
(x
k
)
L
a1
(x
k
) L
e2
(x
k
)
L
e1
(x
k
)

-1
L
1
(x
k
|y)
Bloco MAP
1
Bloco MAP
2
L
2
(x
k
|y)
Entrelaador
Desentrelaador
Resultado
Receptor
Concatenao em srie
X

Codificador 2
(interior)
Codificador 1
(exterior)
Emissor
Para o canal

Fig. 2. Emissor e descodificador iterativo para concatenao em srie.

5
A este tipo de rudo vamos chamar, abreviadamente, rudo AWGN, de Additive White Gaussian Noise.
6
Ao longo do texto os termos bloco e descodificador so usados como sinnimos. Num sistema turbo
genrico o termo descodificador pode, por isso, representar um bloco desmodulador, por exemplo.
3
Prova-se no Apndice A2 que tendo sido recebida uma sequncia de valores reais y na presena de rudo
AWGN de varincia
2
0 0
1 1
2 2
s c b
E N R E N
= = a LLR condicional a priori igual a
2
0 0
4 2
( | ) 4
s b
c
E E
L x y y R y
N N

= = = y ,
em que E
s
a energia do bit transmitido (depois de codificado), E
b
a energia do bit antes da codificao,
R
c
=k/n a taxa do cdigo e N
0
/2 a densidade espectral de potncia do rudo AWGN sada do filtro adaptado
do receptor. Ou seja, L(y|x) depende da relao sinal-rudo e do valor y recebido do canal.

Concatenao em paralelo
X

Codificador
2
Codificador
1
Emissor
informao + paridade 1
paridade 2
Para o canal
Do canal
L
a1
(x
k
)
L
a2
(x
k
) L
e1
(x
k
)
L
e2
(x
k
)

-1
L
2
(x
k
|y)
Bloco MAP
2
Bloco MAP
1
Do canal
L
1
(x
k
|y)
Entrelaador
Desentrelaador
Resultado
Receptor
(informao
+ paridade 1)
(informao
+ paridade 2)

Fig. 3. Emissor e descodificador iterativo para concatenao em paralelo.
Voltemos aos blocos descodificadores das Figs. 2 e 3:
nas entradas aplica-se a LLR a priori proveniente do descodificador anterior, L
a
, e a informao proveniente
do canal,
0
4
( | )
s
E
L x y
N
= y (excepto no descodificador exterior (bloco MAP1) da concatenao em srie
(cf. Fig. 2), que no tem entrada vinda do canal
7
);
nas sadas recolhem-se a LLR a posteriori L(x|y) e a LLR da informao extrnseca, L
e
(x). Esta transforma-se,
aps entrelaamento () ou desentrelaamento (
-1
), na LLR a priori do descodificador seguinte.
Tomando como exemplo a concatenao em paralelo o processo de descodificao iterativa funciona
assim: na primeira metade de cada iterao o descodificador 1 produz a informao extrnseca L
e1
que,
convertida na LLR a priori L
a2
, aplicada ao descodificador 2; na segunda metade o descodificador 2 produz
L
e2
que, convertida na LLR a priori L
a1
, aplicada ao descodificador 1. O processo prossegue repetindo-se
iterao aps iterao. De notar que os entrelaadores e desentrelaadores no alteram os valores das sequncias
que lhes so aplicadas, alteram apenas as respectivas posies relativas. E como se deseja assegurar
independncia estatstica entre os descodificadores so sempre usados entrelaadores muito grandes.
Note-se bem: o que circula entre blocos, de iterao para iterao, a informao extrnseca, e s ela.

7
Ou ento consideramos nula a entrada do canal se quisermos que o descodificador exterior tenha duas
entradas como os outros.
4
3. Avaliao do desempenho da descodificao iterativa atravs de EXIT
charts
3.1 Mtodos de avaliao do desempenho da descodificao iterativa
Ao falarmos de descodificao iterativa podemos perguntar: quantas iteraes sero necessrias para que,
com um dado esquema de codificao, se atinja uma determinada probabilidade de erro? E ser possvel atingir
essa probabilidade de erro, mesmo com um nmero elevadssimo de iteraes? A probabilidade de erro est a
baixar muito ou pouco de iterao para iterao? Ganharemos muito se em vez de, por exemplo, dez iteraes,
usarmos quinze ou, pelo contrrio, no compensa? Vale a pena continuar com as iteraes ou os ganhos de
codificao j so diminutos? Para responder a estas e outras perguntas precisamos de avaliar a qualidade da
informao extrnseca que circula entre descodificadores de iterao em iterao e para isso h vrios mtodos
de avaliao possveis [5]. Todos tm em comum o acompanhamento ou a monitorizao ao longo das iteraes
de um dado parmetro considerado adequado. Por exemplo, poderia seguir-se a evoluo da funo densidade de
probabilidade (fdp) da informao extrnseca circulante
8
mtodo designado por density evolution e
originalmente proposto por Richardson e Urbanke em 2001 para o projecto de cdigos LDPC [6] [7]. Ou poderia
seguir-se a evoluo da mdia dessa fdp [8]. Ou ainda, poderia monitorizar-se a varincia de um erro, como se
faz em [9] num ambiente de igualizao turbo, ou a varincia de rudo em CDMA, como em [10]. A ferramenta
que nos interessa a que se baseia no acompanhamento da evoluo da informao mtua mdia entre a
informao extrnseca L
e
e a sequncia binria original X ao longo das iteraes. O grfico que se obtm o
EXIT chart
9
. Veremos adiante que, afortunadamente, no necessrio simular a descodificao iterativa para
construir EXIT charts.
3.2 Informao mtua mdia, funes de transferncia e EXIT charts
Sabe-se da Teoria da Informao que a informao mtua mdia entre as variveis X e Y definida como
( ; ) ( ) ( | ) ( ) ( | ) I X Y H X H X Y H Y H Y X = =
em que H(X) e H(Y) so as entropias de X e Y, respectivamente, e H(X|Y) e H(Y|X) so entropias condicionais.
No Apndice A3 so apresentadas definies equivalentes aplicveis a variveis discretas e contnuas.
Para o traado dos EXIT charts vamos precisar das seguintes informaes mtuas mdias:
I
A
=I(X;L
a
), entre a sequncia de informao X e a sequncia de entrada L
a
de cada descodificador;
I
E
=I(X;L
e
), entre a mesma sequncia de informao X e a sequncia de sada L
e
de cada descodificador.
S. ten Brink props que se observasse a evoluo temporal de I
E
em funo da evoluo temporal de I
A
.
Assim, tal como L
a1
, L
a2
, L
e1
e L
e2
tambm I
A1
, I
A2
, I
E1
e I
E2
vo circular entre descodificadores, desta maneira:
I
A1
I
E1
=I
A2
I
E2
=I
A1
I
E1
=I
A2
I
E2
=
Comeando em I
A1
=0 no primeiro descodificador, observar-se- ento que ao longo das iteraes I
Ai
e I
Ei

vo crescendo (at, espera-se, I
Ei
=1). Os diversos valores de I
A
e I
E
que vo sendo obtidos estabelecem,
portanto, um mapeamento entre a entrada I
A
e a sada I
E
de cada bloco, ou seja, definem uma funo de
transferncia de informao do bloco, hoje em dia tambm chamada funo EXIT. Designando-a por T
escrevemos
I
E
=T(I
A
, E
s
/N
0
)

8
Neste caso no , em rigor, um parmetro que se monitoriza mas toda uma funo. um mtodo
computacionalmente exigente.
9
Como curiosidade registe-se que originalmente ten Brink chamou EIT e no EXIT aos seus grficos. O
termo (feliz) EXIT s comearia a ser utilizado mais tarde.
5
ou, se fixarmos E
s
/N
0
, simplesmente I
E
=T(I
A
), como se ilustra na Fig. 4. A funo EXIT pode at nem depender
da razo E
s
/N
0
. o que acontece no descodificador exterior (bloco MAP1) da concatenao em srie pois esse
bloco no tem nenhuma entrada vinda do canal.

T
i
funo de transferncia do bloco i
I
Ai

T
i

I
Ei
=T
i
(I
Ai
)
E
s
/N
0

Fig. 4. A funo de transferncia T
i
de um bloco MAP
i
, entendida como uma
correspondncia entre as informaes mtuas mdias de entrada e de sada.
A Fig. 5 uma adaptao da Fig. 3 usando informaes mtuas mdias em vez de LLRs (idntica
adaptao se poderia fazer na Fig. 2). A se indica que I
A2
=I
E1
e I
A1
=I
E2
, pois o entrelaamento e o
desentrelaamento no alteram o valor da informao mtua mdia.

Do canal
I
A1
= I
E2

-1
Bloco MAP
2
Bloco MAP
1 Do canal
I
E1
= T
1
(I
A1
) I
A2
= I
E1

I
E2
= T
2
(I
A2
)

Fig. 5. Utilizao da informao mtua mdia na descodificao iterativa para concatenao em paralelo.
Os valores de I
A1
, I
A2
, I
E1
e I
E2
variam, como se disse, com a iterao n da descodificao e esto
confinados ao intervalo [0;1]. Por exemplo, a informao mtua mdia I
E1
produzida na ensima iterao (seja
1
( ) n
E
I ) depende do valor de I
A1
=I
E2
produzido pelo bloco 2 na iterao anterior; de igual modo o valor de I
E2

produzido na segunda metade da ensima iterao,
2
( ) n
E
I , depende de I
A2
=I
E1
produzido na primeira metade da
mesma iterao. Ou seja:

1 1
2 1
2 2
1 2
( ) ( 1)
1
( ) ( )
( ) ( )
2
( ) ( )
n n
E A
n n
A E
n n
E A
n n
A E
I T I
I I
I T I
I I

=

=

=

=
(1)
Estas relaes traduzem-se nas representaes grficas das funes I
E1
em funo de I
A1
e I
E2
em funo de
I
A2
mostradas na Fig. 6a, onde os pontos n.1 e n.2 indicam a primeira e a segunda parte da iterao n,
respectivamente. Esta figura confirma o que poderamos antecipar mesmo sem conhecermos T
1
e T
2
: numa
descodificao iterativa bem sucedida as funes EXIT devem ser funes crescentes, isto , a informao mtua
mdia sada de cada bloco (I
E1
ou I
E2
) deve ser superior informao mtua mdia na sua entrada (I
A1
ou I
A2
). E
porqu? Porque se queremos ter cada vez menos dvidas acerca de X medida que as iteraes decorrem, ento
da entrada para a sada de cada bloco deve ocorrer uma reduo da incerteza remanescente acerca dos smbolos
X, reduo traduzida pela informao mtua mdia, como se sabe da Teoria da Informao. medida que as
iteraes decorrem as informaes extrnsecas vo, portanto, aproximando-se de 1. A avaliao do desempenho
de cada descodificador pode ento ser feita custa da representao grfica da sua funo EXIT. Ora acontece
6
que no caso de se usarem entrelaadores e desentrelaadores de grande comprimento, como costume, os
descodificadores tornam-se independentes entre si, o que tem uma consequncia importante: podemos
determinar as funes de transferncia T
1
e T
2
separadamente para cada descodificador sem termos de proceder
descodificao iterativa ao longo de vrias iteraes. O que preciso , para cada descodificador, colocar na
entrada sequncias a priori L
a
adequadas e observar na sada as correspondentes sequncias extrnsecas L
e
. S
que cada sequncia de valores L
a
(e L
e
) s d origem a um valor de I
A
(e I
E
), o que quer dizer que se quisermos
determinar uma funo T precisamos de obter vrios pares de pontos (I
A
, I
E
), isto , temos de previamente obter
outros tantos pares de sequncias L
a
e L
e
. Como fazer?

I
A1
I
E
1

T
1

1.1
2.1
3.1
I
A2
I
E
2

T
2

1.2
2.2
3.2
a)
n.m
m 1 ou 2 parte da iterao n
b)
I
A1
, I
E2
I
E
1
,

I
A
2

0 0,2 0,4 0,6 0,8 1,0
0,2
0,4
0,8
1,0
0,6
1
2
T

Fim da 2 iterao
Fim da 1 iterao
Fim da 3 iterao
Trajectria
T
1

1.1
2.1
3.1
4.1
1.2

Fig. 6. Como se constri um EXIT Chart (exemplo com codificadores iguais):
a) duas funes EXIT iguais; b) o EXIT chart correspondente.
Na descodificao turbo a sada de um bloco MAP a entrada do outro (desprezando e
-1
). Ento
podemos usar o mesmo sistema de eixos para fazer a representao conjunta (trocando, claro, os eixos de um
dos dois grficos, como se mostra na Fig. 6b). Com umnico sistema de eixos e duas funes EXIT nele
representadas surge ento um percurso em escada composto de segmentos horizontais e verticais que salta
alternadamente de uma curva para a outra, comeando no grfico da funo T
1
com valor inicial arbitrado
1
(0)
0
A
I = , no ponto 1.1, e prosseguindo sucessivamente para os pontos 1.2, 2.1, 2.2, 3.1, etc. Podemos assim
visualizar uma trajectria de descodificao iterativa entre as duas funes de transferncia (que assim parecem
ser as paredes de um tnel). isto o EXIT chart!
Na descodificao iterativa atinge-se o canto superior direito do grfico se e s se houver um tnel de
escape como nas Figs. 6, 7 e 12. A Fig. 12a ilustra tambm a situao contrria, aquela em que o tnel no tem
sada (EXIT) por as funes T
1
e T
2
-1
se intersectarem na diagonal a tracejado
10
.
Os grficos da Fig. 6 correspondem utilizao de dois codificadores iguais, da que T
1
seja igual a T
2
. A
Fig. 7 apresenta outro exemplo de um EXIT chart mas agora com codificadores diferentes. Ambas as figuras
correspondem a um determinado valor de E
s
/N
0
. Com valores mais elevados de E
s
/N
0
o tnel ficaria mais largo e
com valores mais baixos ficaria mais estreito, de modo que no primeiro caso o canto superior direito,

10
As funes T
1
e T
2
-1
s esto desenhadas at sua interseco na diagonal.
7
correspondente a I
E
=1, seria atingido em menos iteraes, e no segundo caso esse canto poderia at nem ser
alcanado caso as duas curvas, ou paredes do tnel, se encontrassem prematuramente e deixasse de haver tnel
o que, com codificadores iguais, ocorre necessariamente na diagonal que une o ponto de coordenadas (0,0) ao
ponto (1,1). Esta situao de tnel sem sada ocorre quando I
E2
deixa de crescer de iterao para iterao, isto ,
quando
2 2
( 1) ( ) n n
E E
I I
+
= . Como, de acordo com a Eq. (1),
( )
2 2
( 1) ( )
2 1
n n
E E
I T T I
+

=


, a condio
2 2
( 1) ( ) n n
E E
I I
+
= equivale
a
( ) ( )
2 2
( ) ( ) 1
1 2
n n
E E
T I T I

= (ponto de interseco das curvas)

e indica que o algoritmo de descodificao no converge para uma soluo de probabilidade de erro
arbitrariamente nula por mais iteraes que se considerem. O cruzamento da diagonal est assinalado na Fig. 11
e a ausncia de tnel de sada confirmada na Fig. 12a.

I
A1
, I
E2

I
E
1
,

I
A
2

0 1
0
1
0,5
0,5
T
1

T
2
-1

Fig. 7. Outro exemplo de trajectria em EXIT chart
(com codificadores diferentes).
J sabemos o que so e como se constroem os EXIT charts mas ainda no sabemos como obter as
respectivas funes EXIT dos descodificadores. Vamos ver como o fazer, comeando primeiro com cdigos
turbo e prosseguindo depois com cdigos LDPC.
4. EXIT Charts de turbo-cdigos
O Apndice A3 mostra na Eq. (26) que, independentemente das caractersticas estatsticas da LLR
extrnseca L
e
, a informao mtua mdia I
E
igual a

2
{ 1}
2 ( ) 1
( ; ) ( )log
2 ( 1) ( 1)
e
E e e e
e e x
p L x
I I X L p L x dL
p L p L

= =
+

(2)
se os smbolos binrios X =1 forem equiprovveis (idntica expresso vlida para I
A
substituindo L
e
por L
a
).
Sabe-se [1] [11] que medida que as iteraes da descodificao decorrem L
e
se comporta cada vez mais como
uma v.a. gaussiana (e, portanto, a LLR a priori L
a
do descodificador seguinte tambm). Essa aproximao
distribuio normal muito satisfatria se se considerar que a v.a. consistente [12], o que implica que o valor
mdio da v.a. gaussiana metade da varincia (ver Apndice A1). Nesse caso a informao mtua mdia I
A
vale,
segundo a Eq. (27) do Apndice A3,

( ) 2
( ; ) 1 ( 1)log 1
a
L
A a a a
I I X L p L e dL

= = +

, (3)
sendo
2 2
( 2, )
a a a
L N e
8
2 2
2
2
( 2) 1
( |1) exp
2
2
a a
a
a
a
L
p L

=


.
I
A
calculada por integrao numrica. Como se v, p(L
a
|1) e, portanto, I
A
dependem apenas de um parmetro (a
varincia
2
a
ou o valor mdio
2
2
a
de L
a
), o que uma vantagem, permitindo que, se necessrio, pares de
valores (
a
, I
A
) sejam guardados em tabela para uso posterior. Podemos, assim, definir a funo real de varivel
real no negativa
( )
A a
I J = ,
a
0 (4)
de contradomnio [0;1], representada graficamente na Fig. 8. Como ( 7,2) 1
A a
I = , no necessrio
considerar valores de
a
superiores a cerca de 7,2.

0 2 4 6 8
0
0.2
0.4
0.6
0.8
1

a
I
a

=

J
(

a
)


Fig. 8. A informao mtua mdia I
A
em funo do parmetro nico
a
.
Aparte: a informao mtua mdia I
A
dada pela Eq. (3) pode ser obtida sem integrao se usarmos a
excelente e facilmente utilizvel aproximao polinomial e exponencial proposta por ten Brink et al.
[16]:
3 2
2 2 2 2
3 2
1 1 1
0
( ) 1 10
1 10
j a j a j a j
j a j a j a a
a b c d
A a a
a
a b c
I J e

+ + +

+ +

= < <

(5)
em que 1,6363

= e
1 1 1
2 2 2 2
- 0,0421061 0,209252 - 0,00640081
0,00181491 - 0,142675 - 0,0822054 0,0549608
j j j
j j j j
a b c
a b c d
= = =
= = = =

Os mesmos autores usam uma aproximao do mesmo gnero para calcular a funo inversa J
-1
( ):
( )
2
1 1 1
1
2 2 2
0
( )
ln 1 1
a I b I c I I I
J I
a b I c I I I

+ +

< <

(6)
com 0,3646 I

= e
1 1 1
2 2 2
1,09542 0,214217 2,33727
0,706692 0,386013 -1,75017
a b c
a b c


= = =
= = =

9
O integral da Eq. (3) representa o valor esperado de
( ) 2
log 1
a
L
e

+ pelo que normalmente [12] tambm

podemos escrever

( ) 2 2
2
( ; ) 1 log 1 log
1
a
a
L
A a
L
I I X L E e E
e

= = + =


+
. (7)
O clculo do valor esperado requer o conhecimento de conjuntos grandes de valores de X e de L
a
. Assim,
se tivermos N valores binrios (1) x
1
, x
2
, , x
N
de X e N amostras gaussianas e consistentes L
a1
, L
a2
,, L
aN
de
L
a
a informao mtua mdia I
A
da Eq. (7) pode ser aproximada por

( ) 2
1
1
( ; ) 1 log 1
k ak
N
x L
A a
k
I I X L e
N

=
= +

. (8)
Se se admitir que a informao mtua mdia I
E
tambm gaussiana e consistente ento

( ) 2
1
1
( ; ) 1 log 1
k ek
N
x L
E e
k
I I X L e
N

=
= +

. (9)
Esta estimativa depende da sequncia de informao X. possvel, felizmente, obter uma estimativa de I
E

sem conhecer X. De facto, prova-se [13] [14] que basta conhecer os valores absolutos de L
e
:

1
1
1
1
1 1
1
1
e
ek
E
L
N
L
k
I E H
e
H
N
e =

=

+

=

+

(10)
onde H( ) a entropia binria
11
.
O que ento se tem a fazer simular um esquema como o da Fig. 9, onde temos dois canais: o canal de
comunicao propriamente dito, que produz amostras de L(y|x), e um canal artificial dito extrnseco (ou,
tambm, a priori), que produz amostras de L
a
. Quer L(y|x) quer L
a
so aplicadas ao descodificador, que por sua
vez produz amostras de L
e
.

Codificador
x = 1
Descodi-
ficador
MAP
L
a

L
e

Canal de
comunicao
L(y|x)
Canal
extrnseco
I
A
I
E


Fig. 9. Esquema geral de simulao para obter I
A
e I
E
a partir de L
a
e L
e
.
No caso do canal de comunicao ser gaussiano com rudo AWGN de mdia nula e varincia
2
0
2
s
N E = (situao retratada na Fig. 10) cada par de valores (I
A
, I
E
) de um descodificador obtido
realizando as seguintes operaes:

11
O expoente da Eq. (10) pode ser substitudo pelo seu simtrico. Na verdade, fcil de verificar que a entropia
no se altera.
10
1. Gera-se uma longa sequncia aleatria X de bits 1, codifica-se e envia-se atravs do canal de comunicao
gaussiano
2
(0, ) N , obtendo-se a sequncia Y de valores reais y;
A sequncia Y contm bits de informao sistemticos e bits de paridade. Multiplicando-a
por
2
2 obtemos a LLR
2
2
( | ) L x y

= y .
2. Faz-se atravessar X por um canal gaussiano de varincia
2
a
(o valor mdio da sada deve ser
2
a
/2);
A sequncia de sada deste canal L
a
.
3. Aplica-se L
a
e ( | ) L x y ao descodificador e recolhe-se a informao extrnseca L
e
na sada;
Neste momento tambm j temos a sequncia L
e
.
4. Calcula-se I
A
ou pela Eq. (3) ou pela Eq. (5) ou consultando uma tabela de valores (
a
, I
A
);
5. Calcula-se I
E
atravs da Eq. (2) com integrao numrica.
Dado que no dispomos de uma expresso analtica para p(L
e
|1) preciso estimar primeiro
p(L
e
|1) (construindo um histograma, por exemplo) e s depois se calcula o integral usando,
por exemplo, as frmulas do trapzio ou de Simpson (ver Apndice A3).
Este procedimento deve repetir-se para outros valores de
2
a
de modo que I
A
percorra o intervalo [0,1]
como na Fig. 8. um trabalho moroso porque, para conseguirmos relevncia estatstica, conveniente usar um
nmero elevado de bits (acima de 10
4
e quanto maior melhor) na descodificao BCJR, j de si
computacionalmente demorada.
Note-se que o clculo de I
E
delineado atrs vlido para qualquer fdp p(L
e
|1); pelo contrrio as Eqs. (9) e
(10) pressupem que p(L
e
|1) gaussiana e consistente mas, mesmo que o no seja, a estimativa de I
E
muito
boa. Registe-se tambm que a entrada vinda do canal,
2
( | ) 2 L x y = y , uma v.a. gaussiana de mdia 2/
2
e
varincia 4/
2
, ou seja, uma v.a. gaussiana consistente tal como a entrada L
a
.

Codificador
x = 1
Descodi-
ficador
MAP
AWGN
N(0,
2
)
AWGN
N(0,
a
2
)
L
a

L
e

L
c
y
L
c
= 2/
2

Canal AWGN
Canal
extrnseco

2
= N
0
/2E
s

a
2
/2
N(
a
2
/2,
a
2
)
y
N(2/
2
, 4/
2
)

Fig. 10. Esquema de simulao em processamento turbo para se obter I
A
e I
E
a partir de L
a
e L
e
,
quando o canal de comunicao gaussiano.

E Ex xe em mp pl lo o 1 1: : F Fu un n e es s d de e t tr ra an ns sf fe er r n nc ci ia a e em m d de es sc co od di if fi ic ca a o o t tu ur rb bo o
Como exemplo a Fig. 11 mostra, para vrios valores da relao Eb/N0, a funo de transferncia,
ou funo EXIT, do descodificador MAP associado ao codificador convolucional recursivo e
sistemtico
12
de taxa 1/2 com perfurao para taxa 2/3 e matriz geradora

12
Os codificadores convolucionais recursivos e sistemticos so muitas vezes referidos abreviadamente como
codificadores RSC, de Recursive Systematic Convolutional [Codes].
11
2 3 4
8
3 4
8
37 1 11111
1 1 1
10011 23 1
D D D D
D D
+ + + +
= = =


+ +
G ,

I
A

I
E

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
-0,5 dB
-1 dB
G = [1 37/23]
perfurado
E
b
/N
0
= 1 dB
0,5 dB
0 dB

Fig. 11. Funes de transferncia ou EXIT do codificador convolucional recursivo
de taxa 2/3 (perfurado) com G = [1 37/23], para vrios valores de E
b
/N
0
.
Foram usados N = 10 000 bits de informao (incluindo bits de cauda), a descodificao foi
realizada com o algoritmo exacto log-MAP e a informao mtua mdia IE foi calculada de acordo
com a Eq. (2). As curvas parametrizadas por Eb/N0 = -0,5 e -1,0 dB cruzam a diagonal do grfico.
J sabemos que isso indesejvel.

Na Fig. 12 so apresentados os EXIT charts de dois turbo-cdigos, um constitudo pelos codificadores
convolucionais do Exemplo 1 e o outro por codificadores definidos pela matriz G =[1 5/7].

a)
I
A1
, I
E2

I
E
1
,

I
A
2

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
G = [1 37/23]
perfurado
0 dB
0,5 dB
-0,5 dB
E
b
/N
0
= 1 dB
-1,0 dB
0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
A1
, I
E2

I
E
1
,

I
A
2

E
b
/N
0
= 0,8 dB
-1 dB
-1 dB
0,8 dB
G = [1 5/7]
b)

Fig. 12. a) EXIT charts obtidos com as funes de transferncia da Fig. 11; b) EXIT charts correspondentes
a dois codificadores convolucionais RSC iguais, com G = [1 5/7], E
b
/N
0
= 0,8 dB e -1 dB. Nmero de bits de
informao: 30 000.
Observamos na Fig. 12a que o limiar de convergncia da descodificao iterativa se situa entre 0 e
-0,5 dB. O limiar de convergncia corresponde situao em que as funes EXIT so tangentes e pode ser
entendido como o valor de E
b
/N
0
que marca a fronteira entre valer ou no valer a pena prosseguir com mais
iteraes para reduzir a probabilidade de erro.
Conclumos que os EXIT charts ajudam, de facto, a avaliar a eficincia da descodificao e, tambm, a
projectar bons cdigos e bons sistemas baseados no princpio turbo. O mesmo se passa com os cdigos LDPC.
12
5. EXIT Charts de cdigos LDPC
Como sabido, um cdigo LDPC binrio um cdigo de blocos (n,k) caracterizado por uma matriz de
verificao de paridade H com poucos uns. A sua descodificao iterativa um procedimento de transferncia
de mensagens entre os n ns de variveis e os (n k) ns de paridade do seu grafo bipartido de Tanner [4]. O
algoritmo de descodificao habitualmente denominado de algoritmo da soma-e-produto e est fortemente
aparentado com o algoritmo BCJ R ou MAP da descodificao turbo. H, basicamente, dois tipos de cdigos
LDPC: se cada coluna de H tiver o mesmo nmero, d
v
, e cada linha tiver o mesmo nmero, d
c
, de uns o cdigo
diz-se regular; caso contrrio diz-se irregular. Um cdigo LDPC regular nas condies descritas designa-se por
cdigo LDPC (d
v
,d
c
). A Fig. 13 apresenta um exemplo de matriz H de um cdigo LDPC (2,4) juntamente com o
correspondente grafo de Tanner. Neste, cada n de varivel est ligado a d
v
=2 ns de paridade e cada um destes
est ligado a d
c
=4 ns de variveis. Diz-se ento que o grau dos ns de variveis d
v
e que o grau dos ns de
paridade d
c
. Os graus esto relacionados entre si atravs de
( )
v c
N nd n k d = = , (11)
em que N o nmero de uns de H (ou o nmero de ramos do grafo de Tanner).
Pelo contrrio, num cdigo LDPC irregular os ns de variveis e/ou de paridade tm vrios graus. Por
exemplo, no cdigo LDPC da Fig. 14 sete dos dez ns de variveis tm grau 2, dois tm grau 3 e um tem grau 4,
um dos cinco ns de paridade tem grau 4 e os outros tm grau 5. Se D for o maior grau o grau mdio de cada tipo
de n dado por
1
D
i
i
d a i
=
=

,
em que
i
a a percentagem de ns de grau i e
1
1
D
i
i
a
=
=

, claro.

Cdigo LDPC (2, 4)
0 1 0 0 1 1 0 0 1 0
0 0 1 1 0 1 0 1 0 0
1 0 0 1 0 0 0 0 1 1
0 1 0 0 1 0 1 0 0 1
1 0 1 0 0 0 1 1 0 0



=




H
Quatro bits
1 por linha
Dois bits 1 por coluna
Matriz H
Grfico de Tanner

Fig. 13. Exemplo de matriz H e grafo de Tanner de um cdigo LDPC regular.
Esta diferente quantidade de ramos que chegam aos ns define os polinmios de distribuio de graus (x)
e (x)

1
( )
i
i
i
x x

=

(com 1
i
i
=

)

1
( )
j
j
j
x x

=

(com 1
j
j
=

)
13
em que
i
e
j
representam a fraco de ramos do grafo que esto ligados a ns de variveis e de paridade de
grau i e j, respectivamente. Assim, dos 24 ramos da Fig. 14 quatro chegam a ns de paridade de grau 4 e catorze
saem de ns de variveis de grau 2, por exemplo, ou seja,
4
4 24 16 = = e
2
14 24 712 = = . Portanto, no
conjunto,
2 3
7 1 1
( )
12 4 6
x x x x = + +
3 4
1 5
( )
6 6
x x x = + .
O Apndice A5 mostra como calcular analiticamente
i
e
j
a partir das percentagens de ns com o mesmo
grau, e vice-versa.

1 1 0 0 1 1 0 0 0 0
0 0 1 1 0 1 1 0 0 1
1 0 1 0 0 0 1 0 1 1
0 0 1 1 0 0 1 1 0 1
0 1 0 0 1 0 0 1 1 1



=




H

Fig. 14. Exemplo de matriz H e grafo de Tanner de um cdigo LDPC irregular de tamanho n = 10.
A descodificao iterativa de cdigos LDPC pode ser encarada como a descodificao de dois cdigos
concatenados em srie, como na Fig. 2: o conjunto de ns de variveis do grafo de Tanner representa o
descodificador interior, o conjunto de ns de paridade representa o descodificador exterior e as linhas ou ramos
que ligam os ns entre si representam as operaes de entrelaamento e desentrelaamento [15], como se mostra
na Fig. 15. Em cdigos LDPC regulares (d
v
,d
c
) a descodificao nos ns de variveis equivale a calcular LLRs
extrnsecas num cdigo de repetio (d
v
,1) e a descodificao nos ns de paridade equivale a calcular LLRs
extrnsecas num cdigo de paridade simples (d
c
, d
c
- 1).

Do canal
Entrelaador
Ns de
paridade
Ns de
variveis
cdigo de repetio
(d
v
,1)
cdigo de
paridade simples
(d
c
, d
c
- 1)
Descodificador interior Descodificador exterior
L
ec
+
-
L
ac
+
-
L
ev
L
av
Desentrelaador

Fig. 15. Descodificador iterativo de cdigos LDPC regulares.
Os EXIT charts de cdigos LDPC so muito mais fceis de obter que os EXIT charts de cdigos
turbo. Na verdade, ao contrrio destes no preciso fazer simulaes em computador pois dispomos de
expresses analticas de clculo das funes de transferncia. Essas expresses so exactas em canais binrios
com rasuras, ou canais BEC, e aproximadas (mas muito aproximadas, mesmo!) em canais AWGN. o que
vamos ver em seguida.
14
5.1 EXIT Charts de cdigos LDPC regulares em canais BEC
Um canal binrio com rasuras (BEC) um canal discreto sem memria caracterizado pelo diagrama de
transio da Fig. 16, onde p representa a probabilidade de um bit x ser rasurado. Como sabido, a informao
mtua mdia entre a entrada e a sada deste canal vale [ ] ( ; ) (1 - ) (1) I X Y p H p = e a capacidade
max[ ( ; )] 1-
s
C I X Y p = = atingida quando os bits de entrada X so equiprovveis.

X
-1
+1
1 - p
1 - p
p
p
Y
-1
+1
?
I(X;Y) = 1 p
(se p(1) = 1/2)

Fig. 16. O diagrama de transio de um canal BEC.
A Fig. 17 mostra os esquemas de descodificao apropriados para se determinarem as funes EXIT de
cdigos LDPC regulares em canais BEC [16]. Na figura REP e SPC significam cdigo de repetio e
cdigo de paridade simples
13
, respectivamente. Como se v, no esquema de descodificao correspondente aos
ns de paridade no se considera nenhum canal de comunicao pois o descodificador exterior s tem uma
entrada, L
ac
.

x = 1
Descodi-
ficador
L
av

L
ev

Canal de
comunicao
L(y|x)
Canal
extrnseco
BEC, p
BEC, q
REP
(d
v
,1)
Ns de variveis
I
Ev

Ns de paridade
x = 1
Descodi-
ficador
L
ac
L
ec

Canal
extrnseco
BEC, p
SPC
(d
c
, d
c
-1)
I
Ec


Fig. 17. Esquemas de clculo de L
a
e L
e
para obteno de funes EXIT de cdigos LDPC regulares.
De acordo com [16] as vrias informaes mtuas mdias I
A
e I
E
so dadas pelas expresses seguintes:
Ns de variveis (canais BEC)

1
( ; ) 1
( ; ) 1
v
v
v
A av
d
E ev
I I X L p
I I X L qp

= =
= =

1
1 (1 )
v
v v
d
E A
I q I

=
Ns de paridade (canais BEC)

1
( ; ) 1
( ; ) (1 )
c
c
c
A ac
d
E ec
I I X L p
I I X L p

= =
= =

1
c
c c
d
E A
I I

=
de notar que independentemente dos graus d
v
e d
c
todas as funes EXIT I
Ev
e I
Ec
-1
tm valor 1 q e 0,
respectivamente, no eixo das ordenadas. Note-se ainda que essas mesmas funes so linhas rectas de declives q
e 1, respectivamente, quando os ns associados tm grau 2.

13
SPC =Single Parity Check.
15
Aparte: a expresso de I
Ec
uma manifestao da chamada propriedade da dualidade, que relaciona
entre si as funes EXIT de cdigos duais em canais BEC [15]. De facto, se os canais de comunicao e
extrnseco forem canais BEC com probabilidades de rasura q e p, respectivamente, a propriedade da
dualidade estabelece que
( , ) 1 (1 ,1 )
E E
I p q I p q

=

em que
E
I

e
E
I representam as funes EXIT dos cdigos duais (n,n - k) e (n,k), respectivamente.
Ora sabido que os cdigos de paridade simples e de repetio com o mesmo tamanho n so duais. Na
ausncia de canal de comunicao (q = 1) e com n = d
v
temos
1
,
( ) 1
v
n
E REP E
I p I p

= = . Portanto,
, ,
1
1
( ) 1 (1 )
1 1 (1 )
(1 )
E SPC E REP
n
n
I p I p
p
p

= =

= =

=

Considerando
,
c
E E SPC
I I = e n = d
c
e notando que 1
c
A
I p = obtemos
1
c
c
c
d
E
A
I I

= , como j estava
atrs.
A Fig. 18 apresenta EXIT charts de cdigos LDPC regulares com d
c
=2,4,5,6 e d
v
=2,3,4,5 num canal
de comunicao BEC com q =0,4. Note-se que em certas combinaes de graus no existe tnel de sada (por
exemplo d
v
=2 e d
c
=5).

0
0.2 0.4 0.6 0.8
1
0
0.2
0.4
0.6
0.8
1
I
Av
, I
Ec

I
E
v
,

I
A
c

5
d
c
= 6
4
4
d
v
= 5
3
2
q = 0,4
2

Fig. 18. EXIT charts de cdigos LDPC regulares em canal BEC com q =0,4.
5.1.1 Clculo analtico do limiar de convergncia dos cdigos LDPC regulares em canais BEC
Para que haja convergncia em direco a I
E
=1 necessrio que se forme um tnel de sada no EXIT
chart, como sabemos, o que obriga a que a curva EXIT dos ns de variveis esteja sempre acima da funo
inversa da curva EXIT dos ns de paridade:
( ) ( )
v v c c
E A A E
I I I I
ou
( )
1
1( 1)
1 1
v
c
v c
d
d
A E
q I I

No EXIT chart I
Av
e I
Ec
so, na realidade, a mesma abcissa. Designando-a pela letra nica I reescrevemos
a expresso anterior como
16
( )
1 1( 1)
1 1
v c
d d
q I I

,
onde vemos que o segundo membro (a curva de baixo, no grfico) s depende do grau d
c
. Assim, se fixarmos d
c

e d
v
a curva de baixo fica esttica e a de cima vai descendo e aproximando-se da outra, intersectando-a mesmo,
se formos aumentando a probabilidade de rasura q do canal de comunicao. Ao valor q
lim
acima do qual as
curvas se intersectam e fecham o tnel d-se o nome de limiar de convergncia do cdigo LDPC. No limiar as
curvas intersectam-se tangencialmente e acima dele so secantes. O ponto de tangncia
14
ocorre na abcissa
I =I
lim
que satisfaz a equao em x
( )( ) ( )( )
1 2
1 1 1 1 1 1 0
c c
d d
c v c v
d d x d d x

+ =

, (12)
em que
1
1
c
d
x I

= , 0 1 x (ver Apndice A4 para os pormenores). O limiar q
lim
, esse, obtm-se depois de
conhecermos I
lim
:

( )( )( )
2
1
lim
lim
2
lim
1 1 1
c
c
v
d
d
d
c v
I
q
d d I

=

(13)
Em resumo: para haver convergncia em canais BEC necessrio que
lim
q q .
Veremos adiante que se desejarmos obter um cdigo LDPC que se aproxime da capacidade devemos
procurar que a rea entre curvas EXIT seja a menor possvel [15]; por outras palavras, as curvas devem estar
praticamente sobrepostas (ver Exemplo 6). Nesse caso, porm, o nmero de iteraes necessrio para nos
aproximarmos do canto superior direito do grfico aumenta.

E Ex xe em mp pl lo o 2 2: : l li im mi ia ar re es s d de e c co on nv ve er rg g n nc ci ia a d de e c c d di ig go os s L LD DP PC C ( (3 3, ,4 4) ) e e ( (2 2, ,4 4) )
Seja dv = 3 e dc = 4. Substituindo valores na Eq. (12) obtemos a equao do 3 grau
3 2
5 6 1 0 x x + = , de razes 1 e
( )
1 21 10 . Destas s nos interessa a raiz
( )
1 21 10 + , para a
qual obtemos a abcissa de tangncia do EXIT chart
3
lim
1 21
0,17398
10
I

+
= =




(pois
1 3

c
d
I x x

= = ). O limiar de convergncia decorre imediatamente da Eq. (13):

( )
2 3
lim
lim
lim
0,64743
6 1
I
q
I

= =

.
A Fig. 19 esquerda mostra o EXIT chart respectivo. Para comparao apresenta-se direita o
grfico de um cdigo (2,4) em canal BEC com q = 1/3. Neste caso as curvas s so tangentes no
canto superior direito. Vejamos porqu. Como dv = 2 a funo EXIT dos ns de variveis uma
recta de declive q = 1/3 e como dc = 4 a funo inferior uma curva de derivada
2 3
13
c
E
I

. As
duas funes so tangentes, por definio, no ponto em que ambos os declives forem iguais, o
que s acontece, claro, em 1
c
E
I = . Se q > 1/3 as funes so secantes e fecham o tnel. Logo,
qlim = 1/3 nos cdigos LDPC (2,4).


14
As funes EXIT no podem ser tangentes num ponto de abcissa menor que 1 se d
v
=2 ou d
c
=2 porque,
nesses casos, as funes EXIT so rectas. Para termos um ponto de tangncia nico ter de ser d
v
>2 e d
c
>2.
17

d
c
= 2
d
c
= 4
q = 1/3
0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
Av
, I
Ec

I
E
v
,

I
A
c

q = 1/3
LDPC (2, 4)
0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
Av
, I
Ec

I
E
v
,

I
A
c

q = 0,64743
I
Ac

LDPC (3, 4)
I
Ev


Fig. 19. EXIT charts dos cdigos LDPC (3,4) e (2,4) nos limiares (q
lim
=0,64743 e 1/3, respectivamente).

5.2 EXIT Charts de cdigos LDPC regulares em canais AWGN
Agora os canais BEC da Fig. 17 so substitudos por canais AWGN. O rudo do canal de comunicao,
quando este existe, tem varincia
2
0
1
2
b
c
E
R
N
= ,
a mesma que foi usada com turbo-cdigos. Tal como ento, a sada desse canal dever ser multiplicada pela
medida da fiabilidade do canal
2
2
c
L = para se obter a LLR L(y|x), que desse modo tem varincia
2
2
0
4
8
b
c c
E
R
N

= = (ver Fig. 10 e Apndice A2). Quanto ao canal extrnseco o rudo AWGN deve ter uma
varincia de
2
4
a
para que a varincia de L
a
seja
2
a
.
A propriedade da dualidade no exacta em canais AWGN mas to aproximada que tambm usada
neles para calcular I
Ec
. Assim, de acordo com [16] as funes de transferncia relativas aos dois tipos de ns so
dadas por:
Ns de variveis (canais AWGN)
2
1 2
0
( , , , ) ( 1) ( )
v v v
E A v b c v A c
I I d E N R J d J I

= +




Ns de paridade (canais AWGN)

( )
1
( , ) 1 ( 1) (1 )
c c c
E A c c A
I I d J d J I

Para o traado dos EXIT charts pode interessar-nos conhecer a funo inversa
15
:

1
(1 )
( , ) 1
( 1)
c
c c
E
A E c
c
J I
I I d J
d

.

15
Se o traado do grfico EXIT for feito em Matlab ou noutra ferramenta similar no necessrio calcular a
funo inversa (basta trocar a ordem de certos argumentos nas chamadas de funes grficas como plot).
18
Recorda-se que a funo ( )
A a
I J = foi anteriormente definida na Eq. (4) e aproximada pela Eq. (5) e a
sua inversa aproximada pela Eq. (6). Observando a expresso de I
Ev
constatamos que para I
Ac
=0 sempre
( )
0
(0, , , )
v
E v b c c
I d E N R J = independentemente dos outros parmetros de entrada.
Aparte: vejamos como se obteve I
Ec
aplicando a propriedade da dualidade: como, para I
Ec
, no h
canal de comunicao (Fig. 17 direita)
2
0
c
= na expresso de I
Ev
e, portanto,
( )
1
( , ) 1 (1 , )
1 ( 1) (1 )
c c v c
c
E A c E A c
c A
I I d I I d
J d J I

=
=

A Fig. 20 mostra as funes EXIT de cdigos LDPC regulares de taxa 1/2 com d
v
e d
c
iguais a 2, 3, 4, 6 e
8 num canal de comunicao AWGN em que E
b
/N
0
=1 dB (note-se o ponto de partida comum de todas as curvas
I
Ev
: ( ) (2,24) 0,56
c
J J = = ). A Fig. 21 apresenta os EXIT charts correspondentes mas considerando apenas
d
c
=8. Verificamos a que no h tneis de sada se d
v
=2, 3 ou 4.

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
E
(ns de paridade)
I
A

(
n

s

d
e

p
a
r
i
d
a
d
e
)

2
d
c
= 8
3
4
6
E
b
/N
0
= 1 dB
0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
A
(ns de variveis)
I
E

(
n

s

d
e

v
a
r
i

v
e
i
s
)

d
v
= 8
6
4
3
2
E
b
/N
0
= 1 dB

Fig. 20. Funes EXIT de vrios cdigos LDPC regulares de taxa 1/2,
com E
b
/N
0
=1 dB em canal AWGN.

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
Av
, I
Ec

I
E
v
,

I
A
c

d
v
= 8 6
4
3
2
d
c
= 8
E
b
/N
0
= 1 dB

Fig. 21. EXIT charts de cdigos LDPC regulares de taxa 1/2, de diferentes
graus de variveis e d
c
= 8, em canal AWGN com E
b
/N
0
=1 dB.
19
5.3 EXIT Charts de cdigos LDPC irregulares
Num cdigo LDPC irregular o nmero de ramos do grafo de Tanner ligados a cada n no o mesmo.
Nesses cdigos a funo EXIT de um grupo de ns (de variveis ou de paridade) a mdia das funes EXIT
associadas a cada grau ponderada pelas propores dos ramos ligados aos ns desse grau. Assim, suponhamos
que temos um cdigo LDPC irregular em que num dos grupos de ns o grau mximo D. Se
i
b representar a
fraco dos ramos que incidem nos ns de grau i a informao mtua mdia I
E
igual mdia ponderada das
informaes mtuas mdias I
Ei
associadas aos ns de grau i [15] [16]:

1
i
D
E i E
i
I b I
=
=

, (14)
em que
1
1
D
i
i
b
=
=

. Se os ns de variveis e de paridade tiverem graus mximos D

v
e D
c
, respectivamente, e os
coeficientes dos polinmios de distribuio de graus (x) e (x) forem, como antes,
i
e
j
(correspondem,
claro, s fraces genricas
i
b ) as funes EXIT de tais cdigos irregulares em canais BEC e AWGN so
expressas pelas frmulas apresentadas em seguida.
5.3.1 Canais BEC
No caso dos canais BEC fcil de concluir das frmulas da Sec. 5.1 e da Eq. (14) que, com I
A
=1 p,
Ns de variveis (LDPC irregulares e canais BEC)

1
1
1 1 ( )
v
v
D
i
E i
i
I q p q p

=
= =

1 (1 )
v v
E A
I q I =
Ns de paridade (LDPC irregulares e canais BEC)

1
1
(1 ) (1 )
c
c
D
j
E j
j
I p p

=
= =

( )
c c
E A
I I =

E Ex xe em mp pl lo o 3 3: : F Fu un n e es s E EX XI IT T e e E EX XI IT T c ch ha ar rt t d de e u um m c c d di ig go o L LD DP PC C i ir rr re eg gu ul la ar r e em m c ca an na al l B BE EC C
Admitamos, por exemplo, que num certo cdigo LDPC 30% dos ramos que incidem nos ns de
variveis tm grau 2, 20% tm grau 3 e os restantes 50% tm grau 4 e que, no caso dos ns de
paridade, 60% dos ramos correspondem a grau 4 e 40% a grau 6. Portanto, o grau mximo dos
ns de variveis Dv = 4 e os coeficientes de (x) so 2 = 0,3, 3 = 0,2 e 4 = 0,5, ou seja,
2 3
( ) 0,3 0,2 0,5 x x x x = + + ; do mesmo modo, Dc = 6 e
3 5
( ) 0,6 0,4 x x x = + . Se os canais de
comunicao e extrnseco forem BEC com probabilidades de rasura q e p, respectivamente, a
funo EXIT dos ns de variveis igual a
( )
2 3
1 ( )
1 0,3 0,2 0,5
v
E
I q p
q p p p
= =
= + +

ou
( )
2 3
1 1 2,2 1,7 0,5
v v v v
E A A A
I q I I I = + , e a funo EXIT dos ns de paridade igual a
3 5
(1 ) 0,6(1 ) 0,4(1 )
c
E
I p p p = = + , ou
3 5
( ) 0,6 0,4
c c c c
E A A A
I I I I = = + . O EXIT chart respectivo
para q = 0,4 apresentado na Fig. 22.
20

I
Av
, I
Ec
I
E
v
,

I
A
c

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
q = 0,4

Fig. 22. EXIT chart de um cdigo LDPC irregular definido pelos polinmios
2 3
( ) 0,3 0,2 0,5 x x x x = + + e
3 5
( ) 0,6 0,4 x x x = + em canal BEC com q = 0,4.

5.3.1.1 Optimizao de cdigos LDPC
Seja A
v
e A
c
as reas por baixo das funes EXIT dos ns de variveis,
1
( )
v v
E A
I T I = , e de paridade,
2
( )
c c
E A
I T I = , respectivamente. Para que haja um tnel de convergncia no EXIT chart o grfico da funo
v
E
I tem de estar sempre acima do grfico de
1
2
( )
c c
A E
I T I

= pelo que a rea A

v
tem de ser maior que a rea
1 - A
c
. Com cdigos LDPC regulares essas reas so iguais a

( )
1 1 1
0 0
1 1
1
v
v v v v
d
v E A A A
v
A I dI q I dI
q
d

= = =
=

(15)

1 1
1
0 0
1 1 1
1
1
c
c c c c
d
c E A A A
c
A I dI I dI
d

= = =
=

(16)
16

Portanto, se 1
v c
A A > , ento
1
1 1
v c
q
d d
> , ou seja,
v
c
d
q
d
< . Mas como C
s
=1 q a capacidade do
canal BEC, em bits/smbolo, como se viu j, e 1
v c c
d d R = (cf. Eqs. (11) e (28)), ter de ser 1 1
s c
C R < ,
ou
c s
R C < . Isto afinal o famoso Teorema da Codificao de Canal, de Claude Shannon, aqui
visualmente manifestado.
A rea do tnel de sada igual a
1
(1 ) 1 1
s c
v c
v c v
C R q
A A A
d d d

= = =



Desta expresso extramos uma concluso muito importante e til para o projecto de cdigos LDPC: se nos
quisermos aproximar da capacidade do canal, isto , se desejarmos R
c
C
s
, ento A 0 e o tnel de sada

16
Como se v, a rea de baixo, ( ) 1 1
c c c
A d d = , igual taxa do seu cdigo de paridade simples (d
c
, d
c
- 1).
21
deve ser o mais estreito possvel. A esta concluso de que a rea do tnel corresponde a uma perda em termos de
taxa do cdigo d-se o nome de propriedade da rea.
Em cdigos LDPC irregulares a conjugao das Eqs. (14), (15), (16) e as relaes do Apndice A5
conduzem a equaes semelhantes, onde os graus de ns so substitudos por graus mdios, e a concluso a
mesma: o tnel deve ser estreitinho.
1
v
v
q
A
d
=
1
1 1
c
c
A
d
= (1 )
s c
v c
v
C R
A A A
d

= = .
A utilizao de ns com diferentes graus permite mais liberdade de escolha e torna mais flexvel o ajuste
das curvas EXIT uma outra, tarefa habilidosa que consiste em jogar adequadamente com os coeficientes dos
polinmios (x) e (x).

E Ex xe em mp pl lo o 4 4: : E EX XI IT T c ch ha ar rt t d de e c c d di ig go o L LD DP PC C c co om m c cu ur rv va as s a aj ju us st ta ad da as s a at tr ra av v s s d de e s s r ri ie e d de e T Ta ay yl lo or r
Uma das maneiras de ajustar as curvas EXIT uma outra para diminuir a rea entre elas passa
por representar uma das curvas por uma srie de Taylor e ajustar a outra ao polinmio
resultante, tendo presente que a funo EXIT dos ns de variveis tem de estar sempre acima da
outra curva, sem interseco. Como exemplo simples vamos supor que os ns de paridade tm
todos o mesmo grau, 5, e que queremos obter adequados coeficientes de (x).
Com dc = 5 temos
4
(1 )
c
E
I p = e
1 14
(1 )
c
E
I p

= . A representao desta funo inversa em srie

de Taylor na abcissa p = 0 (isto , em Ac = 1) srie de McLaurin, portanto
1 14
2 3 4
(1 )
1 3 7 77
1
4 32 128 2048
c
E
I p
p p p p

= =
=

Todos os termos restantes da srie diminuem a funo
1
c
E
I

pelo que podemos escrever que

2 3 4 1
1 3 7 77
1
4 32 128 2048
c
E
p p p p I

> . Logo, se tomarmos

2 3 4
1 3 7 77
1
4 32 128 2048
v
E
I p p p p =
estamos a garantir que
1
v c
E E
I I

> para qualquer abcissa IA, como queremos para que as curvas
no se cruzem. Mas
1
1
1
v
v
D
i
E i
i
I q p

=
=

. Ento, pondo em evidncia
1 3 7 77 893
4 32 128 2048 2048
+ + + =
escrevemos
2 3 4
893 512 192 112 77
1
2048 893 893 893 893
v
E
I p p p p

= + + +



e identificamos a probabilidade de rasura
893
2048
q = e os coeficientes
2
512
893
= ,
3
192
893
= ,
4
112
893
= e
5
77
893
= (claro que
5
2
1
i
i

=
=

). A capacidade do canal BEC Cs = 1 q = 0,5640

bits/smbolo. O grau mdio dos ns de variveis 2,46
v
d = e a taxa do cdigo
1 0,5085
c v c
R d d = = , valor que est longe de Cs e revela que ainda h muita margem para
melhoria. Na verdade, observando na Fig. 23 o EXIT chart constatamos que s tomar os
menores graus (neste caso 2, 3, 4 e 5) pode no conduzir ao melhor ajuste de curvas (isso
ntido na regio de valores baixos de IA). No Exemplo 6, pelo contrrio, apresentado o EXIT
chart de um cdigo irregular mais bem ajustado, em que os graus de variveis so mais dspares
(2, 3, 4 e 10) e h dois graus de ns de paridade em vez de um s.
22

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
Av
, I
Ec

I
E
v
,

I
A
c


Fig. 23. EXIT chart de um cdigo LDPC irregular com
2
= 512/893,
3
= 192/893,

4
= 112/893,
5
= 77/893 e d
c
= 5 em canal BEC com q = 893/2048.

5.3.2 Canais AWGN
Em canais AWGN as funes EXIT so obtidas das frmulas da Sec. 5.1.1 e da Eq. (14):
Ns de variveis (LDPC irregulares e canais AWGN)

2
1 2
1
( 1) ( )
v
v v
D
E i A c
i
I J i J I

=


= +

Ns de paridade (LDPC irregulares e canais AWGN)

( )
1
1
1 ( 1) (1 )
c
c c
D
E j A
j
I J j J I

=

E Ex xe em mp pl lo o 5 5: : F Fu un n e es s E EX XI IT T e e E EX XI IT T c ch ha ar rt t d de e u um m c c d di ig go o L LD DP PC C i ir rr re eg gu ul la ar r e em m c ca an na al l A AW WG GN N
Tomemos como exemplo o cdigo LDPC irregular da Fig. 14, cujos polinmios de distribuio de
grau so, como vimos,
2 3
7 1 1
( )
12 4 6
x x x x = + + e
3 4
1 5
( )
6 6
x x x = + e, portanto, 2 = 7/12,
3 = 1/4, 4 = 1/6, 4 = 1/6 e 5 = 5/6. As funes EXIT que lhes correspondem so

( ) ( ) ( )
2 2 2
1 2 1 2 1 2
2 2 2 2 2 2
7 1 1
( ) 2 ( ) 3 ( )
12 4 6
7 1 1
2 3
12 4 6
v v v v
E A c A c A c
a c a c a c
I J J I J J I J J I
J J J





= + + + + + =



= + + + + +


( ) ( )
1 1
1 5
1 3 (1 ) 1 2 (1 )
6 6
c c c
E A A
I J J I J J I


+


onde, para simplificar a escrita, se considerou
( )
1
v
a A
J I

= . A Fig. 24 apresenta as cinco
funes EXIT individuais e o EXIT chart resultante das mdias, se Eb/N0 = 2 dB.
23

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
Av
, I
Ec

I
E
v
,

I
A
c

Funes EXIT individuais
4
5
4
3
2
ns de
paridade
E
b
/N
0
= 2 dB
0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
I
Av
, I
Ec

I
E
v
,

I
A
c

EXIT chart
E
b
/N
0
= 2 dB

Fig. 24. EXIT chart de um cdigo LDPC irregular com
2
= 7/12,
3
= 1/4,
4
= 1/6,

4
= 1/6 e
5
= 5/6 em canal AWGN com E
b
/N
0
= 2 dB.


E Ex xe em mp pl lo o 6 6: : E EX XI IT T c ch ha ar rt t d de e u um m c c d di ig go o L LD DP PC C i ir rr re eg gu ul la ar r o op pt ti im mi iz za ad do o ( (c ca an na al l A AW WG GN N) )
Disse-se atrs que para optimizar um cdigo LDPC (no sentido da aproximao capacidade)
deve procurar-se que o tnel de sada do EXIT chart seja o mais estreito possvel. Imagina-se,
certamente, que esta tarefa no fcil. A Fig. 25 apresenta um exemplo, retirado do livro de
Schlegel e Perez [17], de um cdigo optimizado para um canal AWGN (tendo-se considerado
Eb/N0 = 0,7 dB). Os graus dos ns esto assim distribudos pelos ramos do grafo de Tanner:

2 3 4 10 7 8
0,25105 0,30938 0,00104 0,43853 0,63676 0,36324 = = = = = =

I
Av
, I
Ec
I
E
v
,

I
A
c

0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
E
b
/N
0
= 0,7 dB
LDPC
optimizado

Fig. 25. EXIT chart de um cdigo LDPC irregular optimizado.
Canal AWGN com E
b
/N
0
= 0,7 dB.

6. Apndice A1
Algumas propriedades das funes densidade de probabilidade
Em seguida vo ser revistas algumas propriedades das funes densidade de probabilidade que tm
importncia para os EXIT charts, nomeadamente com cdigos turbo e quando as variveis aleatrias
envolvidas so gaussianas.
24
Na Fig. 26 X e Y so os sinais de entrada e sada de um canal de comunicaes genrico. Este pode
representar quer um canal contnuo, com entradas contnuas ou discretas e sadas contnuas, quer um canal
discreto, com entradas e sadas discretas. Na figura esto tambm indicadas as probabilidades ou as funes
densidade de probabilidade (fdp), consoante o contexto, das variveis aleatrias envolvidas. No caso de variveis
binrias X de valores x =1 usaremos frequentemente as notaes simplificadas p(x =1) =p(1) e
p(y|x =1) =p(y|1). A p(y|x) d-se por vezes o nome de verosimilhana.

Canal
X Y
p
X
(x) =p(x) p
Y
(y) =p(y)
p
XY
(y|x) =p(y|x)
Funes densidade de probabilidade

Fig. 26. As entradas e sadas de um canal genrico e as suas
probabilidades e funes densidade de probabilidade
6.1 Funes densidade de probabilidade simtricas
Suponhamos que as fdps condicionais p(y|-1) e p(y|1) tm mdias simtricas - e , respectivamente. Se
cada uma das fdps for simtrica em relao ao seu valor mdio ento
( | 1) ( |1) p y p y = (17)
6.2 Funes densidade de probabilidade consistentes
De acordo com a definio de [18] uma fdp p(y) diz-se consistente se
( ) ( )
y
p y p y e = (18)
ou, equivalentemente, se [ ] ln ( ) ( ) y p y p y = .
6.2.1 Funes densidade de probabilidade gaussianas consistentes
Uma varivel aleatria gaussiana Y de mdia e varincia
2
, designada habitualmente por
2
( , ) Y N , descrita pela fdp
2 2
2
1
( ) exp ( ) 2
2
p y y

=

. Se esta fdp gaussiana for consistente
ento o valor mdio metade da varincia,
2
2 = . De facto, se calcularmos a razo ( ) ( ) p y p y ,
( )
( )
2
2 2
2
2
2 2
2
1
exp ( ) 2
( )
2
1
( )
exp ( ) 2
2
y
y
p y
e
p y
y

= =

,
e impusermos a condio de consistncia referida, ( ) ( )
y
p y p y e = , ento ter de ser
2
2 1 = , ou
2
2 = ,
c.q.d.
Uma varivel aleatria gaussiana e consistente,
2 2
( 2, ) Y N caracterizada, portanto, por um nico
parmetro.
25
7. Apndice A2
LLRs condicionais
Neste Apndice mostrado como as LLR condicionais L(x|y) e L(y|x) esto relacionadas entre si.
O teorema de Bayes diz-nos que
( | ) ( )
( | )
( )
p y x p x
p x y
p y
=
Com varivel binria X de valores x =1 o quociente
( 1| )
( 1| )
p x y
p x y
=
=
igual a
( 1| ) ( | 1) ( 1)
( 1| ) ( | 1) ( 1)
p x y p y x p x
p x y p y x p x
= = =
=
= = =

Aplicando logaritmos a este quociente obtemos a LLR condicional a posteriori L(x|y):
( | ) ( )
( 1| ) ( | 1) ( 1)
( | ) ln ln ln
( 1| ) ( | 1) ( 1)
a
L y x L x
p x y p y x p x
L x y
p x y p y x p x
= = =
= = +
= = =


Ou seja
17
:
( | ) ( | ) ( )
a
L x y L y x L x = + (19)
A quantidade
( 1)
( ) ln
( 1)
a
p x
L x
p x
=
=
=
a LLR a priori. Quanto a L(y|x), se, como na Fig. 27, as fdps
p(y|x =1) forem gaussianas,
2
( , ) N , a razo de verosimilhanas igual a

( )
( )
2
2 2
2
2
2 2
2
1
exp ( ) 2
( 1)
2
1
( 1)
exp ( ) 2
2
y
y
p y
e
p y
y

= =

+
(20)

p(y|-1) p(y|+1)
- 0 y
N(-,
2
) N(,
2
)

Fig. 27. Duas funes densidade de probabilidade gaussianas de valores mdios simtricos e igual varincia.

17
No confundir esta expresso geral com a expresso particular ( | ) ( ) ( | ) ( )
e a
L x L x L x L x = + + y y (ver
Seco 2), obtida com uma sequncia recebida y proveniente de um codificador sistemtico.
26
Definindo
2
2
c
L = e aplicando logaritmos obtemos
( |1)
( | ) ln
( | 1)
c
p y
L y x L y
p y
= =

pelo que, da Eq. (19),
( | ) ( )
c a
L x y L y L x = + .
O valor mdio e o desvio-padro de ( | )
c
L y x L y = so iguais, respectivamente, ao produto do valor mdio e do
desvio-padro de Y por L
c
. Como tal, a varincia de ( | ) L y x igual a
2
2 2 2
2
4
c c
L

= =
e o valor mdio metade, ou seja, ( | ) L y x uma v.a. gaussiana e consistente
2 2
( 2, )
c c
N .
Note-se que para x =1 a Eq. (20),
( 1)
( 1)
c
L y
p y
e
p y
=

, pode ser escrita como

( )
( )
c
L xy
p y x
e
p y x
=

a qual, tendo em conta a simetria das fdps gaussianas ou seja, que ( | 1) ( |1) p y p y = [cf. Eq. (17)]
equivalente a
( )
( )
c
L xy
p y x
e
p y x
=

.
Mostra-se em [3] que
2
2
c
L = tambm igual a
0 0
2 4
2
s s
c
E E
L
N N
= = (
1 =

0
4
s
c
E
L
N
= )
em que E
s
a energia do bit transmitido (ou seja, energia do bit codificado) e N
0
/2 a densidade espectral de
potncia do rudo AWGN sada do filtro adaptado do receptor. O parmetro L
c
chamado por uns medida da
fiabilidade do canal e por outros informao sobre o estado do canal (Channel State Information).
8. Apndice A3
Informao mtua mdia: reviso de expresses
Neste Apndice so apresentadas as diversas definies da informao mtua mdia associada ao canal da
Fig. 26. Nuns casos todas as variveis envolvidas so discretas, noutros so contnuas e noutros ainda so
discretas e contnuas. De notar que nas expresses seguintes x
i
representa um valor possvel da v.a. discreta X
(que pode ser binria ou no), ao contrrio da Eq. (9), por exemplo, onde o smbolo x
k
representa o k-simo bit
de uma sequncia binria X.
Pode, claro, usar-se a definio genrica
( ; ) ( ) ( | ) ( ) ( | ) I X Y H X H X Y H Y H Y X = = ,
27
em que X e Y so as v.a. da Fig. 26, H(X) e H(Y) so as entropias de X e Y, respectivamente, e H(X|Y) e H(Y|X)
so entropias condicionais. Recorda-se que com variveis discretas se tem, por exemplo,
[ ]
1 2 2
( ) ( ), ( ), ( )log ( )
i i
i
H X H p x p x p x p x = =

2
( | ) ( , )log ( | )
i j j i
i j
H Y X p x y p y x =

e com variveis contnuas
2
( ) ( )log ( ) H X p x p x dx

2
( | ) ( , )log ( | ) H Y X p x y p y x dxdy =

8.1 Informao mtua mdia com fontes e canais discretos
X X e e Y Y: : v va ar ri i v ve ei is s a al le ea at t r ri ia as s d di is sc cr re et ta as s
2
2
( , )
( ; ) ( , ) ( ; ) ( , )log
( ) ( )
( )
( ) ( )log
( )
i j
i j i j i j
i j i j i j
j i
i j i
j i j
p x y
I X Y p x y I x y p x y
p x p y
p y x
p x p y x
p y
= = =
=

em que ( ) ( ) ( | )
j i j i
i
p y p x p y x =

.
8.2 Informao mtua mdia com fontes e canais contnuos
X X e e Y Y: : v va ar ri i v ve ei is s a al le ea at t r ri ia as s c co on nt t n nu ua as s
2 2
( )
( , )
( ; ) ( , )log ( ) ( )log
( ) ( ) ( )
p y x
p x y
I X Y p x y dxdy p x p y x dxdy
p x p y p y


= =


8.3 Informao mtua mdia com fontes discretas e canais contnuos
X X: : v v. .a a. . d di is sc cr re et ta a; ; Y Y: : v v. .a a. . c co on nt t n nu ua a
A varivel discreta X pode tomar M valores x
i
, i =1,2,,M.

2
1
( )
( ; ) ( ) ( )log
( )
M
i
i i
i
p y x
I X Y p x p y x dy
p y

=

=

(21)
Se os valores, ou smbolos, X forem equiprovveis:
2
1
( )
1
( ; ) ( )log
( )
M
i
i
i
p y x
I X Y p y x dy
M p y

=

=


.
8.3.1 Caso particular: smbolos X binrios equiprovveis
Seja X {1} e p(x =1) =p(1) =1/2. Neste caso a Eq. (21) escreve-se
28
2
{ 1}
( )
1
( ; ) ( )log
2 ( )
x
p y x
I X Y p y x dy
p y

=



Mas
[ ]
2
1
( ) ( ) ( | )
1
( 1) ( | 1) (1) ( |1) ( | 1) ( |1)
2
i i
i
p y p x p y x
p p y p p y p y p y
=
= =
= + = +

Logo,

2
{ 1}
2 ( ) 1
( ; ) ( )log
2 ( 1) ( 1)
x
p y x
I X Y p y x dy
p y p y

=
+

(22)
Se as fdps p(y|1) tiverem valores mdios e forem simtricas relativamente a esses valores mdios a
expresso anterior pode ser simplificada. De facto, desenvolvendo a funo integranda obtemos
2 2
{ 1}
1
2 2
( ) 1
( ; ) ( )log 2 ( )log
2 ( 1) ( 1)
( 1) ( 1) 1
2 ( 1)log ( 1)log
2 ( 1) ( 1) ( 1) ( 1)
x
p y x
I X Y p y x dy p y x dy
p y p y
p y p y
p y dy p y dy
p y p y p y p y








= + =

+

= + +

+ +

Se agora usarmos a Eq. (17), vlida para fdps simtricas, concluiremos que os integrais so iguais. Continuando
o desenvolvimento chegamos expresso simplificada

2
( 1)
( ; ) 1 ( 1)log 1
( 1)
p y
I X Y p y dy
p y

= +

(23)
Se alm de simtricas as fdps p(y|1) forem gaussianas, N(,
2
), a Eq. (20) ajuda a concluir que

( )
2
2
2
( ; ) 1 ( 1)log 1
y
I X Y p y e dy

= +

(24)
8.3.1.1 Caso particular de Y ser uma v.a. gaussiana consistente
Se a varivel Y for gaussiana e consistente,
2
2
( , )
2

N , a Eq. (24) simplifica-se em

( ) 2
( ; ) 1 ( 1)log 1
y
I X Y p y e dy

= +

(25)
em que, naturalmente,
2 2
2
2
1 ( 2)
( |1) exp
2
2
y
p y

=




29
8.3.1.2 Os casos particulares da informao extrnseca L
e
e da informao a priori L
a

Se nas equaes anteriores substituirmos Y por L
a
ou L
e
obtemos expresses para I
A
=I(X;L
a
) ou
I
E
=I(X;L
e
), respectivamente. Assim, para I
E
teremos

2
{ 1}
2 ( ) 1
( ; ) ( )log
2 ( 1) ( 1)
e
E e e e
e e x
p L x
I I X L p L x dL
p L p L

= =
+

(26)
em vez da Eq. (22), qualquer que seja a fdp de L
e
, e

( ) 2
( ; ) 1 ( 1)log 1
e
L
e e e
I X L p L e dL

= +

(27)
em vez da Eq. (25), se L
e
for modelizada como uma v.a. gaussiana consistente [11] [12]. A informao mtua
mdia I
A
expressa de modo idntico. Na prtica estas expresses tm de ser calculadas por integrao
numrica, normalmente pelas frmulas do trapzio ou de Simpson.
Aparte: Recordam-se aqui as frmulas de integrao numrica do trapzio e de Simpson. Suponhamos
que queremos determinar ( )
b
a
f x dx

e que y
0
, y
1
, y
2
, so valores igualmente espaados de y = f(x)
no intervalo [a, b].
Frmula do trapzio:
0
1 2 1
( )
2
b
n
n
a
y y b a
f x dx y y y
n

+
+ + + +

n n de intervalos em [a, b]
Frmula de Simpson: ( )
0 2 2 4 2 2 1 3 2 1
( ) 2( ) 4(
6
b
m m m
a
b a
f x dx y y y y y y y y
m

+ + + + + + + + +


n = 2m n (par) de intervalos em [a, b]
8.3.2 Caso particular: smbolos X binrios com probabilidades quaisquer
Se os bits x =1 tiverem probabilidades p(1) e p(-1) =1 p(1) a Eq. (23) generaliza-se [14] em
[ ]
2
( 1)
( ; ) (1) ( 1)log 1
( 1)
p y
I X Y H p p y dy
p y

= +

em que H[p(1)] a entropia da fonte binria X.
9. Apndice A4
O limiar de convergncia de cdigos LDPC regulares em canal BEC
Consideremos um cdigo LDPC (d
v
,d
c
) cujo limiar de convergncia em canal BEC, q
lim
, desejamos
determinar. Seguindo [19] precisamos, primeiro, de encontrar o valor da abcissa do EXIT chart para o qual as
funes a representadas,
( )
1
1 1
v
v v
d
E A
I q I

= e
1( 1)
c
c c
d
A E
I I

= ,
so tangentes. Para isso deveremos igualar no s as duas funes (para determinar o seu ponto de interseco)
mas tambm as suas derivadas (para garantir que os declives nesse ponto so iguais). Como ambas as funes
partilham o mesmo eixo das abcissas vamos substituir as variveis I
Av
e I
Ec
pela varivel nica I. Igualando as
funes e derivando membro a membro obtemos o sistema de duas equaes
30
( )
( )
1
1( 1)
2 (2 ) ( 1)
1 1
1
( 1) 1
1
v c
v
c c
d
d
d d d
v
c
q I I
q d I I
d

Se eliminarmos q obtemos a nova equao
( )( ) ( )( )
2 1
1 1
1 1 1 1 1 0
c
c c
d
d d
c v c v
d d I I d d

+ =

.
A sua raiz o ponto de tangncia que procuramos. Como a equao ainda est complicada, simplifiquemo-la:
1) fazendo a substituio de varivel
1( 1)
c
d
x I

= , 0 1 x , para obtermos expoentes inteiros,
( )( ) ( )( )
2
1 1 1 1 1 0
c
d
c v c v
d d x x d d

+ =

,
2) multiplicando ambos os membros por
2
c
d
x

para obtermos expoentes positivos,
( )( ) ( )( )
1 2
1 1 1 1 1 1 0
c c
d d
c v c v
d d x d d x

+ =

.
Aps encontrarmos uma soluo desta equao no intervalo ]0; 1[ (seja x
lim
) a abcissa de tangncia
calculada de acordo com
1
lim lim
c
d
I x

= e depois fcil determinar o limiar q
lim
:
( )( )( )
2
1
lim
lim
2
lim
1 1 1
c
c
v
d
d
d
c v
I
q
d d I

=


10. Apndice A5
Relao entre percentagens de ns e de ramos em cdigos LDPC irregulares
Suponhamos que num grupo de ns (de variveis ou de paridade) do grafo de Tanner de um cdigo LDPC
irregular o maior grau D e que b
i
representa genericamente a percentagem de ramos ligados a ns de grau i (b
i

i
ou
i
consoante o tipo de n). A percentagem b
i
est relacionada com a percentagem a
i
de ns atravs de
i
i
a i
b
d
= ,
em que
1
D
i
i
d a i
=
=

o grau mdio dos diferentes graus e

1
1
D
i
i
a
=
=

. Inversamente, a percentagem de ns a
i

relaciona-se com b
i
atravs de
i
i
b N
a
n i
=

,
onde N representa o nmero total de ramos do grafo de Tanner, isto , o nmero de uns da matriz H, e n
igual a n ou a n k consoante se trate de ns de variveis ou de paridade, respectivamente. Os graus mdios dos
ns de variveis e de paridade,
v
d e
c
d , esto relacionados com o nmero total de ramos atravs de
( )
v c
N nd n k d = = (compare-se com a Eq. (11) dos cdigos LDPC regulares). Daqui se tira que
(1 )
v c c
d R d = . (28)
31
Se todos os ns de paridade tiverem o mesmo grau d
c
ento (1 )
v c c
d R d = e
(1 )
i
i
c c
a i
R d
=

. Se todos os
ns de variveis tiverem o mesmo grau d
v
ento (1 )
j
j c
v
a j
R
d
= .
Manipulando equaes e substituindo variveis conseguimos obter expresses que dependem apenas das
fraces
i
e
j
:
i
i
k
k
b i
a
b k
=

1
v
k
k
d
k
=

1
c
k
k
d
k
=

1
k
k
c
k
k
k
R
k

Tomemos como exemplo o cdigo irregular com polinmios
2 3
7 1 1
( )
12 4 6
x x x x = + + e
3 4
1 5
( )
6 6
x x x = + da Fig. 14, onde
4
2
512
k
k
k
=
=

e
5
4
5 24
k
k
k
=
=

. Com facilidade confirmamos

analiticamente que, por exemplo, 70% dos ns de variveis tm grau 2 (
7 (12 2)
0,7
512

= ) e 20% dos ns de
paridade tm grau 4 (
1(6 4)
0,2
5 24

= ). Os graus mdios dos ns de variveis e de paridade so, respectivamente,

1
2,4
512
v
d = = e
1
4,8
5 24
c
d = = e a taxa do cdigo , como se previa, 1 2,4 4,8 0,5
c
R = = .
11. Referncias
[1] S. ten Brink, Convergence behavior of iteratively decoded parallel concatenated codes, IEEE Trans. on
Communications, vol. 49, pp. 1727-1737, Outubro de 1999.
[2] C. Berrou, A. Glavieux e P. Thitimajshima, "Near Shannon limit error-correcting coding and decoding,"
Proc. of the International Conference on Communications (ICC '93), Maio de 1993, pp. 1064-1070.
[3] S. A. Abrantes, Do algoritmo BCJR descodificao turbo, FEUP, Abril 2004. Acessvel online em
http://paginas.fe.up.pt/~sam/textos/De%20BCJ R%20a%20turbo.pdf (24-1-06).
[4] S. A. Abrantes, Descodificao iterativa de cdigos LDPC por transferncia de mensagens em grafos de
factores, FEUP, J ulho 2005. Acessvel online em http://paginas.fe.up.pt/~sam/textos/
LDPC_Tanner.pdf (3-3-06).
[5] M. Tchler, S. ten Brink e J . Hagenauer, Measures for Tracing Convergence of Iterative Decoding
Algorithms, Proc. 4
th
Intern. ITG Conf. on Source and Channel Coding, Berlim, pp. 53-60, J an. 2002.
[6] T. J . Richardson e R. L. Urbanke, The capacity of low-density parity check codes under message-
passing decoding, IEEE Trans. Inform. Theory, vol. 47, n 2, pp. 599618, Fev. 2001.
[7] T. J . Richardson, M. Shokrollahi e R. L. Urbanke, Design of Capacity-Approaching Irregular Low-
Density Parity-Check Codes, IEEE Trans. Inform. Theory, vol. 47, n 2, pp. 619637, Fev. 2001.
[8] S.-Y. Chung, T. J . Richardson e R. L. Urbanke, Analysis of Sum-Product Decoding of Low-Density
Parity-Check Codes Using a Gaussian Approximation, IEEE Trans. Inform. Theory, vol. 47, n 2,
pp. 657-670, Fev. 2001.
[9] A. Roumy, A. J . Grant, I. Fijalkow, P. D. Alexander e D. Pirez, Turbo-Equalization: Convergence
Analysis, Proc. ICASSP, n 4, pp. 2645-2648, 2001.
32
[10] P. D. Alexander, A. J . Grant e M. C. Reed, Iterative Detection in Code-Division Multiple-Access with
Error Control Coding, European Transactions on Telecommunications, Vol. 9, n 5, pp. 419-425,
Setembro-Outubro de 1998.
[11] N. Wiberg, Codes and Decoding on General Graphs, Tese de Doutoramento, Departamento Engenharia
Electrotcnica, Univ. Linkoping, Sucia, 1996.
[12] D. Divsalar, S. Dolinar e F. Pollara, Iterative Turbo Decoder Analysis Based on Density Evolution, Jet
Propulsion Laboratory, California Institute of Technology, TMO Progress Report 42-144, pp. 1-33,
15-2-2001.
[13] I. Land, P. A. Hoeher e S. Gligorevic, "Computation of Symbol-Wise Mutual Information in
Transmission Systems with Log-APP Decoders and Application to EXIT Charts", Proc. Int. ITG Conf. on
Source and Channel Coding, Erlangen, Alemanha, pp. 195-202, 2004.
[14] J . Hagenauer, The EXIT Chart Introduction to Extrinsic Information Transfer in Iterative Processing,
12th European Signal Processing Conference (EUSIPCO 2004), Viena, ustria, 6-9-2004.
[15] A. Ashikhmin, G. Kramer e S. ten Brink, Extrinsic Information Transfer Functions: Model and Erasure
Channel Properties, IEEE Trans. Inform. Theory, vol. 50, n 11, pp. 2657-2673, Nov. 2004.
[16] S. ten Brink, G. Kramer e A. Ashikhmin, Design of Low-Density Parity-Check Codes for Modulation
and Detection, IEEE Trans. Communications, vol. 52, n 4, pp. 670-678, Abril 2004.
[17] C. Schlegel e L. Perez, Trellis and Turbo Coding, Wiley-IEEE Press, 2003.
[18] T. J . Richardson, A. Shokrollahi e R. L. Urbanke, "Design of provably good low-density parity-check
codes, IEEE Trans. Inform. Theory, vol. 47, n 2, pp. 619-637, Fev. 2001.
[19] T. Hehn, A. Dnmez e J . B. Huber, Exact Thresholds for LDPC Codes Transmitted Over Binary Erasure
Channels, Proceedings of 43rd Annual Allerton Conf. on Communication, Control, and Computing,
Monticello, USA, Set. 2005.