Escolar Documentos
Profissional Documentos
Cultura Documentos
Entropia conjunta
Tudo o que foi feito para uma variável, pode ser estendido para duas variáveis.
Por exemplo, se a Figura 1b representa uma fonte que emite pares de dígitos binários, então podemos definir a
variável
Z = (Y,X) (leia-se: Z igual a Y e X)
e, então, passamos a considerar o par (y,x) como sendo um símbolo z de uma fonte Z.
Oras, se Y e X forem independentes, então Z será DMS e a sua entropia será dada por (cf. Aula 3)
X
H= Pk Jk = PJ> (bits) (1)
em que Jk = -log(Pk) é a quantidade de informação da mensagem zk = (yj,xi) e Pk = Prob{yj} Prob{xi} é a
probabilidade conjunta de Y e X.
Definimos a entropia conjunta H(Y,X) como sendo a quantidade calculada por (1) com índice linear k corresponde
ao par de índices (j,i).
Entropia condicional
De maneira semelhante, podemos considerar a variável
W = (Y/X=xi) (leia-se: Y dado X igual a xi)
Se Y for DMS, então W será DMS com probabilidades Pi = Prob{Y/xi} em que xi está fixo.
Até este ponto não há nada de novo pois calculamos a entropia H(W) da maneira usual (1).
Contudo, a quantidade H(W) é uma estatística particular para cada xi fixado.
Na prática, interessa a média dessas quantidades.
Por isto, definimos a entropia condicional de Y com respeito a X
X X
H(Y/X) = média{ H(W) } = Prob{yj} Prob{yj/xi} log(1/Prob{yj/xi}) (2)
que é uma entropia como as anteriores mas calculada considerando o evento (yj/xi) para todos os pares (j,i).
Matriz de transição do canal
Resumindo, em notação matricial:
H(Y/X) = [P(Y/X)] J(Y/X)>
em que o duplo somatório em (2) é feito pela matriz [P(Y/X)]
1
[ Prob{y1/x1} Prob{y1/x1} ... ]
[ Prob{y2/x1} Prob{y2/x1} ... ]
[ . ... ]
[ . ... ]
[ etc. etc.]
que é denominada matriz de transição de Y para X pois contém as probabilidades de se observar Y dado X.
Informação mútua (transferida pelo canal)
Por fim, definimos a informação mútua
I(Y;X) (leia-se: I de Y com respeito a X)
como sendo a quantidade média de informação que se adquire ao se observar Y já tendo conhecimento do valor
de X.
Sem se conhecer X, esta quantidade seria H(Y); com o conhecimento de X, seu valor baixa para H(Y/X).
Portanto
I(Y;X) = H(Y) - H(Y/X) = H(Y) - H(Y,X) + H(X) = H(X) - H(X/Y) = I(X;Y) (3)
Deixamos como exercício a demonstração destas expressões. (Cf. texto da apostila.)
Consideramos, a seguir, a aplicação dessas definições quando a variável X é a entrada e Y é a saída de um
canal de comunicação.
Exemplo 1
Um canal que recebe n tipos de mensagens na entrada e emite na saída m tipos de mensagem é dito discreto.
Este canal ainda é dito sem memória quando a saída num dado instante não depende das entradas e saídas
anteriores.
Um canal discreto sem memória (em inglês, discrete memoryless channel, DMC) é definido por sua matriz de
transição da mesma forma que uma DMS é completamente caracterizada pelas suas probabilidades.
Vejamos alguns casos:
a) Canal binário simétrico (binary symmetric channel, BSC) com probabilidade de erro p e de acerto q=1-p
(Figura 2)
Figura 2 - BSC: a. diagrama de transição; b. matriz de transição
b) BSC com apagameno (binary symmetric erasure channel, BSEC) com probabilidade de apagamento p e
de acerto q (Figura 3)
Figura 3 - BSEC: a. diagrama de transição; b. matriz de transição
2
O BSC ocorre quando se tem comunicação binária sob ruído aditivo Gaussiano e branco (Additive white-gaussian
noise, AWGN) que é muito comum. Como exemplo, citamos enlaces de microondas com satélites que possuem
grande largura de banda e ruído de origem térmica.
Já o BSEC pode parecer estranho já que conta com três saídas.
A saída adicional pode representar que o símbolo recebido está muito incerto e, portanto, deve ser apagado,
deixando a cargo do decodificador de canal decidir o que fazer para estimar o fluxo de dados binários da entrada.
Na prática, o BSEC pode ser usado como modelo de um detector com três regiões de classificação: dígito 0,
dígito incerto e dígito 1.
Outra possibilidade é que o BSEC represente a saída de esquemas de modulação de linha que produzem três
amplitudes de pulsos na saída. Neste caso, as saídas seriam essas amplitudes.
Exemplo 2
Uma DMS esparsa possui dígito 0 com probabilidade 0.9 e é ligada na entrada de um BSEC com probabilidade
de apagamento do dígito recebido igual a 0.3.
O diagrama de transições e a matriz de transição se encontram representados na Figura 3.
Pede-se:
a) Obtenha as probabilidades dos símbolos na saída, P(Y).
b) Calcule H(X) e H(Y).
c) Encontre H(Y/X) e verifique que H(Y/X)≤H(Y).
d) Determine H(Y,X) e verifique que I(Y;X)=H(Y)-H(Y/X)=H(X)+H(Y)-H(Y,X).
e) Quanta informação é enviada pelo canal em bits/s se a taxa de sinalização (uso do canal para enviar um
símbolo/dígito) for de 195 dígitos binários/s?
# Dados de entrada:
PX = [ .1 .9 ]; # DMS esparsa
PYX = [ .7 .3 0 ; ...
0 .3 .7 ]; # matrix de transições P(Y/X)
# a) Prob. da saída
PY = PX * PYX # probabilidades
# ESaída:
PY =
0.070000 0.300000 0.630000
# b) Entropias:
JX = -log2( PX );
HX = PX * JX.'
JY = -log2( PY );
HY = PY * JY.'
# ESaída:
HX = 0.46900
HY = 1.2096
# c) Entropia condicional.
PYeX = diag( PX ) * PYX # [P(Y,X)] = diag[P(x)] [P(Y/X)]
JYX = -log2(PYX);
JYX(JYX==Inf)=0 # [J(Y/X)]
HYX = sum(sum(PYeX .* JYX)) # H(Y/X)
# ESaída:
PYeX =
0.07000 0.03000 0.00000
0.00000 0.27000 0.63000
JYX =
3
0.51457 1.73697 0.00000
0.00000 1.73697 0.51457
HYX = 0.88129
# d) Informação mútua:
IYX = HY - HYX
# Conferindo pela expressão alternativa:
JYeX = -log2(PYeX);
JYeX(JYeX==Inf)=0 # [J(Y,X)]
HYeX = sum(sum( PYeX .* JYeX )) # H(Y,X)
IYX = HX + HY - HYeX # I(Y;X) = H(X) + H(Y) - H(Y,X)
# ESaída:
IYX = 0.32830
JYeX =
3.83650 5.05889 0.00000
0.00000 1.88897 0.66658
HYeX = 1.3503
IYX = 0.32830
# e) baud rate
r = 195 # dig.bin./s
# info. transferida
Itrans = r * IYX # bits/s
# ESaída:
r = 195
Itrans = 64.018
v Exercício
G Use ferramenta computacional (Octave, Python etc.) nos cálculos e gráficos solicitados. Forneça o código
fonte utilizado em cada item.
1. Um canal binário é caracterizado pela matriz de transição
[ .1 .9 ]
[ .2 .8 ]
e é alimentado por uma fonte binária, sem memória, com as probabilidades ajustáveis por meio do parâmetro p.
Pede-se:
a) A fonte é uma DMS? É uniforme? Justifique as respostas.
b) O canal é um DMC? É simétrico? Justifique as respostas.
c) Esboce o sistema, representando o canal por meio do seu diagrama de transições.
d) Faça o gráfico das entropias na entrada e na saída do canal em função do parâmetro ajustável.
e) Faça o gráfico da informação transferida pelo canal em função do parâmetro ajustável.
f) A capacidade do canal é o valor máximo que se pode ter de informação transferida. Qual a capacidade
deste canal? Justifique por meio do gráfico anterior.