Entropia conjunta, Entropia condicional e

Informação mútua
A teoria da informação é também capaz de lidar
com um par de variáveis aleatórias. É capaz de
quantificar, por exemplo:
 A quantidade informação associada às variáveis
aleatórias conjuntamente (a entropia conjunta,
H(X;Y )),
 A quantidade de informação de uma variável
aleatória dado que outra variável aleatória é
conhecida (a entropia condicional, H(X|Y ))
 A quantidade de informação que uma variável
aleatória contém acerca da outra (informação
mútua, I(X;Y )).

1
 Relações entre entropia conjunta,
entropia condicional e informação mútua

2
Entropia Conjunta

 Seja X um vetor aleatório, X=[A, B], onde

A e B são variáveis aleatórias, assumindo
um número finito de valores possíveis ai e
bj, respectivamente. Então, a entropia para
o vetor X pode ser escrita como:

3
 Generalizando, se X = [X1, X2, X3,... Xn]
então podemos escrever:

 Teorema
Se x e y são duas variáveis aleatórias
que assumem um número finito de valores,
então com a igualdade
prevalecendo se e somente se x e y forem
independentes
4
Demonstração
 Sejam X e Y duas variáveis aleatórias
independentes, tomando valores, respectivamente:

 Dada a independência, tem-se que ∀x∈X, y∈Y,

5
Entropia Condicional
 A incerteza acerca de X dado que Y=y pode ser
definida como:

 A entropia condicional H(X|Y) chamada

equivocação de X em relação a Y, será o
valor médio esperado ponderado para todas as
possíveis ocorrências de Y:

6
 Teorema

Para provar (1) sabendo de (2)

Logo:
7
 Calcule-se agora a entropia condicional para duas
variáveis aleatórias, X e Y , independentes.
 Neste caso, já se sabe que H(X, Y ) = H(X) + H(Y );
assim,

 Basta lembrar que se somarmos todas as

probabilidades conjuntas para um dos elementos
teremos a probabilidade do outro. Então, para
todos os valores de j possíveis:

 De forma análoga pode-se provar que

8
Exemplo
 Seja dada a seguinte distribuição conjunta de (X, Y):

A distribuição marginal de X é (1/2, 1/4, 1/8, 1/8) e a

distribuição marginal de Y é (1/4, 1/4, 1/4, 1/4),
H(X)=7/4 bits e H(Y)=2 bits

9
De modo análogo:

e
Exemplo
 Seja A uma fonte de informação com
alfabeto A = {0, 1, 2, 3}. Seja cada símbolo
an igualmente provável e seja B = {0,1}
um gerador de paridade com função

11
Informação mútua
 A igualdade expressa
sugere que se considere uma outra quantidade
obtida por permutação das parcelas
 Daí, surge a igualdade (informação mútua)

12
Relação entre Entropia e Informação Mútua
Podemos reescrever a definição de informação
mútua I(X; Y) como
Exemplo
Para a distribuição conjunta do Exemplo anterior,
calcular a informação mútua:
Exercício
1. Uma fonte X produz símbolos com probabilidades {1/2,1/3,1/6}, os
quais atravessam um canal com a matriz de probabilidades de
transição:
2/3 0 1/3
1/3 2/3 0
0 1/3 2/3
Calcule:
a) H(X);
b) H(Y) sabendo que as probabilidades são dadas por 𝑃 𝑦𝑗 =
𝑖 𝑃 𝑥𝑖 𝑃(𝑦𝑗 |𝑥𝑖 );
c) 𝐻(𝑋, 𝑌)
d) 𝐻(𝑌|𝑋);
e) 𝐼(𝑋; 𝑌)
Exercício
2. Uma fonte de entrada aleatória X de um canal de comunicação
ruidoso produz símbolos a, b, c, d com probabilidades
{1/4,1/4,1/4,1/4}, os quais atravessam um canal com a matriz de
distribuição conjunta:
1/8 1/16 1/16 1/4
1/16 1/8 1/16 0
1/32 1/32 1/16 0
1/32 1/32 1/16 0
A saída desse canal é uma variável aleatória Y sobre esses mesmos quatro
símbolos. Calcule:
a) H(X);
b) H(Y) sabendo que as probabilidades são dadas por 𝑃 𝑦𝑗 =
𝑖 𝑃 𝑥𝑖 𝑃(𝑦𝑗 |𝑥𝑖 );
c) 𝐻(𝑋, 𝑌)
d) 𝐻(𝑌|𝑋);
e) 𝐼(𝑋; 𝑌)
Exercício
3. Uma fonte produz três símbolos, A, B e C, com probabilidades
4 1
0
5 5
1 1
{P(X=A),P(X=B),P(X=C)}={9/27,16/27,2/27}, 𝑃 𝑦𝑗 |𝑥𝑖 2 2
0 ,
1 2 1
2 5 10
os quais atravessam um canal com a matriz de probabilidades
0 4/15 1/3
conjuntas: 𝑃(𝑥𝑖 , 𝑦𝑗 ) 8/27 8/27 0
1/27 4/135 1/135
Calcule:
a) H(X);
b) H(Y) sabendo que as probabilidades são dadas por 𝑃 𝑦𝑗 =
𝑖 𝑃 𝑥𝑖 𝑃(𝑦𝑗 |𝑥𝑖 );

c) 𝐻(𝑋, 𝑌);
d) 𝐻(𝑌|𝑋);
e) 𝐼(𝑋; 𝑌)
Extensão de uma Fonte sem Memória
 Dependendo do sistema a ser modelado, uma
fonte de informação precisará de um alfabeto
com mais símbolos.
 Em vez de aumentar a quantidade de símbolos do
alfabeto, pode-se considerar a saída da fonte
formada por blocos de símbolos do alfabeto
original
 Seja uma fonte A=(m1, m2, ...mi). A fonte
estendida na ordem K é:

18
 E a distribuição de probabilidade

 A entropia da fonte estendida sera:

19
Exemplo
Considere uma fonte de M = { m1, m2} com
probabilidades P(m1) = ¼ e P(m2) = ¾. Então, a
segunda extensão de fonte (M2) terá 4 símbolos,
como na tabela
Símbolo de M2 1 2 3 4

Sequência dos
símbolos de 𝑚1 ∗ 𝑚1 𝑚1 ∗ 𝑚2 𝑚2 ∗ 𝑚1 𝑚2 ∗ 𝑚2
mi
Probabilidade 1/16 3/16 3/16 9/16
P(i)