Teoria da informao

Rodrigo Pavo (rpavao@gmail.com)

junho de 2011

A teoria da informao um ramo da matemtica que estuda quanticao

da informao.

Essa teoria teve seus pilares estabelecidos por Claude Shan-

non (1948) que formalizou conceitos com aplicaes na teoria da comunicao

e estatstica. A teoria da informao foi desenvolvida originalmente para compresso de dados, para transmisso e armazenamento destes. Porm, foi planejada para aplicao ampla, e tm sido usada em muitas outras reas.
A medida de entropia de Shannon aproximadamente igual da complexidade de Kolmogorov, que oferece a explicao computacional de que a complexidade de um objeto dada pelo tamanho do menor programa de computador
capaz de descrev-lo. Por exemplo, o objeto

11111111111111111111, que no
i=1:20 print 1 en-

parece aleatrio, poderia ser descrito sucintamente por for

quanto

10111000110001111000,

que parece aleatrio, no poderia ser descrito

por um programa to curto, pois precisa da descrio literal do objeto

10111000110001111000.

print

O presente texto foi elaborado com base no segundo captulo do livro  Elements of Information Theory , que apresenta os conceitos fundamentais da
teoria. Estes conceitos foram descritos nos moldes apresentados pelos autores
do livro, acrescentando exemplos e simplicaes desenvolvidos pelo autor do
presente texto ou publicados na fonte Wikipedia.

Para facilitar a compreen-

so, os clculos descritos neste texto foram implementados em uma planilha do

Excel, disponvel em http://www.ib.usp.br/rpavao/entropia.xls.

Entropia
O conceito de informao muito amplo para ser capturado por uma nica
denio. No entanto, para qualquer distribuio de probabilidades, possvel
denir uma quantidade denominada  entropia que tem muitas propriedades
que esto de acordo com a noo intuitiva do que uma medida de informao
deveria ser. Entropia a medida de incerteza de uma varivel aleatria, dada
pela equao

H=

pi log(1/pi ), em que pi indica a probabilidade de evento da

distribuio de probabilidades de uma varivel aleatria discreta. No presente

texto, usamos log base 2, e, assim, a entropia expressa em bits. A entropia

1 bit (pcara = pcoroa = 0.5; log(1/pcara ) =

log(1/pcoroa ) = 1; H = pcara log(1/pcara ) + pcoroa log(1/pcoroa ) = 0.5 1 +
0.5 1 = 1).

do lance de uma moeda honesta

Note que entropia uma funo da distribuio da varivel aleatria; no

depende, portanto, dos valores assumidos por ela, refere-se apenas s suas probabilidades. Outra explicao possvel para o conceito de entropia da distribuio
de probabilidades (H ) a de que esta uma mdia ponderada das entropias dos
eventos dessa distribuio (hi ). A entropia do evento

i dada por hi = log(1/pi ).

No exemplo dos lances da moeda honesta, a entropia dos evento cara de 1 bit,
assim como a entropia do evento coroa; a mdia ponderada (com probabilidade

0.5

1 bit.
h, p h e H

para cada um dos eventos) tambm de

A Figura 1 apresenta as relaes entre

em funo dos valores de

probabilidade de um evento binrio (em que a varivel aleatria inclui apenas

os eventos 0 ou 1). O valor de entropia (H ) zero quando

p=0

ou

p = 1,

pois

nessa condio no h incerteza; por outro lado, a incerteza mxima quando

p = 0.5 (eventos equiprovveis), o que corresponde ao valor mximo da entropia.

Figura 1  Relaes entre

h, p h

p de
log(1/p); a entropia
dada por p log(1/p); a

em funo das probabilidades

um evento binrio. A entropia do evento (h) dada por

do evento ponderada pela sua probabilidade (p

h)

entropia da distribuio de probabilidades (H ) dada pela soma das entropias

dos eventos ponderada pelas suas probabilidades.
Uma estratgia bastante intuitiva para entender o conceito de entropia
atravs da aplicao da codicao tima de mensagens. Um determinado sistema codicador foi projetado para receber como entradas sries de eventos A,

0 ou 1. Se os eventos A, B, C e D
= 0.25 cada), a codicao tima para cada
evento deve conter 2 bits (11, 10, 01 e 00, respectivamente), conforme descrito
pela frmula de entropia do evento (h). A entropia das mensagens, dada pela

B, C e D e responder como sadas sries de

so equiprovveis nas mensagens (p

frmula de entropia da distribuio de probabilidades (H ), tambm tem o valor

de

bits, que representa o tamanho mdio por evento descrito. Se os eventos

A, B, C e D so apresentados com as probabilidades

0.5, 0.25, 0.125 e 0.125,

1, 2, 3 e 3 bits

respectivamente, a codicao tima para os eventos deve conter

(1,

01, 001

000,

do evento (h).

respectivamente) conforme descrito pela frmula de entropia

A entropia das mensagens dada pela frmula de entropia da

distribuio de probabilidades (H ), tem o valor de

tamanho mdio por evento descrito.
tima de mensagens, a entropia

1.75

bits, que representa o

Note que nesse contexto de codicao

uma medida da quantidade de informao

requerida, na mdia, para descrever a varivel aleatria.

Notas sobre entropia

Alm do log base 2, que expressa entropia em bits, outras bases poderiam ser
usadas, como 3, 4, 5, 6, 7, 10 ou e, e a entropia seria expressa em trits, quarts,
quints, sexts, septs, dits ou nats, respectivamente.

Hb (X) = (logb a) Ha (X).

conveno 0 log0 = 0 usada

A troca de base pode ser

feita por
A

na teoria da informao; essa conveno

facilmente justicada por continuidade, uma vez que

quando

x log(x)

tende a zero

tende a zero (ver Figura 1). Assim, a adio de termos com probabil-

idade zero no muda a entropia.

Os valores de entropia (H e
disso que

0 pi 1,

h) so sempre maiores ou iguais a zero.

log(1/pi ) 0.

A prova

o que implica em

Entropia conjunta, entropia condicional e informao mtua

A teoria da informao tambm capaz de lidar com um par de variveis
aleatrias. capaz de quanticar, por exemplo, a quantidade informao associada s variveis aleatrias conjuntamente (a entropia conjunta,

H(X; Y )),

a quantidade de informao de uma varivel aleatria dado que outra varivel

aleatria conhecida (a entropia condicional,

H(X|Y )) e tambm a quantidade

de informao que uma varivel aleatria contm acerca da outra (informao

mtua,

I(X; Y )).

As relaes entre essas medidas so expressas no diagrama

da Figura 2.

Figura 2  Relaes entre entropia e informao mtua.

"

1
H(X; Y ) =
x
y px;y log px;y . Essa
denio no realmente nova, pois X; Y pode ser considerada uma varivel
aleatria nica, com uma distribuio probabilstica de eventos xi e yi concatenados, na forma xi &yi . Dessa forma, a equao da entropia para uma varivel
aleatria pode ser usada para quanticao da entropia conjunta, H(X; Y ) =
H(X&Y ) = px&y 1/px&y .
1
A entropia condicional dada por H(X|Y ) =
x
y px;y log py|x . Uma
estratgia simples de clculo H(X|Y ) = H(X; Y ) H(Y ), em que os valores
H(X; Y ) e H(Y ) podem ser calculados pela equao da entropia para uma
varivel aleatria. Note que H(X|Y ) geralmente difere de H(Y |X); no entanto,
h a propriedade H(X) H(X|Y ) = H(Y ) H(Y |X), uma forma de obter a
A entropia conjunta dada por

informao mtua entre as distribuies.

I(X; Y ) = x y px;y log pxx;y

py . Uma
estratgia simples de clculo I(X; Y ) = H(X) + H(Y ) H(X; Y ), em que os
valores H(X), H(Y ) e H(X; Y ) podem ser calculados pela equao da entropia
A informao mtua dada por

para uma varivel aleatria.

Uma implementao computacional para quanticao da entropia conjunta,
entropia condicional e informao mtua, capaz de lidar com mais de duas variveis aleatrias, foi desenvolvidas para Matlab por Will Dwinnell; acesse as rotinas em http://www.mathworks.com/matlabcentral/leexchange/authors/85655.

Distncia
A distncia de KullbackLeibler, tambm chamada de entropia relativa, uma
medida da distncia entre duas distribuies de probabilidade. A distncia de
KullbackLeibler

D(p||q) =

pi log(pi /qi ) =

pi log(1/qi ) pi log(1/pi )

uma medida da inecincia dada por assumir que a distribuio de probabilidades

p. Nessa equao, pi e qi indicam

i de uma varivel aleatria discreta nas distribuies

sendo que a verdadeira distribuio

as probabilidades do evento
de probabilidade

p e q.

A aplicao na codicao tima de mensagens, seguindo

a mesma estratgia apresentada previamente, tambm facilita o entendimento

do conceito de distncia.
Se o sistema codicador fosse planejado para tratar os eventos A, B, C e
D nas mensagens, como se fossem equiprovveis (qi
para cada evento teria

bits (11,

10, 01

scrito pela frmula de entropia do evento

= 0.25 cada), a codicao

00, respectivamente), conforme de(h(q)). A entropia esperada das mene

sagens (H(q)), dada pela frmula de entropia da distribuio de probabilidades

q,

tambm tem o valor de

bits, que representa o tamanho mdio esperado por

evento descrito. No entanto, a distribuio verdadeira dos eventos A, B, C e D

pi = 0.5, 0.25, 0.125 e 0.125, respectivamente, e a codicao tima para

h(pi ) = 1, 2, 3 e 3 bits (1, 01, 001 e 000, respectivamente);
denindo, ento, que a entropia das mensagens verdadeira de H(p) = 1.75
bits. No entanto, a aplicao da codicao para distribuio q , com h(qi ) = 2
bits para cada evento para a distribuio p resulta em inecincia (i.e. gasto
adicional de bits) para os eventos A, B, C e D de log(pi /qi ) = 1, 0, =1 e =1 bit,

de

os eventos envolveria

respectivamente (note que inecincia de

=1 bit representa economia de 1 bit).

As inecincias ponderadas pelas probabilidades verdadeiras dos eventos resulta

em

pi log(pi /qi ) = 0.5, 0,

=0.125 e =0.125 bit, respectivamente. A inecincia

q para distribuio
p de D(p||q) = 0.25 bit. Nesse caso, a D(p||q) observada foi igual
diferena entre H(p) e H(q), porm essa relao encontrada apenas em alguns
mdia por evento descrito pela codicao para distribuio
verdadeira
casos.

Outras relaes so encontradas com outras distribuies, como no exemplo

qi = 0.5,
0.125 (h(qi ) = 1, 2, 3 e 3 bits e H(q) = 1.75 bits) e distribuio
verdadeira dada por pi = 0.125, 0.125, 0.25 e 0.5 (h(pi ) = 3, 3, 2 e 1 bits e
H(p) = 1.75 bits). Nesse caso, a inecincia para os eventos seria de log(pi /qi ) =
=2, =1, 1 e 2 bits, e as inecincias ponderadas pelas probabilidades verdadeiras
seriam pi log(pi /qi ) = =0.25, =0.125, 0.25 e 1 bit, respectivamente. Assim, a
inecincia mdia por evento descrito pela codicao para distribuio q para
distribuio verdadeira p seria de D(p||q) = 0.875 bit.
em que os eventos A, B, C e D tm distribuio esperada dada por

0.25, 0.125

Assim, se a verdadeira distribuio de uma varivel aleatria fosse conhecida, seria possvel construir um cdigo com descrio mdia de tamanho

H(p).

Se, no entanto, fosse usado um cdigo para uma distribuio

necessrios

H(p) + D(p||q)

q,

seriam

bits, na mdia, para descrever a varivel aleatria.

Essa quantidade de informao denominada entropia cruzada, que consiste

do nmero mdio de bits para identicar um evento de uma distribuio ver-

p usando um esquema de codicao baseado na distribuio q , dada

H(p; q) = pi log(1/qi ) = H(p)+D(p||q). Note que a notao de entropia

dadeira
por

cruzada a mesma da entropia conjunta; os conceitos, entretanto, so distintos.

A Figura 3 apresenta diferentes distribuies probabilsticas de trinta eventos, a inecincia ponderada associada a cada evento (pi

log(pi /qi ))

destas, que consiste na distncia de KullbackLeibler (D(p||q)).

e a soma

Note que os

valores de inecincia ponderada maiores do que zero correspondem a eventos

que ocorrem na distribuio verdadeira com maior probabilidade do que na distribuio esperada. J eventos com inecincia ponderada menor do que zero
(i.e., eventos com codicao mais econmica do que a codicao tima) so
eventos que ocorrem na distribuio verdadeira com menor probabilidade do que
na distribuio esperada; por serem pouco frequentes na distribuio verdadeira,
sua inecincia (negativa), quando ponderada pelo

pi

baixo tem importncia re-

duzida na denio do valor de distncia nal  essa propriedade garante que

os valores de distncia nunca sejam negativos.

Finalmente, os eventos com

mesma probabilidade nas distribuies esperada e verdadeira esto associados

a inecincia igual a zero.

Figura 3  Distncias de Kullback-Leibler entre diferentes distribuies de

probabilidade de trinta eventos discretos. As curvas ajustadas foram inseridas
apenas para facilitar a visualizao das distribuies.

Notas sobre distncia

As convenes

0 log(0/q) = 0

p log(p/0) =

so usadas na teoria da

informao; essas convenes so justicadas por continuidade.

Nos casos em que se deseja diferenciar entre as distncias
que envolvem distribuies
presentes na distribuio

p,

q1

q2

D(p||q1) e D(p||q2)

que no apresentam alguns dos eventos

uma possibilidade modicar sutilmente as dis-

tribuies, denindo uma probabilidade irrisria mnima para os eventos. Esse

procedimento foi aplicado aos valores de probabilidade das distribuies apresen-

0 e 0.19, e os usados
0.01 e 0.14 (com a aplicao desse procedimento D(p||q1) = D(p||q2) = 0.70 bits e D(p||q3) = 1.83 bits; sem a aplicao,
D(p||q1) = D(p||q2) = D(p||q3) = ).
Os valores de D(p||q) so sempre maiores que zero (se as distribuies p e q
so diferentes) ou iguais a zero (se as distribuies p e q so iguais).
tadas na Figura 3, cujos valores originais variavam entre
para os clculos variavam entre

Apesar do nome, a distncia de Kullback-Leibler no propriamente uma

distncia entre as distribuies, uma vez que ela no simtrica e no satisfaz
a desigualdade triangular, da geometria euclidiana.

Essa caracterstica est

representada na Figura 3, em que os valores das probabilidades so os mesmos

D(p||q2) = D(q2||q3) = 0.70 bits, e

p e q3 no pode ser obtida pela
soma da distncia p a q2 com a distncia q2 a q3 (0.7 + 0.7 = 1.83).
Alm disso, em geral o valor de D(p||q) diferente do valor de D(q||p).

(porm referentes a eventos diferentes):

D(p||q3) = 1.83

bits. Isto , a distncia entre

Referncias
[1] Cover TM, Thomas, JA, 1991. Elements of Information Theory. WileyInterscience, New York.
[2] http://en.wikipedia.org/wiki/File: KL-Gauss-Example.png
[3] http://pt.wikipedia.org/wiki/Complexidade_de_Kolmogorov#Objetivo_
da_complexidade_de_Kolmogorov