Teoria da Informao

Entropia como medida de incerteza ou de informao:

Claude Elwood Shannon (1916 2001) matemtico e engenheiro eletrnico americano conhecido
como "o pai da teoria da informao".
De 1932 a 1936, estudou matemtica e engenharia eltrica na University of Michigan. Em 1948,
publicou o importante artigo cientfico intitulado A Mathematical Theory of Communication enfocando
o problema de qual a melhor forma para codificar a informao que um emissor queira transmitir para
um receptor. Neste artigo, trabalhando inclusive com as ferramentas tericas utilizadas por Norbert
Wiener, Claude Shannon props com sucesso uma medida de informao prpria para medir incerteza
sobre espaos desordenados.
Em 1949, em co-autoria com o tambm matemtico estadunidense Warren Weaver (1894-1978),
publicou o livro Teoria Matemtica da Comunicao (The Mathematical Theory of Communication),
contendo reimpresses do seu artigo cientfico de 1948 de forma acessvel tambm a no-especialistas -
isto popularizou seus conceitos.
Entre 1946 e 1953, Claude Shannon integrou temporariamente o grupo reunido sob o nome de Macy
Conferences, contribuindo para a consolidao da teoria ciberntica junto com outros cientistas
renomados como John von Neumann e Norbert Wiener. Shannon famoso por ter fundado a teoria da
informao com um artigo publicado em 1948. Mas a ele tambm creditado como fundador tanto do
computador digital como do projeto de circuito digital em 1937, quando, com 21 anos de idade e aluno
de mestrado no MIT, ele escreveu uma tese demonstrando que uma aplicao eltrica utilizando
lgebra booleana poderia resolver qualquer problema de lgica. Tem sido dito que esta foi a tese de
mestrado de mais importncia de todos os tempos. Shannon contribui para o campo da criptoanlise
durante a segunda guerra mundial.
Biografia
Shannon nasceu em Petoskey, Michigan. Seu pai, Claude Sr (18621934), um descendente dos primeiros
colonos de New Jersey, foi um empresrio bem sucedido e foi juiz por um certo tempo. Sua me , Mabel
Wolf Shannon (18901945), filha de imigrantes alemes, era uma professora de lnguas. Os primeiros 16
anos de Shannon foram em Gaylord, Michigan, onde ele frequentou o ensino pblico, graduando-se no
Gaylord High School em 1932. Shannon mostrou uma inclinao para coisas mecnicas, seus melhores
talentos eram para a cincia e matemtica. Em casa construiu dispositivos tais como modelos de avies,
um modelo de um barco controlado por rdio e um sistema de telgrafo. Enquanto crescia, trabalhava
como mensageiro da Western Union. Seu heri de infncia era Thomas Edison, que descobriu depois ser
um primo distante. Ambos eram descendentes de John Ogden, um lder colonial e um ancestral de
muitas pessoas ilustres.
Teoria Booleana
Em 1932 Shannon comeou a cursar a University of Michigan, formando em 1936 com duas graduaes
de bacharelado em engenharia eltrica e matemtica. Posteriormente, comeou seus estudos de ps-
graduao no Massachusetts Institute of Technology (MIT), onde trabalhou com o analisador diferencial
de Vannevar Bush, um computador lgico.
Ao estudar os complexos circuitos ad hoc do analisador diferencial, Shannon viu que os conceitos de
George Boole, inventor da lgebra booleana, poderia ser til para vrias coisas. Um documento
eleborado a partir da sua tese de mestrado em 1937, A Symbolic Analysis of Relay and Switching
Circuits, foi publicado na edio de 1938 da Transactions of the American Institute of Electrical
Engineers. Howard Gardner, da universidade de Harvard, chamou a tese de Shannon como
"possivelmente a mais importante e tambm a mais famosa tese de mestrado do sculo."
Neste trabalho, Shannon provou que a lgebra booleana e a aritmtica binria poderiam ser utilizadas
para simplificar o arranjo dos rels eletromecnicos e ento utilizados em comutadores para
roteamento telefnico. Expandindo o conceito ele tambm mostrou que deveria ser possvel a utilizao
de arranjos de rels para resolver problemas de lgebra booleana. A explorao dessa propriedade de
interruptores eltricos criou a lgica e os conceitos mais bsico dos computadores digitais. O trabalho
de Shannon tornou-se o principal na rea de circuitos digitais quando se tornou amplamente conhecido
entre a comunidade de engenharia eltrica durante e aps a segunda guerra mundial. O trabalho
terico rigoroso de Shannon substituiu completamente os mtodos ad hoc que haviam prevalecido
anteriormente.
Em 1940, Shannon se tornou pesquisador do Instituto nacional de Estudos Avanados em Princeton,
Nova Jersey. Em Princeton, Shannon teve a oportunidade de discutir suas idias com cientistas e
matemticos influentes como Hermann Weyl e John von Neumann, alm de um encontro ocasional com
Albert Einstein. Shannon trabalhou livremente em todas as reas, e comeou a moldar as idias que se
tornariam a teoria da informao.
Pesquisa em Tempo de Guerra
Shannon em seguida juntou-se a Bell Labs para trabalhar em sistemas de controle de artilharia e
criptografia durante a segunda guerra mundial, sob um contrato com a seo D-2 (Seo de Controle de
Sistemas) do Comit Nacional de Pesquisa em Defesa.
Conheceu sua esposa quando era um analista numerico na Bell Labs. Casaram em 1949.
Durante dois meses no incio de 1943, Shannon entrou em contato como o criptoanalista lder e
matemtico britnico Alan Turing. Turing havia sido enviado para Washington para compartilhar com o
servio de criptoanlise da marinha dos EUA os mtodos utilizados pela escola de cdigos e cifras do
governo britnico em Bletchley Park para quebrar as cifras utilizadas pelos submarinos alemes no
Atlntico Norte. Ele tambm ficou interessado em cifragem de fala e para isso ficou um tempo no Bell
Labs. Shannon and Turing se encontraram na hora do lanche em uma cafeteria e Turing mostrou a
Shannon seu artigo que definiu o que hoje conhecido como a "Mquina Universal de Turing". Em
1945, quando a guerra estava chegando ao fim, O NDRC estava emitindo um resumo dos relatrios
tcnicos como sua ltima atividade antes de seu eventual fechamento. Dentro do volume de controle de
fogo um documento especial entitulado "Suavizao de Dados e Previso em Sistemas de Controle de
Fogo",coautoria de Shannon, Ralph Beebe Blackman, e Hendrik Wade Bode, formalmente tratava do
problema de suavizao dos dados no controle de incndio por analogia com "o problema de separar
um sinal de um rudo interferindo no sistema de comunicao." Em outras palavras foi modelado o
problema em termos de dados e processamento de sinal e assim, anunciava o incio da era da
informao.
Seu trabalho em criptografia foi mais estreitamente relacionada com suas publicaes posteriores sobre
a teoria da informao. No final da guerra, ele preparou um memorando para a Bell Telephone Labs
entitulado "Uma Teoria Matemtica da Criptografia," datada de setembro de 1945. Uma verso
desclassificada deste trabalho foi posteriormente publicada em 1949 como "Teoria da Comunicao de
Sistemas Secretos" no Bell System Technical Journal. Este trabalho incorporou muitos dos conceitos e
formulaes matemticas que tambm apareceram em seu "Uma Teoria Matemtica da Comunicao".
Shannon disse que suas idias em teoria da comunicao e criptografia durante a guerra haviam sido
desenvolvidas simultaneamente e " elas estavam to juntas que voc no podia separa-las" . Em note de
rodap perto do incio do relatrio classificado, Shannon anunciou sua inteno de "desenvolver estes
estudos... em um memorando sobre a transmisso de informaes."
Enquanto na Bell Labs, ele provou que a one-time pad era inquebrvel em sua pesquisa que mais tarde
foi publicada em outubro de 1949. Ele tambm provou que qualquer sistema inquebrvel deve ter
essencialmente as mesmas caractersticas do one-time pad: A chave deve ser verdadeiramente
aleatria, to grande quanto o texto original, nunca reutilizada e mantida em segredo.
Contribuies Ps-Guerra
Em 1948, o memorando prometido apareceu como "A Mathematical Theory of Communication", um
artigo com duas partes nas edies de julho e outubro do Bell System Technical Journal. Este trabalho
enfoca no problema da melhor forma de codificar uma informao que um remetente deseja transmitir.
Neste trabalho fundamental ele usou ferramentas da teoria da probabilidade, desenvolvidas por
Norbert Wiener, que estavam em seus estgios iniciais de serem aplicadas a teoria das comunicaes na
poca. Shannon desenvolveu a entropia da informao como uma medida de incerteza em uma
mensagem.
Contribuio fundamental da teoria da informao para processamento de linguagem natural e
lingstica computacional foi ainda estabelecida em 1951, em seu artigo "Previso e Entropia de
Impresso Ingls", mostrando limites superior e inferior da entropia nas estatsticas de Ingls - dando
uma base estatstica para anlise da linguagem.
Outro papel notvel publicado em 1949 a "Communication Theory of Secrecy Systems", uma verso
desclassificada do seu trabalho em tempo de guerra sobre a teoria matemtica de criptografia , no qual
ele provou que todas as cifras teoricamente inquebrvel deve ter os mesmos requisitos que a one-time
pad. A ele tambm creditado a introduo da teoria da amostragem, que se preocupa com o que
representa um sinal de tempo contnuo a partir de um conjunto (uniforme) discreto de amostras. Essa
teoria foi essencial para permitir a passagem das telecomunicaes dos sistemas analgicos para
sistemas digitais no ano de 1960 e posteriores.
Hobbies e Invenes
Fora de suas pesquisas acadmicas, Shannon estava interessado em malabarismo , monociclo e xadrez.
Ele tambm inventou diversos dispositivos. Um dos seus dispositivos mais engraados era uma caixa
mantida em sua mesa chamada de "Mquina definitiva", baseada em uma idia de Marvin Minsky. Alm
disso, ele construiu um dispositivo que poderia resolver o Cubo de Rubik. Ele tambm considerado o
co-inventor do primeiro computador porttil, juntamente com Edward O. Thorp. O dispositivo foi
utilizado para melhorar as chances quando se jogar roleta .
Legado e homenagens
Shannon chegou ao MIT em 1956, para se juntar ao corpo docente e para realizar um trabalho no
Laboratrio de Pesquisa de Eletrnica (RLE). Ele continuou a servir no corpo docente do MIT at 1978.
Para comemorar suas conquistas, houve celebraes de seu trabalho em 2001, e atualmente h seis
esttuas de Shannon esculpido por Eugene L. Daub : um na Universidade de Michigan , uma no MIT no
Laboratrio de Sistemas de Informao e Deciso , um em Gaylord, Michigan, um na Universidade da
Califrnia, San Diego , uma no Bell Labs , e outro no Labs Shannon AT & T. Aps o rompimento na Bell, a
parte do Bell Labs que ficou com a AT & T foi nomeado Shannon Labs em sua honra.

De acordo com Neil Sloane , a perspectiva introduzida por Shannon da teoria da comunicao (agora
chamada de teoria da informao ) a base da revoluo digital, e cada dispositivo que contm um
microprocessador ou microcontrolador um descendente conceitual da publicao de Shannon ".. Ele
um dos grandes homens do sculo, sem ele, nenhuma das coisas que conhecemos hoje existiria. Toda a
revoluo digital comeou com ele ".

Shannon desenvolveu a doena de Alzheimer , e passou seus ltimos anos em um asilo de
Massachusetts. Ele foi auxiliado por sua esposa, Mary Elizabeth Moore Shannon, o filho, Andrew Moore
Shannon; a filha, Shannon Margarita, uma irm, Catherine S. Kay e suas duas netas.
Ludwig Bolzmann




Para iniciar essa discusso precisamos dar um sentido matemtico palavra INFORMAO ou INCERTEA
e definir uma MEDIDA DA INFORMAO. Para isso o melhor utilizar a metodologia axiomtica na qual
definimos certas propriedades que esperamos que a medida possua atravs dos axiomas e esperamos
que os mesmos limitem a classe de funes capazes de expressar a medida, ou, no melhor dos casos,
que exista apenas uma funo que satisfaz aos axiomas. Claro que, nesse caso, todas as grandezas que
satisfezerem aos mesmo axiomas sero agrupadas e chamadas pelo mesmo nome.
Ento vamos comear esse captulo explicitando um conjunto de axiomas que representem algo que
definimos como informao. Suponha uma varivel aleatria xque pode tomar valores no conjunto
finito { }
1 2
, , ,
n
x x x x e com probabilidades
1 2
, , ,
n
p p p com as restries usuais 0
i
p > e
1
i
i
p =

. Queremos associar uma funo de ( )

1 2
, , ,
n
f p p p que represente uma medida de
incerteza associada varivel aleatria x. Vamos construir duas funes ( ) . h e ( ) . H . A funo
| | : 0,1 h p ser a incerteza associada a um evento de com probabilidade p . Se o evento
{ }
v i
x x = tem probabilidade
i
p ento ( )
i
h p a incerteza associada ao evento { }
v i
x x = .
Podemos pensar que
( )
i
h p a incerteza removida ao descobrir que o evento
{ }
v i
x x = ocorreu, ou
ainda, que a informao revelada pelo fato de que
{ }
v i
x x = ocorreu.
J a funo
( )
1 2
, , ,
n
H p p p a inceretza mdia associada ao conjunto dos eventos
{ }
v j
x x j = , logo:
( ) ( )
1 2
1
, , ,
n
n i i
i
H p p p p h p
=
=


Dessa forma, H a incerteza mdia removida, ou informao mdia revelada, por descobrir o valor de
v
x . Com essas definies vamos impor axiomas sobre a grandeza INCERTEZA ou INFORMAO.

Axioma 1: Suponha que todos os valores de
v
x so independentyes entre si e igualmente provveis.
Nesse caso
1
i
p
n
= e ( )
1 1 1
, , , H f n
n n n
| |
=
|
\ .
ser uma funo de n. Por exemplo, no jogo de
cara ou coroa de uma moeda honesta teremos ( )
1 1
, 2
2 2
H f
| |
=
|
\ .
, e no jogo de escolher uma pessoa
ao acaso de uma cidade com N habitantes teremos ( )
1 1 1
, , , f N H
N N N
| |
=
|
\ .
. Aqui cabe a
pergunta: o que contm mais informao descobrir que se obteve coroa em um jogo de cara-ou-coroa
ou descobrir que o cidado Jos Jesus Pedro (tambm, com tanta ajuda dos santos) foi o escolhido em
uma cidade de 20 milhes de habitantes? Claro que o evento de menor probabilidade, que causa maior
surpresa, deve conter mais informao quando revelado. Esse o primeiro axioma da teoria da
informao:
( )
1 1 1
, , , f n H
n n n
| |
=
|
\ .
monotnica crescente em n.
Em outras palavras, se
2 1
n n > , ento ( ) ( )
2 1
f n f n > .

Axioma 2: Considere agora um experimento envolvendo duas variveis aleatrias independentes. Uma
denominada por x com valores possveis
1 2
, , ,
n
x x x com iguais probabilidades
1
i
p i
n
= , e a
outra denominada y com valores possveis
1 2
, , ,
m
y y y com iguais probabilidades
1
j
p j
m
= .
Como as variveis so independentes ento:
{ }
1
i j
P x x e y y i e j
n m
= = =

Agora, o fato de ter-se revelado o valor de x no traz qualquer informao sobre o valor de y , pois as
variveis so independentes. Assim, a incerteza removida por descobrir o valor de x apenas a
inceretza mdia de x. O mesmo argumento vale para y . Assim, se sorteamos primeiro o valor de x
extramos a incerteza ( ) f n e depois sorteamos y extraindo a incerteza ( ) f m , e no processo
inteiro extramos a incerteza ( ) ( ) f n f m + . Agora se sorteamos as duas variveis simultaneamente,
temos 1 possibilidade em n m , logo extramos a incerteza ( ) f n m . O segundo axioma afirma
que indiferente a ordem de extrao da informao, uma antes da outra ou as duas simultaneamente.
Matematicamente isso escrito como:
( ) ( ) ( ) f n m f n f m = +

Axioma 3: Agora vamos remover a restrio de probabilidades iguais e pensar em termos de
reagrupamento. Vamos agrupar a varivel x em dois conjuntos A e B da seguinte forma:
{ }
1 2
, , ,
k
x x x A e e { }
1 2
, , ,
k k n
x x x B
+ +
e . Vamos sortear a varivel x com o seguinte
processo: primeiro sortear qual grupo, A ou B, e sortear
i
x dentro de seu respectivo grupo.
Agora, pelos axiomas da probabilidade:
( )
1 2 k
P A p p p = + + +
( )
1 2 k k n
P B p p p
+ +
= + + +
Da precisamos responder pergunta: qual a probabilidade de sortear
i
x sabendo que A foi
escolhido? Para responder a essa pergunta usamos os teoremas de Bayes: ( )
( )
( )
|
P AB
P A B
P B
= (l-
se essa expresso como p de A dado B) onde AB A B = . Se A B c ento AB A = e
( )
( )
( )
|
P A
P A B
P B
= . Como
i
x A e ento
{ }
i
x x A = c ento:
( )
1
|
i
i
k
j
j
p
P x A
p
=
=

Da mesma forma:
( )
1
|
l
l
n
i
i k
p
P x B
p
= +
=

Vamos denominar esse experimento de
i
y x = o processo de escolher primeiro o grupo A e depois o
i
x , para diferenci-lo do experimento escolher o x diretamente. A probabilidade ser
( ) ( ) ( ) |
i i
P y x P A P x A = = . Mas ( )
1
k
j
j
P A p
=
=

e ( )
1
|
i
i
k
j
j
p
P x A
p
=
=

logo
( )
1
1
k
i
i j i
k
j
j
j
p
P y x p p
p
=
=
| |
= = =
|
\ .

como deveria ser, claro.

Quanta incerteza ser removida por descobrir qual dos dois grupos foi escolhido?
( ) ( )
1 2 1 2
, ,
A B k k k n
H p p H p p p p p p
+ +
= + + + + + +

Dado que o grupo A foi escolhido qual a incerteza remanescente?
1 2
1 1 1
, , ,
k
k k k
i i i
i i i
p p p
H
p p p
= = =
| |
|
|
|
|
\ .


A mesma coisa para o grupo B:
1 2
1 1 1
, , ,
k k n
n n n
i i i
i k i k i k
p p p
H
p p p
+ +
= + = + = +
| |
|
|
|
|
\ .



Assim a incerteza mdia removida no processo de escolha entre um grupo e outra ser:
1 2 1 2
1 1
1 1 1 1 1 1
, , , , , ,
k n
k k k n
i i
k k k n n n
i i k
i i i i i i
i i i i k i k i k
p p p p p p
p H p H
p p p p p p
+ +
= = +
= = = = + = + = +
| | | |
| |
| | | |
| + |
| |
\ . \ . | |
| |
\ . \ .



A incerteza na escolha de um dado x ser a incerteza na escolha entre os dois grupos adicionada da
incerteza mdia restante na escolha de
i
x dentro de cada grupo, ou seja:
( )
1 2
1 2
1 1 1
1 1 1
1 2
1
1 1 1
, , , , , , ,
, , ,
k n k
k
n i i i
k k k
i i k i
i i i
i i i
n
k k n
i
n n n
i k
i i i
i k i k i k
p p p
H p p p H p p p H
p p p
p p p
p H
p p p
= = + =
= = =
+ +
= +
= + = + = +
| |
|
| | | |
= + | +
| |
\ . \ . |
|
\ .
| |
|
| |
|
|
\ . |
|
\ .

Axioma 4: Simplesmente impe que ( ) ,1 H p p seja contnua em p .

Os 4 axiomas da medida da incerteza ento so:
1. ( )
1 1 1
, , , f n H
n n n
| |
=
|
\ .
monotnica crescente emn.

2. ( ) ( ) ( ) f n m f n f m = + .


3.
( )
1 2
1 2
1 1 1
1 1 1
1 2
1
1 1 1
, , , , , , ,
, , ,
k n k
k
n i i i
k k k
i i k i
i i i
i i i
n
k k n
i
n n n
i k
i i i
i k i k i k
p p p
H p p p H p p p H
p p p
p p p
p H
p p p
= = + =
= = =
+ +
= +
= + = + = +
| |
|
| | | |
= + | +
| |
\ . \ . |
|
\ .
| |
|
| |
|
|
\ . |
|
\ .

4. ( ) ,1 H p p contnua em p .

Com esses 4 axiomas podemos provar o seguinte teorema:
A nica funo que satisfaz aos 4 axiomas : ( )
1 2
1
, , , log
n
n i i
i
H p p p c p p
=
=

. A base do
logartmo no interessa porque pode ser incorporada na constante arbitrria c.

Provar que a funo dada satisfaz aos axiomas fcil.
1. ( )
1 1 1
log log log
i
n
f n c c c n
n n n n
= = =

e logn uma funo monotnica crescente

desde que a base seja um nmero mairo do que 1.
2.
( ) log f n c n = e
( ) log f m c m = logo
( ) ( ) ( ) log log log f n f m c n c m c n m + = + = logo
( ) ( ) ( ) f n f m f n m + = .
3.
( )
1 2
1 1 1 1
1 1 2 2
1
1 1 1 1 1 1
1
1
, , , log log
log log log
k k n n
n i i i i
i i i k i k
k
k k
i
k k k k k k
i
i i i i i i
i i i i i i
n
k
i
i k
i
i k
H p p p c p p c p p
p p p p p p
c p
p p p p p p
p
c p
p
= = = + = +
=
= = = = = =
+
= +
=
| | | | | | | |
= +
| | | |
\ . \ . \ . \ .
(
(
| |
+ + + + (
|
\ . (
(

| |

|
\ .

1 2 2
1 1 1 1 1 1
log log log
k k k n n
n n n n n n
i i i i i
i k i k i k i k i k
p p p p p
p p p p p
+ + +
+ = + = + = + = + = +
(
(
+ + + (
(
(



( )
| |
| |
1 2
1 1 1 1
1 1 2 2 1 2
1 1 1
1 1 2 2 1
, , , log log
log log log log log log
log log log log
k k n n
n i i i i
i i i k i k
k k k
k k i i k i
i i i
k k k k n n k i
H p p p c p p c p p
c p p p p p p c p p p p p p
c p p p p p p c p p
= = = + = +
= = =
+ + + + +
| | | | | | | |
= +
| | | |
\ . \ . \ . \ .
(
+ + + + + + +
(

+ + + +


2
1 1 1
log log
n n n
k i n i
i k i k i k
p p p p
+
= + = + = +
(
+ + +
(



( )
| | | |
1 2
1 1 1 1 1
1 2 1 2
1 1
, , , log log log
log log
n k k n n
n i i i i i i
i i i i k i k
k n
k i k k n i
i i k
H p p p c p p c p p c p p
c p p p p c p p p p
= = = = + = +
+ +
= = +
| | | | | | | |
= +
| | | |
\ . \ . \ . \ .
| | | |
+ + + + + + + +
| |
\ . \ .




( )
1 2
1 1 1 1 1
1 1 1 1
, , , log log log
log log
n k k n n
n i i i i i i
i i i i k i k
k k n n
i i i i
i i i k i k
H p p p c p p c p p c p p
c p p c p p
= = = = + = +
= = = + = +
| | | | | | | |
= +
| | | |
\ . \ . \ . \ .
| | | | | | | |
+ +
| | | |
\ . \ . \ . \ .




( )
1 2
1
, , , log
n
n i i
i
H p p p c p p
=
=

CQD

4. ( ) ( ) ( ) ( )
( ) 1
,1 log 1 log 1 log 1
p
p
H p p c p p p p c p p

(
= + = (

(

que
uma funo contnua no intervalo 0 1 p < s .

O teorema entretanto afirma mais. Afirma que essa a nica funo que satisfaz aos 4 axiomas.
Podemos provar o teorema completo da seguinte forma:
a) Mostrar que
( ) ( )
k
f n k f n = por induo.
Primeiro
( ) ( ) ( ) f n n f n f n = + logo
( ) ( )
2
2 f n f n = verdadeiro. Supor que
( ) ( ) ( )
1
1
k
f n k f n

= verdadeiro e provar que verdade para k . Pelo axioma 2 temos que

( ) ( ) ( ) ( ) ( ) ( )
1
1
k k
f n f n n f n k f n k f n

= = + = CQD.
b) Mostrar que
( ) ( ) log f n c n = com 0 c > .
Para 1 n = , pelo axioma 2, temos que:
( ) ( ) ( ) 1 1 1 1 f f f = + o que significa que
( ) 1 0 f = . Logo
( ) ( ) log f n c n = verdadeira para 1 n = . Para 1 n > vamos tomar um inteiro positivo m qualquer.
Sempre haver um
1
/ 2
k m k
k n n
+
< < . Para provar isso basta aplicar o
2
log em todos os fatores,
lembrando que para 1 b > ento
( ) log
b
x monotnica crescente, que nos leva a:
( )
2 2
log 1 log k n m k n < < + ou ainda ( )
2
1
log
m
k k
n
< < + , ento k o antecessor de
2
int
log
m
n
| |
|
\ .
e
1 k + o sucessor. Pelo axioma 1 sabemos que
( ) ( ) ( )
1
2
k m k
f n f f n
+
s s e pelo teorema (a) temos
que
( ) ( ) ( ) ( ) 2 1 k f n m f k f n s s + , ou seja:
( )
( )
( ) 2 1 f k
k
m f n m
+
s s .
Por outro lado
1
log log2 log
k m k
n n
+
s s , logo ( ) log log2 1 log k n m k n s s + , ou seja:
( ) 1
log 2
log
k
k
m n m
+
s s
Podemos subtrair uma equao da outra conisderando os piores casos tanto nos valores positivos
quanto nos negativos. Do lado negativo o pior caso
1 1 k k
m m m
+
= , e no positivo
1 1 k k
m m m
+
= + , assim:
( )
( )
2
1 log 2 1
log
f
m f n n m
s s + ou seja
( )
( )
2
log 2 1
log
f
f n n m
s
Como esse resultado vlido para qualquer ento fazendo m temos que:
( )
( )
2
log 2
0
log
f
f n n
=
ou que ( )
( ) 2
log
log 2
f
f n n = ento:
( ) log f n c n = CQD
c) Provar que ( ) ( ) ( ) ,1 log 1 log 1 H p p c p p p p = + (

se p racional.
Se p racional ento
r
p
s
= ode r e s so inteiros positivos e r s < porque 1 p < . Agora
podemos criar a funo com ( ) f s a partio:
( ) ;
1 1 1 1
, , , ,
r s r
f s H
s s s s

| |
|
=
|
|
\ .

Aplicando o axioma 3 temos:
( ) ( ) ( ) ,
r s r r s r
f s H f r f s r
s s s s

| |
= + +
|
\ .

aplicando (b) obtemos:
( ) ( ) ( ) ( ) ( ) log ,1 log 1 log c s H p p cp r c p s r = + +
Da qual extramos:
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( )
,1 log log 1 log
log log log log 1 log
log 1 log 1 log
log 1 log
H p p c p r s p s r
c p r p s p s s p s r
r
c p p s r p s
s
r s r
c p p
s s
= + = (

= + + = (

(
| |
= + =
|
(
\ .

(
| | | |
= +
| |
(
\ . \ .


Portanto:
( ) ( ) ( ) ,1 log 1 log 1 H p p c p p p p = + (

CQD

Como essa funo vlida para todo nmero racional e a funo contnua ento o resultado vlido
para qualquer
| | 0,1 p p e e .
d) Finalmente provar que ( )
1 2
1
, , , log
n
n i i
i
H p p p c p p
=
=


J sabemos que a frmula verdadeira para 1 n = ,
1
1 p = , ( ) ( )
1
1 1 0
1
f H H
| |
= = =
|
\ .
, e para
2 n = ,
1
p p = ,
2
1 p p = e ( ) ( ) ( ) ,1 log 1 log 1 H p p c p p p p = + (

. Vamos
supor que a frmula verdadeira para 1 n e mostrar que, ento, verdadeira para n. Para mostrar
o ltimo ponto precisamos do axioma 3.
( ) ( )
( )
1 2 1 2 1
1 1 2
1 2 1
, , , , ,
, , ,
1 1 1
n n n
n n
n n
n n n n
H p p p H p p p p
p p p p
p p p H p H
p p p p

= + + + +
| | | |
+ + + + +
| |

\ . \ .


( ) ( ) ( ) ( )
1 1 2
1 2
, , , 1 , 1 , , , 1
1 1 1
n
n n n n n
n n n
p p p
H p p p H p p p H p H
p p p

| |
= + +
|

\ .


( ) ( ) ( )
( )
1 2
1 1 1 1 2 2
, , , log 1 log 1
1 log log log
1 1 1 1 1 1
n n n n n
n n
n
n n n n n n
H p p p c p p p p
p p p p p p
c p
p p p p p p

= + + (

| |
+ + +
|

\ .



( ) ( ) ( )
1 2
1 1 2
1 2 1
, , , log 1 log 1
log log log
1 1 1
n n n n n
n
n
n n n
H p p p c p p p p
p p p
c p p p
p p p

= + + (

| |
+ + +
|

\ .


( ) ( ) ( )
( )
( ) ( ) ( )
1 2
1 1 2 2 1 1
1 2 1
, , , log 1 log 1
log log log
log 1 log 1 log 1
n n n n n
n n
n n n n
H p p p c p p p p
c p p p p p p
c p p p p p p

= + + (

+ + + +
+ + + + (



( ) ( ) ( )
( )
( ) ( )
1 2
1 1 2 2 1 1
1 2 1
, , , log 1 log 1
log log log
log 1
n n n n n
n n
n n
H p p p c p p p p
c p p p p p p
c p p p p

= + + (

+ + + +
+ + + +


( ) ( )
( ) ( ) ( ) ( )
1 2 1 1 2 2 1 1
, , , log log log log
1 log 1 1 log 1
n n n n n
n n n n
H p p p c p p p p p p p p
c p p p p

= + + + + +
(


Chegando ao resultado final
( ) ( )
1 2 1 1 2 2 1 1
, , , log log log log
n n n n n
H p p p c p p p p p p p p

= + + + +
Ou seja:
( )
1 2
1
, , , log
n
n i i
i
H p p p c p p
=
=


Quando Shannon descobriu essa medida ele notou que era idntica entropia de Boltzmann:
ln
B i i
i
S k p p =


e a denominou de ENTROPIA, hoje tambm conhecida como entropia de Shannon.

Entropia de Shannon e a Fsica Estatstica:
Princpio da MAXIMIZAO DA INCERTEZA, ou da ENTROPIA.
Agora nos fazemos a pergunta: qual a distribuio de probabilidades c que maximiza a entropia
ln
B i i
i
S Nk p p =

?
Ensemble Microcannico. Nesse ensemble s temos a restrio 1
i
i
p =

. Nesse caso, o
Lagrangeano do sistema dado por:
ln 1
B i i i
i i
k p p p
| |
=
|
\ .

L
A soluo ser dada por
1
ln 0
B ij i B i ij ij
i i i j i
k p k p
p p
o o o
c
= =
c

L
ln 0
B j B
k p k = ou seja, ln ln
B
j o
B
k
p p
k
+
= = , a probabilidade constante, no
depende de j . Aplicando a restrio vemos que 1
o
i
p =

implica em
1
o
p
N
= . Agora, se
desejado pode-se determinar o valor do multiplicador de Lagrange .
Essa distribuio a uniforme, com iguais probabilidades priori, uma suposio forte da fsica
estatstica que diz que, na ausncia de qualquer outra informao atribui-se iguais probabilidades. Esse
o caso de ensemble microcannico, com N partculas fechadas em uma caixa isolada de volume fixo,
ou seja, o nmero de partculas, a energia total e o volume so conhecidos.

Ensemble Cannico. Agora existem uma informao extra, sabemos que a energia mdia do
sistema vale c . Nosso problema passa a ser achar o mximo da entropia ln
B i i
i
S k p p =


com as restries 1
i
i
p =

e
i i
i
p c c =

. Nesse caso, o Lagrangeano do sistema dado por:

1 2
ln 1
B i i i i i
i i i
k p p p p c c
| | | |
=
| |
\ . \ .

L
A soluo ser dada por
1 2
ln 0
B j B j
j
k p k
p
c
c
= =
c
L
1 2
ln 1
j j
B B
p
k k

c = , e
2
j
B
k
j o
p p e

c
= .
Encontrando as constantes
o
p e
2
:
2
j
B
k
j o
p p e

c
= e
2
ln ln
j o j
B
p p
k

c = portanto
( )
2 2
ln ln
B i o i B i o B i i
i i i
B B
S k p p k p p k p
k k

c c
| |
= = +
|
\ .


Ou seja:
2
ln
B o
S k p c = +
Mas da termodinmica sabemos que
1
S
T c
c
=
c
, logo
2
1
T
= e
j
B
k T
j o
p p e
c

= . S falta
encontrar
o
p , aplicando a restrio 1
i
i
p =

, que nos leva 1

i
B
k T
o
i
p e
c

, ou seja:
1
i
B
o
k T
i
p
e
c

. Chamamos a funo de partio

i
B
k T
i
Z e
c

, ento
1
o
p
Z
= e a probabilidade
de cada estado dada por:
j
B
i
B
k T
j
k T
i
e
p
e
c
c

. Os fsicos gostam de usar o seguinte truque: definir

1
B
k T
| = , e escrever
j
i
j
i
e
p
e
|c
|c

e usar ln ln
i
i
e Z
|c
c
| |

c c
= =
c c

. Esse a ensemble
cannico.

O processo pode ser generalizado incluindo outras restries. Por exemplo:

Achar o mximo da entropia ln
B i i
i
S k p p =

com as restries 1
i
i
p =

,
i i
i
p c c =

e
i ki k
i
p x x =

. Nesse caso, o Lagrangeano do sistema dado por:

1 2 3
ln 1
B i i i i i i ki k
i i i i
k p p p p p x x c c
| | | | | |
=
| | |
\ . \ . \ .

L
1 2 3
ln 0
B j B j kj
j
k p k x
p
c
c
= =
c
L
2 3 j kj
B B
x
k k
j o
p p e e
c

= e
2 3
ln ln
j kj
j o
B B
x
p p
k k
c
= logo
2 3
2
3
ln
ln
j kj
B i o
i
B B
j
ki
B o i B i B i
i i i
B B
x
S k p p
k k
x
k p p k p k p
k k
c
c

| |
= =
|
\ .
| | | |
= + +
| |
\ . \ .

2 3
ln
B o i i i ki
i i
S k p p p x c = + +


2 3
ln
B o k
S k p x c = + +
As variveis termodinmicas conjugadas [uma intensiva e outra extensiva] so dadas por
k
k
S
y T
x
c
=
c
.
Ento
2
1
S
T

c
c
= =
c
e
2
k
k
y
S
x T

c
= =
c
o que significa que
j k kj
B
y x
k T
j o
p p e
c +

= ,
1
j k kj
B
o y x
k T
j
p
e
c +

e, finalmente,
j k kj
B
i k ki
B
y x
k T
j y x
k T
i
e
p
e
c
c
+

. Daqui podemos extrair os ensembles grand-cannico e T-P.

Generalizao do Mtodo de Entropia Mxima.
O problema de inferir qual a distribuio de probabilidades
1 2
, , ,
n
p p p a partir de ertas
observveis pode ser generalizado colocando o problema como:
Encontrar
1 2
, , ,
n
p p p que maximiza a entropia
Maximizar ln
i i
i
H p p =

com as restries:
1 1
2 2
1
i
i
i i
i
i i
i
i ki k
i
p
p x x
p x x
p x x
=
=
=
=

O Lagrangeano do sistema dado por:
1
ln 1
i i i j i ji j
i i j i
p p p p x x
| | | |
=
| |
\ . \ .

L
1 1
1
ln 1 0
k
m j jm
j m
p x
p

+
=
c
= =
c

L
1 1
ln 1
m j jm
j
p x
+
= + +

,
2 1 3 2 1 1
1
m m k km
x x x
m
p e e e e

+

= . Definindo
1
1
o
p e

= ,
2
2
r e

= ,
3
3
r e

= , ... e
1 k
k
r e

+

= as k constantes devem ser extraidas do sistema de equaes no

lineares das restries:
1 2
1 2
1 2
1 2
2 3 1
1
2 3 1
1
2
2 3 1
2
2 3 1
1 0
1 0
1 0
1 0
m m km
m m km
m m km
m m km
x x x
o k
m
x x x
m
o k
m
x x x
m
o k
m
x x x
km
o k
m
k
p r r r
x
p r r r
x
x
p r r r
x
x
p r r r
x
+
+
+
+
=
=
=
=

Que pode ser re-escrito da forma:
( )
( )
( )
1 2
1 2
1 2
1 2
2 3 1
1 1 2 3 1
2 2 2 3 1
2 3 1
1
0
0
0
m m km
m m km
m m km
m m km
o
x x x
k
m
x x x
m k
m
x x x
m k
m
x x x
km k k
m
p
r r r
x x r r r
x x r r r
x x r r r
+
+
+
+
=
=
=
=

Nesse caso, ento, a estratgia : usar SOLVER para encontrar
2 3 1
, , ,
k
r r r
+
com as 1 k equaes:
( )
( )
( )
1 2
1 2
1 2
1 1 2 3 1
2 2 2 3 1
2 3 1
0
0
0
m m km
m m km
m m km
x x x
m k
m
x x x
m k
m
x x x
km k k
m
x x r r r
x x r r r
x x r r r
+
+
+
=
=
=

O valor de
o
p ento calculado com
1 2
2 3 1
1
m m km
o
x x x
k
m
p
r r r
+
=

.

Caso particular com apenas uma restrio de valores mdios:
Encontrar
2
r que seja soluo de ( )
1
1 1 2
0
m
x
m
m
x x r =

e calcular
1
2
1
m
o
x
m
p
r
=

.



Considere um experimento repetido N vezes com k resultados possveis. Quantos resultados so
possveis? Claro que
N
k . Agora nos perguntamos qual a multiplicidade do experimento em que o
resultado 1 foi obtido
1
N vezes, o 2 foi obtido
2
N vezes e assim por diante at o resultado k , obtido
k
N vezes, de modo que
1 2 k
N N N N + + + = . Multiplicidade significa de quantas formas
podemos obter esse resultado.
De quantas formas podemos colocar
1
N objetos de N em uma caixa com primeiro valor do
experimento sem reptio? Considere que temos
1
N caixas. Para a primeira caixa temos N opes,
para a segunda 1 N , pois j tiramos uma opo das N , e assim por diante at a caixa
1
N para a
qual sobraram
1
1 N N + opes, como mostra o diagrama abaixo:
1
1
1 2
, 1, , 1
N
N N N N +
Em princpio teramos ( ) ( )
( )
1
1
!
1 1
!
N
N N N N
N N
+ =

opes, mas devemos

lembrar que a ordem com que os objetos de cada caixa foi retirada no interessa, ento temos que
dividir esse nmero pelas permutaes possveis das
1
N caixas. Essas permutaes so dadas pelo
mesmo problema na forma:
1
1 1
1 2
, 1, , 1
N
N N e valem
1
! N . Logo temos
( )
( )
1 1,
1 1
!
! !
N
C N N
N N N
=

possibilidades para a primeira caixa. Sobraram

1
N N objetos dos
quais queremos colocar
2
N na segunda caixa. Repetindo o raciocnio vemos que teremos
( )
( )
( )
1
2 2, 1
2 1 2
!
! !
N N
C N N N
N N N N

=

, na terceira caixa teremos
( )
( )
( )
1 2
3 3, 1 2
3 1 2 3
!
! !
N N N
C N N N N
N N N N N

=

, at a ltima com
( )
( )
( )
1 2 1
, 1 2 1
1 2
!
! !
k
k k k
k k
N N N N
C N N N N N
N N N N N

=

. Multiplicando todas
elas teremos:
( )
( )
( )
( )
( )
1 2 1 1
1 1 2 1 2 1 2
! !
!
! ! ! ! ! !
k
k k
N N N N N N
N
W
N N N N N N N N N N N N

=


Ou seja:
1 2
!
! ! !
k
N
W
N N N
= com a restrio
1 2 k
N N N N + + + = .
Aplicando o logartmo neperiano temos:
1
ln ln ! ln !
k
j
j
W N N
=
=

.

A aproximao de Stirling para o logartmo da funo fatorial de nmeros muito grandes [ver notas de
srie de Taylor]
( ) ( )
( )
ln 1 ! ! 1 !
ln ! ln ln 1 ln
1 !
N LnN N
d
N N N
dN N
+ +
~ = = + ~ , ou seja
ln ! ln
d
N N
dN
~ logo ln ! ln ! ln ln N d N NdN N N N = = =
} }
e a aproximao de
Stirling dada por: ln ! ln N N N N ~ . Usando essa aproximao temos que:
( )
1
1 1
1
1 1 1
ln ln ln
ln ln
ln ln
ln ln ln ln
k
j j j
j
k k
j j j
j j
k
j j
j
k k k
j j j j
j j j
W N N N N N N
N N N N N N
N N N N
N N N N N N N N
=
= =
=
= = =
= =
= + =
= =
= +

( )
1 1 1
1
ln ln ln ln ln
ln ln ln ln
k k k
j j j j
j j j
k
j j
j
W N N N N N N N N
N N N N N N N
= = =
=
= + =
=

1
ln ln
k
j j
j
N N
W N
N N
=
=

ou seja:
1
ln ln
k
j j
j
W N p p
=
=

e ln
B i i
i
S Nk p p =

a entropia de Boltzmann.