Universidade de Pernambuco

Escola Politécnica de Pernambuco

Teoria da Informação
Comprimento Médio de Um Código
Prof. Márcio Lima
E-mail:marcio.lima@upe.poli.br

21.09.2009
Compriment. Médio de Um Código
Introdução
Foi visto que é possível obter diversos códigos instantâneos ou U.D. para uma
mesma fonte. Sendo assim, é necessário definir um critério para selecionar um
código dente vários. Geralemente, é preferível que um código tenha mais
palavras-código com comprimentos mais curtos, em comparação a outros.

Definição:

Seja um, código de bloco que mapeia símbolos de uma fonte S  s1 , s2 ,..., sq 
em palavras-código X 1 , X 2 ,..., X q . Assuma que as probabilidades dos
simblos da fonte são
p1 , p2 ,..., pq
E que os comprimentos das palavras-código são l1 , l2 ,..., lq . O comprimento
médio, é definido como
q
L   pi li
i 1

Teoria da Informação – Prof. Márcio Lima 2

Compriment. Médio de Um Código
Definição:
Seja um código U.D. que mapeia os símbolos de uma fonte S em palavras-
código de símbolos de um alfabeto r-ário. Esse código é chamado COMPACTO
(para a fonte S) se seu comprimento médio for menor ou igual ao comprimento
médio de qualquer outro código U.D. para a mesma fonte e o mesmo alfabeto
de código.

Fonte sem memória: 

S  s1 , s2 ,..., sq  p1 , p2 ,..., pq
Código de bloco que codifica S por meio de um alfabeto de r símbolos.
q
H S    pi log pi
i 1
q
Seja Q1 , Q2 ,..., Qq  Qi  0, i e Q
i 1
i 1

Teoria da Informação – Prof. Márcio Lima 3

Compriment. Médio de Um Código
Sabe-se
q q
1 1

i 1
pi log
pi
 
i 1
pi log
Qi

Faça r  li
Qi  q

r
l j

j 1
q
H S    pi log
Tem-se 1
i 1 Qi
q
r  li q q
 q l j 
H S    pi log q
  pi log r  li
  pi log   r 

 j 1 
r
i 1 l j i 1 i 1

j 1

Teoria da Informação – Prof. Márcio Lima 4

Compriment. Médio de Um Código
q
r  li q q
 q l j 
H S    pi log   pi log r   pi log   r
Logo  li

q 
 j 1 
r
i 1 l j i 1 i 1

j 1

q
 q l j 
H S   log r  pi li  log   r 

i 1
   j 1 
L

 q l j 
H S   L log r  log   r 

 j 1  q
Como, da desigualdade de Kraft-macMillian   1.
r  li

i 1

H S 
H S   L log r  L   L  H r S 
r

Teoria da Informação – Prof. Márcio Lima 5

Compriment. Médio de Um Código
Condições de Igualdade:

(1) Condição necessária:

q

  1.
r  li

i 1
(2) Condição suficiente:
r  li 1
Qi  q
 r li , i ou log r  li
pi
r
l j

j 1
Para um código instantâneo e uma fonte sem memória S, L deve ser maior ou
igual a Hr(S). E L pode atingir esse limite inferior (Hr(S)) se, e somente se, os
comprimentos das palavras forem
1
li  log r , i.
pi
i
1
E probabilidade dos símbolos da forma  
r Teoria da Informação – Prof. Márcio Lima 6
Compriment. Médio de Um Código
Exemplo. Considere
Símbolo
H S   2 bits/simb.
Probabil.
da Fonte
s1 1/4
s2 1/4 Impossível codificar os símbolos desta fonte com um
s3 1/4 código U.D. com L menor dos 2 bits/símbolos
s4 1/4

2
1 1
Cada símbolo: prob     li  log 4  2
4 2
Código Compacto: 4 palavras de comprimento 2.

s1  00 4
s2  01 L   pi li  2 bits/símbo lo
s3  10 i 1

s4  11 Não há outro código U.D. para essa

fonte com comprimento médio menor!

Teoria da Informação – Prof. Márcio Lima 7

Compriment. Médio de Um Código
4
H S    pi log
Exemplo. Considere 1
Símbolo
Probabil. i 1 pi
da Fonte
1 1 1
 log 2  log 4  2 log 8  1,75 bits/simb.
s1 1/2
s2 1/4 2 4 8
s3 1/8
s4 1/8


1
i

Cada símbolo: prob   ,  i inteiro  É possível alcançar o limite inferior

2 de 1,75 bits/simb.

Código Compacto: l1  1, l2  2, l3  l4  3

 4
1 1 1
L   pi li  1
s1 0
s2  10
 2   3  2
i 1 2 4 8
s3  110
s4  111  1,75 bits/símbo
COMPACTO!

Teoria da Informação – Prof. Márcio Lima 8

Compriment. Médio de Um Código
Exemplo. Projete um código compacto, instantâneo e ternário para a seguinte
fonte: 7
H S    pi log
Símbolo da 1 13

Probabil.
Fonte unid . ternário/s imb (trits/sim b.).
1s 1/3 i 1 pi 9
s2 1/3 Assim, sabe-se que não é possível construir um código ternário
s3 1/9 instantâneo para esta fonte que use menos do que 13/9 símbolos
s4 1/9 ternários/ símbolos-fonte em média.
s2 1/27
Pode-se construir um código que atinge exatamente o valor L, pelo
fato de que as probabilidades pi´s são da forma
S3 1/27 i
1
S4 1/27   , com  i inteiro
 3
1
Código Compacto: Usando li  log 3 , tem-se:
3
s1  0
s2  1 COMPACTO!
7
 13
L   pi li 
s3 20
s4  21
simbolos ternários/símbolo  fonte
i 1 9
s5  220
s6  221  1 
s7  222 Como fazer se li  log r   não for inteiro?
 pi 
Teoria da Informação – Prof. Márcio Lima 9