Notas de Fundamentos de Telecomunicações

Codificação de Fonte e de Canal

José M. Bioucas Dias

Instituto Superior Técnico, 2015

 Diagrama de blocos de sistema de comunicação digital
Mensagem
estimada
mensagem Utilizador
Fonte

Codificação Descod.
de fonte de fonte

Codificação Descod.
Transmissor de canal de canal Receptor

Modulação Desmod.

Canal
Sinal Sinal
modulado recebido
Fonte
1
 1

0.8

0.6

0.4

0.2

0
0 0.2 0.4 0.6 0.8 1
Fonte
Fonte Codificador
0 1
1
0
0 1
 Todos os códigos

Códigos não-singulares

Códigos univocamente
descodificáveis
Códigos
instantâneos

Exemplos de códigos

Singular Não-singular/ Univocamente Instantâneo

Não-univo. desc./
descod. Não-inst.
1 0 0 1 0
2 0 010 10 10
3 0 01 100 110
4 0 10 1000 111

0010

114
?
12
 Comprimentos do código de Shannon
Extensão de ordem 3
1.4
Ln/n
111 0.512 1 1.2
H(X)
011 0.128 3 Ln - nH(X)
1
101 0.128 3
0.8
110 0.128 3
0.6
001 0.032 5
0.4
010 0.032 5
100 0.032 5 0.2

000 0.008 7 0
2 4 6 8 10 12 14
n

Códigos univocamente
Descodificáveis (CUD)

Códigos
Instantâneos (CI)
 0
0.512
0
0.128 1 1
0 1
0.128 0.488
0 1
0.128 0.256
0
0.032 1 0.232
0 1 0.104
0.032
0 1 0.064
0.032
0.008 1 0.04

porquê?
 0.512 0 1 1

0.128 100 3 3

0.128 101 3 3

0.128 110 3 3

0.032 11100 5 5

0.032 11101 5 5

0.032 11110 5 6

0.008 11111 5 7

Código Código
Huffman Shannon

Incorrecto Correcto

0 0
1 0.4
1 0.4
1 1
2 0.2
2 0.2 1 0 1
1 3 0.2 2
3 0.2
1
2 0.4 4 0.2
4 0.2 0.4
2
5 0
 Mensagem
estimada
mensagem Utilizador
Fonte

Codificação Descod.
de fonte de fonte

Codificação Descod.
de canal de canal

Modulador Desmod.

Canal
Sinal Sinal
modulado recebido
entropia
associada a
X\Y 1 3 3 4

1 1/8 1/16 1/32 1/32 1/4

2 1/16 1/8 1/32 1/32 1/4

3 1/16 1/16 1/16 1/16 1/4

4 1/4 0 0 0 1/4

1/2 1/4 1/8 1/8 1

Entropia de 1ª linha de P Entropia de 2ª linha de P
 1

0.8

0.6

0.4

0.2

0
0 0.5 1
 1 símbolo em 1 símbolo em
cada segundos cada segundos

Fonte Codificador Desodifi.

Canal Destino
de canal de canal

bloco de k bloco de n
símbolos n-k símbolos
símbolos
redundantes