CAPÍTULO 1 – INTRODUÇÃO À TEORIA DE

INFORMAÇÃO: CODIFICAÇÃO DE FONTE E DE

CANAL

 Introdução
 Medida de informação
 Codificação de fonte
 Codificação de canal
 Exercícios
 1.1. INTRODUÇÃO – SISTEMA DE
TELECOMUNICAÇÕES
 Def. (básica): Conj. de equip. interligados como objetivo de
transmitir a informação (com garantia de qualidade) entre
pontos geograficamente distintos (fonte e destino).

Diagrama esquemático de um sistema de comunicação genérico (Shannon, 1948)

 1.1. INTRODUÇÃO - TEORIA/INFORMAÇÃO

 TI (Def.): Disciplina centrada na abordagem matemática sobre o

armazenamento e manipulação (tratamento) da informação
 Base para telecomunicações e outro campos (biologia molecular,
física quântica, matemática, etc)
 Objectivo: melhorar a eficiência da comunicação (codificação de
fonte e de canal) com base nas possib. e limitações das leis físicas.
 Questões básicas
 Medida ou gestão da informação
 Codificação da fonte (adaptar a fonte ao canal)
 Capacidade do canal e transmissão fiável da informação

 Existem diversas teorias da informação

 TI Shannon (Dec. 40): perspectiva probabilística (compressão e
codificação de dados).
 TI Kolmogorov: perspectiva computacional.
 1.1. INTRODUÇÃO - TEORIA/INFORMAÇÃO

 Questões básicas levam-nos ao TFTI (Shanon): “Dada uma fonte e um

canal de comunicação, existe uma técnica de codificação tal que a
informação pode ser transmitida com poucos erros, apesar da
presença do ruído”.
 Reflexões ao TFTI
 Com uma codificação podemos transmitir sem erros
 A codificação serve para adaptar o canal à fonte

 TFTI Responde:
 O que é a informação e como a gerí-la?
 Limites à transmissão e extracção de informação?
 Equipamentos ou dispositivos para estes limites?

 Objecto do capítulo: Descrever os fundamentos da TI relacionada à

medida de informação, codificação da fonte e do canal e aplicar em
problemas de compressão e codificação de dados com base na TIS
 1.2. MEDIDA DA INFORMAÇÃO

1.2.1. Quantidade de informação (I)

 Diferentes significados (incerteza; surpresa)
 Shannon (Conceito Matemático): diminuição da
Incerteza
 Fonte emitindo: BBCACBAACACBC… (incerteza do
próximo símbolo) = grande informação
 Fonte emitindo: AAAAAAAAAA… (certeza do
próximo símbulo=A) = nenhuma informação
1.2. MEDIDA DA INFORMAÇÃO (2)
1.2. MEDIDA DA INFORMAÇÃO

Gráfico da função log10(x).

Gráfico da função log2(x).

1.2. MEDIDA DA INFORMAÇÃO

1 A 0,1356 2,9 15 O 0,1045 3,3

2 B 0,0088 6,8 16 P 0,0279 5,2
3 C 0,0334 4,9 17 Q 0,0151 6,0
4 D 0,0478 4,4 18 R 0,0625 4,0
5 E 0,1272 3,0 19 S 0,0809 3,6
6 F 0,0100 6,6 20 T 0,0433 4,5
7 G 0,0112 6,5 21 U 0,0491 4,3
8 H 0,0138 6,2 22 V 0,0177 5,8
9 I 0,0642 4,0 23 W 0,000011 16,5
10 J 0,0034 8,2 24 X 0,0029 8,4
11 K 0,000011 16,5 25 Y 0 _
12 L 0,0278 5,2 26 Z 0,0047 7,7
13 M 0,0539 4,2 27 - 0,0054 7,5
14 N 0,0493 4,3
Exemplo: Freq. das letras de um texto e as respectivas QI (livro
Dom Casmurro, de Machado de Assis); exercícios
1.2.MEDIDA DA INFORMAÇÃO

H=f(p) para dois símb.

 1.2.MEDIDA DA INFORMAÇÃO
1.2.2. Entropia (H)

 Observação: H (Livros em português)≈4,0 bits/s

 Freq. letras dependem da caracteristica da língua e não de um
autor
 L. Portuguesa: a,e (11%); o (10%); i (6,5%); r,s,m,n (5%);
z,j,x,k,w,y (<0,5%)
 L. Inglesa: e (11%), a (8,5%), r(7,6%), i (7,5%), o (7,2%), t (7,0%),
v (1%), x (0,3%), z (0,3%), j (0,2%), q (0,2%)
 Frq. letras não variam muito de texto para texto na mesma
língua
 Serve para reconhecer a língua de um texto

 Exercícios
 1.3. CODIFICAÇÃO DA FONTE

 Introdução

 QI (I) e Entropia (H): Estabeceram Limites teóricos

para a codificação da informação

 Estudar esses limites (de I e H) e as técnicas de CF

que se os aproximam (e, sob certas
circunstâncias,os atingem).
 1.3. CODIFICAÇÃO DA FONTE

 Objectivo

 Reduzir a informação redundante da digitalização do

sinal de entrada

 Reduzir o comprimento médio, atribuindo códigos de

pequeno comprimento aos simbolos mais prováveis.

 Slides CD
 1.3. CODIFICAÇÃO DA FONTE

 Código

 Def: Forma de representar os símbolos da fonte,

atribuindo à cada um uma sequência finita de
símbolos

 Exemplo: Seja um alfabeto/fonte X={a,b,c,d,e} e um

código/fonte D={0,1,2}→C(a)=0; C(b)=10; C(c)=22;
C(d)=2; C(e)=210
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Condições para que os códigos sejam utilizáveis
c) Instantânio (de Prefixo): Descodif. Sem demora, pois
nenhum cód. É prefixo do outro (caminho único)
 Exemplo: Seja X={a,b,c,d}; D={0,1}: C(a)=01; C(b)=11;
C(c)=00; C(d)=110. se RX={110000...0011}, como descod.?
 P/n par (n/2) →bcc...cb e P/n ímpar (n-1/2)→dcc...cb
 Conclusão: N/Inst.
 C(b)=11 é prefixo de C(d)=110
 Várias condições para descod.
 Grande atraso
 1.3. CODIFICAÇÃO DA FONTE
 Códigos utilizáveis:
 Não singulares

 Univocam. descod.

 Instantâneos
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Teorema da Codificação de Fonte (1º Teorema de Shannon)
 Existe alguma relação entre a H e L: Como codificar? L Variável ou
constante?
 Seja H(A) a EFDSM e L o CMP do CF: Se ε>0; L≥H(A)<H(A)+ε
 Existe código unívoco e instantâneo para a fonte
 L>=H(A), L: N.º DB p/Cada Símbolo da Fonte
 Conclusões
 Existe limite para a codificação de fonte.
 H=Limite inviolável p/N.º DB para a Codificação
 Se L<H(A): Não há codificação (L=H: Cód. Óptimo e
ideal)
 1.3. CODIFICAÇÃO DA FONTE
 Teorema da Cod. de Fonte (1º T/Shannon) – Exemplo

 Produzir um código binário (0 e 1) para representar a

informação produzida por uma fonte que emite quatro
símbolos, A, B, C e D, com probabilidades PA=0,5; PB=0,25
e PC=PD=0,125, respectivamente.

 1ª Possibilidade (natural): “00”, “01”, “10” e “11” para A,

B, C e D, Lmédio = 2 bits/símbolo: Forma mais eficiente?

 2ª Possibilidade: “0”,“10”, “110” e “111” para A, B, C e D,

Lmédio=1x0,5+2x0,25+3x0,125+3x 0,125=1,75 bits.
 Mais eficiente; código óptimo.
 1.3. CODIFICAÇÃO DA FONTE
 Redundância
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Extensão da fonte (Shannon)

 Razão: Cond. H≤L<H+ ε p/H baixo→Cód. Óptimo pouco

eficaz

 Obj/Def: Codificar os símb. em grupos/blocos e não indiv.

p/H muito baixa, diminuindo o N.º bits/símb.
(H(bloco)=H(símb. Indep.)

 Nova Cond. p/Cód. Óptimo: H≤ Ln<H+ 1/n; ε=1; n –

N.º/Ext.
 1ª Ord. A1 (A); 2ª Ord. A2 (AxA); 3ª Ord. A3 (AxAxA); kª Ord.
Ak (AxAx...xA).
 Ex. F/Orig. (n=1): A1 ={0,1} → F/ext .2ª Ordem (n=2): A2
={00,01,10,11}
 1.3. CODIFICAÇÃO DA FONTE
 Extensão da fonte (Shannon)

 Ex1. Máq/Escrever com 50 caracteres:

 1 Grupo de 50 caracteres: log250 = 5,62 DB/C (usando
6, desperdício: 26- 50 = 14).
 3 grupos de 50 caracteres: log2 503=16,9 DB/C
(usando,17 desperdício 217- 125000=6072)
 Obs.: P/codif. Individualm.: 18 DB/C (em vez dos 17
p/o grupo)

 Conclusão: Usa-se menos DB/C agrupando os símbolos

(maior eficiência)
1.3. CODIFICAÇÃO DA FONTE
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Taxa de informação (Exemplo)
1. Uma fonte emite r=2000 símb/s de um alfabeto de
M=4 elementos, com as probabilidades de p(A)=1/2;
p(B)=1/4; p(C)=1/8; p(D)=1/8. Se quisermos codificar
estes símbolos através de dígitos binários qual é o
número mínimo de binits que podemos transmitir por
unidade de tempo?
a) Entropia: H=1/2x1+1/4x2+2x1/8x3=1,75 bits/s
(Hmax=logM=2)
b) Taxa de Informação: R=rxH=2000x1,75=3500 bits/s
c) Taxa binária: rb≥R≥3500 bits/s (TDB p/transmitir pela
fonte através de uma codif adequada)
 1.3. CODIFICAÇÃO DA FONTE
 Codificação binária de uma 1) Entropia H = 1,75 bits/símb.
FSM (Exemplo)
 FDSM de de 4 símbolos A, 2) Cód.I: K=1; L>H (UD); E=H/L=88%
B, C e D com pi 1/2, 1/4,
1/8, 1/8. Quatro possíveis 3) Cód. II: K>1; L<H (N/UD (ex.:10011
formas de codificação: pode ser BAABB ou CABB ou CAD,
etc.)
Cód. Cód. Cód. Cód.
xi pi
I II 4) Cód.III: K<1; L<H (UD); E=H/L=93%
III IV
(Todos “0”).
A 1/2 00 0 0 0
B 1/4 01 1 01 10
5) Cód. IV: k=1; L=H (UD); E=H/L=100%
C 1/8 10 10 011 110
Cod. Prefixo (estrut. Cód. Dif.p/símb.)
D 1/8 11 11 0111 111 Cód. Óptimo L=H e K=1 (Exemplo:
Lmed 2 1,25 1,875 1,75 110010111 ↔ CABD)
K 1 1,5 0,9375 1
 1.3. CODIFICAÇÃO DA FONTE
 Códigos de fonte para a compressão de
dados

2 modelos Modelos
 Estatísticos (Códigos)
 Shannon – Fano;
 Huffman
 Aritmético

 Dicionários (Códigos)
 Lampel – Ziv 77
 Lampel – Ziv 78
 Lampel – Ziv – Welch
 1.3. CODIFICAÇÃO DA FONTE
 Código de Huffman

 Propriedade:
 N.º Méd. DB por Símb. É Minimo

 Garante que H≤L<H+1 (H=L: Cód. Ideal, Óptimo)

 Árvore do código

 Ex. 4 símbolos: A,B,C,D com pA=3/8, pC=1/4,

pG=1/4, pT=1/8 (L? H? Código?)
 L=2; H=1,9;E=95%
 1.3. CODIFICAÇÃO DA FONTE (HUFFMAN)
 Passos p/construir árvore Cód.
 Ordem decrescente das probab.
 Agrupar dois nós de menor
probab. somá-los e formar um
novo nó;
 Atribuir “0” e “1” a cada ramo
dos nós que se juntaram
 O código de cada símbolo
obtém-se pela leitura
sequencial da raiz até ao nó
final

 Adicionar prob. 0 quando não é possível agrupar

(A=1,2,3,4); pA(0,4;0,2;0,2;0,2)
 1.3. CODIFICAÇÃO DA FONTE
 Código de Huffman (Exercício)
 Usar o código de Huffman para codificar uma fonte que
produz oito símbolos: P(x1)=0,50; P(x2)=0,02; P(x3)=0,03;
P(x4)=0,04; P(x5)=0,10; P(x6)=0,04; P(x7)=0,12; P(x8)=0,15.
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE

 Codificação de Huffman – problemas

1. Requer conhecer a priori o modelo probabilístico da

fonte
2. Gera um cód. Para cada símbolo

3. Em algumas aplicações, como modelamento de texto, a

armazenagem impede o código de Huffman de capturar
as relações entre palavras e frase – comprometimento
da eficiência do código

4. Alternativa??
1.3. CODIFICAÇÃO DA FONTE
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE

Log(
i 1/pi pi 1/pi) li Fi C(xi) (Dec) H

1 2 0,50000000000 1 2 0,50000000000 0,250000000000 25 1 0,5

2 4 0,25000000000 2 3 0,75000000000 0,625000000000 625 0,75 0,5

3 8 0,12500000000 3 4 0,87500000000 0,812500000000 8125 0,5 0,375

4 16 0,06250000000 4 5 0,93750000000 0,906250000000 90625 0,3125 0,25

5 32 0,03125000000 5 6 0,96875000000 0,953125000000 953125 0,1875 0,15625

6 64 0,01562500000 6 7 0,98437500000 0,976562500000 9765625 0,109375 0,09375

7 128 0,00781250000 7 8 0,99218750000 0,988281250000 98828125 0,0625 0,054688

8 256 0,00390625000 8 9 0,99609375000 0,994140625000 994140625 0,0351563 0,03125

9 512 0,00195312500 9 10 0,99804687500 0,997070312500 9970703125 0,0195313 0,017578

10 1024 0,00097656250 10 11 0,99902343750 0,998535156250 99853515625 0,0107422 0,009766

11 1024 0,00097656250 11 12 1,00000000000 0,999511718750 999511718750 0,0117188 0,010742

2,99902344 1,9990234
 1.3. CODIFICAÇÃO DA FONTE

Log( C(xi)
i 1/pi pi 1/pi) li Fi Bin H

1 2 0,50000000000 1 2 0,50000000000 0,250000000000 01 1 0,5

2 4 0,25000000000 2 3 0,75000000000 0,625000000000 101 0,75 0,5

3 8 0,12500000000 3 4 0,87500000000 0,812500000000 1101 0,5 0,375

4 16 0,06250000000 4 5 0,93750000000 0,906250000000 11101 0,3125 0,25

5 32 0,03125000000 5 6 0,96875000000 0,953125000000 111101 0,1875 0,15625

6 64 0,01562500000 6 7 0,98437500000 0,976562500000 1111101 0,109375 0,09375

7 128 0,00781250000 7 8 0,99218750000 0,988281250000 11111101 0,0625 0,054688

8 256 0,00390625000 8 9 0,99609375000 0,994140625000 111111101 0,0351563 0,03125

9 512 0,00195312500 9 10 0,99804687500 0,997070312500 1111111101 0,0195313 0,017578

10 1024 0,00097656250 10 11 0,99902343750 0,998535156250 11111111101 0,0107422 0,009766

11 1024 0,00097656250 11 12 1,00000000000 0,999511718750 11111111111 0,0117188 0,010742

2,99902344 1,9990234
 1.3. CODIFICAÇÃO DA FONTE
 Código Aritmético

 Aautores: Piter Elias (1960); Abramson (1963);

Rissanen e Pasco (1976); Rubin (1979); Witten
(1987); Mofat (1998)

 Justificação
 Aumento de conteúdos de miltimédia
 Limitação física da estrutura da rede
 Algorítmo de codificação eficiente

 Vantagem: um único cód. A um conjunto de símbolos

 1.3. CODIFICAÇÃO DA FONTE
 Código Aritmético (Exemplo)
 Considere-se uma fonte sem memória com alfabeto {1, 2,
3, 4}; as probabilidades dos símbolos são,
respectivamente, {0.4, 0.35, 0.15, 0.1}. Pretende obter-se a
palavra de código aritmético binário para sequência (1, 1,
2, 1, 4, 3, 2).
 1.3. CODIFICAÇÃO DA FONTE
 Código Aritmético (Exemplo)

 A probabilidade desta sequência é

p(1)p(1)p(2)p(1)p(4)p(3)p(2)=0.4x3x0.35x2x0.15x 0.1 = 0.0001176.

 Inserindo esse valor em l = ⌈−log2 p(X1x...xXn)⌉+1, pode desde já

afirmar-se que a palavra de código possui 15 bits.

 Dado que o alfabeto possui 4 símbolos, em cada iteração o intervalo

actual [L, R[ é subdividido em 4 subintervalos I1, I2, I3 e I4, definidos
por 5 pontos T1 = L, T2, T3, T4 e T5 = R.

 Na tabela seguinte, apresenta-se a evolução do algoritmo, listando-se

os sucessivos valores dos pontos que delimitam os subintervalos, o
subintervalo escolhido por cada símbolo e a respectiva largura.
 1.3. CODIFICAÇÃO DA FONTE

 Código Aritmético (Exemplo)

 Código Aritmético (Exemplo): evolução do algoritmo

 F(1, 1, 2, 1, 4, 3, 2) = 0,0859744 +0.00011762 = 0,0860332.
 Em base 2, F(1, 1, 2, 1, 4, 3, 2) = 0,0001011000000110010001...,
 C(1, 1, 2, 1, 4, 3, 2) (1ºs 15 dig)= 000101100000011.
 1.4. CODIFICAÇÃO DO CANAL
Introdução
 Canal: Meio de transmissão do sinal do TX para RX.
 Ex: Fio/Cobre, Fibra óptica, ar, disquete, CD-ROM, DVD, o HD
de um PC, etc.

 Problema: O canal corrompe a inf. transmitida (ruído,

interferência, atenuação) → erros nos bits recebidos

 Solução: Codificar o canal

 Princípio de codificação: Adicionar bits extras para corrigir.

 Ex: Dado: C = {00000; 01011; 10110; 11101}, 1-2 DB=INF, 3-
5=DB Extras: Se TX=01011 (via rádio), e RX= 11011.
Comparando (bits extras): 011 →01=01011 (Cód. Canal)
 1.4. CODIFICAÇÃO DO CANAL

 Introdução
 Vantagens
 Melhora a transmissão
 Aumenta a faixa de operação
 Reduz a taxa de erros
 Diminui os requerimentos de potência transmitida
 1.4. CODIFICAÇÃO DO CANAL
 Introdução
 1.4. CODIFICAÇÃO DO CANAL
Técnicas de detecção e correcção de erros

 ARQ (Pedido automático de repetição: Automatic Repeat

Request): Detecção e reenvio até Rx Receber um aviso
(ACK).

 FEC (Corrector avançado de erro: Forward Error

Corrector): Detecção e correção (muitos bits extras e usa
memória)
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de Métodos ARQ
 Repetição: Repete três vezes o envio de uma informação e
o RX compara e decide
 Paridade: TX adiciona um bit de PAR (“1”: N.º ímpar de “1”
ou “0”: N.º par “1”) e o RX calcula a PAR, compara e decide
 vulnerável (se dois “1”? Ou 2 “0”)
 Aplicações: Hardware (Bus PCI e SCSI).
 Ex1: 000, 011, 101, 110 (último Dígito=BP)→ MSG sem erro
 Ex2: Informação: 1000001 (Letra A em ASCII)
 TX (XOR aos bits): Par (“0) →Envia: 10000010

 RX (XOR aos bits: 10000010): Par “0” → TX correcta.

 1.4. CODIFICAÇÃO DO CANAL
Exemplo de Métodos ARQ

 Checksum: TX Cód. De Inf. E suas somas. RX “Resoma”,

compara e decide.
 Ex.: 2 palavras com Cód. 00111101 e 00001101
 TX (Checksum: 01001010; Checksum invertido: 10110101):
00111101 00001101 10110101
 RX (checksum+checksum invertido):
01001010+10110101=11111111: TX correcta.
 Se RX=00111001 00001101: checksum+checksum–
invertido=01000110+10110101=11111011: TX não correcta
(3º bit de Qualquer Palavra!)
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de Métodos ARQ
 CRC (Redundância cíclica: Cyclic Redundancy Check): p(x)
(bits de inf.) e bit de PAR (Repetido pelo N.º do grau de G(x))
DIVIDIR (XOR) G(x). RX recalcula se resto zero.
 Ex.: Palavra (10111011)→p(x)=x7+x5+x4+x3+x+1); e Gerador
(10011) → g(x)=x4+x+1)
 TX (1011 1011 0000⊕10011: Resto 1111 →A enviar: 1011
1011 1111
 RX (1011 1011 1111⊕10011: Resto 0000 → MSG sem erro

 Nota (101110110000⊕10011 :1111):

10111⊕10011=00100; 10001⊕10011=00010;
10100⊕10011=00111; 11100⊕10011=01111→Resto:
1111
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de método FEC
 Cód. Hamming (erros isolados): Adiciona k
bits de teste aos M bits de informação
 Posição de k: 2n (n=0,1,2,3,..)

 Bits a enviar: XOR entre todas as posições

de M com bit “1” que corresponderão aos
bits de teste
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de método FEC
 Cód. Hamming (Ex. Pal. M de 8 bits: M=0011 1001)
 N.º de bits de teste: 2k -1>=M+k, basta k=4 bits de teste.
 Posição de k: De 2n (n=0,1,2,3,4), temos: X1,X2,X4,X8
 Posição de k na Palavra a enviar: 0011X8100X41X2X1
 Cál. De bits de teste: X1, X2,X4,X8
 Pal. com “1”: 3ª(0011)⊕7ª(0111)⊕9ª(1001)⊕ 10ª (1010) =
(0111)
 bits de teste: 0111=X1=0; X2=1; X4=1; X8=1.
 Palavra final a enviar: 001111001110
 RX: Síndrome = (0111)⊕ (0111)=(000): Sem erro
 Se RX: 001111101110 (Erro em M3, de “0” para “1”)
 Cálculo de bits de teste na nova palavra recebida (ver “1” na Pal.):
3ª(0011)⊕6ª(0110)⊕7ª(0111)⊕9ª(1001)⊕10ª(1010) = (0001)
 Síndrome: = (0001)⊕(0111)=(0110): erro no 6º bit (trocar o 6º bit).
 Palavra corrigida: 001111001110
 1.4. CODIFICAÇÃO DO CANAL
Outros métodos FEC (Rajada de bits)
 BCH (CH (Bose-Chaudhuri-Hocquenghem, 1960): tamanho
variável (generalização do código Hamming). Aplicação:
Telefone VoIP, Modems Digitais.
 RS (Reed-Solomon): Subclasse dos Códigos BCH.
Aplicações: Gravação de CD’s e DVD’s, Modems de alta
velocidade (ADSL), TV Digital (DVB)
 Códigos Reed-Muller: Antigos (1954 e utilizados em 1972).
Fotografias (preto e branco) de Marte.
 Códigos Fire Golay: Excelente. Aplicações: Telemetria,
Satélite, telecomunicações com largura de banda muito
restritas (fotografias a cores de Júpiter e Saturno, Voyager 1,
1979 e 2, 1980).
 1.4. CODIFICAÇÃO DO CANAL
Códigos para a detecção e correcção de erros

Diagrama em bloco da técnica ARQ

Diagrama em bloco da técnica FEC

 1.4. CODIFICAÇÃO DO CANAL
Técnicas de codificação de canal
 Por bloco (conceitos algéb.): Adiciona (n-k) bits red. a
cada bloco de k bits de inf. para detectar e corrigir erros.

 Convolucional (conceitos probab., possui memória,a lgor.

complexo) : Os k bits de inf. dependem dos últimos bits
na entrada formando-se um bloco de n bits, onde n > k.
 1.4. CODIFICAÇÃO DO CANAL
Aplicações das técnicas de codificação de canal
 Sist. Comunicação: Radiodifusão, Microonda, Móvel,
Satélite, Telemetria

 Sist. Control: Aeronáutico, Espacial, Automóvel, Marítimo,

Ferroviário

 Segurança de inf.: Código de barra

 Sist. Armaz. de inf.: CD, DVD, Memórias de SC

 Sist. de proc. de sinais: Codificação de imagem, voz.

 1.4. CODIFICAÇÃO DO CANAL
Teorema de codificação de canal (Canais Disc. S/Mem.)
 Capacidade do canal
 Limitada pela sua largura de faixa (Shannon: tendo em conta o
ruído térmico): C =Blog2(1+S/R) →bits/s
 B: Frequência do sinal em Hz), S/N (Relação sinal/Ruido em
decibel)

 Exemplos: Qual é a capacidade do canal

 Para uma largura de faixa de 3000 Hz e com transmissões
em presença de ruído com potência 100 vezes menor que a
dos sinais transmitidos? Solução: C = 3000 x log (1 + 100) =
19962 bps (pode suportar 19962 bps)

 Caso o sinal/ruído do canal seja melhorada para 30 dB :

Solução: C = 3000 x log. (1 + 1000) = 29884 bps (pode
suportar 29884 bps)
 .
 1.4. CODIFICAÇÃO DO CANAL
Teorema de codificação de canal (Canais Disc. S/Mem.)

 Teorema: Conhecendo as taxas temporais da entropia de

uma fonte e da capacidade de um canal existirá sempre
uma técnica de codificação e recuperação de símbolos
transmitidos pelo canal com uma probabilidade de erro
muito pequena:
H(x)/T(s)=<C/T(c)

 Pelo contrário, não é possível recuperar os símbolos com

uma probabilidade de erro arbitrariamente pequena:
H(x)/T(s)>C/T(c)
 1.4. CODIFICAÇÃO DO CANAL
Teorema de codificação de canal (Canais Disc. S/Mem.)

 Conclusões (Resumo do capítulo): dois dos problemas mais

importantes associados ao desenho de sistemas de
comunicações: o problema da codificação de fonte e o
problema da transmissão de informação através de canais
ruidosos.
 Codificação da fonte: representação eficiente da sequência
dos símbolos gerados pela fonte, recorrendo a códigos
univocamente descodificáveis cujo comprimento médio seja o
menor possível. Para o caso de fontes discretas, sem
memória, verifica-se que o comprimento médio mínimo
daqueles códigos é determinado pela entropia da fonte, a que
corresponde uma representação sem redundância.
 Transmissão digital através de canais ruidosos: técnicas de
codificação que minimizam a probabilidade de erro por parte
dos receptores e a relação entre a probabilidade do erro e a
largura da banda de transmissão (capacidade do canal).
 1.4. CODIFICAÇÃO DO CANAL


 1.4. CODIFICAÇÃO DO CANAL


 1.4. CODIFICAÇÃO DO CANAL

 Teorema de codificação de canal não diz como

codificar, resultado, dificuldade!
 Técnicas de codificação (detecção e correcção)
de canal: Códigos de blocos e convolucionais
 Codificação por bloco (forma (k,n)): O
codificador adiciona n-k bits redudantes,
transformando k bits de informação num bloco
codificado mais longo com n bits
 1.4. CODIFICAÇÃO DO CANAL

 Codificação Convolucional:
 Possui memória
 Os bits codificados dependem não só dos bits de
informação como também da informação armazenada pela
memória do código
 Aparecem K registos deslizantes.
 1.4. CODIFICAÇÃO DO CANAL