CAPÍTULO 1 – INTRODUÇÃO À TEORIA DE

INFORMAÇÃO: CODIFICAÇÃO DE FONTE E DE

CANAL

 Introdução
 Medida de informação
 Codificação de fonte
 Codificação de canal
 Exercícios
 1.1. INTRODUÇÃO – SISTEMA DE
TELECOMUNICAÇÕES
 Def. (básica): Conj. de equip. interligados como objetivo de
transmitir a informação (com garantia de qualidade) entre
pontos geograficamente distintos (fonte e destino).

Diagrama esquemático de um sistema de comunicação genérico (Shannon, 1948)

 1.1. INTRODUÇÃO - TEORIA/INFORMAÇÃO

 TI (Def.): Disciplina centrada na abordagem matemática sobre o

armazenamento e manipulação (tratamento) da informação
 Base para telecomunicações e outro campos (biologia molecular,
física quântica, matemática, etc)
 Objectivo: melhorar a eficiência da comunicação (codificação de
fonte e de canal) com base nas possib. e limitações das leis físicas.
 Questões básicas
 Medida ou gestão da informação
 Codificação da fonte (adaptar a fonte ao canal)
 Capacidade do canal e transmissão fiável da informação

 Existem diversas teorias da informação

 TI Shannon (Dec. 40): perspectiva probabilística (compressão e
codificação de dados).
 TI Kolmogorov: perspectiva computacional.
 1.1. INTRODUÇÃO - TEORIA/INFORMAÇÃO

 Questões básicas levam-nos ao TFTI (Shanon): “Dada uma fonte e um

canal de comunicação, existe uma técnica de codificação tal que a
informação pode ser transmitida com poucos erros, apesar da
presença do ruído”.
 Reflexões ao TFTI
 Com uma codificação podemos transmitir sem erros
 A codificação serve para adaptar o canal à fonte

 TFTI Responde:
 O que é a informação e como a gerí-la?
 Limites à transmissão e extracção de informação?
 Equipamentos ou dispositivos para estes limites?

 Objecto do capítulo: Descrever os fundamentos da TI relacionada à

medida de informação, codificação da fonte e do canal e aplicar em
problemas de compressão e codificação de dados com base na TIS
 1.2. MEDIDA DA INFORMAÇÃO

1.2.1. Quantidade de informação (I)

 Diferentes significados (incerteza; surpresa)
 Shannon (Conceito Matemático): diminuição da
Incerteza
 Fonte emitindo: BBCACBAACACBC… (incerteza do
próximo símbolo) = grande informação
 Fonte emitindo: AAAAAAAAAA… (certeza do
próximo símbulo=A) = nenhuma informação
1.2. MEDIDA DA INFORMAÇÃO (2)
1.2. MEDIDA DA INFORMAÇÃO

Gráfico da função log10(x).

Gráfico da função log2(x).

1.2. MEDIDA DA INFORMAÇÃO

1 A 0,1356 2,9 15 O 0,1045 3,3

2 B 0,0088 6,8 16 P 0,0279 5,2
3 C 0,0334 4,9 17 Q 0,0151 6,0
4 D 0,0478 4,4 18 R 0,0625 4,0
5 E 0,1272 3,0 19 S 0,0809 3,6
6 F 0,0100 6,6 20 T 0,0433 4,5
7 G 0,0112 6,5 21 U 0,0491 4,3
8 H 0,0138 6,2 22 V 0,0177 5,8
9 I 0,0642 4,0 23 W 0,000011 16,5
10 J 0,0034 8,2 24 X 0,0029 8,4
11 K 0,000011 16,5 25 Y 0 _
12 L 0,0278 5,2 26 Z 0,0047 7,7
13 M 0,0539 4,2 27 - 0,0054 7,5
14 N 0,0493 4,3
Exemplo: Freq. das letras de um texto e as respectivas QI (livro
Dom Casmurro, de Machado de Assis); exercícios
1.2.MEDIDA DA INFORMAÇÃO

H=f(p) para dois símb.

 1.2.MEDIDA DA INFORMAÇÃO
1.2.2. Entropia (H)

 Observação: H (Livros em português)≈4,0 bits/s

 Freq. letras dependem da caracteristica da língua e não de um
autor
 L. Portuguesa: a,e (11%); o (10%); i (6,5%); r,s,m,n (5%);
z,j,x,k,w,y (<0,5%)
 L. Inglesa: e (11%), a (8,5%), r(7,6%), i (7,5%), o (7,2%), t (7,0%),
v (1%), x (0,3%), z (0,3%), j (0,2%), q (0,2%)
 Frq. letras não variam muito de texto para texto na mesma
língua
 Serve para reconhecer a língua de um texto

 Exercícios
 1.3. CODIFICAÇÃO DA FONTE

 Introdução

 QI (I) e Entropia (H): Estabeceram Limites teóricos

para a codificação da informação

 Estudar esses limites (de I e H) e as técnicas de CF

que se os aproximam (e, sob certas
circunstâncias,os atingem).
 1.3. CODIFICAÇÃO DA FONTE

 Objectivo

 Reduzir a informação redundante da digitalização do

sinal de entrada

 Reduzir o comprimento médio, atribuindo códigos de

pequeno comprimento aos simbolos mais prováveis.

 Slides CD
 1.3. CODIFICAÇÃO DA FONTE

 Código

 Def: Forma de representar os símbolos da fonte,

atribuindo à cada um uma sequência finita de
símbolos

 Exemplo: Seja um alfabeto/fonte X={a,b,c,d,e} e um

código/fonte D={0,1,2}→C(a)=0; C(b)=10; C(c)=22;
C(d)=2; C(e)=210
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Condições para que os códigos sejam utilizáveis
c) Instantânio (de Prefixo): Descodif. Sem demora, pois
nenhum cód. É prefixo do outro (caminho único)
 Exemplo: Seja X={a,b,c,d}; D={0,1}: C(a)=01; C(b)=11;
C(c)=00; C(d)=110. se RX={110000...0011}, como descod.?
 P/n par (n/2) →bcc...cb e P/n ímpar (n-1/2)→dcc...cb
 Conclusão: N/Inst.
 C(b)=11 é prefixo de C(d)=110
 Várias condições para descod.
 Grande atraso
 1.3. CODIFICAÇÃO DA FONTE
 Códigos utilizáveis:
 Não singulares

 Univocam. descod.

 Instantâneos
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Teorema da Codificação de Fonte (1º Teorema de Shannon)
 Existe alguma relação entre a H e L: Como codificar? L Variável ou
constante?
 Seja H(A) a EFDSM e L o CMP do CF: Se ε>0; L≥H(A)<H(A)+ε
 Existe código unívoco e instantâneo para a fonte
 L>=H(A), L: N.º DB p/Cada Símbolo da Fonte
 Conclusões
 Existe limite para a codificação de fonte.
 H=Limite inviolável p/N.º DB para a Codificação
 Se L<H(A): Não há codificação (L=H: Cód. Óptimo e
ideal)
 1.3. CODIFICAÇÃO DA FONTE
 Teorema da Cod. de Fonte (1º T/Shannon) – Exemplo

 Produzir um código binário (0 e 1) para representar a

informação produzida por uma fonte que emite quatro
símbolos, A, B, C e D, com probabilidades PA=0,5; PB=0,25
e PC=PD=0,125, respectivamente.

 1ª Possibilidade (natural): “00”, “01”, “10” e “11” para A,

B, C e D, Lmédio = 2 bits/símbolo: Forma mais eficiente?

 2ª Possibilidade: “0”,“10”, “110” e “111” para A, B, C e D,

Lmédio=1x0,5+2x0,25+3x0,125+3x 0,125=1,75 bits.
 Mais eficiente; código óptimo.
 1.3. CODIFICAÇÃO DA FONTE
 Redundância
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Extensão da fonte (Shannon)

 Razão: Cond. H≤L<H+ ε p/H baixo→Cód. Óptimo pouco

eficaz

 Obj/Def: Codificar os símb. em grupos/blocos e não indiv.

p/H muito baixa, diminuindo o N.º bits/símb.
(H(bloco)=H(símb. Indep.)

 Nova Cond. p/Cód. Óptimo: H≤ Ln<H+ 1/n; ε=1; n –

N.º/Ext.
 1ª Ord. A1 (A); 2ª Ord. A2 (AxA); 3ª Ord. A3 (AxAxA); kª Ord.
Ak (AxAx...xA).
 Ex. F/Orig. (n=1): A1 ={0,1} → F/ext .2ª Ordem (n=2): A2
={00,01,10,11}
 1.3. CODIFICAÇÃO DA FONTE
 Extensão da fonte (Shannon)

 Ex1. Máq/Escrever com 50 caracteres:

 1 Grupo de 50 caracteres: log250 = 5,62 DB/C (usando
6, desperdício: 26- 50 = 14).
 3 grupos de 50 caracteres: log2 503=16,9 DB/C
(usando,17 desperdício 217- 125000=6072)
 Obs.: P/codif. Individualm.: 18 DB/C (em vez dos 17
p/o grupo)

 Conclusão: Usa-se menos DB/C agrupando os símbolos

(maior eficiência)
1.3. CODIFICAÇÃO DA FONTE
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE
 Taxa de informação (Exemplo)
1. Uma fonte emite r=2000 símb/s de um alfabeto de
M=4 elementos, com as probabilidades de p(A)=1/2;
p(B)=1/4; p(C)=1/8; p(D)=1/8. Se quisermos codificar
estes símbolos através de dígitos binários qual é o
número mínimo de binits que podemos transmitir por
unidade de tempo?
a) Entropia: H=1/2x1+1/4x2+2x1/8x3=1,75 bits/s
(Hmax=logM=2)
b) Taxa de Informação: R=rxH=2000x1,75=3500 bits/s
c) Taxa binária: rb≥R≥3500 bits/s (TDB p/transmitir pela
fonte através de uma codif adequada)
 1.3. CODIFICAÇÃO DA FONTE
 Codificação binária de uma 1) Entropia H = 1,75 bits/símb.
FSM (Exemplo)
 FDSM de de 4 símbolos A, 2) Cód.I: K=1; L>H (UD); E=H/L=88%
B, C e D com pi 1/2, 1/4,
1/8, 1/8. Quatro possíveis 3) Cód. II: K>1; L<H (N/UD (ex.:10011
formas de codificação: pode ser BAABB ou CABB ou CAD,
etc.)
Cód. Cód. Cód. Cód.
xi pi
I II 4) Cód.III: K<1; L<H (UD); E=H/L=93%
III IV
(Todos “0”).
A 1/2 00 0 0 0
B 1/4 01 1 01 10
5) Cód. IV: k=1; L=H (UD); E=H/L=100%
C 1/8 10 10 011 110
Cod. Prefixo (estrut. Cód. Dif.p/símb.)
D 1/8 11 11 0111 111 Cód. Óptimo L=H e K=1 (Exemplo:
Lmed 2 1,25 1,875 1,75 110010111 ↔ CABD)
K 1 1,5 0,9375 1
 1.3. CODIFICAÇÃO DA FONTE
 Códigos de fonte para a compressão de
dados

2 modelos Modelos
 Estatísticos (Códigos)
 Shannon – Fano;
 Huffman
 Aritmético

 Dicionários (Códigos)
 Lampel – Ziv 77
 Lampel – Ziv 78
 Lampel – Ziv – Welch
 1.3. CODIFICAÇÃO DA FONTE
 Código de Huffman

 Propriedade:
 N.º Méd. DB por Símb. É Minimo

 Garante que H≤L<H+1 (H=L: Cód. Ideal, Óptimo)

 Árvore do código

 Ex. 4 símbolos: A,B,C,D com pA=3/8, pC=1/4,

pG=1/4, pT=1/8 (L? H? Código?)
 L=2; H=1,9;E=95%
 1.3. CODIFICAÇÃO DA FONTE (HUFFMAN)
 Passos p/construir árvore Cód.
 Ordem decrescente das probab.
 Agrupar dois nós de menor
probab. somá-los e formar um
novo nó;
 Atribuir “0” e “1” a cada ramo
dos nós que se juntaram
 O código de cada símbolo
obtém-se pela leitura
sequencial da raiz até ao nó
final

 Adicionar prob. 0 quando não é possível agrupar

(A=1,2,3,4); pA(0,4;0,2;0,2;0,2)
 1.3. CODIFICAÇÃO DA FONTE
 Código de Huffman (Exercício)
 Usar o código de Huffman para codificar uma fonte que
produz oito símbolos: P(x1)=0,50; P(x2)=0,02; P(x3)=0,03;
P(x4)=0,04; P(x5)=0,10; P(x6)=0,04; P(x7)=0,12; P(x8)=0,15.
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE

 Codificação de Huffman – problemas

1. Requer conhecer a priori o modelo probabilístico da

fonte
2. Gera um cód. Para cada símbolo

3. Em algumas aplicações, como modelamento de texto, a

armazenagem impede o código de Huffman de capturar
as relações entre palavras e frase – comprometimento
da eficiência do código

4. Alternativa??
1.3. CODIFICAÇÃO DA FONTE
1.3. CODIFICAÇÃO DA FONTE
 1.3. CODIFICAÇÃO DA FONTE

i pi log(1/pi) li C(xi) H
1 2 0,50000000000 0,3010 2 0,250000000000 25 1,0000 0,1505
2 4 0,25000000000 0,6021 2 0,625000000000 62 0,5000 0,1505
3 8 0,12500000000 0,9031 2 0,812500000000 81 0,2500 0,1129
4 16 0,06250000000 1,2041 3 0,906250000000 906 0,1875 0,0753
5 32 0,03125000000 1,5051 3 0,953125000000 953 0,0938 0,0470
6 64 0,01562500000 1,8062 3 0,976562500000 976 0,0469 0,0282
7 128 0,00781250000 2,1072 4 0,988281250000 9882 0,0313 0,0165
8 256 0,00390625000 2,4082 4 0,994140625000 9941 0,0156 0,0094
9 512 0,00195312500 2,7093 4 0,997070312500 9970 0,0078 0,0053
10 1024 0,00097656250 3,0103 5 0,998535156250 99853 0,0049 0,0029
11 1024 0,00097656250 3,0103 5 0,999511718750 99951 0,0049 0,0029
2,1426 0,6015
 1.3. CODIFICAÇÃO DA FONTE

i pi log(1/pi) li C(xi) H

1 2 0,50000000000 0,3010 2 0,250000000000 1,0000 0,1505

2 4 0,25000000000 0,6021 2 0,625000000000 0,5000 0,1505

3 8 0,12500000000 0,9031 2 0,812500000000 0,2500 0,1129

4 16 0,06250000000 1,2041 3 0,906250000000 0,1875 0,0753

5 32 0,03125000000 1,5051 3 0,953125000000 0,0938 0,0470

6 64 0,01562500000 1,8062 3 0,976562500000 0,0469 0,0282

7 128 0,00781250000 2,1072 4 0,988281250000 0,0313 0,0165

8 256 0,00390625000 2,4082 4 0,994140625000 0,0156 0,0094

9 512 0,00195312500 2,7093 4 0,997070312500 0,0078 0,0053

10 1024 0,00097656250 3,0103 5 0,998535156250 0,0049 0,0029

11 1024 0,00097656250 3,0103 5 0,999511718750 0,0049 0,0029

2,1426 0,6015
 1.3. CODIFICAÇÃO DA FONTE
 Código Aritmético

 Aautores: Piter Elias (1960); Abramson (1963);

Rissanen e Pasco (1976); Rubin (1979); Witten
(1987); Mofat (1998)

 Justificação
 Aumento de conteúdos de miltimédia
 Limitação física da estrutura da rede
 Algorítmo de codificação eficiente

 Vantagem: um único cód. A um conjunto de símbolos

 1.3. CODIFICAÇÃO DA FONTE
 Código Aritmético (Exemplo)
 Considere-se uma fonte sem memória com alfabeto {1, 2,
3, 4}; as probabilidades dos símbolos são,
respectivamente, {0.4, 0.35, 0.15, 0.1}. Pretende obter-se a
palavra de código aritmético binário para sequência (1, 1,
2, 1, 4, 3, 2).
 1.3. CODIFICAÇÃO DA FONTE
 Código Aritmético (Exemplo)

 A probabilidade desta sequência é

p(1)p(1)p(2)p(1)p(4)p(3)p(2)=0.4x3x0.35x2x0.15x 0.1 = 0.0001176.

 Inserindo esse valor em l = ⌈−log2 p(X1x...xXn)⌉+1, pode desde já

afirmar-se que a palavra de código possui 15 bits.

 Dado que o alfabeto possui 4 símbolos, em cada iteração o intervalo

actual [L, R[ é subdividido em 4 subintervalos I1, I2, I3 e I4, definidos
por 5 pontos T1 = L, T2, T3, T4 e T5 = R.

 Na tabela seguinte, apresenta-se a evolução do algoritmo, listando-se

os sucessivos valores dos pontos que delimitam os subintervalos, o
subintervalo escolhido por cada símbolo e a respectiva largura.
 1.3. CODIFICAÇÃO DA FONTE

 Código Aritmético (Exemplo)

 Código Aritmético (Exemplo): evolução do algoritmo

 F(1, 1, 2, 1, 4, 3, 2) = 0,0859744 +0.00011762 = 0,0860332.
 Em base 2, F(1, 1, 2, 1, 4, 3, 2) = 0,0001011000000110010001...,
 C(1, 1, 2, 1, 4, 3, 2) (1ºs 15 dig)= 000101100000011.
 1.4. CODIFICAÇÃO DO CANAL
Introdução
 Canal: Meio de transmissão do sinal do TX para RX.
 Ex: Fio/Cobre, Fibra óptica, ar, disquete, CD-ROM, DVD, o HD
de um PC, etc.

 Problema: O canal corrompe a inf. transmitida (ruído,

interferência, atenuação) → erros nos bits recebidos

 Solução: Codificar o canal

 Princípio de codificação: Adicionar bits extras para corrigir.

 Ex: Dado: C = {00000; 01011; 10110; 11101}, 1-2 DB=INF, 3-
5=DB Extras: Se TX=01011 (via rádio), e RX= 11011.
Comparando (bits extras): 011 →01=01011 (Cód. Canal)
 1.4. CODIFICAÇÃO DO CANAL

 Introdução
 Vantagens
 Melhora a transmissão
 Aumenta a faixa de operação
 Reduz a taxa de erros
 Diminui os requerimentos de potência transmitida
 1.4. CODIFICAÇÃO DO CANAL
 Introdução
 1.4. CODIFICAÇÃO DO CANAL
Técnicas de detecção e correcção de erros

 ARQ (Pedido automático de repetição: Automatic Repeat

Request): Detecção e reenvio até Rx Receber um aviso
(ACK).

 FEC (Corrector avançado de erro: Forward Error

Corrector): Detecção e correção (muitos bits extras e usa
memória)
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de Métodos ARQ
 Repetição: Repete três vezes o envio de uma informação e
o RX compara e decide
 Paridade: TX adiciona um bit de PAR (“1”: N.º ímpar de “1”
ou “0”: N.º par “1”) e o RX calcula a PAR, compara e decide
 vulnerável (se dois “1”? Ou 2 “0”)
 Aplicações: Hardware (Bus PCI e SCSI).
 Ex1: 000, 011, 101, 110 (último Dígito=BP)→ MSG sem erro
 Ex2: Informação: 1000001 (Letra A em ASCII)
 TX( XOR aos bits): Par (“0) →Envia: 10000010

 RX (XOR aos bits: 10000010): Par “0” → TX correcta.

 1.4. CODIFICAÇÃO DO CANAL
Exemplo de Métodos ARQ
 Repetição: Repete três vezes o envio de uma
informação e o RX compara e decide
 Checksum: O transmissor envia os códigos de
informação e suas somas, tal que o receptor
volta a somá-los e, comparando os resultados,
decide se está correcta.
 Exemplo: checksum de 2 palavras de 8 bits
(00111101 00001101)
 Checksum: 01001010; Checksum invertido:
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de Métodos ARQ

 Checksum: TX Cód. De Inf. E suas somas. RX “Resoma”,

compara e decide.
 Ex.: 2 palavras com Cód. 00111101 e 00001101
 TX (Checksum: 01001010; Checksum invertido: 10110101):
00111101 00001101 10110101
 RX (checksum+checksum invertido):
01001010+10110101=11111111: TX correcta.
 Se RX=00111001 00001101: checksum+checksum–
invertido=11111011: TX naão correcta (3º bit de Qualquer
Palavra!)
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de Métodos ARQ
 CRC (Redundância cíclica: Cyclic Redundancy Check):
Divisão de p(x) (bits inf. +PAR) por G(x). RX recalcula se
resto zero.
 Ex.: Palavra (10111011)→p(x)=x7+x5+x4+x3+x+1); e Gerador
(10011) → g(x)=x4+x+1)
 TX (101110110000⊕10011: Resto 1111 →A enviar:
101110111111
 RX (101110111111⊕10011: Resto 0000 → MSG sem erro

 Nota (101110110000⊕10011 :1111):

10111⊕10011=00100; 10001⊕10011=00010;
10100⊕10011=00111; 11100⊕10011=01111→Resto:
1111
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de método FEC
 Cód. Hamming (erros isolados): Adiciona k
bits de teste aos M bits de informação
 Posição de k: 2n (n=0,1,2,3,..)

 Bits a enviar: XOR entre todas as posições

de M com bit “1” que corresponderão aos
bits de teste
 1.4. CODIFICAÇÃO DO CANAL
Exemplo de método FEC
 Cód. Hamming (Ex. Pal. M de 8 bits: M=00111001)
 N.º de bits de teste: 2k-1>=M+k, basta k=4 bits de teste.
 Posição de k: De 2n (n=0,1,2,3,4,...), temos: X1,X2,X4,X8
 Posição de k na Palavra a enviar: 0011X8100X41X2X1
 Cál. De X1, X2,X4,X8
 Pal. com “1”: 3ª(0011)⊕7ª(0111)⊕9ª(1001)⊕ 10ª (1010) =
(0111)
 bits de teste: 0111=X1=0; X2=1; X4=1; X8=1.
 Palavra final a enviar: 001111001110
 RX: Síndrome = (0111)⊕ (0111)=(000): Sem erro
 Se RX: 001111101110 (Erro em M3, de “0” para “1”)
 Bits de teste:
3ª(0011)⊕6ª(0110)⊕7ª(0111)⊕9ª(1001)⊕10ª(1010) = (0001)
 Síndrome: = (0111)⊕(0001)=(0110): erro no 6º bit (trocar o 6º bit).
 Palavra corrigida: 001111001110
 1.4. CODIFICAÇÃO DO CANAL
Outros métodos FEC (Rajada de bits)
 BCH (CH (Bose-Chaudhuri-Hocquenghem, 1960): tamanho
variável (generalização do código Hamming). Aplicação:
Telefone VoIP, Modems Digitais.
 RS (Reed-Solomon): Subclasse dos Códigos BCH.
Aplicações: Gravação de CD’s e DVD’s, Modems de alta
velocidade (ADSL), TV Digital (DVB)
 Códigos Reed-Muller: Antigos (1954 e utilizados em 1972).
Fotografias (preto e branco) de Marte.
 Códigos Fire Golay: Excelente. Aplicações: Telemetria,
Satélite, telecomunicações com largura de banda muito
restritas (fotografias a cores de Júpiter e Saturno, Voyager 1,
1979 e 2, 1980).
 1.4. CODIFICAÇÃO DO CANAL
Códigos para a detecção e correcção de erros

Diagrama em bloco da técnica ARQ

Diagrama em bloco da técnica FEC

 1.4. CODIFICAÇÃO DO CANAL
Técnicas de codificação de canal
 Por bloco (conceitos algéb.): Adiciona (n-k) bits red. a
cada bloco de k bits de inf. para detectar e corrigir erros.

 Convolucional (conceitos probab., possui memória,a lgor.

complexo) : Os k bits de inf. dependem dos últimos bits
na entrada formando-se um bloco de n bits, onde n > k.
 1.4. CODIFICAÇÃO DO CANAL
Aplicações das técnicas de codificação de canal
 Sist. Comunicação: Radiodifusão, Microonda, Móvel,
Satélite, Telemetria

 Sist. Control: Aeronáutico, Espacial, Automóvel, Marítimo,

Ferroviário

 Segurança de inf.: Código de barra

 Sist. Armaz. de inf.: CD, DVD, Memórias de SC

 Sist. de proc. de sinais: Codificação de imagem, voz.

 1.4. CODIFICAÇÃO DO CANAL
Teorema de codificação de canal (Canais Disc. S/Mem.)
 Capacidade do canal
 Limitada pela sua largura de faixa (Shannon: tendo em conta o
ruído térmico): C =Blog2(1+S/R) →bits/s
 B: Frequência do sinal em Hz), S/N (Relação sinal/Ruido em
decibel)

 Exemplos: Qual é a capacidade do canal

 Para uma largura de faixa de 3000 Hz e com transmissões
em presença de ruído com potência 100 vezes menor que a
dos sinais transmitidos? Solução: C = 3000 x log (1 + 100) =
19962 bps (pode suportar 19962 bps)

 Caso o sinal/ruído do canal seja melhorada para 30 dB :

Solução: C = 3000 x log. (1 + 1000) = 29884 bps (pode
suportar 29884 bps)
 .
 1.4. CODIFICAÇÃO DO CANAL
Teorema de codificação de canal (Canais Disc. S/Mem.)

 Teorema: Conhecendo as taxas temporais da entropia de

uma fonte e da capacidade de um canal existirá sempre
uma técnica de codificação e recuperação de símbolos
transmitidos pelo canal com uma probabilidade de erro
muito pequena:
H(x)/T(s)=<C/T(c)

 Pelo contrário, não é possível recuperar os símbolos com

uma probabilidade de erro arbitrariamente pequena:
H(x)/T(s)>C/T(c)
 1.4. CODIFICAÇÃO DO CANAL


 1.4. CODIFICAÇÃO DO CANAL


 1.4. CODIFICAÇÃO DO CANAL

 Teorema de codificação de canal não diz como

codificar, resultado, dificuldade!
 Técnicas de codificação (detecção e correcção)
de canal: Códigos de blocos e convolucionais
 Codificação por bloco (forma (k,n)): O
codificador adiciona n-k bits redudantes,
transformando k bits de informação num bloco
codificado mais longo com n bits
 1.4. CODIFICAÇÃO DO CANAL

 Codificação Convolucional:
 Possui memória
 Os bits codificados dependem não só dos bits de
informação como também da informação armazenada pela
memória do código
 Aparecem K registos deslizantes.
 1.4. CODIFICAÇÃO DO CANAL