CAPÍTULO 1 – INTRODUÇÃO À TEORIA DE

INFORMAÇÃO: CODIFICAÇÃO DE FONTE E DE

CANAL

 Introdução
 Medida de informação
 Codificação de fonte
 Codificação de canal
 Exercícios
 1.1. INTRODUÇÃO – SISTEMA DE
TELECOMUNICAÇÕES

 Def. (básica): Conj. de equip. interligados como objetivo de

transmitir a informação (com garantia de qualidade) entre pontos
geograficamente distintos (fonte e destino).

Diagrama esquemático de um sistema de comunicação genérico (Shannon, 1948)

 1.1. INTRODUÇÃO – SISTEMA DE
TELECOMUNICAÇÕES

Sistema de telecomunicações (actual)

 1.1. INTRODUÇÃO - TEORIA/INFORMAÇÃO
 TI (Def.): Disciplina centrada na abordagem matemática sobre o
armazenamento e manipulação (tratamento) da informação
 Base para telecomunicações e outro campos (biologia molecular, física
quântica, matemática, etc)
 Objectivo: melhorar a eficiência da comunicação (codificação de fonte e de
canal) com base nas possib. e limitações das leis físicas.
 Questões básicas
 Medida ou gestão da informação

 Capacidade do canal e transmissão fiável da informação

 Codificação da fonte (adaptar a fonte ao canal)

 Existem diversas teorias da informação

 TI Shannon (Dec. 40): perspectiva probabilística (compressão e codificação
de dados).
 TI Kolmogorov: perspectiva computacional.
 1.1. INTRODUÇÃO - TEORIA/INFORMAÇÃO
 TI (Def.): Disciplina centrada na abordagem matemática sobre
o armazenamento e manipulação (tratamento) da informação
 Base para telecomunicações e outro campos (biologia
molecular, física quântica, matemática, etc)
 Objectivo: melhorar a eficiência da comunicação (codificação
de fonte e de canal) com base nas possib. e limitações das leis
físicas.
 Questões básicas
 Medida ou gestão da informação

 Capacidade do canal e transmissão fiável da informação

 Codificação da fonte (adaptar a fonte ao canal)

 1.1. INTRODUÇÃO - TEORIA/INFORMAÇÃO
 Questões básicas levam-nos ao TFTI (Shanon): “Dada uma fonte e um canal de
comunicação, existe uma técnica de codificação tal que a informação pode ser
transmitida com poucos erros, apesar da presença do ruído”.

 Reflexões ao TFTI
 Com uma codificação podemos transmitir sem erros

 A codificação serve para adaptar o canal à fonte

 TFTI Responde:
 O que é a informação e como a gerí-la?
 Limites à transmissão e extracção de informação?
 Equipamentos ou dispositivos para estes limites?

 Objecto do capítulo: Descrever os fundamentos da TI relacionada a medida de

informação, codificação da fonte e do canal e aplicar em problemas de compressão e
codificação de dados com base na TIS
 1.2. MEDIDA DA INFORMAÇÃO
 1.2.1. Quantidade de informação (I)
 Diferentes significados (incerteza; surpresa)
 Shannon (Conceito Matemático): diminuição da
Incerteza
 Fonte emitindo: BBCACBAACACBC… (incerteza
do próximo símbolo) = grande informação
 Fonte emitindo: AAAAAAAAAA… (certeza do
próximo símbulo=A) = nenhuma informação
 1.2. MEDIDA DA INFORMAÇÃO (2)
 1.2.1. Quantidade da informação (I)
  
 Conclusão (Observação de Shannon)
 Eventos muito prováveis, pouca informação
 Eventos pouco prováveis, muita informação

 Def. (Shannon): Se a probab. de ocorrência do evento

numa sequência de eventos for dada por , então a QI
associada ao evento é:
 →bits (base 2)
 1.2. MEDIDA DA INFORMAÇÃO
 a) Função logarítmo
  
(log x)?
 Função crescente, não
Gráfico da função log10(x).
muda mudando a base
 Compatível/noção da QI
de i
 Se p=1 → I=log(1)=0
 Se p≈0 I = grande

 → (QI é aditiva) Gráfico da função log2(x).

 1.2. MEDIDA DA INFORMAÇÃO

  b) Probablidade 1 A 0,1356 2,9 15 O 0,1045 3,3

de ocorrência de 2 B 0,0088 6,8 16 P 0,0279 5,2
um evento i: 3 C 0,0334 4,9 17 Q 0,0151 6,0
4 D 0,0478 4,4 18 R 0,0625 4,0
   5 E 0,1272 3,0 19 S 0,0809 3,6
6 F 0,0100 6,6 20 T 0,0433 4,5
7 G 0,0112 6,5 21 U 0,0491 4,3
8 H 0,0138 6,2 22 V 0,0177 5,8
9 I 0,0642 4,0 23 W 0,000011 16,5
10 J 0,0034 8,2 24 X 0,0029 8,4
11 K 0,000011 16,5 25 Y 0 _
12 L 0,0278 5,2 26 Z 0,0047 7,7
 Fi – Nº vezes que o
13 M 0,0539 4,2 27 - 0,0054 7,5
 símbolo aparece
14 N 0,0493 4,3
 N – Total de símbolos Exemplo: Freq. das letras de um texto e as respectivas QI (livro
Dom Casmurro, de Machado de Assis)
; exercícios
 1.2.MEDIDA DA INFORMAÇÃO
 1.2.2. Entropia (H) (Informacional ou de Shannon)
   (Média QI num conj. De símb.): →bits/s
Def.
 Ex1 (3 símb. ABC): ++
 Ex2 (Livro de Don Casmurro): →bits/s

 Propriedades

 (Símb. Equip.)
 (Maior incerteza)

 Ex: Evento de 2 Símb. (0;1) (Ver Gráf. H=f(p)

 m=2→→
 1; ; ; H=f(p) para dois símb.
 1.2.MEDIDA DA INFORMAÇÃO
 1.2.2. Entropia (H)

 Observação: H (Livros em português)≈4,0 bits/s

 Freq. letras dependem da caracteristica da lingua e não de um autor

 L. Portuguesa: a,e (11%); o (10%); i (6,5%); r,s,m,n (5%); z,j,x,k,w,y (<0,5%)

 L. Inglesa: e (11%), a (8,5%), r(7,6%), i (7,5%), o (7,2%), t (7,0%), v (1%), x (0,3%), z

(0,3%), j (0,2%), q (0,2%)

 Frq. letras não variam muito de texto para texto na mesma língua

 Serve para reconhecer a língua de um texto

 Exercícios
 1.3. CODIFICAÇÃO DA FONTE

 Introdução

 QI (I) e Entropia (H): Estabeceram Limites teóricos para

a codificação da informação

 Estudar esses limites (de I e H) e as técnicas de CF que

se os aproximam (e, sob certas circunstâncias,os
atingem).
 1.3. CODIFICAÇÃO DA FONTE

 Objectivo

 Reduzir a informação redundante da digitalização do

sinal de entrada

 Reduzir o comprimento médio, atribuindo códigos de

pequeno comprimento aos simbolos mais prováveis.

 Slides CD
 1.3. CODIFICAÇÃO DA FONTE

 Código

 Def: Forma de representar os símbolos de fonte,

atribuindo à cada um uma sequência finita de símbolos

 Exemplo: Seja um alfabeto/fonte X={a,b,c,d,e} e um

código/fonte D={0,1,2}→C(a)=0; C(b)=10; C(c)=22;
C(d)=2; C(e)=210
 1.3. CODIFICAÇÃO DA FONTE

   Condições para que os códigos sejam utilizáveis

a) N/Singular: Para cada símbolo da fonte haja apenas
um código (P/→
 Exemplo: Seja um alfabeto/fonte X={a,b,c,d,e} e um
código/fonte D={0,1,2}→C(a)=0; C(b)=10; C(c)=22; C(d)=2;
C(e)=210

b) Univoc. Descodif.: Forma única de ser descod. isto é,

se a sua extensão for N/Singular
 Exemplo: X={a,b,c,d}; D={0,1}: C(a)=0; C(b)=1; C(c)=01;
C(d)=10→Para 0110→cd? Ou abba? Ou abd? Ou cab?
 1.3. CODIFICAÇÃO DA FONTE
 Condições para que os códigos sejam utilizáveis

c) Instantânio (de Prefixo): Descodif. Sem demora, pois nenhum

cód. É prefixo do outro (caminho único)
 Exemplo: Seja X={a,b,c,d}; D={0,1}: C(a)=01; C(b)=11; C(c)=00;
C(d)=110. se RX={1100...0...011}, como descod.?
 P/n par (n/2) →bcc...cb e P/n ímpar (n-1/2)→dcc...cb

 Conclusão: N/Inst.
 C(b)=11 é prefixo de C(d)=110

 Várias condições para descod.

 Grande atraso
 1.3. CODIFICAÇÃO DA FONTE

 Representação das classes dos códigos

 1.3. CODIFICAÇÃO DA FONTE
 Comp. da palavra código (ou )


 Def. N.º de DB p/codificar uma palavra: =I=→bits/s
 Exemplo: Seja X={a,b,c,d}; D={0,1}→ p/Cód.? p/?
 se a=01; b=11; c=00; d=110 →l(a)=2; l(b)=2; l(c)=2; l(d)=3
 Se p(a)=1/2; p(b)=1/4; p(c)=1/8; p(d)=1/8 → L(a)=1; C(b)=2;
C(c)=3; C(d)=3

 Comp. médio da palavra código ( ou ou L)

 Def. N.º Méd. de DB p/codificar uma palavra: =
 Exemplo: Seja X={a,b,c,d}; D={0,1}; C(a)=01; C(b)=11; C(c)=00;
C(d)=110 e p(a)=1/2; p(b)=1/4; p(c)=1/8; p(d)=1/8
 ==1/2.2+1/4.2+1/8.2+1/8.3=2,125
 1.3. CODIFICAÇÃO DA FONTE
 Teorema da Cod. de Fonte (1º T/ de Shannon)
 Existe alguma relação entre a H e L: Como codificar? L Variável ou constante?
 Seja H(A) a EFDSM e L o CMP do CF: Se ε>0; L≥H(A)<H(A)+ε
 Existe código unívoco e instantâneo para a fonte
 L>=H(A), L: N.º DB p/Cada Símbolo da Fonte

 Conclusões
 Existe limite para a codificação de fonte.
 H=Limite inviolável p/N.º DB para a Codificação

 Se L<H(A): Não há codificação (L=H: Cód. Óptimo e ideal)

 1.3. CODIFICAÇÃO DA FONTE
 Teorema da Cod. de Fonte (1º T/Shannon) – Exemplo

 Produzir um código binário (0 e 1) para representar a informação produzida

por uma fonte que emite quatro símbolos, A, B, C e D, com probabilidades
PA=0,5; PB=0,25 e PC=PD=0,125, respectivamente.

 1ª Possibilidade (natural): “00”, “01”, “10” e “11” para A, B, C e D, Lmédio = 2

bits/símbolo.
 Forma mais eficiente?

 2ª
Possibilidade: “0”,“10”, “110” e “111” para A, B, C e D,
Lmédio=1x0,5+2x0,25+3x0,125+3x 0,125=1,75 bits.
 Mais eficiente; código óptimo.
 1.3. CODIFICAÇÃO DA FONTE: REDUNDÂNCIA

   Def:→0 e 1 (0 e 100%)
 Se H = 0, R = 1(Ex. Seq. De aa...); Se H = Hmáx, R = 0.

 Caso Livro de Machado de Assis: H = 4,0; (27 simb.)

→≈R LP
 Redundância (segungo Shanonn): fracção da msg que não
depende do emissor, mas pelas regras da língua; fracção
desnecessária da mensagem e que pode ser completada
 Obs: A língua inglesa é mais redundante(50% de acordo
Shannon) que a portuguesa (menos símbolos para
codificar...)
 1.3. CODIFICAÇÃO DA FONTE

   Eficiência:
 Def:→0 e 1 (0 e 100%)
 Livro de Machado de Assis; ≈E LP

 Desigualdade de Kraft (Kraft-McMIllan)

 Obj. Reduzir mantendo o Cód. Inst.
 Def. Existe um Cód. Bin. Inst. com ↔

 Ex. Dado o cód. de prefixo {0, 10, 110, 111}:

 : Kraft
 Para L (1,2,3,3): KMt→Existe um cód. Unívoco inst.
 1.3. CODIFICAÇÃO DA FONTE

 Extensão da fonte (Shannon)

 Razão: Cond. H≤L<H+ ε p/H baixo→Cód. Óptimo pouco
eficaz
 Obj/Def: Codificar os símb. em grupos/blocos e não indiv.
p/H muito baixa, diminuindo o N.º bits/símb.
(H(bloco)=H(símb. Indep.)
 Nova Cond. p/Cód. Óptimo: H≤ Ln<H+ 1/n; ε=1; n – N.º/Ext.
 1ª Ord. A1 (A); 2ª Ord. A2 (AxA); 3ª Ord. A3 (AxAxA); kª Ord. Ak (AxAx...xA).
 Ex. F/Orig. (n=1): A1 ={0,1} → F/ext .2ª Ordem (n=2): A2 ={00,01,10,11}
 1.3. CODIFICAÇÃO DA FONTE

 Extensão da fonte (Shannon)

 Ex1. Máq/Escrever com 50 caracteres:
 1 Grupo de 50 caracteres: log250 = 5,62 DB/C (usando 6,
desperdício: 26- 50 = 14).
 3 grupos de 50 caracteres: log2 503=16,9 DB/C (usando,17
desperdício 217- 125000=6072)
 Obs.: P/codif. Individualm.: 18 DB/C (em vez dos 17 p/o grupo)

 Conclusão: Usa-se menos DB/C agrupando os símbolos (maior

eficiência)
 1.3. CODIFICAÇÃO DA FONTE
 Extensão da fonte (Shannon)
  
 Ex2. Fonte c/2 Símb. X={a,b}; p={15/16,1/16}
 L=1 bit/s; H=0,3373→L-H=0,6627 (grande)

 Ext. 2ª Ordem: ={aa,ab,ba,bb}; p={;;;}

 Sup. aa=0; ab=10 ba=110 bb=111 →=1,1836 →=

/2=0,5918
 L-H=0,254 (pequeno)

 Desvantagem: Pouco prático, pois o N.º de Simb. Cresce

Expon.
 Ex. Extensão da 3ª ordem do Alfabeto com 256 símbolos: =
=16777216 simb.
 1.3. CODIFICAÇÃO DA FONTE

   Taxa de informação
 Seja uma FDSM com H gerando r símb/s, tal que taxa de
inf. É →bits/s. →codif. adequada:
 Se (TDB): transmissão da I sem perda pelo canal
 Se : Não há transmissão da I pelo canal
 Obs: manifestação do 1ºTCFS; binits/s; bits/s e r-símb/s

 Propriedades
 M símb. Equip.:
 M símb. N/equip.:
 1.3. CODIFICAÇÃO DA FONTE

 Taxa de informação (Exemplo)

1.  Uma fonte emite r=2000 símb/s de um alfabeto de M=4 elementos,
com as probabilidades de p(A)=1/2; p(B)=1/4; p(C)=1/8; p(D)=1/8.
Se quisermos codificar estes símbolos através de dígitos binários
qual é o número mínimo de binits que podemos transmitir por
unidade de tempo?

a) Entropia: H=1/2x1+1/4x2+2x1/8x3=1,75 bits/s (Hmax=logM=2)

b) Taxa de Informação: R=rxH=2000x1,75=3500 bits/s
c) Taxa binária: rb≥R≥3500 bits/s (TDB p/transmitir pela fonte
através de uma codif adequada)
 1.3. CODIFICAÇÃO DA FONTE
1) Entropia H = 1,75 bits/símb.
 Codificação binária de uma FSM (Exemplo)
2) Cód.I: K=1; L>H (UD); E=H/L=88%
 FDSM de de 4 símbolos A, B, C e D com pi 1/2,
3) Cód. II: K>1; L<H (N/UD (ex.:10011
1/4, 1/8, 1/8. Quatro possíveis formas
pode ser BAABB de ou CAD,
ou CABB
codificação: etc.)
Cód. Cód. Cód.I
xi pi Cód.III 4) Cód.III: K<1; L<H (UD);
I II V
A 1/2 00 0 0 0 E=H/L=93% (Todos “0”).
B 1/4 01 1 01 10
C 1/8 10 10 011 110 5) Cód. IV: k=1; L=H (UD);
D 1/8 11 11 0111 111 E=H/L=100%
Lmed 2 1,25 1,875 1,75 Cod. Prefixo (estrut. Cód. Dif.
K 1 1,5 0,9375 1 p/símb.)
Cód. Óptimo L=H e K=1 (Exemplo:
110010111 ↔ CABD)
 1.3. CODIFICAÇÃO DA FONTE
 Códigos de fonte para a compressão de dados

2 modelos Modelos
 Estatísticos (Códigos)
 Shannon – Fano;
 Huffman

 Aritmético

 Dicionários (Códigos)
 Lampel – Ziv 77
 Lampel – Ziv 78
 Lampel – Ziv – Welch
 1.3. CODIFICAÇÃO DA FONTE
 Código de Huffman

 Propriedade:
 N.º Méd. DB por Símb. É Minimo

 Garante que H≤L<H+1 (H=L: Cód. Ideal, Óptimo)

 Árvore do código

 Ex. 4 símbolos: A,B,C,D com pA=3/8, pC=1/4, pG=1/4,

pT=1/8 (L? H? Código?)
 L=2; H=1,9;E=95%
 1.3. CODIFICAÇÃO DA FONTE (HUFFMAN)
 Passos p/construir árvore Cód.
 Ordem decrescente das probab.
 Agrupar dois nós de menor
probab. somá-los e formar um
novo nó;
 Atribuir “0” e “1” a cada ramo dos
nós que se juntaram
 O código de cada símbolo obtém-
se pela leitura sequencial da raiz
até ao nó final
 Adicionar prob. 0 quando não é possível agrupar (A=1,2,3,4);
pA(0,4;0,2;0,2;0,2)
 1.3. CODIFICAÇÃO DA FONTE
 Código de Huffman (Exercício)
 Usar o código de Huffman para codificar uma fonte que produz
oito símbolos: P(x1)=0,50; P(x2)=0,02; P(x3)=0,03; P(x4)=0,04;
P(x5)=0,10; P(x6)=0,04; P(x7)=0,12; P(x8)=0,15.
 1.3. CODIFICAÇÃO DA FONTE
 Código de Huffman (Exercício)
  
1. Seja o Alfabeto X={A,B,C,D} com
probab. Respectivas p={0,1;
0,25; 0,2; 0,45}. Desenhe o cód. Huffman binário (D={0,1})

2. Seja o Alfabeto X={A,B,C,D,E} com probab. Respectivas

p={1/2; 1/4; 1/8; 1/8; 0}. Desenhe o cód. Huffman ternário
(D={0,1,2}

3. Seja o Alfabeto X={1,2} c/probab. Respectivas p={0,2;0,8}.

Desenhe o cód. Huffman e calcule H(x), L(x) e analise L(x) –
H(x) para (1ª ordem) e (3ª ordem)
 1.3. CODIFICAÇÃO DA FONTE
 Codificação de Huffman – problemas

1. Requer conhecer a priori o modelo probabilístico da fonte

2. Gera um cód. Para cada símbolo

3. Em algumas aplicações, como modelamento de texto, a

armazenagem impede o código de Huffman de capturar as relações
entre palavras e frase – comprometimento da eficiência do código

4. Alternativa??
 1.3. CODIFICAÇÃO DA FONTE
 Código de Shano-Fano-Elias (1940 - 1950)
  
 Introdução
 Lim. De L (H≤L<H+1)→Ext. Da fonte

 Pouco prático (N cresce exp.) para Huffman

 Cód. SFE alternativa de Huffman para Fontes extendidas

 Interesse histórico (Base para Codif. Aritmética)

 Def: Seja o Alfabeto X={x1,...,xn} e p={p1,...,pn} as probab. Dos

símbolos. Então (P/construir o código):
 Função de distrib.

 Pontos Centrais de :

 Comp. Do Cód.:

 Cód. Do Símbolo: C(xi)=1ºs DB de

 1.3. CODIFICAÇÃO DA FONTE
 Código de Shano-Fano-Elias (Exemplo)
  
 Considere uma fonte que gera símbolos do Alfabeto
X={x1,...,x11} com probab. p={1/2; 1/4; 1/8; 1/16;
1/32; 1/64; 1/128; 1/256; 1/512; 1/1024; 1/1024} .
Calcule os valores de ; e as palavras código de SFE
na forma Decimal (Tarefa: na forma binária:
Converter para binário )
 1.3. CODIFICAÇÃO DA FONTE
 Código de Shano-Fano-Elias (Resolução do Ex. anterior;: Decimal)
  
 ; ; ; C(xi)=1ºs DB de
i   pi log(1/pi) li C(xi) H
1 2 0,50000000000 0,3010 2 0,250000000000 25 1,0000 0,1505
2 4 0,25000000000 0,6021 2 0,625000000000 62 0,5000 0,1505
3 8 0,12500000000 0,9031 2 0,812500000000 81 0,2500 0,1129
4 16 0,06250000000 1,2041 3 0,906250000000 906 0,1875 0,0753
5 32 0,03125000000 1,5051 3 0,953125000000 953 0,0938 0,0470
6 64 0,01562500000 1,8062 3 0,976562500000 976 0,0469 0,0282
7 128 0,00781250000 2,1072 4 0,988281250000 9882 0,0313 0,0165
8 256 0,00390625000 2,4082 4 0,994140625000 9941 0,0156 0,0094
9 512 0,00195312500 2,7093 4 0,997070312500 9970 0,0078 0,0053
10 1024 0,00097656250 3,0103 5 0,998535156250 99853 0,0049 0,0029
11 1024 0,00097656250 3,0103 5 0,999511718750 99951 0,0049 0,0029
          2,1426 0,6015
 
 1.3. CODIFICAÇÃO DA FONTE
 Código de Shano-Fano-Elias (Resolução do Ex. anterior: Binário)
  
 ; ; ; C(xi)=1ºs DB de
i   pi log(1/pi) li (binário) C(xi) H

1 2 0,50000000000 0,3010 2 0,250000000000 1,0000 0,1505

2 4 0,25000000000 0,6021 2 0,625000000000 0,5000 0,1505

3 8 0,12500000000 0,9031 2 0,812500000000 0,2500 0,1129

4 16 0,06250000000 1,2041 3 0,906250000000 0,1875 0,0753

5 32 0,03125000000 1,5051 3 0,953125000000 0,0938 0,0470

6 64 0,01562500000 1,8062 3 0,976562500000 0,0469 0,0282

7 128 0,00781250000 2,1072 4 0,988281250000 0,0313 0,0165

8 256 0,00390625000 2,4082 4 0,994140625000 0,0156 0,0094

9 512 0,00195312500 2,7093 4 0,997070312500 0,0078 0,0053

10 1024 0,00097656250 3,0103 5 0,998535156250 0,0049 0,0029

11 1024 0,00097656250 3,0103 5 0,999511718750 0,0049 0,0029

          2,1426 0,6015
 
 1.3. CODIFICAÇÃO DA FONTE

 Código Aritmético

 Aautores: Piter Elias (1960); Abramson (1963); Rissanen e Pasco

(1976); Rubin (1979); Witten (1987); Mofat (1998)

 Justificação
 Aumento de conteúdos de miltimédia
 Limitação física da estrutura da rede
 Algorítmo de codificação eficiente

 Vantagem: um único cód. A um conjunto de símbolos

 1.3. CODIFICAÇÃO DA FONTE

 Código Aritmético (Exemplo)

 Considere-se uma fonte sem memória com
alfabeto {1, 2, 3, 4}; as probabilidades dos
símbolos são, respectivamente, {0.4, 0.35, 0.15,
0.1}. Pretende obter-se a palavra de código
aritmético binário para sequência (1, 1, 2, 1, 4, 3,
2).
 1.3. CODIFICAÇÃO DA FONTE
 Código Aritmético (Exemplo)

 A probabilidade desta sequência é p(1)p(1)p(2)p(1)p(4)p(3)p(2)=0.43x0.352x0.15x 0.1 =

0.0001176.

 Inserindo esse valor em l = ⌈−log2 p(X1x...xXn)⌉+1, pode desde já afirmar-se que a palavra
de código possui 15 bits.

 Dado que o alfabeto possui 4 símbolos, em cada iteração o intervalo actual [L, R[ é
subdividido em 4 subintervalos I1, I2, I3 e I4, definidos por 5 pontos T1 = L, T2, T3, T4 e
T5 = R.

 Na tabela seguinte, apresenta-se a evolução do algoritmo, listando-se os sucessivos valores

dos pontos que delimitam os subintervalos, o subintervalo escolhido por cada símbolo e a
respectiva largura.
 1.3. CODIFICAÇÃO DA FONTE

 Código Aritmético (Exemplo)

 F(1, 1, 2, 1, 4, 3, 2) = 0,0859744 +0.00011762 = 0,0860332.

 Em base 2, F(1, 1, 2, 1, 4, 3, 2) = 0,0001011000000110010001...,
 C(1, 1, 2, 1, 4, 3, 2) (1ºs 15 dig)= 000101100000011.
 1.4. CODIFICAÇÃO DO CANAL

 Introdução
 Canal: Meio de transmissão do sinal do TX para RX.
 Ex: Fio/Cobre, Fibra óptica, ar, disquete, CD-ROM, DVD, o HD de um PC,
etc.

 O canal corrompe a inf. transmitida (ruído, interferência, atenuação) → erros

nos bits recebidos
 Num Sist Com. Dig., Pb determina o desempenho.

 Como controlar a Pb (corrupção do canal)?

 Codificar o canal, isto é, conhecendo o BER reduzir o SNR, aumentando a

eficiência do sistema.
 1.4. CODIFICAÇÃO DO CANAL

 Princípio de codificação de canal: Adicionar bits extras

para corrigir.

 Ex: C = {00000; 01011; 10110; 11101}: Cód. Canal

 Com 1-2 DB=INF, 3-5=Extra:

 Se transmitido no canal (Rádio): TX=01011, e RX= 11011.

Comparando (pelos extras): 011 →01=01011 (Cód. Canal)
 1.4. CODIFICAÇÃO DO CANAL

 Introdução
 Vantagens
 Melhora a transmissão
 Aumenta a faixa de operação
 Reduz a taxa de erros
 Diminui os requerimentos de potência transmitida
 1.4. CODIFICAÇÃO DO CANAL

 Introdução
 1.4. CODIFICAÇÃO DO CANAL
 Teorema de codificação de canal
  Seja FDSM, com H(X) produzindo símbolos a cada
Ts, e um canal DMC com capacidade C usado cada
Tc segundos. Então, se

 Existe um esquema de codificação para o qual a

saída da fonte pode ser transmitida pelo canal e
reconstruída. Pelo contrário, se

 não é possível o anterior. Resultado mais importante

da Teoria de Informação.
 1.4. CODIFICAÇÃO DO CANAL
 Capacidade do canal (Shannon): QI num canal AWGN
    → bps; P→Watts; B→Hetz

 Princ. Cod. Do canal (Shannon)

 Introdução de bits para a detecção e correcção de erros
nos bits recebidos.
 Semelhança máx. entre o sinal TX e RX
 Redução da Pb TX e RX
 +bits red. –Pb: Taxa Tx< C
 Descod. procura padrão símbolos semelhantes à Inf.
TX
 critérios de decisão
 1.4. CODIFICAÇÃO DO CANAL

 Teorema de codificação de canal não diz como

codificar, resultado, dificuldade!
 Técnicas de codificação (detecção e correcção)
de canal: Códigos de blocos e convolucionais
 Codificação por bloco (forma (k,n)): O
codificador adiciona n-k bits redudantes,
transformando k bits de informação num bloco
codificado mais longo com n bits
 1.4. CODIFICAÇÃO DO CANAL

 Codificação Convolucional:
 Possui memória
 Os bits codificados dependem não só dos bits de informação
como também da informação armazenada pela memória do
código
 Aparecem K registos deslizantes.
 1.4. CODIFICAÇÃO DO CANAL
 Taxa de codificação

   Cod. Canal: Transforma um bloco de inf. com k bits
num bloco codificado com n bits
 Taxa ou Razão de codif: : Rc> Ri

 Técnicas de desmodulação(Var. decisão

desmodulador )
 Tipo Rígida (HOD): informação binária (1 bit)
 Tipo Branda (SOD): infor. n/binária (multibit).
Complexa, óptima