Actividad de aprendizaje 2: Codificación

Jose Benildo Macias Urrea

septiembre 2019

Fundación Universitaria Panamericana

Ingeniería de Sistemas
Teoría de la Información y las Telecomunicaciones
 1. Una fuente binaria de memoria nula tiene las probabilidades P (0) = 0.1 y P(1) = 0.9
a) Calcule la entropía de la fuente.
b) Calcule la longitud media de código utilizando códigos compactos binarios para
Sn donde n = 1; 2; 3; 4 teniendo en cuenta como alfabeto X = {0,1}. Tip: S2 =
{00,01, 10,11}, luego las probabilidades serian: Ps2 = {0.01, 0.09, 0.09, 0.81}
Solución S2:

Código Símbolo P S1 S2 S3
1 S1 0,01 1 0,01 0,01 0,99 0
010 S2 0,09 010 0,81 00 0,81 0,01 1
0,99
011 S3 0,09 011 0,09 0,18
0,18 01
000 S4 0,81 000 0,09
0,81
001 S5 0 001

Solución S3:

# 3 2 1 0
0 0 0 0 0
1 0 0 0 1
2 0 0 1 0
3 0 0 1 1
4 0 1 0 0
5 0 1 0 1
6 0 1 1 0
7 0 1 1 1
8 1 0 0 0
9 1 0 0 1
10 1 0 1 0
11 1 0 1 1
12 1 1 0 0
13 1 1 0 1
14 1 1 1 0
15 1 1 1 1
 Código Símbolo P S1 S2 S3
0 S1 0,729 0,729 0,729 0,729 0
2 S2 0,081 0,081 0,081 0,190 1
10 S3 0,081 0,081 10 0,081 10 0,081 2
11 S4 0,081 0,081 11 0,081 0,190 11
121 S5 0,009 121 0,010 120 0,028 12
122 S6 0,009 122 0,009 0,028 121
1200 S7 0,009 120 0,009 122
1201 S8 0,001 0,010
1202 S9 0

Solución S4:
# 3 2 1 0
0 0 0 0 0
1 0 0 0 1
2 0 0 1 0
3 0 0 1 1
4 0 1 0 0
5 0 1 0 1
6 0 1 1 0
7 0 1 1 1
8 1 0 0 0
9 1 0 0 1
10 1 0 1 0
11 1 0 1 1
12 1 1 0 0
13 1 1 0 1
14 1 1 1 0
15 1 1 1 1
 Código Símbolo P S1 S2 S3 S4
0 S1 0,6561 0 0,6561 0 0,6561 0 0,6561 0 0,6561 0
2 S2 0,0729 2 0,0729 2 0,0729 2 0,0729 2 0,1981 1
3 S3 0,0729 3 0,0729 3 0,0729 3 0,0729 3 0,0729 2
10 S4 0,0729 10 0,0729 10 0,0729 10 0,0729 10 0,0729 3
11 S5 0,0729 11 0,0729 11 0,0729 11 0,0729 11
0,1981
120 S6 0,0081 120 0,0081 13 0,0199 0,0324 12
121 S7 0,0081 121 0,0081 120 0,0081 0,0199 13
122 S8 0,0081 122 0,0081 121 0,0081 1
0,0324
123 S9 0,0081 123 0,0081 122 0,0081
130 S10 0,0081 130 0,0081 0,0081
131 S11 0,0081 131 0,0081 12
0,0199
133 S12 0,0009 0,0028
1320 S13 0,0009 1320 0,0009
1321 S14 0,0009 1321 13
0,0028
1322 S15 0,0009 1322
1323 S16 0,0001 1323
132

2. Dada la fuente S = {1/3, 1/3, 1/9, 1/9, 1/27, 1/27, 1/27}

a) Encontrar códigos compactos para X = {0, 1} y X = {0, 1, 2}

Solución Binaria x= {0,1}

Símbolo Prob. Código S1 S2 S3 S4 S5

S1 1/3 1 1/3 1 1/3 1 1/3 1 1/3 1 2/3 0
S2 1/3 00 1/3 00 1/3 00 1/3 00 1/3 00 1/3 1
S3 1/9 011 1/9 011 1/9 011 2/9 010 1/3 01
S4 1/9 0100 1/9 0100 1/9 0100 1/9 011
S5 1/27 01011 2/27 01010 1/9 0101
S6 1/27 010100 1/27 01011
S7 1/27 010101

Solución Ternaria x= {0,1,2}

1
𝑙1 = 𝑙𝑜𝑔3 = 𝑙𝑜𝑔3 3 = 1
𝑝1
1
𝑙2 = 𝑙𝑜𝑔3 = 𝑙𝑜𝑔3 3 = 1
𝑝2
1
𝑙3 = 𝑙𝑜𝑔3 = 𝑙𝑜𝑔3 32 = 2
𝑝3
1
𝑙4 = 𝑙𝑜𝑔3 = 𝑙𝑜𝑔3 32 = 2
𝑝4
1
𝑙5 = 𝑙𝑜𝑔3 = 𝑙𝑜𝑔3 33 = 3
𝑝5
 1
𝑙6 = 𝑙𝑜𝑔3 = 𝑙𝑜𝑔3 33 = 3
𝑝6
1
𝑙7 = 𝑙𝑜𝑔3 = 𝑙𝑜𝑔3 33 = 3
𝑝7
Código compacto para fuentes especiales.

Símbolo Código
S1 0
S2 1
S3 20
S4 21
S5 220
S6 221
S7 222

b) Calcular la longitud media de código para cada codificación.

Solución x= {0,1}
1 1 1 1 1 1 1 65
𝐿 =1∗ +2∗ 3∗ +4∗ +5∗ +6∗ +7∗ = ≈ 𝟐. 𝟒𝟎
3 3 9 9 27 27 27 27
Solución Ternario x= {0,1,2}
1 1 1 1 1 1 𝟏𝟑
𝐿 =1∗ +1∗ +2∗ +2∗ +3∗ +3∗ =
3 3 9 9 27 27 𝟗
3. La fuente S consta de 9 símbolos cada uno de probabilidad de 1/9.
a) Encontrar un código compacto de alfabeto X = {0; 1}, X = {0, 1, 2} y X = {0, 1,
2, 3}

Solución Binario.
P Cod S1 S2 S3 S4 S5 S6 S7 S8 S9 S10
S1 0,11 001 0,22 01 0,22 0,22 01 0,22 0,22 01 0,22 0,22 01 0,33 00 0,44 0,55 0
S2 0,11 0000 0,11 0,22 10 0,22 0,22 10 0,22 10 0,22 10 0,22 10 0,22 01 0,33 0,44 1
0,55
S3 0,11 0001 0,11 0,11 0,11 0,22 11 0,22 11 0,22 11 0,22 11 0,22 0,22
0,44
S4 0,11 110 0,11 0,11 0,11 0,11 0,11 001 0,22 000 0,22 0,22
0,33
S5 0,11 111 0,11 0,11 0,11 0,11 0000 0,11 0,11 001 0,11
0,22
S6 0,11 100 0,11 0,11 110 0,11 0,11 0001 0,11 00
0,22
S7 0,11 101 0,11 0,11 111 0,11 000
0,22
S8 0,11 010 0,11 11
0,22
S9 0,11 011
Solución Ternario.

Código P S1 S2 S3
S1 20 0,11 20 0,33 0,33 0 0 0,33 0
S2 21 0,11 21 0,11 20 0,33 1 1 0,33 1
S3 22 0,11 22 0,11 21 0,11 20 0,33 2
S4 10 0,11 10 0,11 22 0,11 0,33 21
S5 11 0,11 11 0,11 10 0,11 22
S6 12 0,11 12 0,11 0,33 11
S7 00 0,11 00 0,11 12
S8 01 0,11 0,33 01
S9 02 0,11 05

Solución Cuaternario.

No se encontró esta forma, se aplica la formula para determinar la viabilidad, así:

a. Buscando con S9

S1 0,11 0,44 0,44

S2 0,11 0,11 0,44
S3 0,11 0,11 0,11
S4 0,11 0,11
0,44
S5 0,11 0,11
S6 0,11 0,11
S7 0,11
0,44
S8 0,11
S9 0,11

b. Buscando con S10

S1 0,11 0,33 0,33

S2 0,11 0,11 0,33
0,89
S3 0,11 0,11 0,11
S4 0,11 0,11 0,11
S5 0,11 0,11 0,33
S6 0,11 0,11
S7 0,11 0,11
S8 0,11
0,33
S9 0,11
S10 0
R+4(R-1) a=(10-4)/3=2