Você está na página 1de 59

Seguridad Informtica y Criptografa

Material Docente de
Libre Distribucin
Ultima actualizacin del archivo: 01/03/06
Este archivo tiene: 59 diapositivas
Dr. Jorge Rami Aguirre
Universidad Politcnica de Madrid
Curso de Seguridad Informtica y Criptografa JRA
v 4.1
Captulo 6
Teora de la Informacin
Este archivo forma parte de un curso completo sobre Seguridad Informtica y Criptografa. Se autoriza el uso,
reproduccin en computador y su impresin en papel, slo con fines docentes y/o personales, respetando los
crditos del autor. Queda prohibida su comercializacin, excepto la edicin en venta en el Departamento de
Publicaciones de la Escuela Universitaria de Informtica de la Universidad Politcnica de Madrid, Espaa.
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 179
Los pilares sobre los que descansa toda la teora asociada a
los criptosistemas son bsicamente tres:
La teora de la informacin
Estudio de la cantidad de informacin contenida en los
mensajes y claves, as como su entropa.
La teora de los nmeros
Estudio de las matemticas discretas y cuerpos finitos
que permiten las operaciones de cifrado y descifrado.
La teora de la complejidad de los algoritmos
Estudio de la clasificacin de los problemas como
computacionalmente tratables o intratables.
Estos temas los veremos en ste y en los siguientes captulos del libro.
Fundamentos de la Seguridad Informtica
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 180
Definicin de informacin:
Es el conjunto de datos o mensajes inteligibles
creados con un lenguaje de representacin y que
debemos proteger ante las amenazas del entorno,
durante su transmisin o almacenamiento, usando
tcnicas criptogrficas entre otras herramientas.
Teora de la informacin
La teora de la informacin mide la
cantidad de informacin que
contiene un mensaje a travs del
nmero medio de bits necesario para
codificar todos los posibles mensajes
con un codificador ptimo.
Qu significa
cantidad de
informacin y
codificador
ptimo?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 181
Puede ser numrica, alfabtica, simblica, por lenguaje.
Ejemplo: 15/01/05 15-01-05 15-1-05 15/01/2005
01/15/05 01-15-05 1-15-05 01-15-2005 ...
- Todos son el da 15 de enero del ao 2005.
Vitaminas: B
12
, C, ...
Grupo sanguneo: A2 Rh+ ...
Elementos: Fe, Si, Hg ...
Compuestos qumicos: H
2
O, CO
2
...
Ms comn Lenguaje con cdigo: Hace calor all?
Veamos la informacin
que contiene el mensaje
Hace calor all?
Representacin de la informacin
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 182
Veremos qu informacin nos entrega un mensaje
dependiendo del contexto en que nos encontremos.
Esto puede analizarse:
a) En funcin de la extensin del mensaje recibido.
b) En funcin de la utilidad del mensaje recibido.
c) En funcin de la sorpresa del mensaje recibido.
d) Dependiendo del entorno de esa sorpresa.
e) En funcin de la probabilidad de recibir un mensaje.
La informacin que tiene un mensaje
Este ltimo enfoque orientado a la ingeniera y usado por
Claude Shannon en su estudio es el que aqu nos interesa.
http://es.wikipedia.org/wiki/Claude_E._Shannon
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 183
En funcin de la extensin del mensaje
Ante una pregunta cualquiera, una respuesta concreta y
extensa nos entregar mayor informacin sobre el tema
en particular, y diremos que estamos ante una mayor
cantidad de informacin.
Pregunta: Hace calor all? (una playa en particular)
Respuesta 1: S, hace mucho calor.
Respuesta 2: Cuando no sopla el viento, el calor all es
inaguantable pues supera los 42 grados a la sombra.
Dnde hay una mayor cantidad de informacin?
Respuesta 2: Cuando no sopla el viento, el calor all es
inaguantable pues supera los 42 grados a la sombra.
Cantidad de informacin (caso 1)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 184
En funcin de la utilidad del mensaje
Ante una pregunta cualquiera, una respuesta ms til y
clara nos dejar con la sensacin de haber recibido una
mayor cantidad de informacin.
Pregunta: Hace calor all? (una playa en particular)
Respuesta 1: S, sobre 30 grados.
Respuesta 2: Si no hay viento del sur y el mar est en
calma, es normal que la temperatura suba bastante.
Respuesta 1: S, sobre 30 grados.
Cantidad de informacin (caso 2)
Dnde hay una mayor cantidad de informacin?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 185
En funcin de la sorpresa del mensaje
Ante una pregunta cualquiera, una respuesta ms
inesperada y sorprendente, nos dar la sensacin de
contener una mayor cantidad de informacin.
Pregunta: Hace calor all? (ahora Finlandia en otoo)
Respuesta 1: S, muchsimo. Es insoportable.
Respuesta 2: En esta poca del ao, la temperatura es
ms suave y el tiempo muy agradable.
Respuesta 1: S, muchsimo. Es insoportable.
Cantidad de informacin (caso 3)
Dnde hay una mayor cantidad de informacin?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 186
Dependencia del entorno (sorpresa)
Ante una pregunta cualquiera, una respuesta inesperada
y sorprendente en el entorno, nos dar la sensacin de
contener una mayor cantidad de informacin.
Pregunta: Hace calor all?
(ahora las mismas respuestas hablan de la temperatura en un horno)
Respuesta 1: S, muchsimo. Es insoportable.
Respuesta 2: En esta poca del ao, la temperatura es
ms suave y el tiempo muy agradable.
Respuesta 2: En esta poca del ao, la temperatura es
ms suave y el tiempo muy agradable. ?
Cantidad de informacin (caso 4)
Dnde hay una mayor cantidad de informacin?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 187
En funcin de la probabilidad de recibir un mensaje
Este enfoque probabilstico es el que nos interesar en
cuanto a la definicin de Cantidad de Informacin.
Dnde le da alegra a su cuerpo Macarena?
Respuesta 1: En un pas de Europa.
Respuesta 2: En una ciudad de Espaa.
Respuesta 3: En los nmeros 1 y 3 de la calle Sierpes en
Sevilla, Espaa.
Respuesta 3: En los nmeros 1 y 3 de la calle Sierpes en
Sevilla, Espaa... La Campana, una excelente bombonera!
Cantidad de informacin (caso 5)
Dnde hay una mayor cantidad de informacin?
Por qu?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 188
Ante varios mensajes posibles, en principio todos equiprobables, aquel
que tenga una menor probabilidad de aparicin ser el que contenga
una mayor cantidad de informacin.
En el ejemplo anterior:
Al ser ms extenso el nmero de calles y sus nmeros en una
ciudad que el nmero de ciudades en Espaa, y esto ltimo mayor
que los pases en Europa, la ltima respuesta tendr una mayor
incertidumbre.
Si suponemos todos los estados equiprobables, entonces la
cantidad de informacin de la respuesta tercera ser mayor que las
dems.
Incertidumbre e informacin
http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html
Las siguientes diapositivas resumen el estudio de Claude Shannon sobre la
entropa en su artculo A Mathematical Theory of Communication que
puede descargarlo en formato pdf desde esta direccin:
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 189
Sea X una variable aleatoria con n estados posibles con
X = x
i
una ocurrencia isima:
X = {x
1
, x
2
, x
3
, ..., x
n-1
, x
n
}
p
1
= p(x
1
), p
2
= p(x
2
), ..., p
n
= p(x
n
)
Como:
0 s p
i
s 1 para i = 1, 2, ..., n
Entonces:
n

E p
i
= 1

i = 1

Concepto de variable aleatoria
La probabilidad de que ocurra p
1
o
p
2
o p
3
, etc. ser siempre la unidad
porque seguro ser uno de ellos.
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 190
Definiremos c
i
a la cantidad de informacin del
estado i, como el logaritmo en base dos de la
probabilidad de que ocurra el estado isimo.

c
i
= - log
2
(p
i
)


- Logaritmo: p(x
i
) = 1 no hay incertidumbre: c
i
= 0
p(x
i
) = 0 mxima incertidumbre: c
i

- Signo: p(x
i
) < 1 log p(x
i
) ser negativo
- Base 2: Un fenmeno binario dos estados (bit)
1
c
i

p
i

0
Definicin de cantidad de informacin

0
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 191
Combinacin 1 Combinacin 5
Combinacin 2 Combinacin 6
Combinacin 3 Combinacin 7
Combinacin 4 Combinacin 8
Grado de indeterminacin previo
Grado de indeterminacin posterior
c
i
=
En una bolsa hay dos papeles con crculos, dos con
cuadrados y dos con tringulos: negros o blancos.
Sacamos a ciegas tres papeles cualesquiera...
Qu cantidad de informacin tiene cada uno de los estados?
Si hay equiprobabilidad
entonces p(x
i
) = 1/8
Grado de indeterminacin
Sea sta ser la combinacin elegida...
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 192
Combinacin 1 Combinacin 5
Combinacin 2 Combinacin 6
Combinacin 3 Combinacin 7
Combinacin 4 Combinacin 8
Como p(xi) = 1/8 entonces
Incertidumbre inicial I
i
= 8
Daremos algunas pistas :
Las figuras no son del mismo color: I
i
baja de 8 a 6 al descartarse
las combinaciones 1 y 8.
El crculo es blanco: I
i
baja de 6 a 3 (descartamos 5, 6 y 7).
Hay dos figuras blancas: I
i
baja de 3 a 2 (descartamos 4).
El cuadrado es negro: I
i
baja de 2 a 1 (descartamos 2.)
Veamos esto ahora
matemticamente ...
Se acaba la incertidumbre pues la solucin es la combinacin 3.
La incertidumbre del ejemplo del mago
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 193
Las figuras no son del mismo color. I
i
baja de 8 a 6:
c
i1
= log (8/6) = log 8 - log 6
El crculo es blanco. I
i
baja de 6 a 3:
c
i2
= log (6/3) = log 6 - log 3
Hay dos figuras blancas. I
i
baja de 3 a 2:
c
i3
= log (3/2) = log 3 - log 2
El cuadrado es negro. I
i
baja de 2 a 1:
c
i4
= log (2/1) = log 2 - log 1
Todas las magnitudes se pueden sumar como escalares:
c
i
= c
i1
+ c
i2
+ c
i3
+ c
i4
= log 8 - log 1 = log 8
Solucin matemtica al ejemplo del mago
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 194
Sean I
i
la indeterminacin inicial
I
f
la indeterminacin final
c
i
= log (I
i
/ I
f
) = log I
i
- log I
f

La cantidad de informacin tiene como unidad de medida
la de un fenmeno de slo dos estados, un fenmeno
binario. Luego:
c
i
= log
b
(2/1) = log
b
2 - log
b
1
Si log
b
2 debe ser igual a 1 entonces la base b = 2.
Precisamente a esta unidad se le llama bit (binary digit)
Ejemplo anterior: c
i
= log
2
8 = 3. Es decir, pasamos de la
incertidumbre total a la certeza con slo 3 preguntas.
Base del logaritmo
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 195
Con slo tres preguntas ms o menos inteligentes
podemos pasar de la incertidumbre total a la certeza:
Pregunta 1: Est entre la opcin 1 y la 4? S
Pregunta 2: Est entre la opcin 1 y la 2? No
Pregunta 3: Es la opcin 4? No Se acaba la indeterminacin!
Con slo tres preguntas inteligentes...
Combinacin 1 Combinacin 5
Combinacin 2 Combinacin 6
Combinacin 3 Combinacin 7
Combinacin 4 Combinacin 8
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 196
Si un fenmeno tiene un grado de indeterminacin k y
sus estados son equiprobables, la probabilidad p de
que se d uno de esos estados ser 1/k. Luego:
c
i
= log
2
(k/1) = log
2
[1/(1/k)] = - log
2
p
Si ahora cada uno de estos estados tiene una
probabilidad distinta p
i
, la entropa H ser igual a la
suma ponderada de la cantidad de informacin:
H = - p
1
log
2
p
1
- p
2
log
2
p
2
- ... - p
k
log
2
p
k

k

H = - E p
i
log
2
p
i

i = 1

Nota: aunque la ecuacin parece
bastante lgica, no es inmediata.
Entropa de los mensajes
http://en.wikipedia.org/wiki/Information_entropy
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 197
La entropa de un mensaje X, que se representa por H(X),
es el valor medio ponderado de la cantidad de informacin
de los diversos estados del mensaje.



Es una medida de la incertidumbre media acerca de una
variable aleatoria y el nmero de bits de informacin.
k

H(X) = - E p(x
i
)

log
2
p(x
i
)
i = 1

Despus del ejemplo de los papeles, podramos aceptar el
concepto de incertidumbre en H. Lo que ahora nos llama
la atencin es lo del nmero de bits de informacin.
Esto lo
veremos ms
adelante...
Definicin de entropa
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 198
a) La entropa es no negativa y se anula si y slo si un estado de la
variable es igual a 1 y el resto 0. Esta demostracin es sencilla.
b) La entropa ser mxima, hay mayor incertidumbre del mensaje,
cuando exista una equiprobabilidad en todos los valores de la
variable X. La demostracin emprica es muy fcil; no obstante
la demostracin matemtica de este mximo no es directa. El
valor mximo de H(X) para una variable de n estados ser log
2
n.
Si hay n estados equiprobables, entonces p
i
= 1/n.
Luego:
H(X) = - E p
i
log
2
p
i
= - n(1/n) log
2
(1/n) = - (log
2
1 - log
2
n)
i
H(X)
mx
= log
2
n
Propiedades de la entropa
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 199
Nos falta encontrar el segundo trmino pendiente en la
definicin de cantidad de informacin: codificador ptimo.
Introduciendo el signo negativo dentro del logaritmo en la
expresin de la entropa, sta nos quedar como:
H(X) = E p(x) log
2
[1/p(x)]
i
La expresin log
2
[1/p(x)] representar el nmero necesario
de bits para codificar el mensaje X en un codificador ptimo.
Codificador ptimo es aquel que para codificar un
mensaje X usa el menor nmero posible de bits.
Concepto codificador ptimo
Veamos un ejemplo
de codificacin
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 200
M = 1 = 01 A = 000 I = 0010 E = 0011
Letra Frecuencia Ocurrencias
E 1 vez 3 6 9 15
I 2 veces
A 3 veces I E A M
3 veces I E A
M 6 veces I E A
I E Cdigo ptimo:
Mensaje: MI MAMA ME MIMA
Mensaje: 1 0010 01 1 000 1 000 01 1 0011 01 1 0010 1 000 (33 bits)
Pregunta: Cuntos bits necesitara para codificarlo usando ahora cdigo ASCII?
Creacin del rbol de
frecuencias observadas
Codificacin con el mtodo de Huffman
http://articulos.conclase.net/compresion/huffman.html
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 201
Para que d un valor exacto, vamos a calcular el nmero de bits ptimo
de codificacin para el mensaje M = LELA ELLA (*) de 8 caracteres :
Solucin:
p(L) = 0,5; p(E) = 0,25; p(A) = 0,25; y obviamente E p(L, E, A) = 1,0.
Para codificar L necesitaremos 1 bit: log
2
[1/ P(L)] = log
2
2 = 1
Para codificar E necesitaremos 2 bits: log
2
[1/ P(E)] = log
2
4 = 2
Para codificar A necesitaremos 2 bits: log
2
[1/ P(A)] = log
2
4 = 2
Luego, si L se codifica como 0, E como 10 y A como 11, el mensaje M se
codificar como: 0 10 0 11 10 0 0 11, es decir se transmiten 12 bits.
Si calcula la entropa de M obtendr H(M) = 1,5 y al mismo valor se llega
con el concepto de nmero medio de bits: para codificar un mensaje M de
8 elementos, hemos usado 12 bits. Luego 12/8 = 1,5 bits por elemento.
(*) Mis disculpas este mensaje poco afortunado, pero era difcil encontrar uno
con estas caractersticas y que tuviese algo de sentido... aunque no sea cierto .
El nmero necesario de bits y la entropa
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 202
Si existe una segunda
variable Y que influya
sobre X, esto nos
entregar importante
informacin adicional.
H(X/Y) = - E p
(x,y)
log
2
p
(x,y)

x,y

Luego:
H(X/Y) = - E p
(y)
E p
(x/y)
log
2
p
(x/y)

y x
La entropa se
reduce: hay ms
orden y menos
incertidumbre.
Entropa condicional: equivocacin de X
Donde p(x,y) = p(y)p(x/y) y la
relacin p(x/y) es la probabilidad
de que se obtenga un estado X
conocido el valor de Y.
El resultado ms
interesante es que...
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 203
Sea X = {x
1
, x
2
, x
3
, x
4
} con p(x
i
) = 0,25
Sea ahora Y = {y
1
, y
2
, y
3
} con p(y
1
) = 0,5; p(y
2
) = 0,25; p(y
3
) = 0,25
Luego H(X) = 4 log
2
4 = 2,0 y H(Y) = 2 log
2
4 + log
2
2 = 1,5
Suponga adems que hay las siguientes dependencias entre X e Y:
Si Y = y
1
X = x
1
o x
2
o x
3
o x
4
(cualquiera con igual probabilidad)
Si Y = y
2
X = x
2
o x
3
(cualquiera con igual probabilidad)
Si Y = y
3
X = x
3
o x
4
(cualquiera con igual probabilidad)

y=3 x=4
Como H(X/Y) = - E p
(y)
E p
(x/y)
log
2
p
(x/y)

y=1 x=1
H(X/Y) = - p(y
1
)[p(x
1
/y
1
)log
2
p(x
1
/y
1
) + p(x
2
/y
1
)log
2
p(x
2
/y
1
) + p(x
3
/y
1
)log
2
p(x
3
/y
1
) + p(x
4
/y
1
)log
2
p(x
4
/y
1
)]
- p(y
2
)[p(x
1
/y
2
)log
2
p(x
1
/y
2
) + p(x
2
/y
2
)log
2
p(x
2
/y
2
) + p(x
3
/y
2
)log
2
p(x
3
/y
2
) + p(x
4
/y
2
)log
2
p(x
4
/y
2
)]
- p(y
3
)[p(x
1
/y
3
)log
2
p(x
1
/y
3
) + p(x
2
/y
3
)log
2
p(x
2
/y
3
) + p(x
3
/y
3
)log
2
p(x
3
/y
3
) + p(x
4
/y
3
)log
2
p(x
4
/y
3
)]
Calculando, se obtiene H(X/Y) = 1,0 + 0,25 + 0,25 = 1,5. La entropa de
X ha bajado en medio bit por el conocimiento de su relacin con Y.
Ejemplo de entropa condicional
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 204
Servir como un parmetro para la evaluacin de la fortaleza
de un criptosistema segn equivocacin de clave y mensaje.
Importancia de la entropa condicional
Equivocacin del mensaje M
Cul es la probabilidad de
que a un criptograma C le
corresponda un mensaje en
claro M?
Equivocacin de la clave k
Cul es la probabilidad de
que a un criptograma C le
corresponda una cifra con
una clave k?
H(K/C) = - E p
(c)
E p
(k/c)
log
2
p
(k/c)

c k
H(M/C) = - E p
(c)
E p
(m/c)
log
2
p
(m/c)

c m

Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 205
Ratio r
Es el nmero de bits de informacin en cada carcter
para mensajes con una longitud igual a N caracteres.
Luego, segn la definicin de entropa, se tiene:
r = H(X)/N (bits/letra)
Si codificramos un mensaje letra a letra suponiendo
adems equiprobabilidad entre las letras, se obtiene la
denominada ratio absoluta del lenguaje, R:
R = H(X)
R
castellano
= log
2
n = log
2
27 = 4,75 (bits/letra)
La ratio r del lenguaje
castellano = 27 letras
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 206
Ratio verdadera
- Como las letras que aparecen en un texto no tienen
igual probabilidad, su frecuencia de aparicin es
distinta, los lenguajes est muy estructurados, hay
bloques de dos palabras (digramas) caractersticos,
trigramas, poligramas, etc., la ratio baja mucho...
1,2 < r < 1,5
- A este valor se llega codificando los mensajes con
monogramas, digramas, trigramas, etc., segn el
estudio hecho por Shannon.
Ratio verdadera del lenguaje
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 207
Qu significa esto?
Si un alfabeto consta de L elementos existirn 2
R-N

mensajes posibles de longitud N, la entropa mxima
ser H(X)
mx
= log
2
L, y slo habr 2
r-N
mensajes que
tengan sentido.
Muy importante: No significa que podamos codificar
todos los mensajes de 27 caracteres con 2 bits (esto
sera imposible ). Slo significa que la informacin
que contiene cada letra es tan slo de 1,5 bits.
Significado de la ratio del lenguaje
Veamos un ejemplo
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 208
Ejemplo de la ratio del lenguaje
Un subalfabeto del castellano mdulo 27 consta de 5 caracteres: A, E, O,
S, y T, todos ellos equiprobables. Podemos aceptarlo como representativo
del lenguaje; es ms o menos cierto. De acuerdo, estoy jugando con algo
de trampa pero es para que el ejemplo entre justo en una diapositiva .
Pregunta: Cuntos mensaje de longitud 4 existen y cuntos con sentido?
Solucin:
R = log
2
5 = 2,3219. Existirn as 2
R-4
= 2
2,3219-4
= 625 = 5
4
mensajes.
Como 1,2 < r < 1,5 entonces cabe esperar x mensajes con sentido de
longitud 4 del orden: 2
1,2-4
< x < 2
1,5-4
es decir 27 < x < 64.
Buscando en un diccionario (puede hacerlo) encontramos las 45 palabras
que se indican, y que casualmente es el valor medio (27 + 64)/2 = 45:
aeta, asas, asea, asee, aseo, ases, asta, atea, atas, ates, ateo, atoa, atoe,
atoo, osas, oses, osos, oste, otea, otee, oteo, easo, esas, eses, esos, esta,
este esto, etas, tasa, tase, taso, teas, tesa, tese, teso, teta, seas, seso, seta,
seto, sosa, sota, sote, soto.
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 209
La redundancia D del lenguaje ser la diferencia entre la ratio
absoluta y la ratio real:
D = R - r
3,25 < D < 3,55
Qu significa esto?
El nmero de bits extras (bits redundantes) necesarios para
codificar un mensaje suponiendo un alfabeto de 27
caracteres (codificacin con 5 bits puesto que 2
5
= 32 y 2
4
=
16) ser aproximadamente igual a 3,5.
D/R ser un factor proporcional, luego:
68,42 < % Red. Lenguaje (D/R) < 74,73
Redundancia del lenguaje
No le resulta familiar este porcentaje de reduccin en los archivos zip?
http://es.wikipedia.org/wiki/Compresi%C3%B3n_de_datos
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 210
El estudio de Shannon demuestra que es la estructura del
lenguaje la que produce esta redundancia:
Existe diferencias en la frecuencia de aparicin de cada una
de las letras de un texto, entregando una distribucin tpica,
como puede ver en las tablas del captulo 21 de este libro.
Existe gran cantidad de digramas comunes (en, es, ...),
tambin muchos trigramas (ado, ida, ...), tetragramas (ando,
lado, ...), algunos pentagramas (mente, ...), etc.
Existe una estructuracin tpica de frases y oraciones con
sentido en nuestro lenguaje.
Esto dar pistas al criptoanalista para atacar un sistema. Y nuestra
misin es crear algoritmos que sean seguros y eviten estos ataques.
Es nuestro lenguaje redundante?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 211
Todos los lenguajes sern redundantes. Esto quiere
decir que la misma cantidad de informacin se puede
entregar con menos smbolos o bits.
Sea el siguiente mensaje M = HBNVZNCRC
1
a
ayuda:
En el mensaje original se han quitado las vocales.
Esto nos permite suponer que entre consonantes habr 0, 1,
2, 3 y hasta 4 vocales, segn las reglas del lenguaje...
M = __H__B__N__V__Z__N__C__R__C__
Un ejemplo de redundancia (parte 1)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 212
Tenamos el mensaje M = HBNVZNCRC y adems:
2
a
ayuda:
El mensaje original contiene cinco palabras.
Esto nos permite limitar el nmero de mensajes posibles
que tengan sentido. En estas condiciones podran existir
muchos mensajes de 5 palabras, aunque no cumpliesen de
forma lgica con las reglas del lenguaje. Un ejemplo
vlido pero sin sentido lgico podra ser...
M = AH BUENO AVE ZONA CERCA
Un ejemplo de redundancia (parte 2)
M = __H__B__N__V__Z__N__C__R__C__
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 213
Tenamos el mensaje M = HBNVZNCRC y adems
3
a
ayuda y siguientes:
a) El mensaje original tiene que ver con un circo.
b) Corresponde al estribillo de una cancin infantil.
c) Los espacios estn en: M = HB N VZ N CRC.
Seguro que habr adivinado ya el mensaje....
M = AH BUENO AVE ZONA CERCA
Un ejemplo de redundancia (parte 3)
M = __H__B__N__V__Z__N__C__R__C__
M = HABA UNA VEZ UN CIRCO

Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 214
El ejemplo anterior, adems de demostrar que todos los
lenguajes son redundantes, es un claro exponente de lo que se
entiende en la prctica por entropa condicional.
Cada vez que vamos dando nuevas pistas, disminuye la
incertidumbre del mensaje hasta que sta se anula y por lo
tanto la entropa es igual a 0 ya que existe un nico mensaje
posible con probabilidad igual a la unidad.
Algo parecido ocurre cuando resolvemos un crucigrama y lo
anteriormente resuelto nos sirve como pistas para descubrir
palabras nuevas. Mientras ms palabras tengamos, ms fcil
se hace avanzar en su resolucin. En algunos casos, cuando se
ataque una cifra, el criptoanalista usar mtodos similares.
Redundancia y entropa condicional
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 215
Shannon midi el secreto de un criptosistema como la
incertidumbre del mensaje en claro conocido el
criptograma recibido:
Mensajes M = {M
1
, M
2
, ..., M
3
} E p(M) = 1
M

Criptogramas C = {C
1
, C
2
, ..., C
3
} E p(C) = 1
C

Claves K = {K
1
, K
2
, ..., K
3
} E p(K) = 1
K
Cuando tendr nuestro sistema un secreto perfecto?
Secreto de un sistema criptogrfico
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 216
p(M): Probabilidad de enviar un mensaje M. Si
hay n mensajes M
i
equiprobables, p(M
i
) = 1/n.
p(C): Probabilidad de recibir un criptograma C. Si
cada uno de los n criptogramas recibidos C
i
es
equiprobable, p(C
i
) = 1/n.
p
M
(C): Probabilidad de que, a partir de un texto en
claro M
i
, se obtenga un criptograma C
i
.
p
C
(M): Probabilidad de que, una vez recibido un
criptograma C
i
, ste provenga de un texto claro M
i
.
Definiciones previas secreto criptogrfico
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 217
Un sistema tiene secreto perfecto si el conocimiento del texto
cifrado no nos proporciona ninguna informacin acerca del
mensaje. Es decir, cuando la probabilidad de acierto al recibir
el elemento i +1 es la misma que en el estado i.
Secreto perfecto p(M) = p
C
(M)
La probabilidad p de enviar un mensaje M con texto en claro p(M) o
probabilidad a priori ser igual a la probabilidad p de que, conocido
un criptograma C, ste se corresponda a un mensaje M cifrado con la
clave K. Esta ltima o probabilidad a posteriori es p
C
(M).
Secreto criptogrfico perfecto (1)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 218
La probabilidad p de recibir un texto cifrado C al
cifrar un mensaje M usando una clave K ser p
M
(C).
Luego, M debe haberse cifrado con alguna clave K:
p
M
(C) = E p(K) donde E
K
(M) = C
K

- k
j
/ E
kj
(M
i
) = C
i

En el fondo esto viene a significar que para lograr un
secreto perfecto, el espacio de claves debe ser al
menos de igual tamao que el espacio de mensajes.
Secreto criptogrfico perfecto (2)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 219
La condicin necesaria y suficiente del secreto
perfecto es que para cualquier valor de M se
cumpla que la probabilidad de recibir C,
resultado de la cifra de un mensaje M con una
clave K, sea la misma que recibir el criptograma
C, resultado de la cifra de otro mensaje M
distinto, cifrado con otra clave.
p
M
(C) = p(C)
para todo valor de M
Secreto criptogrfico perfecto (3)
Veamos algunos ejemplos
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 220
Sea el siguiente escenario:
Espacio de Mensajes Espacio de Claves Espacio de Cifrados
M
1
k
1
C
1
k
3
k
2
k
2
M
2
k
3
C
2
k
1
k
3
k
1
M
3
C
3
k
2
p(M) = 1/3 para todo M p(C) = 1/3
p
M
(C) =1/3 p
C
(M) = 1/3
Cifrado con secreto perfecto
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 221
Sea ahora el siguiente escenario:
Probabilidad de que un mensaje M
i
se convierta en un criptograma C
i
: [P
Mi
(C
i
)]
y que un criptograma C
i
sea el resultado de la cifra de un mensaje M
i
: [P
Ci
(M
i
) ]?

Espacio de Mensajes Espacio de Claves Espacio de Cifrados

k
1

M
1
C
1

k
3
k
2

k
2

M
2
k
3
C
2

k
1

k
3
k
1

M
3
k
2
C
3



C
4



p(M
1
) = 1/3
p(C
1
) = 3/9
p(M
2
) = 1/3
p(M
3
) = 1/3
p(C
2
) = 2/9
p(C
3
) = 2/9
p(C
4
) = 2/9
Cifrado sin secreto perfecto (1)
Algo ms
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 222
Esquema anterior:
p
M1
(C
1
) = 1/3 p
M1
(C
2
) = 1/3 p
M1
(C
3
) = 1/3 p
M1
(C
4
) = 0
p
M2
(C
1
) = 1/3 p
M2
(C
2
) = 1/3 p
M2
(C
3
) = 0 p
M2
(C
4
) = 1/3
p
M3
(C
1
) = 1/3 p
M3
(C
2
) = 0 p
M3
(C
3
) = 1/3 p
M3
(C
4
) = 1/3
p
C1
(M
1
) = 1/3 p
C1
(M
2
) = 1/3 p
C1
(M
3
) = 1/3
p
C2
(M
1
) = 1/2 p
C2
(M
2
) = 1/2 p
C2
(M
3
) = 0
p
C3
(M
1
) = 1/2 p
C3
(M
2
) = 0 p
C3
(M
3
) = 1/2
p
C4
(M
1
) = 0 p
C4
(M
2
) = 1/2 p
C4
(M
3
) = 1/2
k
1
M
1
C
1
k
3
k
2
k
2
M
2
k
3
C
2
K
1
K
3
k
1
M
3
k
2
C
3
C
4
Cifrado sin secreto perfecto (2)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 223
Se entender por Distancia de Unicidad al bloque N de
texto cifrado o criptograma mnimo necesario para que se
pueda intentar con ciertas expectativas de xito un ataque
en bsqueda de la clave usada para cifrar.
Este valor se obtiene cuando la equivocacin de la clave
H
C
(K) se acerca a cero o tiende a anularse.
A medida que se tenga un criptograma ms largo, y por
tanto ms informacin, se supone que la tarea de ataque
del criptoanalista se va facilitando.
Se busca el tamao N de criptograma que permita esperar
que la solucin de K sea nica. Suponiendo un cifrador
aleatorio, llegamos al modelo de la diapositiva siguiente.
La distancia de unicidad
http://www.cs.ucla.edu/~jkong/research/security/shannon1949/node14.html
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 224
Existirn 2
RN
mensajes posibles de longitud N.
Existirn 2
rN
mensajes de longitud N con sentido.
El espacio de mensajes de longitud N se dividir en:
Espacio de los mensajes con sentido: M
CS
= 2
rN
.
Espacio de los mensajes sin sentido: M
SS
= 2
RN
- 2
rN
.

Los 2
rN
mensajes con sentido sern equiprobables
siendo su valor p(M
CS
) = 1/2
rN
= 2
-rN
.

El resto de mensajes (2
RN
- 2
rN
) correspondientes a
aquellos sin sentido tendrn una probabilidad nula
p(M
SS
) = 0, ya que nunca sern generados.
Parmetros del modelo aleatorio (1)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 225
Existirn 2
H(K)
claves equiprobables.
En donde H(K) es la entropa de la clave.
Con p(K) = 1/2
H(K)
= 2
-H(K)
.
Con estas claves se cifrarn todos los mensajes con
sentido dando lugar a 2
RN
textos cifrados posibles de
longitud N.
A diferencia de los mensajes, como es lgico los
criptogramas obtenidos sern todos equiprobables.
Parmetros del modelo aleatorio (2)
En la siguiente diapositiva se muestra un esquema
de este modelo.
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 226
Esquema para mensajes de longitud N
Mensajes Sin Sentido
Mensajes Con Sentido
2
RN
2
rN
2
RN -
2
rN
2
RN
Operaciones de
cifra usando
una clave
Criptogramas Mensajes
Veamos ahora los escenarios del modelo de cifra para slo dos claves k
1
y k
2
.
M
1
M
2
M
3
C
1
C
3
C
2
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 227
Espacio de Mensajes Espacio de Claves Espacio de Cifrados

k1
M
1
C
1

k2
M
2

k1
C
2

k2

k2
M
3
C
3

k1

k1

k2
M
4
C
4
k1
M
5
C
5

k2
M
6 k1
C
6

k2
M
7
C
7
M
8
C
8
M
9
C
9
M
10
C
10
Verdaderas SV
SV: Un criptograma est asociado
slo a un texto en claro con sentido
y cifrado con una nica clave k
i
.
SF: Cualquier otra solucin de
cifra distinta a la anterior.
SV: C
3
= E
k1
(M
5
) C
4
= E
k1
(M
2
)
C
6
= E
k2
(M
1
) C
7
= E
k1
(M
3
)
C
9
= E
k1
(M
6
) C
10
= E
k2
(M
6
)
SF: C
2
= E
k1
(M
4
) C
2
= E
k2
(M
4
)
C
5
= E
k2
(M
2
) C
5
= E
k2
(M
5
)
C
1
= E
k1
(M
1
) C
1
= E
k2
(M
3
)
SF C
2
: Condicin obvia
SF C
5
: Condicin dbil
SF C
1
: Condicin fuerte
Escenarios en el cifrador aleatorio
Falsas SF
Soluciones:
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 228
Para cada solucin correcta de un texto M cifrado con
una clave k del espacio 2
H(K)
, existirn otras (2
H(K)
-1)
claves con la misma probabilidad de entregar una
solucin falta SF.
Sea q la probabilidad de obtener un mensaje con sentido:
q = 2
rN
/ 2
RN
= 2
(r - R)N
= 2
-DN
Luego:
SF = (2
H(K)
-1) q = (2
H(K)
-1) 2
-DN
= 2
H(K) - DN
- 2
-DN

SF ~ 2
H(K) - DN
log
2
SF = H(K) - DN
Clculo de la distancia de unicidad (1)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 229
La solucin SF = 0 es imposible porque slo se llega a
ella de forma asinttica con un valor de N infinito como
se muestra en la diapositiva siguiente.
Se acepta entonces que haya como mximo una sola
solucin falsa, de ah su nombre de unicidad, luego:
SF = 2
H(K) DN
Si hacemos SF = 1 H(K) - DN = 0
Por lo tanto:
N = H(K) / D
El valor N ser el nmero mnimo de bytes o caracteres que deber tener
el criptograma C para intentar un ataque por estadsticas del lenguaje.
Por lo general el valor real necesario de N ser unas 10 veces superior.
Clculo de la distancia de unicidad (2)
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 230
Cantidad de Trabajo
Q
H(M/C)
n
N Cantidad de caracteres
(C) Cuando se anula la equivocacin de la clave, H(M/C) = 0,
disminuyen las soluciones falsas y la solucin tiende a ser nica.
(A)
(B)
(C)
(A) Inicialmente hay que hacer un arduo trabajo para obtener algo
coherente. Nos encontraremos con muchas soluciones falsas.
(B) Cuando se tiene una cantidad adecuada de texto cifrado, la
cantidad de trabajo disminuye. Se descartan algunas soluciones.
(D)
Solucin nica
Cantidad de trabajo Q en un criptoanlisis
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 231
Para el cifrador del Csar mdulo 27 en el que la clave es b, todos
los posibles desplazamientos de caracteres, 1 s b s 26, su entropa
H(X) = log
2
26 = 4,7 bits por lo que N = 4,7/3,4 = 1,4 caracteres.
Para el mismo cifrador del Csar pero con clave, si el alfabeto tiene n
caracteres, existirn n! claves posibles. En este caso la entropa de la
clave puede aproximarse como H(X) = log
2
27! ~ 27-log
2
(27/e), por
lo que N = 27-log
2
(27/2,72)/3,4 = 27,4 caracteres.
En el sistema DES la clave verdadera es de 56 bits por lo que su
entropa H(X) = 56. Si el mensaje slo contiene letras maysculas
(27 elementos) podramos decir que N = 56/3,4 = 16,5 caracteres.
Nota: aunque el valor de N sea ahora ms bajo no quiere decir en
absoluto que el DES sea menos seguro que el cifrador del Csar con
clave. Este ltimo se puede atacar fcilmente con estadsticas del
lenguaje muy elementales y el DES no. Adems, recuerde que se
debe contar con un criptograma varias veces mayor que el valor de N
si desea que su criptoanlisis tenga alguna posibilidad de xito.
Algunos ejemplos de distancia de unicidad
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 232
Para lograr un mayor secreto en las operaciones de cifra,
Shannon propuso usar dos tcnicas: difusin y confusin.
Difusin: es la transformacin sobre el texto en claro con el
objeto de dispersar las propiedades estadsticas del lenguaje
sobre todo el criptograma. Se logra con transposiciones.
TRANSPOSICIONES
El uso de tcnicas de difusin
La transposicin consiste bsicamente en una permutacin, es
decir, cambiar los caracteres de lugar segn una regla, una
funcin, etc. Por ejemplo el carcter primero se posiciona en
el lugar cuarto, el segundo en el lugar tercero, etc.
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 233
Confusin: transformacin sobre el texto en claro con objeto
de mezclar los elementos de ste, aumentando la complejidad
de la dependencia funcional entre la clave y el criptograma.
Se obtiene a travs de sustituciones.
SUSTITUCIONES
Ambas tcnicas se usan en sistemas clsicos orientados a caracteres y
tambin en los modernos pero en este caso operando sobre bits.
El uso de tcnicas de confusin
La sustitucin consiste bsicamente modificar la informacin,
es decir, sustituir un carcter por otro de acuerdo a una regla,
una funcin, etc. Por ejemplo cambiar la letra A por la letra
M, la letra B por la letra X , etc.
Fin del captulo
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 234
Cuestiones y ejercicios (1 de 2)
1. Al despertar ponemos la radio y escuchamos noticias que no nos
llaman la atencin. Por qu decimos que no haba informacin?
2. Justifique la definicin logartmica de cantidad de informacin, es
decir la razn de que c
i
= - log (p
i
).
3. Por qu usamos la base 2 en el logaritmo que define c
i
?
4. Cul es el nmero mnimo -e inteligente- de preguntas que hay que
hacer para pasar de la incertidumbre a la certeza en un sistema de n
estados equiprobables? Y si ahora no son equiprobables?
5. Por qu la entropa es no nula y se anula si y slo si uno de los
estados de la variable es igual a la unidad?
6. Codificamos en binario un sistema con 256 estados equiprobables.
Si no usamos un codificador ptimo, cuntos bits son necesarios?
Mediante un codificador ptimo, usaremos ms o menos bits?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 235
Cuestiones y ejercicios (2 de 2)
7. Qu representa la expresin log
2
[1/p(x)] en la entropa H(X)? Si
p(x
1
)=0,6; p(x
2
)=0,3; p(x
3
)=0,1 calcule log
2
[1/p(x)]. Qu opina?
8. Definimos un alfabeto con 71 elementos (maysculas y minsculas,
minsculas acentuadas, dgitos, punto, coma). Si estos elementos
son equiprobables, cul es la ratio absoluta de este alfabeto?
9. La ratio verdadera es mayor o menor que la absoluta? Por qu?
10. Un alfabeto consta de 8 elementos equiprobables. Cuntos posibles
mensajes de tamao 4 existen? De stos, cuntos mensajes podran
tener sentido si esos 8 elementos representan al idioma castellano?
11. Cundo decimos que un sistema tiene secreto perfecto? En un
sistema real, es eso posible? Piense en algn ejemplo y comntelo.
12. Por qu se dice que hay que minimizar las soluciones falsas SF en
el modelo aleatorio para romper la clave? Es la clave k nica?
Jorge Rami Aguirre Madrid (Espaa) 2006
Captulo 6: Teora de la Informacin
Pgina 236
Prcticas del tema 6 (1/1)
Software CripClas: http://www.criptored.upm.es/software/sw_m001c.htm
1. Encuentre la entropa del mensaje M = MI MAMA ME MIMA, comprela
con el resultado de la diapositiva correspondiente, 33 bits para codificar 15
caracteres: 33/15 = 2,2. Por qu no coinciden? Repita este clculo ahora
con el mensaje M = RARORARO y saque conclusiones.
2. Encuentre la entropa de M = ABCDEFGHIJKLMNOPQRSTUVWXYZ
es decir el alfabeto en castellano mdulo 27, y comprela con el valor que
aparece en la dispositiva correspondiente.
3. Cmo son las entropas de M = TE AMO y M = Te amo? Por qu?
4. Copie en el portapapeles todas estas preguntas, guarde el archivo con el
nombre prtema6.txt y encuentre su entropa. Encuentre luego la entropa de
otros archivos txt, grandes y pequeos, y saque conclusiones.
5. Encuentre la frecuencia de monogramas del archivo anterior, prtema6.txt.
Comprela en la misma pantalla con la tabla de frecuencias estndar.