Anlise Forense de

Documentos Digitais

Prof. Dr. Anderson Rocha

anderson.rocha@ic.unicamp.br
http://www.ic.unicamp.br/~rocha

Reasoning for Complex Data (RECOD) Lab.

Institute of Computing, Unicamp
Av. Albert Einstein, 1251 - Cidade Universitria
CEP 13083-970 Campinas/SP - Brasil

Spoofing em
Biometria
Tcnicas para Criao e Deteco

Organizao
Introduo
Motivao
Viso geral

Impresses digitais
ris
Face

em soluo anti-spoof para

Aprofundamento
impresses digitais

Aprofundamento em soluo anti-spoof para face

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Introduo

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Introduo

Biometria: um mtodo para identificao automtica de uma

pessoa, baseado em caractersticas fsicas ou comportamentais
Impresses digitais
ris
Face

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Sistema biomtrico

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Motivao

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Motivao

Aumento no uso da Biometria

Muita pesquisa para otimizar a diferenciao entre humanos

Pouca pesquisa (e recente) sobre a confiabilidade

dos mtodos, sobre como impedir ataques

[Thalheim et al. 2002] Impresso digital mais comum, reconhecimento facial mais
aceitvel; Reconhecimento de voz, de assinatura e jeito de digitar ainda pouco expressivo

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Viso Geral
[Nixon et al. 2007]
Complementado com [Thalheim et al. 2002]

A. Rocha, 2012 Anlise Forense de Documentos Digitais

10

Ataques
Podem visar esconder a prpria identidade ou obter
privilgios
que outra pessoa possui

Tipos:

Replay (sniffer na USB), Trojan (alterar o matcher ou o BD)

Spoof

Consiste em apresentar ao sensor um dado biomtrico falso

Mais suscetvel, pois todos tem acesso fcil a esta parte do processo
Pode ser um dedo de gelatina com uma impresso digital moldada, uma foto do
rosto
de algum, uma lente de contato
O 1 ataque a um sistema de impresso digital data da dcada de 1920, por Alert
Wehde,
na penitenciria do Kansas

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Deteco de Spoof

Detectar se o dado biomtrico realmente vem

de uma pessoa viva. Pode:

utilizar os mesmos dados biomtricos obtidos para

identificao;

coletar mais dados no tempo;

ou precisar de hardware adicional
A. Rocha, 2012 Anlise Forense de Documentos Digitais

Sistema biomtrico
Spoof
detection!

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Impresses
digitais
2010 Instructables

How To Fool a Fingerprint Security System As Easy As

ABC

A. Rocha, 2012 Anlise Forense de Documentos Digitais

14

Criao do Spoof
Como funciona
Se baseia na posio de detalhes (minutiae), como terminaes e bifurcaes dos sulcos
10 a 12 so suficientes para identificar unicamente uma pessoa

Spoofs
Impresses latentes
de grafite e fita adesiva
P
quase 100% de eficcia

Respirao
nem sempre funciona
com gua
Bolsa
chega a funcionar com segurana mxima

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Thalheim et al.

 Nixon et al

Criao do Spoof
Mais Spoofs
Dedo artificial
Obter a impresso digital de algum

cooperativamente ou fotografando uma impresso latente contrastada

Mold-la em material macio

silicone, plstico, gelatina, argila, cera ou material para molde dental

Dedo desmembrado
A. Rocha, 2012 Anlise Forense de Documentos Digitais

Sensores para impresses digitais

pticos
internal reflection (TIR): Diferena de reflexo da luz nas
Total
cristas (em contato com o vidro) e sulcos (ar).
Ataques:
dedos artificiais de material com reflectncia semelhante a da pele
Impresses digitais latentes
[Thalheim
et al. 2002] apenas com a fita adesiva, p de grafite e luz
Multispectral imaging (MSI): Ser detalhado mais adiante
A. Rocha, 2012 Anlise Forense de Documentos Digitais

Sensores para impresses digitais

Diferena de velocidade das ondas acsticas entre as cristas e o

Ultrasom:
ar.

Ataques:
dedos artificiais de gelatina (mesmas caractersticas da pele em relao a eco)

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Sensores para impresses digitais

Diferena de
Capacitivos:
capacitncia entre as clulas
sob os sulcos ou cristas.

Ataques:
Impresses digitais latentes
[Thalheim
et al. 2002] Fcil!
Dedos artificiais de gelatina
Diferena de temperatura entre cristas (em contato com o
Trmicos:
vidro) e sulcos (ar).

Ataques:
Dedos artificiais de gelatina ou silicone
[Thalheim
et al. 2002] Bem mais dificil de enganar do que os pticos e capacitivos
A. Rocha, 2012 Anlise Forense de Documentos Digitais

Deteco do Spoof
Transpirao
temporais na quantidade de suor presente na superfcie do
Mudanas
dedo
Obter vrias imagens ao longo do tempo
Sensores capacitivos e pticos

da pele
Absoro
clulas vermelhas do sangue, hemoglobina, oxignio
da pele
Temperatura
Um spoof pode ser colocado num dedo real, mas parte da temperatura
dissipada

Pulsao
Varia de pessoa para pessoa, e de acordo com sua situao atual
possibilidades
Outras
Resistncia eltrica da pele, Deteco ultrasnica de estruturas drmicas
A. Rocha, 2012 Anlise Forense de Documentos Digitais

 Nixon et al

ris

A. Rocha, 2012 Anlise Forense de Documentos Digitais

20

Criao do Spoof

Como funciona

Se baseia na estrutura da rea texturizada do olho em

torno da pupila, usa luz infravermelha

Cria templates com Gabor decomposition, anis

concentricos.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Thalheim et al.

Criao do Spoof

Spoofs

Foto ou vdeo do olho em alta

qualidade [Thalheim et al. 2002] foto com

impressora jato de tinta, 2400 x 1200 dpi, furo para a

pupila

Padres de ris impressos em lentes de

contato

ris artificiais tridimensionais ou com

vrias camadas

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Thalheim et al.

Deteco do Spoof

Detectar movimentos involuntarios dos olhos (hippus),

ou reao luz, ou se pisca

Desafio-resposta (piscar, mover para um lado)

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Nixon et al

Anlise de Fourier para detectar padres de impresso

Face

Tan et al.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

23

Criao do Spoof

Como funciona

Tiram fotos em luz visvel ou infravermelha.

Podem ser 2D ou 3D.

O match se baseia em caracteristicas como a distncia

entre os olhos.
Thalheim et al.

Spoofs

Foto impressa da pessoa

Vdeo da pessoa na tela de um notebook/celular
Modelos tridimensionais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Deteco do Spoof

Movimentos involuntrios do rosto, cabeca, piscar dos

olhos

Textura da pele, refrao de acordo com o tipo de luz

Reflexo da luz 2D versus 3D [Tan et al. 2010]
Anlise de Fourier da imagem
Sensor tridimensional
Desafio-resposta (piscar, sorrir, falar frases)

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Reflexes

[Thalheim et al. 2002]

Os dispositivos testados no so para ambientes de

segurana mxima, mas...

Vale o custo X benefcio, se so facilmente enganados?

Os dispositivos biomtricos j tem condies de
substituir as senhas?

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Multispectral Imaging em
impresses digitais
[Nixon et al. 2007]

A. Rocha, 2012 Anlise Forense de Documentos Digitais

27

Sensor
de impresses digitais baseado em MSI, produzido pela
Sensor
Lumidigm J110
para obter imagens da superfcie e subsuperfcie do
Configurado
dedo em vrias condies pticas.
pticas da subsuperfcie discriminam entre peles
Caractersticas
verdadeiras e falsas
possibilita obter dados biomtricos sob diversas
Combinao
condies fisiolgicas e ambientais.
Luz ambiente forte, umidade, pouco contato entre o dedo e o sensor, pele seca

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Princpios de Operao
capturadas sob caractersticas diferentes: informaes diferentes e
Imagens
complementares.

Frequncias de luz diferentes: penetram a pele em diferentes profundidades.

Polarizaes diferentes: mudam
o grau
de contribuio das
Nixon et al

caractersticas da superfcie
e subsuperfcie da pele na
imagem.

Orientaes de luz diferentes:

mudam
o local e a intensidade
com que caractersticas da
superfcie so acentuadas.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Teste de Spoof
3 sensores, 118 voluntrios entre 18 e 80 anos
ao longo de 3 semanas, no foram instrudos a lavar as mos ou
Visitas
tratar os dedos previamente.
de 49 tipos de spoof: Latex, silicone, massa de modelar, argila,
Total
borracha, cola, resina, gelatina e fita foram utilizadas em vrias cores,
concentraes e espessuras.

total de 17.454 imagens foram coletadas de dedos reais e 27.486

Um
imagens falsas. Para cada classe de spoof, entre 40 e 1940 amostras foram
coletadas, sendo os spoofs transparentes os que mais tiveram amostras.

imagem foi processada utilizando wavelets para a extrao de

Cada
caractersticas baseadas nas informaes espectrais e de textura
disponveis. 8 caractersticas foram utilizadas para classificao.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Teste de Spoof
calcular o trade-off do erro entre Verdadeiro Positivo e Falso Positivo,
Para
foram utilizadas as mdias das distncias euclidianas para as classes de
pessoa e spoof.

Verdadeiro Positivo: 99.5%

Falso Positivo: 0.9%.
Nesse ponto muitos tipos de
spoof
nunca eram aceitos e

nenhum caso de spoof tinha uma

taxa de falso positivo maior
que 15%.
Deteco de spoof robusta em
sensores
MSI com mnimo
impacto para o usurio genuno.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Nixon et al

Face Liveness Detection

from a Single Image
with Sparse Low Rank Bilinear
Discriminative Model
[Tan et al. 2010]

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

A idia

Uma face humana real 3D

Face em uma foto 2D

A rugosidade de uma face real diferente da de uma foto.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

O Modelo

Duas imagens:

, de uma face humana real, e

de uma face impostora. Qual a diferena delas?

Suposio de reflectncia Lambertiana

Superfcie da face modelada como um reflector difuso ideal.

De acordo com a lei do cosseno de Lambert, a intensidade de uma
imagem de face descrita como:
Onde
depende da cmera,
a intensidade da luz e
representa a reflectncia da superfcie.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

o ngulo entre a normal e o raio de luz.

a iluminncia da imagem.
Sendo
constante, as imagens real e impostora podem
ser descritas como:

Sob as mesmas condies de iluminao, a diferena entre as

imagens obtida comparando as propriedades de
superfcie, reflectncia e normal.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

possvel estimar os valores para

uma srie de amostras.

Mtodo baseado em Variational Retinex

atravs de

Primeiro se estima a iluminncia, para depois estimar a

reflectncia.
O mtodo Logarithmic Total Variation (LTV) usado para
estimar a iluminncia, atravs da frmula

um parmetro de delidade de dados (u3lizado 0.5 no paper)

Tendo pode-se estimar com a frmula de Land Retinex:

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

Mtodo baseado em Diferena de Gaussianas (DoG)

Para manter o mximo de detalhes possvel sem introduzir

rudo ou aliasing, nesse trabalho so usadas gaussianas interna
de
e externa de
.

Analisa o espectro 2D de Fourier: frequncias muito altas so

ruidosas, utilizar as mdias-altas

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Li et al.

 Tan et al.

Linha superior: Imagens reais, Linha inferior: Imagens recapturadas

Da esquerda para a direita:
1) Imagem original;
2) Imagem estimada com LTV; 3) Imagem estimada com LTV
4) Espectro de Fourier centralizado da imagem original; 5) Espectro de Fourier
centralizado da imagem filtrada com DoG

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A Classificao

Treinado diretamente com as amostras, sem mais extraes

de caractersticas.

Sparse Logistic Regression

Seja
uma amostra e
a classe binria
associada: Imagem falsa = +1, verdadeira = -1.

O modelo de regresso logstica dado por:

a probabilidade condicional da classe

uma amostra x,
um vetor de pesos,
a interseco.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

, dada

Face Liveness Detection

Sendo um conjunto de m dados de treinamento,

a funo de probabilidade associada definida como

O negativo do logaritmo da funo de probabilidade

chamado de perda logstica, e perda logstica mdia
definida como:

Podemos determinar w e b minimizando a mdia de perda

logstica.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

Sparse Low Rank Bilinear Logistic Regression

Opera sobre a representao bi-dimensional das imagens,

para explorar as suas propriedades espaciais.

Objetivo aprender um matriz de projeo de posto baixo.

Nmero de linhas ou colunas linearmente independentes
baixo.

Non Linear Model via Empirical Mapping

Transforma o mapeamento definido sobre as amostras de

treinamento num espao de caractersticas.
Usa SVM probabilstico, Relevance Vector Machine e Import
Vector Machine

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

Experimentos

Fotos de alta definio com uma cmera Canon, de modo

que a face ocupa 2/3 da rea da foto.

Impresso das fotos em papel fotogrfico e em papel A4 70g.

Fotos tiradas das fotografias impressas.

.
Tan et al

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

Experimentos

Normalizao geomtrica: deteco de face e corte, rotao

e escala para fixar as posies dos centros dos olhos.
Imagens fixadas em 64x64 pixels e converso para escala de
cinza de 8 bits.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

Resultados

RAW: Imagem Original; LTVp: Imagem estimada com LTV; LTVu: Imagem
estimada com LTV; DoG: Imagem com filtro DoG; HF: Filtro em 1/3 das mais
altas frequncias.
Tan et al

Sparse linear logistic regression

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Face Liveness Detection

Resultados

Sparse nonlinear logistic regression e comparao

Tan et al

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Concluses

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Concluses
de gato e rato: novas tcnicas de
Jogo
deteco, novos ataques

So necessrias pesquisas, independentes dos fabricantes, para

medir a segurana e apontar falhas

H vrios mtodos anti-spoof que parecem promissores, como

o MSI da Lumidigm para impresses digitais e o [Tan et al.
2010] para face, mas s com testes no mundo real podemos
afirmar

A. Rocha, 2012 Anlise Forense de Documentos Digitais

47

Referncias

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Referncias

[Nixon et al. 2007] Kristin Adair Nixon, Valerio Aimale, and Robert K. Rowe.
Spoof detection schemes. White paper, LumidigmInc., 2007.

[Thalheim et al. 2002] L. Thalheim, J. Krissler, P.-M. Ziegler; Body Check:

Biometric Access Protection Devices and their Programs Put to the Test. Heise
Online. November 2002

[Tan et al. 2010] Tan, X.; Li, Y.; Liu, J.; Jiang, L.: Face Liveness Detection from A
Single Image with Sparse Low Rank Bilinear Discriminative Model. In European
Conference on Computer Vision (2010)

[Li et al. 2004] Jiangwei Li , Yunhong Wang , Tieniu Tan , A. K. Jain: Live face
detection based on the analysis of Fourier spectra. In Biometric Technology for
Human Identification (2004)

A. Rocha, 2012 Anlise Forense de Documentos Digitais

49

Obrigado!