02 - Analise Forense de Documentos PDF

Anlise Forense de
Documentos Digitais
Prof. Dr. Anderson Rocha

anderson.rocha@ic.unicamp.br
http://www.ic.unicamp.br/~rocha
Reasoning for Complex Data (RECOD) Lab.

Institute of Computing, Unicamp
Av. Albert Einstein, 1251 - Cidade Universitria
CEP 13083-970 Campinas/SP - Brasil
Organizao
Organizao
Atribuio de Fontes (Modelo e Tipo

Especfico)
Cmera
Scanner
Identificao de Criaes Sintticas
Tcnicas Contra-Forenses
A. Rocha, 2012 Anlise Forense de Documentos Digitais 3
Atribuio de
Fontes
Atribuio de Fontes
Cmera
Camcorder
Scanner
Impressora

Atribuio de Fontes
Tcnicas para apontar/atribuir

O modelo do dispositivo de aquisio
O dispositivo exato

Atribuio do
Modelo de Cmera
Atribuio do Modelo

Informaes relacionadas ao processo de

aquisio
Caractersticas das lentes
Tipo a tamanho dos sensores de aquisio
Tipo de filtro de mosaico/demosaico
Informaes dos algoritmos da DIP
Pipeline Cmera
Luz Sistema de Lentes Filtros
Infra-vermelho,
Exposio, Foco e anti-serrilhamento,
Estabilizao da Imagem max. qualidade visvel
Proc. Imagem (DIP) Sensores de Imageamento
Demosaico CCD, CMOS...

Fotografia Correes (white)
Resultante Realce
Correo de
Abertura e Gamma Mosaico
Compresso
Color Filter Arrays
etc.
(CFA)...
A. Rocha

Estado da Arte
Anlise de ps-processamento
[Kharrazi et al. 2004]
Anlise de artefatos de mosaico/demosaico
[Popescu & Farid 2004; Bayram et al. 2005b]
Artefatos em tabelas de quantizao
JPEG[Popescu 2004]
Distores de lentes
[Choi et al. 2006]

Mosaico/Demosaico
+ +
A. Rocha
92 40
76 28
29 50
67 28
(29 + 50 + 67 + 28) (92 + 40 + 76 + 28)

43 = 59 = 72 = 72
4 4

Anlise de Artefatos CFA
Hiptese:
linhas e coluna de imagens interpoladas
provavelmente possuem correlaes com
seus vizinhos
relao de vizinhana pode ser fornecida por
kernels de tamanhos especficos (e.g., 3x3,
5x5, etc.)

[Popescu 2004] apresentam um algoritmo de

maximizao da esperana (EM)
Dois estgios
Esperana
Maximizao

No estgio da esperana (E), estima-se a

probabilidade de cada amostra pertencer a um
modelo em particular
No estgio da maximizao (M), estima-se a
forma especfica das correlaes entre as
amostras

Mais especificamente, podemos assumir que

cada amostra pertence a um de dois modelos
possveis
Se a amostra linearmente correlacionada com
seus vizinhos ela pertence ao Modelo 1. Caso
contrrio, ao Modelo 2

Funo de correlao linear
k
X
f (x, y) = u,v f (x + u, y + v) + N (x, y),
u,v= k
f um canal de cor (RGB) aps o demosaico, k

um inteiro e N distribuio normal iid
u,v so offsets dos pixels
um vetor de coeficientes lineares que
expressa as correlaes

Esperana estima a prob. de cada amostra

pertencer ao Modelo 1
Pr{f (x, y)|f (x, y) M1 }Pr{f (x, y) M1 }
Pr{f (x, y) M1 |f (x, y)} = P2 ,
i=1 Pr{f (x, y)|f (x, y) Mi }Pr{f (x, y) Mi }
Pr{f (x, y) M1 } e Pr{f (x, y) M2 } so prob. a priori (1/2)

Se assumirmos que uma amostra gerada pelo
Modelo 1, a probabilidade de isso ocorrer
k
X 2
1 1
Pr{f (x, y)|f (x, y) M1 } = 2
f (x, y) u,v f (x + u, y + v) .
2 2
u,v= k
Assumimos que o Modelo 2 tem uma

distribuio uniforme
Estimamos a varincia no estgio M

No estgio M precisamos estimar os coeficientes
da correlao
Usamos mtodo dos mnimos quadrados

X k
X 2
E( ) = w(x, y) f (x, y) u,v f (x + u, y + v) .
x,y u,v= k
Os pesos w so equivalentes a Pr{f (x, y) M1 |f (x, y)}

A. Popescu
A. Popescu
A. Popescu
1. Cem imagens com

interpolao CFA
2. Algoritmos
1. Bilinear
2. Bicubic
3. Smooth hue
4. Median (3 & 5)
5. Gradient
6. Adaptive Color Plane
7. Variable Gradients

Problemas?
Quais so os possveis ataques a essa
abordagem?
Podemos empregar aprendizado de mquina?

Podemos usar isso no cenrio de investigao
de adulteraes de imagens?

Atribuio da
Cmera em Especfico
Atribuio direta
Caractersticas nicas da cmera em anlise

Imperfeies dos componentes
Defeitos e falhas decorrentes do ambiente e
condies de operao
Dead e cold pixels, pixel traps etc.
Estado da Arte
Anlise dos efeitos do rudo inserido no

processo de captura
[Lukas et al. 2006]
Artefatos originados pela presena de poeira
nos sensores no momento de aquisio
[Dirik et al. 2007]
Efemeridade

Anlise de Rudo
Padro Fixo (FPN)
No Uniformidade de
Padro de Rudo
Pixels (PNU)
Foto-responsividade
no uniforme (PRNU)
Defeitos de Baixa
Frequncia
A. Rocha

Anlise de Rudo
FPN
Aditivo e decorrente de dark-currents
dependentente do tempo de exposio e
temperatura
Pode ser removido in-camera extraindo-se
um quadro preto (dark frame)

Anlise de Rudo
PRNU
Multiplicativo
Causado pelo rudo no uniforme dos pixels (PNU)
e defeitos de baixa frequncia
Definido como a sensitividade que diferentes pixels

tm em relao luz
Causado por inconsistncias na fabribao do

sensor de captura

Anlise de Rudo
PRNU
Os defeitos de baixa frequncia so causados
pelos efeitos da refrao da luz nas partculas
devido a configuraes de zoom e superfcie tica
No utilizado no trabalho de [Lukas et al. 2006]

Anlise de Rudo
Para utilizar o rudo PNU no cenrio forense, este

precisa ser isolado
Em um cenrio forense certamente no teremos um

padro de referncia
Temos que estabelecer um padro de referncia P

uma aproximao do rudo PNU
c,

Anlise de Rudo
No processo de aproximao, fazemos a mdia de K
imagens de uma cena uniforme (lit scene) como o cu,
por exemplo
K
X
1
I(k) = Ik.
K
k=1
Esta aproximao pode ser otimizada de modo a

suprimir o contedo da cena

Anlise de Rudo
Filtro de supresso/remoo de rudo (denoising)
(k) = (I (k) (I (k) ))/K
Wavelet denoising uma boa escolha

Como determinar se uma dada imagem I
a uma determinada cmera?
teste pertence

Anlise de Rudo
Como determinar se uma dada imagem I
a uma determinada cmera?
teste pertence
Calcula-se a correlao entre o rudo residual da

imagem em questo e o padro de referncia
( ) (Pc Pc )
c (I) = Pc .
Pc

Anlise de Rudo
Mtodo com timos resultados

Problemas
Sincronizao (modificaes de escala e
recorte)
Fora bruta para achar as transformaes
Podemos empregar aprendizado de mquina?
Atribuio de
Scanner
Atribuio de Scanner
O processo de fabricao de qualquer

dispositivo eletrnico de captura introduz
defeitos nos sensores de imageamento
Como funciona o processo de captura de um

scanner?

Aquisio via Scanner (recap)
Documento
Original
A. Rocha
Lentes, Espelhos e
Fonte de Luz
Sensores de Imageamento
Software de Imagem
Ps-Processamento, Correo
Amplificador, ADC de Cores, Correo Gamma... Digital

Aquisio via Scanner (recap)
Lentes, Espelhos e
Amplificador, ADC
Sensores de Imageamento
Software de
Ps-Processamento, Correo de
Cores, Correo Gamma...
Fonte de Luz
Documento Original
Lentes Cabea de Leitura

Sensor
Caminho da luz
Espelhos
A. Rocha
Imagem
Digital
Sentido de Leitura

Atribuio de Scanner
Scanners possuem
Resoluo horizontal (sensor) e vertical
(motor de passo)
Motor de passo
Estabilizador
Atribuio de Scanner
Como os scanners fazem escaneamentos em

resoluo no-nativa?
Sub-amostragem
Amostragem normal seguida de ajustes in-
scanner (maioria)

Estado da Arte
Extenses da anlise de rudo FPN

[Gloe et al. 2007a] e [Gou et al. 2007]
Anlise de rudo considerando as propriedades

de captura unidimensionais e peridicas do
scanner
[Khanna et al. 2009]

Rudo e Periodicidade
Construo do padro de referncia

Mdia das linhas (devido ao motor de passo)
Mdia de mltiplas imagens
Anlise de correlao

Filtro de supresso/reduo de rudo
k
Inoise = Ik k
Idenoised
Com K imagens podemos construir o padro

de referncia (2D) de um dado scanner
K
X
earray 1 k
Inoise (i, j) = Inoise (i, j); 1iM
K
K k=1
X
k
Inoise (i, j); 1iM e1jN
k=1

Padro de referncia 1D
M
X M
1 1 X
elinear e
Inoise (1, j) I=linear e array
Inoise earray
= (i, j);Inoise (i, j); 1 j N.
1jN
noise (1, j)
M i=1 M i=1
Como atribuir uma imagem em especfico a um

scanner?

Correlao entre a assinatura de um scanner e
um padro de referncia
(X X) (Y Y)
C(X, Y ) = .
||X X|| ||Y Y ||
Tcnica com bons resultados na prtica

Palavra final?
Palavra final?
Problemas
Scanners usam parcialmente a superfcie de
captura (vidro)
Esta abordagem requer condies similares
de captura para funcionar

[Khanna et al. 2009] prope uma anlise
estatstica sobre os vetores de assinatura
Mdia das linhas e colunas em Ienoise

l
e Ienoise
c
Clculo da correlao entre cada linha de I noise e

a mdia das linhas de Ienoise
l
Similarmente para as colunas

Estatsticas de ordem sobre as novas

caractersticas (mdia, varincia, moda,
curtose, etc.)
Classificador de padres
Bons resultados

Tcnicas Contra-
Forenses em Atribuio
Abordagens Contra-Forenses
Tcnicas de atribuio de dispositivos de

captura vs. Tcnicas contra-forenses
[Gloe et al. 2007b] observam que um filtro de

supresso/reduo de rudo baseado em
wavelets no elimina o rudo totalmente
Pode aplicar um mtodo de flatfielding para

capturar o rudo restante

Para estimar o rudo fixo (FPN) pode-se utilizar
imagens de um quadro preto
1X
Idark estimate = Idark .
J
J
Para estimar o rudo PRNU, usa-se K imagens

de uma cena homognea (e.g., cu azul)
subtraindo-se o a estimativa FPN

Estimativa de flatfielding
X 1
If latf ield = (Ilight Idark estimate ).
K
K
Com as estimativas em mos, pode-se suprimir

as caractersticas de rudo em uma imagem de
uma cmera em especfico
Como?
Retirando a assinatura
I I
de rudo
dark estimate
I = .
If latf ield
Flatfielding difcil devido ao grande nmero de
parmetros que precisam ser levados em conta
tempo de exposio
velocidade de captura
ISO etc.

Aps a extrao de padro de rudo, como

substitu-lo como outro padro?
O padro de rudo de uma cmera pode ser

substitudo com a operao de flatfielding inverso
If orge = I If latf ield f orge + Idark f orge .

Identificao de
Criaes Sintticas
Identificao de Criaes Sintticas
CPPA
Possesso de imagens de menores de idade
considerado crime
Imagens geradas em computador no so
crime
E se algum fotografa um menor e modifica
propriedades no computador?

Estado da Arte
Decomposio multi-escala e anlise estatstica

[Lyu 2005]
Diferenas em modelos de superfcie (imagens

naturais vs. imagens sintticas)
[Ng et al. 2005]
Propriedades de aquisio rudo

[Dehnie et al. 2006]

Estado da Arte
Anlise do comportamento de imagens naturais

e geradas em computador mediante sucessivas
perturbaes
[Rocha & Goldenstein 2007,
Rocha&Goldenstein 2010]
Propriedades de aquisio artefatos de

mosaico/demosaico
[Dirik et al. 2007]

Decomposio multi-escala e
anlise estatstica
[Lyu 2005], apresentaram uma tcnica para

identificao de imagens sintticas baseado na
decomposio wavelet de imagens
Extenso de um trabalho anterior para o

cenrio de deteco de mensagens escondidas
em imagens digitais

anlise estatstica
Hiptese
imagens naturais possuem regularidades
detectveis com estatsticas de alta ordem
o processo de criao de uma imagem em
computador insere artefatos estatsticos nas
imagens produzidas

anlise estatstica
Como funciona o mtodo?

Decomposio QMF da imagem em mltiplas
escalas e orientaes
anlise estatstica em duas fases
anlise direta
predio linear dos erros de magnitude
anlise estatstica
L H3
V3 D3 H2
V2 D2 H1
A. Rocha
A. Rocha
V1 D1

anlise estatstica
A anlise direta das mltiplas escalas e

orientaes consiste em calcular
mdia
varincia
moda
curtose
anlise estatstica
A predio linear dos erros de magnitude

consiste em estimar as possveis correlaes
entre um pixel e seus vizinhos multi-escala

anlise estatstica
Preditor linear para a sub-banda vertical
Vi (x, y) = w1 Vi (x 1, y) + w2 Vi (x + 1, y) + w3 Vi (x, y 1)
x y
+w4 Vi (x, y + 1) + w5 Vi+1 ( , ) + w6 Di (x, y)
2 2
x y
+w7 Di+1 ( , ),
2 2
wk denota os valores escalares de peso dos

coeficientes

anlise estatstica
Como calcular os coeficientes e erro? 2
E(w) = [V Qw] ,
T
w = (w1 , . . . , w7 )
V contm os coeficientes de magnitude de Vi (x, y)
F = 2 3 4 s = 72 caractersticas para trs

escalas

Diferenas fsicas nos processos de
captura e gerao
[Ng et al. 2005] desenvolvem dois nveis para
separao de imagens naturais e sintticas
Autenticidade em nvel de processamento
(imagens capturadas por algum sensor)
Autenticidade em nvel de cena (snapshot de
um campo de luz)
Definio de diversas caractersticas

Diferenas fsicas nos processos de
captura e gerao
Dimenso
texturas
fractal local para capturar a complexidade de
Vetores
arestas
de patches locais para capturar propriedades de
Superfcie gradiente para capturar a forma de resposta

de uma cmera
Geometria quadrtica local para capturar propriedades

poligonais dos objetos computadorizados

Tcnicas Contra-
Forenses em
CGI vs. Naturais
Abordagens Contra-forenses
Ataques de recaptura
Como ficam abordagens baseadas em anlise de
artefatos de captura?
Como ficam abordagens baseadas em

propriedades de textura e regularidade?
A abordagem de [Ng et al. 2005]

Referncias
Referncias
1. [Bayram et al. 2005b] Bayaram, S., Sencar, H., Memon, N. e Avcibas, I. (2005b). Source camera identification
based on CFA interpolation. In Intl. Conf. on Image Processing (ICIP), Genova, Italy.
2.[Choi et al. 2006] Choi, K. S., Lam, E. e Wong, K. (2006). Automatic source camera identification using the intrinsic
lens radial distortion. Optics Express, 14(24):11551-11565.
3.[Dehnie et al. 2006] Dehnie, S., Sencar, T. e Memon, N. (2006). Identification of computer generated and digital
camera images for digital image forensics,. In Intl. Conf. on Image Processing (ICIP), Atlanta, USA.
4.[Dirik et al. 2007] Dirik, E., Sencar, H. e Memon, N. (2007). Source camera identification based on sensor dust
characteristics. In IEEE Intl. Workshop on Signal Processing Applications for Public Security and Forensics (SAFE), pp. 1-6,
Washington DC, USA.
5.[Gloe et al. 2007a] Gloe, T., Franz, E. e Winkler, A. (2007a). Forensics for flat-bed scanners. In SPIE Intl. Conf. on
Security, Steganography, Watermarking of Multimedia Contents, pp. 65051-I.
6.[Gloe et al. 2007b] Gloe, T., Kirchner, M., Winkler, A. e Bohme, R. (2007b). Can we trust digital image
forensics?
7.[Gou et al. 2007] Gou, H., Swaminathan, A. e Wu, M. (2007). Robust scanner identification based on noise features.
In SPIE Security, Steganography, and Watermarking of Multimedia Contents (SSWMC), San Jose, USA.
8.[Khanna et al. 2009] Khanna, N., Mikkilineni, A. K. e Delp, E. J. (2009). Scanner identification using feature-based
processing and analysis. IEEE Transactions on Information Forensics and Security (TIFS), 4(1):123-139.

Referncias
10.[Kharrazi et al. 2004] Kharrazi, M., Sencar, H. e Memon, N. (2004). Blind source camera identification. In Intl.
Conf. on Image Processing (ICIP), Singapore.
11.[Lukas et al. 2006] Lukas, J., Fridrich, J. e Goljan, M. (2006). Digital camera identification from sensor noise sensor.
IEEE Transactions on Information Forensics and Security (TIFS), 1(2):205-214.
12.[Lukas et al. 2006] Lukas, J., Fridrich, J. e Goljan, M. (2006). Digital camera identification from sensor noise sensor.
IEEE Transactions on Information Forensics and Security (TIFS), 1(2):205-214.
13.[Lyu 2005] Lyu, S. (2005). Natural Image Statistics for Digital Image Forensics. Phd thesis, Dep. of Computer Science -
Dartmouth College, Hanover, USA.
14.[Ng et al. 2005] Ng, T.-T., Chang, S.-F. e Tsui, M.-P. (2005). Physics-motivated features for distinguishing
photographic images and computer graphics. In ACM Multimedia (ACMMM), pp. 239-248, Singapore.
15.[Popescu 2004] Popescu, A. C. (2004). Statistical Tools for Digital Image Forensics. Phd thesis, Dep. of Computer
Science - Dartmouth College, Hanover, USA.
16.[Rocha & Goldenstein 2007] Rocha, A. e Goldenstein, S. (2007). PR: More than meets the eye. In Intl. Conf. on
Computer Vision (ICCV), pp. 1-8.

Obrigado!

02 - Analise Forense de Documentos PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

02 - Analise Forense de Documentos PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Anlise Forense de

Prof. Dr. Anderson Rocha

Reasoning for Complex Data (RECOD) Lab.

Atribuio de Fontes (Modelo e Tipo

A. Rocha, 2012 Anlise Forense de Documentos Digitais 5

Tcnicas para apontar/atribuir

A. Rocha, 2012 Anlise Forense de Documentos Digitais 6

Informaes relacionadas ao processo de

Proc. Imagem (DIP) Sensores de Imageamento

Demosaico CCD, CMOS...

A. Rocha, 2012 Anlise Forense de Documentos Digitais 9

A. Rocha, 2012 Anlise Forense de Documentos Digitais 10

(29 + 50 + 67 + 28) (92 + 40 + 76 + 28)

A. Rocha, 2012 Anlise Forense de Documentos Digitais 11

A. Rocha, 2012 Anlise Forense de Documentos Digitais 12

[Popescu 2004] apresentam um algoritmo de

A. Rocha, 2012 Anlise Forense de Documentos Digitais 13

No estgio da esperana (E), estima-se a

A. Rocha, 2012 Anlise Forense de Documentos Digitais 14

Mais especificamente, podemos assumir que

A. Rocha, 2012 Anlise Forense de Documentos Digitais 15

f um canal de cor (RGB) aps o demosaico, k

A. Rocha, 2012 Anlise Forense de Documentos Digitais 16

Esperana estima a prob. de cada amostra

Pr{f (x, y) M1 } e Pr{f (x, y) M2 } so prob. a priori (1/2)

A. Rocha, 2012 Anlise Forense de Documentos Digitais 17

Assumimos que o Modelo 2 tem uma

Estimamos a varincia no estgio M

A. Rocha, 2012 Anlise Forense de Documentos Digitais 18

Usamos mtodo dos mnimos quadrados

Os pesos w so equivalentes a Pr{f (x, y) M1 |f (x, y)}

A. Rocha, 2012 Anlise Forense de Documentos Digitais 19

1. Cem imagens com

A. Rocha, 2012 Anlise Forense de Documentos Digitais 21

Podemos empregar aprendizado de mquina?

A. Rocha, 2012 Anlise Forense de Documentos Digitais 22

Caractersticas nicas da cmera em anlise

Anlise dos efeitos do rudo inserido no

A. Rocha, 2012 Anlise Forense de Documentos Digitais 25

Padro Fixo (FPN)

A. Rocha, 2012 Anlise Forense de Documentos Digitais 26

A. Rocha, 2012 Anlise Forense de Documentos Digitais 27

Definido como a sensitividade que diferentes pixels

Causado por inconsistncias na fabribao do

A. Rocha, 2012 Anlise Forense de Documentos Digitais 28

No utilizado no trabalho de [Lukas et al. 2006]

A. Rocha, 2012 Anlise Forense de Documentos Digitais 29

Para utilizar o rudo PNU no cenrio forense, este

Em um cenrio forense certamente no teremos um

Temos que estabelecer um padro de referncia P

A. Rocha, 2012 Anlise Forense de Documentos Digitais 30

Esta aproximao pode ser otimizada de modo a

A. Rocha, 2012 Anlise Forense de Documentos Digitais 31

Wavelet denoising uma boa escolha

A. Rocha, 2012 Anlise Forense de Documentos Digitais 32

Calcula-se a correlao entre o rudo residual da

A. Rocha, 2012 Anlise Forense de Documentos Digitais 33

Mtodo com timos resultados

O processo de fabricao de qualquer

Como funciona o processo de captura de um

A. Rocha, 2012 Anlise Forense de Documentos Digitais 36

A. Rocha, 2012 Anlise Forense de Documentos Digitais 37

Lentes Cabea de Leitura