ANLISE DE FERRAMENTAS PARA O

CONTROLE DE SPAM
Paulo Manoel Mafra
e Sistemas
Departamento de Automacao
Universidade Federal de Santa Catarina

88040-900 Florianopolis
- SC
mafra@das.ufsc.br

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.1/36

Tpicos
Algumas Consideraes sobre SPAM
Abordagens Possveis para Combater SPAM
Algumas Tcnicas Utilizadas
Tipos de Bloqueio
Experincias e Testes
Problemas Enfrentados e Solues Adotadas
Concluses

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.2/36

Algumas Consideraes sobre SPAM

O que um SPAM ?
E-mail indesejado, contendo propaganda no
solicitada
Por que pessoas odeiam SPAM ?
Porque eles enchem a caixa postal dos usurios
com informaes inteis
Porque seu contedo de pssima qualidade
Porque eles consomem banda e sobrecarregam
servidores de e-mail

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.3/36

Abordagens Possveis para

Combater SPAM
Legislao apropriada
Problema: Cada pas tem a sua legislao
Taxao para o envio de e-mails
Problema: Em qual moeda seria pago, para quem,
isso resolveria o problema ?
Uso de diversas tcnicas nos servidores de e-mail

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.4/36

Dificuldades Encontradas para

Combater o SPAM
Os cabealhos das mensagens geralmente so falsos
Uso de endereos IP dinmicos (xDSL, dial-up)
Muitas redes no tomam atitudes para prevenir e
combater o SPAM gerado pelos seus usurios. Essas
redes possuem usurios que utilizam o servio de
e-mail corretamente e usurios que utilizam para
enviar SPAM

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.5/36

Algumas Tcnicas Utilizadas

Tcnicas de bloqueio:
Tcnicas de bloqueio por cabealho da mensagem
Uso de greylisting
Tcnicas de bloqueio por contedo da mensagem

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.6/36

Tcnicas de Bloqueio por Cabealho

So tcnicas implementadas geralmente no MTA (Mail
Transport Agent)
Algumas dessas tcnicas podem ser implementadas
individualmente no cliente de e-mail
So compostas por:
Verificao da existncia do domnio informado
Verificao da existncia de um nome para o
endereo IP do emissor
Listas externas - RBLs
Listas internas de acesso

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.7/36

Verificao do Domnio Informado

Verifica se o domnio do remetente existe
Pode rejeitar e-mails de servidores mal configurados
Bloqueia mensagens com cabealho falso (que
tenham um domnio inexistente)

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.8/36

Verificao de Nome para o

Endereo IP do Emissor
Verifica se existe um nome para o endereo IP que
est enviando a mensagem
Verifica se a partir do nome chega-se ao endereo IP
Bloqueia muito SPAM
Bloqueia e-mails legtimos

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.9/36

Listas Externas - RBLs

Servio mantido por terceiros
No permite um bloqueio de endereos individuais,
bloqueia por endereo IP do servidor
No garante que todas as mensagens bloqueadas
sejam SPAM
Poucos provedores respondem por queixas de abusos

RBL - Realtime Blackhole List

http://www.mail-abuse.com/

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.10/36

Listas Internas de Acesso

So listas compostas por endereos IP, por CIDRs, por
domnios ou por endereos especficos de e-mail
No utilizam nenhuma heurstica ou mtodo de
anlise estatstica
No existe o problema do falso positivo (pelo menos
em teoria)
Essas listas so classificadas em:
Whitelist: mensagens oriundas de endereos
contidos em uma whitelist so aceitas
Blacklist: mensagens oriundas de endereos
contidos em uma blacklist so rejeitadas

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.11/36

Listas Internas de Acesso

Possuem um gerenciamento manual ou automtico, a
partir de servios externos
Pode-se criar listas individuais onde o usurio
somente receber e-mails de pessoas cadastradas
nessas listas. Por exemplo, se Joo envia uma
mensagem para Pedro e o endereo de Joo no est
cadastrado, necessrio acessar um link e se
cadastrar para ter sua mensagem aceita. Isso pode
gerar problemas (nem todos os usurios aceitam)

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.12/36

Listas Internas de Acesso

Problema: estas listas no so dinmicas, precisam
ser gerenciadas
O tamanho dessas listas sempre cresce ?
Quem ir gerenciar estas listas ?
Possvel soluo: uso de greylisting

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.13/36

Tcnicas de Bloqueio por Cabealho

Bloqueio em nvel de servidor
uma implementao que bloqueia a maior parte
dos SPAMs, porm no pode bloquear e-mails leg
timos
Deve ser genrico, no pode seguir caractersticas
de apenas um grupo de usurios
Bloqueio em nvel de usurio
uma implementao voltada s caractersticas do
usurio

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.14/36

Greylisting
Uso de whitelist e blacklist com manuteno
automtica
Nem o administrador da rede nem os usurios
precisam inserir os endereos IPs nas listas
Reduz a carga no MTA
Ajuda na filtragem de vrus

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.15/36

Greylisting
O filtro baseia-se no comportamento diferente dos
servidores emissores de SPAM e servidores de
e-mails tradicionais
Servidores de SPAM enviam somente uma vez a
mensagem, se ocorreu um erro descartam. Se no
descartassem, formariam filas gigantescas nesses
servidores
Servidores tradicionais seguem a RFC 821 e
reenviam a mensagem em caso de falha transiente
(cdigo de resposta 45x)

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.16/36

Greylisting - Spamd
Sistema simples, baseado em triplas contendo:
Endereo IP do servidor de e-mail que est
enviando a mensagem
Endereo do emissor do e-mail (from)
Endereo do receptor do e-mail (to)
Tempo tc de criao do registro
Tempo tr para comear a receber o e-mail (30 min
aps o tempo de criao do registro)
Tempo te de expirao da tripla (4 horas aps o
tempo de criao do registro)
GREY:10.0.0.1:<spam@spam.com>:<usuario@dominio>:tc:tr:te

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.17/36

Greylisting - Spamd
Faz-se necessrio o uso do filtro de pacotes (Packet
Filter) para redirecionar os pacotes enviados porta 25
para uma outra porta (8025) onde roda o filtro
Ao receber o e-mail o filtro verifica se o endereo IP do
servidor emissor est na whitelist, se est, o e-mail
repassado para o MTA que est rodando na porta 25
Verifica se o endereo IP do servidor emissor est em
uma blacklist, se est, rejeita o e-mail

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.18/36

Greylisting - Spamd
Verifica se a tripla existe
1. Se a tripla no existe, cria um novo registro e
retorna uma falha temporria ao servidor emissor
2. Se a tripla existe e o seu tempo tr para comear a
receber no expirou, retorna uma falha temporria
ao servidor emissor
3. Se a tripla existe e o tempo tr expirou, ento
adiciona o endereo IP do servidor na whitelist e
atribui um tempo de 36 dias para expirao. A tripla
fica assim: WHITE:10.0.0.1:::tc:tr:te

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.19/36

Greylisting - Spamd

Servidor de Email Local

Porta 8025

Servidor
de Emails
Internet

Falha
Temporria
Envio de
Mensagens

Packet Filter

Mensagem

SPAMD
Ok

Porta 25

MTA

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.20/36

Greylisting - Problemas
Usurios impacientes podem ficar insatisfeitos
As mensagens enviadas por servidores que no esto
na whitelist levam algum tempo para chegar
Alguns portais tipo hotmail por exemplo nem sempre
reenviam a mensagem pelo mesmo servidor, fazendo
com que a mensagem demore muito para chegar
O uso de mltiplos MXs pode causar problema se
cada servidor tiver as suas prprias listas. Corre-se o
risco do mail ser barrado temporariamente mltiplas
vezes, uma para cada MX

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.21/36

Tcnicas de Bloqueio por Contedo

Os filtros por contedo classificam as mensagens
atravs de uma anlise do seu contedo
O contedo da mensagem comparado com duas
bases de dados que armazenam palavras
consideradas boas(goodlist) e runs (spamlist)
As palavras tem um peso. O peso das palavras
atribudo durante o treinamento do filtro. Cada vez
que o filtro treinado o peso de cada palavra
modificado considerando o seu peso atual e o nmero
de vezes que a palavra apareceu no treinamento (a
frequncia da palavra)

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.22/36

Tcnicas de Bloqueio por Contedo

Compara-se as palavras contidas na mensagem com
essas duas bases (goodlist e spamlist) e atribui-se uma
pontuao mensagem
Mensagens que receberam uma pontuao maior que
uma taxa estipulada so classificadas como SPAM

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.23/36

Exemplo de Implementao

Servidor de Email Local

MTA
Mensagem

PROCMAIL
Filtro

Spamlist Spam
Goodlist

PASTASPAM

Ok

CTA. USURIO

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.24/36

Tcnicas de Bloqueio por Contedo

Exemplos de filtros:
Bayesian Mail Filter

http://sourceforge.net/projects/bmf
Bogofilter

http://bogofilter.sourceforge.net/
Quick Spam Filter

http://www.ivarch.com/programs/qsf.shtml
SpamAssassin

http://www.spamassassin.org/

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.25/36

Problemas dos Filtros por Contedo

Barram muitas mensagens legtimas (falso positivo)
Alguns SPAMs continuam incomodando (falso
negativo)
Os SPAMs utilizam sequncias de palavras sem
sentido para confundir o filtro
Precisam ser treinados
Funcionam melhor individualmente, porm cada
usurio precisa trein-lo

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.26/36

Experincias e Testes
Foi utilizado o sistema operacional OpenBSD verso 3.5
Como MTA foi utilizado o Postfix verso 2.0.19
Para o filtro Greylisting utilizou-se o Spamd, este faz
parte do sistema OpenBSD
Esses filtros podem ser implementados em qualquer
sistema UNIX
Cada tipo de filtro foi testado individualmente
Criou-se uma configurao para utilizar os filtros em
conjunto

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.27/36

Testes - Filtros por Contedo

Os filtros foram treinados com 6374 mensagens.
Foram aplicadas aos filtros 700 mensagens
produzindo os resultados mostrados na tabela abaixo:
tipos de
filtros
BMF
Bogofilter
Quick Spam
SpamAssassin

falso
positivo
2
1
21
2

falso
negativo
35
89
102
110

acertos
663
610
577
588

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.28/36

Testes - Filtros por Contedo

O BMF um filtro rpido e apresentou resultados muito
bons
O Bogofilter semelhante ao BMF em termos de
velocidade mas no apresentou resultados to bons
O Quick Spam foi o mais rpido porm errou muito na
classificao dos e-mails
O filtro Spamassassin computacionalmente muito
pesado (utiliza uma vasta gama de testes de
heursticas) e no teve um alto ndice de acerto
Optou-se por utilizar o BMF como filtro auxiliar
individual (opcional)

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.29/36

Testes Individuais
Com o objetivo de verificar a eficincia dos filtros
selecionados, efetuaram-se testes com cada um dos
filtros individualmente. A tabela abaixo apresenta os
resultados obtidos:
filtro
Spamd
Regras MTA
BMF

Mensagens
filtradas
258531
31316
700

Falso
pos.
0
8
2

Falso
neg.
90763
2893
35

ndice
acerto
64.89%
90.73%
94.71%

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.30/36

Testes em Conjunto
Para os testes em conjunto, alm dos filtros anti-spam,
utilizou-se o filtro anti-vrus Clamav. A tabela abaixo
apresenta os resultados obtidos da anlise dos logs
gerados durante oito dias consecutivos:
filtro
Spamd
Regras MTA
Clamav
BMF

Mensagens Mensagens
recebidas
entregues
258531
136580
136580
46428
46428
45803
45803
44802

Mensagens
bloqueadas
121951
90152
625
1001

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.31/36

Testes em Conjunto
O ndice de acerto dos filtros em conjunto foi de
99.61%
Optou-se por uma configurao padro que visa no
perder mensagens autnticas (greylisting + regras de
filtragem bsicas no MTA + anti-vrus)
Para usurios que desejam uma filtragem maior,
pode-se instalar o BMF e aumentar o nvel de filtragem
para as regras no MTA

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.32/36

Problemas Enfrentados e Solues

Adotadas
Alguns usurios deixaram de receber e-mails por
causa dos filtros mas ningum ficou sabendo
Soluo: por causa disso, desenvolveu-se shell
scripts para gerao de relatrios dirios dos e-mails
que foram rejeitados por cada filtro, por usurio
Lio que se tira: filtros silenciosos so um convite
a problemas
Verificao de DNS reverso causa muitos falsos
positivos
Soluo: incluso de determinados servidores em
uma whitelist, mediante solicitao do usurio

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.33/36

Problemas Enfrentados e Solues

Adotadas
Uma blacklist externa listou um servidor importante
Soluo: desativar o uso daquela blacklist.
Utilizvamos 6 blacklists externas e hoje utilizamos
somente duas
O intervalo de tempo (tr e te) do Spamd (30 minutos e
4 horas) no era suficiente para alguns servidores
reenviarem a mensagem
Soluo: ajustou-se o Spamd para utilizar tempos
de (tr e te): 18 minutos e 26 horas

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.34/36

Concluses
impossvel bloquear 100% dos SPAMs
O uso dos filtros em conjunto melhora bastante o
ndice de acerto do sistema
Podemos dividir os usurios em trs grupos: os que
no se importam com SPAM, os que odeiam SPAM e
os que no gostam mas no se importam em receber
alguns SPAMs

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.35/36

Dvidas?

Obrigado!

ANALISE
DE FERRAMENTAS PARA O CONTROLE DE SPAM p.36/36