ANLISE DE FERRAMENTAS PARA O

CONTROLE DE SPAM
Paulo Manoel Mafra
Departamento de Automacao e Sistemas
Universidade Federal de Santa Catarina
88040-900 Florianopolis - SC
mafra@das.ufsc.br

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.1/36

 Tpicos

Algumas Consideraes sobre SPAM

Abordagens Possveis para Combater SPAM
Algumas Tcnicas Utilizadas
Tipos de Bloqueio
Experincias e Testes
Problemas Enfrentados e Solues Adotadas
Concluses

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.2/36

 Algumas Consideraes sobre SPAM

O que um SPAM ?
E-mail indesejado, contendo propaganda no
solicitada
Por que pessoas odeiam SPAM ?
Porque eles enchem a caixa postal dos usurios
com informaes inteis
Porque seu contedo de pssima qualidade
Porque eles consomem banda e sobrecarregam
servidores de e-mail

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.3/36

 Abordagens Possveis para
Combater SPAM

Legislao apropriada
Problema: Cada pas tem a sua legislao
Taxao para o envio de e-mails
Problema: Em qual moeda seria pago, para quem,
isso resolveria o problema ?
Uso de diversas tcnicas nos servidores de e-mail

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.4/36

 Dificuldades Encontradas para
Combater o SPAM

Os cabealhos das mensagens geralmente so falsos

Uso de endereos IP dinmicos (xDSL, dial-up)
Muitas redes no tomam atitudes para prevenir e
combater o SPAM gerado pelos seus usurios. Essas
redes possuem usurios que utilizam o servio de
e-mail corretamente e usurios que utilizam para
enviar SPAM

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.5/36

 Algumas Tcnicas Utilizadas

Tcnicas de bloqueio:
Tcnicas de bloqueio por cabealho da mensagem
Uso de greylisting
Tcnicas de bloqueio por contedo da mensagem

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.6/36

 Tcnicas de Bloqueio por Cabealho

So tcnicas implementadas geralmente no MTA (Mail

Transport Agent)
Algumas dessas tcnicas podem ser implementadas
individualmente no cliente de e-mail
So compostas por:
Verificao da existncia do domnio informado
Verificao da existncia de um nome para o
endereo IP do emissor
Listas externas - RBLs
Listas internas de acesso
ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.7/36
 Verificao do Domnio Informado

Verifica se o domnio do remetente existe

Pode rejeitar e-mails de servidores mal configurados
Bloqueia mensagens com cabealho falso (que
tenham um domnio inexistente)

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.8/36

 Verificao de Nome para o
Endereo IP do Emissor

Verifica se existe um nome para o endereo IP que

est enviando a mensagem
Verifica se a partir do nome chega-se ao endereo IP
Bloqueia muito SPAM
Bloqueia e-mails legtimos

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.9/36

 Listas Externas - RBLs

Servio mantido por terceiros

No permite um bloqueio de endereos individuais,
bloqueia por endereo IP do servidor
No garante que todas as mensagens bloqueadas
sejam SPAM
Poucos provedores respondem por queixas de abusos

RBL - Realtime Blackhole List

http://www.mail-abuse.com/
ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.10/36
 Listas Internas de Acesso

So listas compostas por endereos IP, por CIDRs, por

domnios ou por endereos especficos de e-mail
No utilizam nenhuma heurstica ou mtodo de
anlise estatstica
No existe o problema do falso positivo (pelo menos
em teoria)
Essas listas so classificadas em:
Whitelist: mensagens oriundas de endereos
contidos em uma whitelist so aceitas
Blacklist: mensagens oriundas de endereos
contidos em uma blacklist so rejeitadas
ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.11/36
 Listas Internas de Acesso

Possuem um gerenciamento manual ou automtico, a

partir de servios externos
Pode-se criar listas individuais onde o usurio
somente receber e-mails de pessoas cadastradas
nessas listas. Por exemplo, se Joo envia uma
mensagem para Pedro e o endereo de Joo no est
cadastrado, necessrio acessar um link e se
cadastrar para ter sua mensagem aceita. Isso pode
gerar problemas (nem todos os usurios aceitam)

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.12/36

 Listas Internas de Acesso

Problema: estas listas no so dinmicas, precisam

ser gerenciadas
O tamanho dessas listas sempre cresce ?
Quem ir gerenciar estas listas ?
Possvel soluo: uso de greylisting

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.13/36

 Tcnicas de Bloqueio por Cabealho

Bloqueio em nvel de servidor

uma implementao que bloqueia a maior parte
dos SPAMs, porm no pode bloquear e-mails leg
timos
Deve ser genrico, no pode seguir caractersticas
de apenas um grupo de usurios
Bloqueio em nvel de usurio
uma implementao voltada s caractersticas do
usurio

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.14/36

 Greylisting

Uso de whitelist e blacklist com manuteno

automtica
Nem o administrador da rede nem os usurios
precisam inserir os endereos IPs nas listas
Reduz a carga no MTA
Ajuda na filtragem de vrus

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.15/36

 Greylisting

O filtro baseia-se no comportamento diferente dos

servidores emissores de SPAM e servidores de
e-mails tradicionais
Servidores de SPAM enviam somente uma vez a
mensagem, se ocorreu um erro descartam. Se no
descartassem, formariam filas gigantescas nesses
servidores
Servidores tradicionais seguem a RFC 821 e
reenviam a mensagem em caso de falha transiente
(cdigo de resposta 45x)

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.16/36

 Greylisting - Spamd

Sistema simples, baseado em triplas contendo:

Endereo IP do servidor de e-mail que est
enviando a mensagem
Endereo do emissor do e-mail (from)
Endereo do receptor do e-mail (to)
Tempo tc de criao do registro
Tempo tr para comear a receber o e-mail (30 min
aps o tempo de criao do registro)
Tempo te de expirao da tripla (4 horas aps o
tempo de criao do registro)
GREY:10.0.0.1:<spam@spam.com>:<usuario@dominio>:tc:tr:te
ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.17/36
 Greylisting - Spamd

Faz-se necessrio o uso do filtro de pacotes (Packet

Filter) para redirecionar os pacotes enviados porta 25
para uma outra porta (8025) onde roda o filtro
Ao receber o e-mail o filtro verifica se o endereo IP do
servidor emissor est na whitelist, se est, o e-mail
repassado para o MTA que est rodando na porta 25
Verifica se o endereo IP do servidor emissor est em
uma blacklist, se est, rejeita o e-mail

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.18/36

 Greylisting - Spamd

Verifica se a tripla existe

1. Se a tripla no existe, cria um novo registro e
retorna uma falha temporria ao servidor emissor
2. Se a tripla existe e o seu tempo tr para comear a
receber no expirou, retorna uma falha temporria
ao servidor emissor
3. Se a tripla existe e o tempo tr expirou, ento
adiciona o endereo IP do servidor na whitelist e
atribui um tempo de 36 dias para expirao. A tripla
fica assim: WHITE:10.0.0.1:::tc:tr:te

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.19/36

 Greylisting - Spamd

Servidor de Email Local

Mensagem Porta 8025

SPAMD

Packet Filter
Falha
Servidor Temporria Ok
de Emails
Envio de
Internet Porta 25
Mensagens
MTA

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.20/36

 Greylisting - Problemas

Usurios impacientes podem ficar insatisfeitos

As mensagens enviadas por servidores que no esto
na whitelist levam algum tempo para chegar
Alguns portais tipo hotmail por exemplo nem sempre
reenviam a mensagem pelo mesmo servidor, fazendo
com que a mensagem demore muito para chegar
O uso de mltiplos MXs pode causar problema se
cada servidor tiver as suas prprias listas. Corre-se o
risco do mail ser barrado temporariamente mltiplas
vezes, uma para cada MX

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.21/36

 Tcnicas de Bloqueio por Contedo

Os filtros por contedo classificam as mensagens

atravs de uma anlise do seu contedo
O contedo da mensagem comparado com duas
bases de dados que armazenam palavras
consideradas boas(goodlist) e runs (spamlist)
As palavras tem um peso. O peso das palavras
atribudo durante o treinamento do filtro. Cada vez
que o filtro treinado o peso de cada palavra
modificado considerando o seu peso atual e o nmero
de vezes que a palavra apareceu no treinamento (a
frequncia da palavra)

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.22/36

 Tcnicas de Bloqueio por Contedo

Compara-se as palavras contidas na mensagem com

essas duas bases (goodlist e spamlist) e atribui-se uma
pontuao mensagem
Mensagens que receberam uma pontuao maior que
uma taxa estipulada so classificadas como SPAM

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.23/36

 Exemplo de Implementao

Servidor de Email Local

MTA PROCMAIL

Mensagem Spamlist Spam

Filtro Goodlist PASTASPAM
Ok

CTA. USURIO

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.24/36

 Tcnicas de Bloqueio por Contedo

Exemplos de filtros:
Bayesian Mail Filter
http://sourceforge.net/projects/bmf
Bogofilter
http://bogofilter.sourceforge.net/
Quick Spam Filter
http://www.ivarch.com/programs/qsf.shtml
SpamAssassin
http://www.spamassassin.org/

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.25/36

 Problemas dos Filtros por Contedo

Barram muitas mensagens legtimas (falso positivo)

Alguns SPAMs continuam incomodando (falso
negativo)
Os SPAMs utilizam sequncias de palavras sem
sentido para confundir o filtro
Precisam ser treinados
Funcionam melhor individualmente, porm cada
usurio precisa trein-lo

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.26/36

 Experincias e Testes

Foi utilizado o sistema operacional OpenBSD verso 3.5

Como MTA foi utilizado o Postfix verso 2.0.19
Para o filtro Greylisting utilizou-se o Spamd, este faz
parte do sistema OpenBSD
Esses filtros podem ser implementados em qualquer
sistema UNIX
Cada tipo de filtro foi testado individualmente
Criou-se uma configurao para utilizar os filtros em
conjunto

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.27/36

 Testes - Filtros por Contedo

Os filtros foram treinados com 6374 mensagens.

Foram aplicadas aos filtros 700 mensagens
produzindo os resultados mostrados na tabela abaixo:

tipos de falso falso acertos

filtros positivo negativo
BMF 2 35 663
Bogofilter 1 89 610
Quick Spam 21 102 577
SpamAssassin 2 110 588

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.28/36

 Testes - Filtros por Contedo

O BMF um filtro rpido e apresentou resultados muito

bons
O Bogofilter semelhante ao BMF em termos de
velocidade mas no apresentou resultados to bons
O Quick Spam foi o mais rpido porm errou muito na
classificao dos e-mails
O filtro Spamassassin computacionalmente muito
pesado (utiliza uma vasta gama de testes de
heursticas) e no teve um alto ndice de acerto
Optou-se por utilizar o BMF como filtro auxiliar
individual (opcional)

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.29/36

 Testes Individuais

Com o objetivo de verificar a eficincia dos filtros

selecionados, efetuaram-se testes com cada um dos
filtros individualmente. A tabela abaixo apresenta os
resultados obtidos:

filtro Mensagens Falso Falso ndice

filtradas pos. neg. acerto
Spamd 258531 0 90763 64.89%
Regras MTA 31316 8 2893 90.73%
BMF 700 2 35 94.71%

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.30/36

 Testes em Conjunto

Para os testes em conjunto, alm dos filtros anti-spam,

utilizou-se o filtro anti-vrus Clamav. A tabela abaixo
apresenta os resultados obtidos da anlise dos logs
gerados durante oito dias consecutivos:

filtro Mensagens Mensagens Mensagens

recebidas entregues bloqueadas
Spamd 258531 136580 121951
Regras MTA 136580 46428 90152
Clamav 46428 45803 625
BMF 45803 44802 1001

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.31/36

 Testes em Conjunto

O ndice de acerto dos filtros em conjunto foi de

99.61%
Optou-se por uma configurao padro que visa no
perder mensagens autnticas (greylisting + regras de
filtragem bsicas no MTA + anti-vrus)
Para usurios que desejam uma filtragem maior,
pode-se instalar o BMF e aumentar o nvel de filtragem
para as regras no MTA

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.32/36

 Problemas Enfrentados e Solues
Adotadas

Alguns usurios deixaram de receber e-mails por

causa dos filtros mas ningum ficou sabendo
Soluo: por causa disso, desenvolveu-se shell
scripts para gerao de relatrios dirios dos e-mails
que foram rejeitados por cada filtro, por usurio
Lio que se tira: filtros silenciosos so um convite
a problemas
Verificao de DNS reverso causa muitos falsos
positivos
Soluo: incluso de determinados servidores em
uma whitelist, mediante solicitao do usurio
ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.33/36
 Problemas Enfrentados e Solues
Adotadas

Uma blacklist externa listou um servidor importante

Soluo: desativar o uso daquela blacklist.
Utilizvamos 6 blacklists externas e hoje utilizamos
somente duas
O intervalo de tempo (tr e te) do Spamd (30 minutos e
4 horas) no era suficiente para alguns servidores
reenviarem a mensagem
Soluo: ajustou-se o Spamd para utilizar tempos
de (tr e te): 18 minutos e 26 horas

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.34/36

 Concluses

impossvel bloquear 100% dos SPAMs

O uso dos filtros em conjunto melhora bastante o
ndice de acerto do sistema
Podemos dividir os usurios em trs grupos: os que
no se importam com SPAM, os que odeiam SPAM e
os que no gostam mas no se importam em receber
alguns SPAMs

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.35/36

 Dvidas?

Obrigado!

ANALISE DE FERRAMENTAS PARA O CONTROLE DE SPAM p.36/36