Graylog2

Gerncia e
organizao de
Logs

Lder em solues de TI para governo

Quem sou eu??

Ricardo Katz aka RicardoSSP @ freenode

aka Katz

Fatecano

Ps graduado em gesto de Segurana da

Informao IBTA

LPIC3 Segurana da Informao

Analista de Suporte do Serpro desde 2009

Unix, Linux e mais recentemente virtualizao,
nuvem e projetos aleatrios.

O que Graylog2

Desenvolvido pela empresa alem Torch

OpenSource (GPLv3)

Sistema para consolidao, indexao e

anlise de Logs

Processador de mensagens e gerador de

alertas

Monitor de excees

Gerador de grficos baseados em eventos

uma carinha bonita no seu Centro de

Dados que atende a Desenvolvimento,
Operaes e Monitorao

Retirado de http://graylog2.org/assets/images/screenshots/3.png

O que no o Graylog2

Sistema de monitorao

Correlacionador de logs

Configurador de logs

Componentes do Graylog2

ElasticSearch

Utilizado para armazenamento das mensagens de

Log

MongoDB

Utilizado para armazenamento de configuraes do

Sistema

Graylog2 Server

Responsvel pelo recebimento,

armazenamento das mensagens

o corao da soluo.

catalogao

Componentes do Graylog2 (cont)

Graylog2 Radio

Um Graylog2 Server reduzido, recebe as

configuraes de um Graylog2 Server para servir
como um sensor da rede.
Armazena as mensagens em algum sistema de
mensageria (Kafka ou AMQP Compliant) para
posterior consumo do Graylog2 Server

Graylog2 Web Interface

Interface Web disponibilizada ao usurio final

A carinha bonita do sistema, efetua requisies
REST API do Graylog2 Server

Logstash

Aplicao Java, concorrente do Graylog2,

mas serve como complemento
Utilizada em servidores como um coletor
que envia as mensagens em formato GELF
para o Graylog2 Radio
Pode ser executado em qualquer plataforma
(Linux, Windows, MacOS), e ler praticamente
qualquer mensagem

Utilizado em produo para leitura de Logs do

Apache e envio ao Graylog2 Radio
Utilizado em produo tambm para leitura do
Event Viewer do Windows

Diversos filtros, codecs e plug-ins de entrada

e sada

Topologia Enterprise

Retirado de: http://support.torch.sh/help/kb/general/graylog2-architecture-high-leveloverview

Forma de recebimento de mensagens

Syslog (TCP e UDP)

Gelf2

Mensageria Leitura de alguma fila contendo

as mensagens
Requisies JSON

Protocolo desenvolvido pela TORCH para envio de

mensagens em protocolo UDP, mas com
compresso e sem limite de tamanho de
mensagens
Diversos conectores desenvolvidos para esse
protocolo Java, Ruby, PHP

Permite a integrao com qualquer sistema

Socket puro TCP e UDP

Apenas para testes

Motivaes para o uso

Muitos sistemas
Grande diversidade de logs gerados e solicitados

Alto volume de Logs produzidos

Syslog, PHP, Java (Tomcat, Jboss, Liferay), .NET, Apache

Custom/Combined Logs
Alguns sistemas geram at 3Gb de logs por dia, apenas de
aplicaes
Grande trfego de rede apenas para a cpia peridica de
Logs

Burocracia na disponibilizao de logs

Dificuldade
para
localizao
de
especfica dentro dos Logs

Por IP, por data, por severidade, por login, etc.

informao

Outras funcionalidades

Segmentao de papis e logs (streams) de

acordo com o usurio.
Criao de dashboards por usurio, e
configurvel pelo usurio conforme
necessidade.
Alta volumetria de recebimento de
informaes

Medido aproximadamente 15k msgs/s em

produo, em estrutura simples

Possibilidade de busca de mensagens atravs

de qualquer campo.

Hands On

MongoDB e ElasticSearch Pr instalados

Instalao do Graylog2 Server e do Graylog2
Web
Demonstrao de Logs Syslog e extrator
SSH/Sudo
Demonstrao de logs do Apache / Logstash
Demonstrao de componente Jboss 6.2 EAP

Referncias

www.graylog2.org

Documentaes podem ser encontradas no site

http://logstash.net/

Documentaes podem ser encontradas no site

http://www.graylog2.org/gelf
#graylog2 @ freenode.net
#logstash @ freenode.net

Obrigado!

Gtalk: ricardo.katz@gmail.com
Email: ricardo.katz@serpro.gov.br
Twitter: @katzsp

Servio Federal de Processamento de Dados Serpro

Edifcio Sede: SGAN 601 - Mdulo V - CEP
70836-900
Fone: (61) 2021-8000 - Braslia DF

www.serpro.gov.br