Você está na página 1de 58

Este manual foi projetado para governos que querem abrir dados, mas pode ser usado por

qualquer
pessoa que queira saber mais dos aspectos tcnicos, sociais e polticos dos dados abertos. Aqui se discute por que abrir dados, o que so dados abertos e como abrir dados de governo.
Essa a primeira publicao resultante do acordo de cooperao tcnico-cientfica entre o Laboratrio
Brasileiro de Cultura Digital e o Ncleo de Informao e Coordenao do Ponto BR (NIC.br).
Crditos e licenas
Original disponvel em Open Data Manual (http://opendatamanual.org/), produzido pela Open
Knowledge Foundation (http://okfn.org/) e seus colaboradores (http://opendatamanual.org/introduction/credits/), verso 1.0b, de outubro de 2010, revisada em janeiro de 2011:
Jonathan Gray (http://jonathangray.org/)
Daniel Dietrich (http://ddie.me/)
Tim McNamara (http://timmcnamara.co.nz/)
Antti Poikola (http://apoikola.wordpress.com/)
Rufus Pollock (http://rufuspollock.org/)
Julian Tait (http://www.littlestar.tv/)
Ton Zijlstra (http://www.zylstra.org/)

Fontes do material original


Fontes usadas diretamente
ACCESS INFO AND THE OPEN KNOWLEDGE FOUNDATION. Beyond Access Report.
POIKOLA, Antti. Finnish Manual.
POLLOCK, Rufus; GRAY, Jonathan; PARRISH, Simon; HATCHER, Jordan. Unlocking the Potential of Aid
Information.
THE IATI TECHNICAL ADVISORY GROUP (liderado por Simon Parrish). Technical Proposal for how IATI
is Implemented.
Outras
W3C PUBLISHING GOVERNMENT DATA. 2009. Disponvel em: http://www.w3.org/TR/gov-data/.

Traduo e adaptao para o contexto brasileiro produzidas pela Comunidade Transparncia Hacker
(http://thacker.com.br/), verso 1.0port, de abril de 2011, com a colaborao de: Esfera.mobi (http://
blog.esfera.mobi/) e de Everton Zanella Alvarenga.

Creative Commons 3.0 Atribuio


Voc pode usar, copiar, modificar, remixar, imprimir, distribuir e
traduzir esse material para outras lnguas, citando a fonte original.
http://creativecommons.org/licenses/by/3.0/legalcode

sumrio
Introduo, 3
Pblico-alvo, 4

Por que dados abertos?, 7


Exemplos no Brasil, 11
Afinal, o que significa aberto?, 13
De que dados se est falando?, 16

Como abrir os dados?, 17


Escolha os conjunto de dados, 19
Disponibilize os dados, 20
Torne-os mais fceis de encontrar, 21

Abrimos alguns dados. E agora?, 25


Conte ao mundo, 25
Conecte pessoas: desconferncias, meetups e barcamps, 26
Faa coisas: hackdays, prmios e prottipos, 28
Transparncia Hacker, 32

Algumas informaes tcnicas, 35


APIs, web services e bancos de dados, 35
Formatos, 36

Anexos, 43
Acesso a dados pblicos no Brasil, 43
Como (des)organizar um hackday, 49

introduo
O leitor sabe exatamente quanto dos seus impostos gasto com
iluminao das ruas ou pesquisas contra o cncer? Qual o caminho mais curto, mais seguro e com a melhor vista da sua casa
at o seu trabalho? E qual a qualidade do ar que respira ao
longo desse trajeto?

Novas tecnologias tornam possvel a construo de servios para


responder automaticamente a essas perguntas. Muitas pessoas,
e no apenas os governos, seriam capazes de construir servios
assim. Mas, infelizmente, os dados necessrios para a criao
de projetos que atuem nesse sentido no esto disponveis ou
no so liberados em formato que torne possvel o seu uso pela
sociedade.

manual dos dados abertos: governo

O leitor sabe onde, na sua regio, pode encontrar as melhores


oportunidades de emprego e os locais mais arborizados? Sabe
quando e como influenciar leis ou decises pblicas sobre temas
com os quais se preocupa?

Este manual busca explicar como aproveitar o potencial de informaes oficiais para permitir a existncia de novos servios

de informao, melhorando a vida dos cidados e fazendo com


que governo e sociedade trabalhem juntos e melhor. Alm de
abordar os conceitos bsicos de dados abertos, serve ainda para
os funcionrios do governo, indicando maneiras de utilizar esses
dados para criar mais valor e impacto em diversas reas e dando
informaes concretas sobre como abrir dados governamentais.
Dados abertos governamentais so dados produzidos pelo governo e colocados disposio das pessoas de forma a tornar
possvel no apenas sua leitura e acompanhamento, mas tambm
sua reutilizao em novos projetos, stios e aplicativos; seu cruzamento com outros dados de diferentes fontes; e sua disposio
em visualizaes interessantes e esclarecedoras.

manual dos dados abertos: governo

J h alguns anos ocorre o debate sobre dados governamentais


abertos sobre informao pblica livre para qualquer um acessar e reutilizar, com qualquer finalidade. Em 2009, o tema comeou a aparecer na grande mdia, com governos de vrios pases
(como Estados Unidos, Reino Unido, Canad e Nova Zelndia)
anunciando iniciativas voltadas a abrir sua informao pblica.

pblico-alvo
O manual voltado para um pblico amplo: serve para quem
nunca ouviu falar de dados abertos; para quem se considera um
experiente profissional dos dados; para especialistas de dados,
como hackers (ver quadro a seguir) e desenvolvedores; e para
quem nunca ouviu falar de uma API (o leitor j ouviu?). um guia
voltado especialmente para aqueles que trabalham em governos
que querem, podem e devem liberar dados para o pblico mesmo que tenham pouco ou nenhum conhecimento sobre a questo.

importante verificar as informaes tcnicas adicionais e os


anexos que se encontram no final do manual para saber mais
sobre formatos de disponibilizao (algumas siglas que vo aparecer durante o texto se repetiro l) e sobre questes legais em
torno dos dados pblicos no Brasil.

De acordo com a RFC 1.392, da Internet Engineering Task


Force (IETF), de 1993, hacker uma pessoa que sente prazer
em ter uma compreenso profunda dos processos internos de
um sistema, de um computador ou de uma rede informtica em
especfico. O termo frequentemente colocado em um contexto
pejorativo, em que cracker1 seria o nome correto.
Algumas definies da prpria comunidade:

Hacker quem, devido a uma experincia (de trabalho) repetitiva, inventa solues que facilitam sua vida e permitem lidar
com o problema em um nvel diferente da sua mera execuo,
mas nas diferentes abordagens de sua soluo. Hacker uma
identidade dentro de uma cultura hacker (Capi Etheriel).

Disponvel em http://www.ietf.org/rfc/rfc1392.txt

manual dos dados abertos: governo

Hacker a pessoa que conhece profundamente qualquer um


dos vrios nveis de abstrao relativos a tecnologia e que
tenta ampliar e aprofundar ao mximo o conhecimento das
pessoas leigas (Leandro Salvador).

por que

Dados abertos, especialmente os governamentais, so um timo


recurso ainda muito pouco explorado. Muitos indivduos e organizaes coletam uma ampla gama de diferentes tipos de dados
para executar suas tarefas. O governo particularmente importante nesse contexto, tanto por causa da quantidade e da centralidade dos dados que coleta quanto pelo fato de que tais dados
so pblicos, um direito garantido no artigo 5 da Constituio
Federal brasileira (e a regulamentao desse direito est em fase
de tramitao no Senado Federal, no Projeto de Lei n 41/2010
veja mais nos Anexos).
Os dados de governo, portanto, podem ser abertos e disponibilizados para outros usarem. Mas qual a importncia disso?
H muitas reas de atuao para as quais so importantes dados
abertos, e tambm vrios grupos de indivduos e organizaes
que podem se beneficiar dessa disponibilidade, inclusive o prprio governo. Ao mesmo tempo, impossvel saber exatamente
como e onde os dados abertos sero mais valorizados, pois, ao

manual dos dados abertos: governo

dados abertos?

permitir que haja inovao em diversas reas, novos jeitos de


utiliz-los surgiro de locais e situaes no muito previsveis.
J possvel notar um grande nmero de reas e atividades em
que os dados abertos esto gerando valor, e h potencial para
muito mais. Entre essas reas esto:

Transparncia e controle democrtico;

Participao popular;

Empoderamento dos cidados;

Melhores ou novos produtos e servios privados;

Inovao;

Melhora na eficincia de servios governamentais;

Melhora na efetividade de servios governamentais;

manual dos dados abertos: governo

Medio do impacto das polticas;

Conhecimento novo a partir da combinao de fontes


de dados e padres.

Exemplos existem para a maioria dessas atividades. Quanto a


transparncia, h projetos como o Tax Tree (http://www.mindtrek.
org/2009/node/127), da Finlndia, e Where Does My Money
Go (http://wheredoesmymoneygo.org/ para onde vai o meu
dinheiro?), da Gr-Bretanha, que mostram como os recursos dos
impostos esto sendo gastos pelo governo. Mais um caso: no Canad, a abertura de dados permitiu que se economizassem 3.2
bilhes de dlares canadenses em fraudes fiscais de caridade.
Outros stios, como o Folketsting (http://folketsting.dk/), da Dina-

Dados abertos podem tambm ajudar as pessoas a tomar decises melhores nas suas vidas, ou permitir que sejam mais ativas na sociedade. Tambm criado na Dinamarca, o Find Toilet
(http://findtoilet.dk/) mostra em um mapa todos os banheiros
pblicos do pas. Pode parecer desimportante, mas esse projeto
possibilita que pessoas com certos problemas de sade saiam
de casa mais vezes. Na Holanda, o stio Vervuilings Alarm
(http://www.vervuilingsalarm.nl/) avisa com uma mensagem se
a qualidade do ar da vizinhana est perto de atingir um nvel muito prejudicial. Em Nova Iorque, um servio busca lugares
onde possvel caminhar com um cachorro. H projetos como o
Mapumental (http://mapumental.channel4.com/), no Reino Unido, e o Mapnificent (http://www.mapnificent.net/), na Alemanha, que permitem encontrar locais para morar de acordo com
caractersticas indicadas, como durao do trajeto at o local
de trabalho, o preos da casa e a beleza da regio. So todos
exemplos de servios que utilizam dados abertos.
Dados abertos tambm tm grande importncia econmica. Estudos estimaram que seu valor monetrio seja de dezenas de
bilhes de euros, somente na Unio Europeia novos produtos de
novas empresas esto reutilizando esses dados e gerando valor
com eles. O Husetsweb (http://www.husetsweb.dk/), da Dinamarca, por exemplo, ajuda a encontrar formas de melhorar a
eficincia energtica da sua residncia, incluindo uma ferramenta de planejamento financeiro e uma busca por empreiteiros que
possam realizar o trabalho necessrio para economizar mais. O
Google Translate (http://translate.google.com.br/) aproveita o
enorme volume de publicaes, principalmente nas lnguas euro-

manual dos dados abertos: governo

marca, acompanham as atividades parlamentares e o processo


legislativo, permitindo que se veja exatamente o que est acontecendo e se saiba quais parlamentares esto envolvidos nos fatos.

peias, para treinar seus algoritmos de traduo, culminando na


melhora da qualidade do servio.
Dados abertos tambm so de grande valia para o prprio governo, aumentando sua eficincia. O Ministrio da Educao
alemo publicou on-line, para que fossem reutilizados, todos os
dados governamentais relacionados educao no pas. Desde
ento, caiu muito o nmero de perguntas que recebem da populao, reduzindo carga de trabalho e custos. Alm disso, as perguntas que continuam sendo feitas tornaram-se mais simples de
serem respondidas pelos servidores pblicos, j que ficou mais
claro para os cidados onde podem ser encontradas informaes
relevantes sobre o tema.

manual dos dados abertos: governo

Aumentar a eficincia, em ltima instncia, reduz custos. O Departamento Alemo de Patrimnio Cultural tem publicado ativamente seus dados, permitindo, assim, que sociedades de historiadores amadores e grupos como a Wikimedia Foundation (http://
wikimediafoundation.org/) executem suas tarefas com mais agilidade.

10

Isso no resulta somente na melhoria da qualidade dos dados,


mas tambm permite que se reduza o tamanho do departamento
alocando servidores pblicos para outros servios, em vez de
apenas redundar o conhecimento que j est sendo construdo
por colaboradores em rede.
Embora haja inmeras instncias em que os dados abertos j
criam valores sociais e econmicos das mais diversas maneiras,
ainda no se sabe que outras novidades se tornaro possveis
com essa tendncia. Novas combinaes de dados podem criar
novos conhecimentos e inspirar novas ideias, que vo criar novos
campos de aplicao como, na Londres do sculo XIX, quando o mdico John Snow descobriu a relao entre poluio da

gua e clera ao combinar dados sobre mortes por clera com


a localizao de fontes dgua, levando construo do sistema
de esgoto londrino, um grande avano para a sade geral da
populao. provvel que se veja o mesmo acontecer quando
ideias inesperadas comearem a surgir a partir da combinao
de bases de dados abertas.
Esse potencial inexplorado pode ser desencadeado se forem
abertos os dados governamentais pblicos de forma que no
haja restries (legais, financeiras, tecnolgicas ou polticas)
para que acontea sua reutilizao por grupos civis. Qualquer
restrio pode excluir pessoas dessa reutilizao, tornando mais
difcil encontrar formas de criar valor com base nos dados.

exemplos no Brasil
No Brasil, apesar de existirem programas bastante avanados de
transparncia pblica como, por exemplo, de transparncia oramentria , ainda so rarssimos os rgos ou secretarias que
disponibilizam dados abertos. No melhor dos casos, h dados
disponveis para visualizao, mas existem inmeras barreiras
tcnicas, e at polticas, para que sejam reutilizados pela sociedade na criao de novos projetos e servios.

manual dos dados abertos: governo

No adianta o poder pblico se responsabilizar por produzir


internamente stios e servios como esses. O que os governos
precisam fazer redefinir seu papel como fornecedores de informao, para, assim, permitirem que a sociedade agregue novos
valores com base nos dados pblicos. Ou seja, esse potencial s
ser alcanado se os dados pblicos forem abertos.

11

Mesmo com a escassez de bases de dados governamentais disposio para se criarem novos projetos, h exemplos de stios similares aos que tm surgido em outros pases. Esses servios brasileiros foram criados e desenvolvidos voluntariamente por hackers ou
programadores independentes interessados em questes pblicas.
O CMSP (http://cmsp.topical.com.br/), do desenvolvedor Mauricio Maia, traz uma nova visualizao das prestaes de contas
disponibilizadas no stio da Cmara Municipal de So Paulo o
que, antes, s podia ser encontrado aps consulta em vrias listas
e tabelas, impedindo a comparao entre contas de diferentes vereadores, agora est disponvel em grficos e listagens interativas.

manual dos dados abertos: governo

Maia tambm criou e desenvolveu o projeto Alagamentos (http://


alagamentos.topical.com.br/), que reorganiza dados pblicos
sobre incidncias de alagamentos na cidade de So Paulo, contribuindo para o entendimento desse problema. O sistema ainda
informa, por redes sociais como o Twitter, onde podem aparecer
novos pontos de alagamento, ajudando o usurio a evitar vias
congestionadas ou perigosas em dias de chuva.

12

O SACSP (http://sacsp.mamulti.com/), do programador Bruno


Barreto, permite visualizar e acompanhar as reclamaes feitas
pelos muncipes no stio da prefeitura paulistana. O que antes era
acessvel apenas por meio de senha no estando inteiramente
transparente para os cidados est disponvel no SACSP, permitindo que se visualize cada um dos problemas relatados na cidade, tenha-se cincia dos departamentos que recebem o recorde
de reclamaes e ainda se verifiquem incidncias e solicitaes
de diferentes regies em um mapa interativo.
O Legisdados (http://legisdados.org/), do socilogo Pedro Belasco, republica os dados de tramitao parlamentar na Cmara
dos Deputados. Apesar dos dados j estarem disponveis na Internet, o stio fornece as mesmas informaes em formatos estrutu-

rados e compreensveis por mquina, de forma a facilitar a vida


de outros desenvolvedores que queriam criar sistemas integrados
com essas informaes.
Para criar esses servios, desenvolvedores tiveram de raspar
informaes de stios pblicos. como se a sociedade estivesse
fazendo todo o trabalho sozinha. Quando os dados governamentais forem abertos, convidando as pessoas a os reutilizarem, ser
possvel criar mais.

afinal, o que significa aberto?

Disponibilidade e acesso: o dado precisa estar disponvel por


inteiro e por um custo razovel de reproduo, preferencialmente
por meio de download na Internet; tambm deve estar num formato conveniente e modificvel.
Reuso e redistribuio: o dado precisa ser fornecido em condies que permitam reutilizao e redistribuio, incluindo o
cruzamento com outros conjuntos de dados.
Participao universal: todos podem usar, reutilizar e redistribuir, no havendo discriminao contra reas de atuao, pessoas ou grupos (no so permitidas restries como no comercial, que impedem o uso comercial, e restries de uso para
certos fins, como somente educacional).

manual dos dados abertos: governo

Neste manual, foi a usada a definio da Open Definition (http://


opendefinition.org/): dado aberto um dado que pode ser livremente utilizado, reutilizado e redistribudo por qualquer um. A
definio completa fornece detalhes especficos do significado do
termo, que se resumem em alguns pontos importantes:

13

Alm dessa definio, os dados governamentais so considerados abertos quando publicados de acordo com os seguintes princpios (elencados por ativistas do governo aberto em encontro
acontecido em 2007):
Completos: Todos os dados pblicos devem ser disponibilizados. Dado pblico aquele que no est sujeito a restries de
privacidade, segurana ou outros privilgios.
Primrios: So apresentados tal como colhidos da fonte, com o
maior nvel possvel de granularidade, sem agregao ou modificao (por exemplo, um grfico no fornecido aberto, mas os
dados utilizados para construir a planilha que deu origem a ele
podem ser abertos).
Atuais: Devem ser publicados o mais rpido possvel para preservar seu valor. Em geral, tm periodicidade: quanto mais recentes e atuais, mais teis para seus usurios.

manual dos dados abertos: governo

Acessveis: So disponibilizados para a maior quantidade possvel de pessoas, atendendo, assim, aos mais diferentes propsitos.

14

Compreensveis por mquina: Devem estar estruturados de


modo razovel, possibilitando que sejam processados automaticamente (por exemplo, uma tabela em PDF muito bem compreendida por pessoas, mas para um computador apenas uma
imagem; uma tabela em formato estruturado, como CSV ou XML,
processada mais facilmente por softwares e sistemas).
No discriminatrios: Devem estar disponveis para qualquer
pessoa, sem necessidade de cadastro ou qualquer outro procedimento que impea o acesso.
No proprietrios: Nenhuma entidade ou organizao deve ter
controle exclusivo sobre os dados disponibilizados.
Livres de licenas: No devem estar submetidos a copyrights,
patentes, marcas registradas ou regulaes de segredo industrial.

Restries razoveis quanto a privacidade, segurana e outros privilgios so aceitas, desde que transparentes e bem justificadas.
Se o leitor estiver curioso em saber por que to importante compreender o que realmente significa aberto e por que essa definio utilizada para falar de dados governamentais, h uma
resposta bem simples: interoperabilidade, ou seja, a capacidade
de diversos sistemas e organizaes trabalharem juntos (interoperarem) no caso, a possibilidade de interoperar diferentes conjuntos de dados. E essa possibilidade de plugar componentes
essencial.

Enfrenta-se uma situao parecida em relao aos dados. O ncleo de um commons (ou conjunto comum) de dados constitudo
quando um pedao de material aberto nele contido pode ser
livremente misturado com outros materiais abertos. Essa interoperabilidade absolutamente central para se realizar o principal
benefcio prtico da abertura: a habilidade de combinar diferentes conjuntos de dados e, assim, desenvolver mais e melhores
produtos e servios (cujos benefcios foram discutidos mais detalhadamente na seo anterior, Por que dados abertos).
Com uma definio clara de abertura, ligada ideia de interoperabilidade, garante-se que um desenvolvedor, tendo acesso a
dois conjuntos de dados abertos de duas fontes diferentes, ser
capaz de combin-los. Isso, por sua vez, evita que ocorra o efeito
Torre de Babel bem parecido com o que acontece hoje em
relao a dados de governo: existem muitas bases de dados, mas

manual dos dados abertos: governo

A interoperabilidade serve para construir sistemas grandes e


complexos. Sem ela, algo praticamente impossvel como no
mito da Torre de Babel, quando a incapacidade de comunicar
(interoperar) grupos diferentes resultou na completa paralisao
do esforo de construo da torre.

15

h pouca ou nenhuma possibilidade de combin-las em sistemas


maiores, em que poderia ser ressaltado seu valor real.
Um exemplo: se dois departamentos do governo indicam endereos de locais onde possvel acessar diferentes servios pblicos
(como uma base de dados sobre escolas e uma sobre hospitais)
de uma determinada localidade, com bases abertas e interoperveis possvel construir um mapa que mostre todas essas informaes em um s lugar. Sem essas condies, ser muito difcil
criar um servio assim.

manual dos dados abertos: governo

de que dados se est falando?

16

No processo de abertura de dados, o foco no est em dados


pessoais, mas naqueles que no contm informao sobre indivduos especficos. Da mesma forma, para alguns tipos de dados
governamentais, podem ser aplicadas restries de segurana
nacional. Fala-se aqui dos dados governamentais pblicos, aqueles que j esto ou deveriam estar expostos para a sociedade e
que, assim, tm o potencial de se tornarem abertos, garantindo
sua reutilizao em novos projetos.

como

abrir os dados?

Simplicidade. Comece com um plano pequeno, simples e rpido. No obrigatrio que todo conjunto de dados seja aberto
imediatamente. Um bom incio abrir somente um conjunto de
dados, ou mesmo uma parte de um grande conjunto de dados
(mas claro que, quanto mais conjuntos se puder abrir, melhor).
Trabalhar o mais rpido possvel bom, pois isso significa que se
pode criar o momento e aprender com a experincia. Mas se fala
aqui de inovao, e isso depende de falhas e sucessos, e nem
todo conjunto de dados ser imediatamente til, mas j ajuda a
avanar no processo de abertura.
Envolva-se com as comunidades logo no incio do processo,
e mantenha contato com elas. Dialogue com os usurios atuais e
potenciais dos dados assim que puder, sejam eles cidados, empresas, organizaes no governamentais ou desenvolvedores.
importante ter em mente que muitos dados no atingiro diretamente os usurios finais, mas isso acontecer atravs de interme-

manual dos dados abertos: governo

H trs normas-chave que se recomenda seguir no processo de


abertura de dados:

17

dirios, que se apoderam dos dados e os transformam e recombinam para, ento, reapresent-los ao pblico. Por exemplo: muitas
pessoas no precisam de uma grande base de dados de vetores
geogrficos, mas esto interessadas nos mapas que podem ser
criados a partir dali. provvel que os primeiros usurios a se
envolver no processo, quando os dados estiverem abertos, sejam
esses intermedirios, que iro reutilizar e ressignificar o material.
Ateno aos medos comuns e mal-entendidos. Isso especialmente importante quando se est trabalhando com ou dentro
de grandes instituies de governo. Ao abrir dados, surgiro muitos questionamentos (e medos), e por isso essencial identificar
os principais entraves e, ento, resolv-los o mais cedo possvel.
H trs passos principais na abertura dos dados, que aqui so
apresentados em ordem aproximada, pois alguns deles podem
acontecer simultaneamente.

manual dos dados abertos: governo

1. Escolha os conjuntos de dados que planeja abrir.

18

2. Disponibilize os dados estruturados e em um formato aberto


reutilizvel. Deve-se tambm considerar mtodos alternativos
de disponibilizao, como uma API (application programming
interface, ou interface de programao de aplicativo adiante, veremos o que isso).
3. Torne-os mais fceis de encontrar. Publique os dados na
rede ou organize um repositrio/catlogo central para listar
todos os conjuntos de dados.

escolha os conjuntos de dados


Todos os dados pblicos interessam, mas preciso comear de
algum ponto. Escolher o conjunto de dados que se deseja abrir
o primeiro passo a ser tomado mas lembre-se de que todo o processo de abertura de dados interativo, sendo possvel retornar
para esta etapa caso apaream problemas no futuro.
Importante: dados abertos idealmente no tm restries legais
de uso, com exceo apenas de uma possvel atribuio da origem. Reflita sobre as licenas e restries de propriedade intelectual que podem recair sobre os dados (h algumas informaes
teis sobre isso no anexo Acesso a dados pblicos no Brasil).

Recomenda-se perguntar para a comunidade (usurios reais ou


potenciais dos dados) o que eles querem. Como fazer isso? H
muitas formas de receber a opinio da comunidade a respeito
dos dados que eles gostariam de ver abertos. A seguir indicamos
um processo possvel.
1. Crie uma pgina da web solicitando sugestes de bases de dados (que podem chegar via e-mail ou formulrio). Algumas dicas:
Sempre que possvel, evite exigir cadastro.
Se estiver preocupado com a possibilidade de a comunidade que pode se interessar pelos dados no ter opinio
sobre que informaes disponibilizar (a ponto de no conseguir fazer requisies), prepare uma pequena lista com

manual dos dados abertos: governo

Se o leitor j sabe exatamente que dados planeja abrir, pode


passar para a prxima seo deste manual. Mas, em muitos casos, especialmente em grandes instituies, pode ser um desafio
escolher que conjuntos de dados possvel/necessrio publicar.
Como proceder nesse caso?

19

cinco a vinte exemplos de conjuntos de dados que podem


ser liberados, para tentar identificar os mais importantes
para as pessoas.
2. Circule a solicitao por listas de e-mail, fruns e pessoas relevantes, apontando sempre para o endereo de e-mail ou para
uma pgina de requisies.
3. H ainda a opo de se fazer um evento de consulta, mas
bom se certificar de organizar o evento de forma que ativistas,
representantes de organizaes, empresrios e, principalmente, hackers de dados possam participar.

manual dos dados abertos: governo

Criar uma lista de requisies deve ser um processo rpido, que


serve para identificar os conjuntos de dados que podem/devem
ser abertos. No h requisitos para se criar a lista dos primeiros
conjuntos de dados abertos. Para dar o primeiro passo, o principal considerar a viabilidade da publicao dos dados e o
interesse das pessoas.

20

disponibilize os dados
Os dados precisam ser tcnica e politicamente abertos. Ou seja,
precisam estar:
Disponveis para download, prontos para serem transferidos
gratuitamente pela Internet. Em suma, sempre que possvel, deve-se publicar a informao na Internet.
Completos. Um servio de acesso automtico pela web pode ser
bem til para quem quer acessar a verso atualizada dos dados,
mas no um substitutivo para o acesso dos dados brutos, em
sua totalidade. Os dados devem estar disponveis por completo.

Em um formato aberto e compreensvel por mquina. A legibilidade por mquinas importante, pois facilita a reutilizao.
O principal quando da disponibilizao dos dados manter o
projeto simples, mover-se rapidamente e ser pragmtico. E, acima de tudo, melhor liberar imediatamente dados brutos para
download, no formato em que estiverem disponveis, do que dados perfeitos seis meses depois.

torne-os mais fceis de encontrar

Uma API, segundo a Wikipdia (http://pt.wikipedia.org/),


um conjunto de rotinas e padres estabelecidos por um software
para a utilizao das suas funcionalidades por programas aplicativos que no querem envolver-se em detalhes da implementao
do software, mas apenas usar seus servios. Basicamente, um
intermedirio entre os dados e os sistemas que vo reutiliz-los,
que permite que programas e aplicativos tenham acesso automtico aos dados. Disponibilizar informaes via API pode garantir,
por exemplo, que os dados estejam sempre atualizados at
mesmo em tempo real nos sistemas que forem reutiliz-los. Se
possvel, uma ao interessante, mas torna-se secundria quando se trata da disponibilizao completa dos dados brutos para
download.

manual dos dados abertos: governo

H muitas formas de disponibilizar os dados: eles podem ser


publicados em pginas da web, podem ser expostos via uma
interface de consulta em um website, ou podem ser acessados
diretamente por sistemas eletrnicos via uma API (interface de
programao de aplicativo).

21

A disponibilizao de conjuntos de dados brutos, prximos do


formato em que foram colhidos na fonte, com o mximo de detalhamento possvel, permite que outras pessoas usem os dados no
apenas para leitura (por exemplo, a converso dos dados em um
novo formato, referenciando e integrando com outros recursos e
possibilitando o armazenamento dos dados em mltiplos locais).
Uma opo interessante de disponibilizao a ltima verso
dos dados estar disponvel via API, enquanto dados brutos e completos so publicados integralmente para download, em intervalos regulares de tempo.

manual dos dados abertos: governo

O servio de estatsticas Eurostat tem uma prtica de disponibilizao de dados completos para download, com mais de 4 mil
arquivos de dados. O servio atualizado duas vezes ao dia,
oferecendo dados em TSV (valores separados por abas), e inclui
documentao sobre instalao para download, assim como sobre os arquivos de dados.

22

Outro exemplo o conjunto de dados OCTO, do Distrito de Columbia, nos Estados Unidos, que permite o download de dados
em formato CSV e XLS, alm de ter live feeds dos dados ou
seja, possvel assinar e, assim, receber automaticamente as
atualizaes das bases de dados, tal qual acontece com os feeds
de stios de notcias.
Uma prtica interessante para tornar os dados abertos mais fceis
de encontrar criar catlogos de dados. Eles funcionam como um
espao de acesso a todos os conjuntos de dados disponibilizados
por um governo e seus departamentos, e ainda servem para convidar a sociedade a reutilizar as informaes. por meio desses
catlogos, como o norte-americano Data.Gov (http://data.gov/),
nos Estados Unidos, ou o Data.Gov.Uk (http://data.gov.uk/), no
Reino Unido, que governos mostram os formatos em que os con-

manual dos dados abertos: governo

juntos de dados esto disponveis, fornecem links para feeds ou


APIs e permitem que os usurios indiquem os conjuntos de dados
mais relevantes para as comunidades, num processo de gesto
colaborativa da informao pblica.

23

abrimos alguns dados.

e agora?

Esta seo trata de aes adicionais para promover a reutilizao de dados governamentais. So apresentadas algumas sugestes, mas o leitor no deve deixar de criar e documentar (compartilhando com o mundo) suas prprias estratgias para tornar os
dados conhecidos e muito mais teis para a sociedade.

Conte ao mundo
Em primeiro lugar, quando se abre uma srie de conjuntos de dados, vlido dedicar um pouco de tempo para se certificar de que
as pessoas sabero (ou pelo menos podero descobrir) que isso foi
feito. Alm de releases de imprensa, anncios em website e outras
formas mais tradicionais de comunicao, vale considerar:

manual dos dados abertos: governo

Alm de tornar a informao do governo poltica e tecnicamente


reutilizvel, assim como de fcil acesso para o pblico, aqueles
que publicam dados abertos podem querer fazer algo mais para
encorajar outros a criar coisas teis e interessantes com esses dados.

25

Contatar organizaes ou indivduos que trabalham com, ou


esto interessados, na rea dos dados abertos;
Contatar listas de e-mail e grupos em redes sociais relevantes
(como, por exemplo, as comunidades de desenvolvedores
que trabalham com tecnologias abertas);
Contatar diretamente provveis usurios desse conhecimento, que podem se interessar pelos dados (como acadmicos
e jornalistas).

manual dos dados abertos: governo

conecte pessoas: desconferncias,


meetups e barcamps

26

Encontros presenciais podem ser muito eficientes para encorajar


outras pessoas a usar os dados. Entre as razes que podem ser
consideradas para se organizar um evento esto:
Saber mais sobre quem so os provveis usurios dos dados;
Saber mais sobre a demanda por diferentes conjuntos de
dados (alm dos j publicados);
Saber mais sobre como as pessoas querem reutilizar os dados;
Permitir que os provveis usurios saibam mais sobre os dados que podem ser abertos;
Permitir que provveis usurios se encontrem (para que possam colaborar entre si);
Expor os dados para uma ampla audincia (por meio dos
blogs ou da cobertura de mdia gerada por conta do evento).

H tambm formas diferentes de se organizar eventos e diversos


tipos de eventos, que variam de acordo com o objetivo. Existem
os modelos mais tradicionais de conferncias, que incluem palestras formais, apresentaes e demonstraes, mas h tambm
vrios tipos de eventos dirigidos pelos prprios participantes
uma ideia que combina mais com a participao e autonomia
possibilitadas pelos dados abertos. Nesses eventos de formato
inovador, os participantes podem (e devem):
Guiar ou definir a agenda do evento;
Apresentar-se, falar sobre o que esto interessados e no que
trabalham, de uma maneira descentralizada e emergente;
Fazer pequenas apresentaes improvisadas sobre seu trabalho atual;

H bastante documentao na web sobre como organizar eventos


deste tipo, que pode ser encontrada ao se pesquisar desconferncia, barcamp, meetup, speedgeek, lightning talk, etc. Tambm pode
ser interessante contatar pessoas que organizaram esses tipos de
evento, que certamente estaro dispostas a ajudar e aconselhar.2
Tambm pode ser de grande valor estabelecer uma parceria com
outra organizao (como uma organizao da sociedade civil,
uma organizao de mdia ou um instituto educacional) para ampliar sua base de participantes e aumentar sua exposio na
Internet e na mdia.

Existe no Brasil uma comunidade ligada a um modelo de desconferncia, o barcamp hoje com
menos atividade, j que se transformou em diversos grupos que fazem encontros descentralizados
relacionados a temas to diversos como modelos de negcios startup, blogosfera, mulheres na
Internet, entre outros. Para acessar a documentao em portugus, procure no stio (http://www.
barcamp.com.br/) ou na lista de discusso (http://groups.google.com/group/barcampbrasil) do
Barcamp Brasil.

manual dos dados abertos: governo

Liderar sesses sobre temas que lhes interessam.

27

No se esquea de que o formato e a localizao do evento


devem privilegiar a participao dos cidados, e no de outros
membros de governo. Faa a divulgao e as inscries pela
rede, e facilite a presena de hackers e ativistas.

faa coisas: hackdays,


prmios e prottipos

manual dos dados abertos: governo

A estrutura das competies em torno de dados abertos a seguinte: uma srie de conjuntos de dados lanada e os programadores tm um perodo de tempo, de 48 horas a at algumas
semanas, para desenvolver aplicativos. O melhor aplicativo construdo com base nos dados , ento, premiado. Vrios governos
e organizaes de diversos pases (como Reino Unido, Estados
Unidos, Noruega, Austrlia, Espanha, Dinamarca e Finlndia) j
realizaram competies semelhantes. Alguns exemplos:

28

Show Us a Better Way (http://showusabetterway.co.uk Mostre-nos um jeito melhor) foi a primeira competio do tipo realizada no mundo. Criada pela Information Power Taskforce, do
governo do Reino Unido, foi liderada pelo Ministro de Gabinete
Tom Watson, em maro de 2008. A competio perguntava O
que voc criaria com uma informao pblica?, tendo sido aberta para programadores de todo o mundo, com um tentador prmio de 80 mil libras esterlinas para os cinco melhores aplicativos.
Apps for Democracy (http://www.appsfordemocracy.org/
Aplicativos para democracia) foi uma das primeiras competies
nos Estados Unidos, lanada em outubro de 2008 por Vivek Kundra, na ocasio Chief Technology Officer (CTO, gerente de tecnologia) do governo do Distrito de Columbia. Kundra tinha desenvol-

O Desafio Abre Datos (http://www.abredatos.es/), organizado na Espanha em abril de 2010, convidou desenvolvedores a
criar, em apenas 48 horas, aplicativos de cdigo aberto fazendo
uso de dados pblicos. A competio teve 29 equipes participantes, que desenvolveram diversos programas: entres eles, um
aplicativo de celular para acessar informaes de trfego no Pas
Basco e outro para acessar dados sobre as linhas e pontos de
nibus em Madri que levaram, respectivamente, o primeiro (3
mil euros) e segundo prmios (2 mil euros).
Nettskap 2.0 (http://www.regjeringen.no/en/dep/fad/kampanjer/nettskap.html?id=635971), organizado em abril de 2010 pelo
Ministrio de Administrao do governo noruegus. Desenvolvedores de todo o pas alm de empresas, agncias pblicas e
indivduos foram desafiados a apresentar ideias de projetos web
nas reas de desenvolvimento de servios, processos de trabalho

manual dos dados abertos: governo

vido o inovador catlogo de dados abertos OCTO (http://data.


octo.dc.gov/), que disponibilizava diversas informaes, como
atualizaes em tempo real das incidncias de crimes no distrito,
notas escolares anonimizadas e indicadores de pobreza por regio na ocasio, o mais abrangente conjunto de dados abertos
locais do mundo. O desafio era torn-lo til para os cidados,
visitantes, empresrios e agncias do governo de Washington,
e a soluo foi criar o concurso, pedindo s pessoas que criassem aplicativos usando os dados do conjunto recm-lanado. O
concurso inclua uma inscrio on-line dos aplicativos, muitos pequenos prmios no lugar de poucas grandes premiaes e vrias
categorias (entre elas, a Escolha do Pblico). A competio
ficou aberta por trinta dias e custou ao governo distrital 50 mil
dlares. Em retorno, foi desenvolvido um total de 47 aplicativos
para web, iPhone e Facebook, com um valor estimado superior a
2,6 milhes de dlares, ento revertidos para a economia local.

29

mais eficientes e aumento da participao democrtica. O uso de


dados governamentais foi explicitamente encorajado. Embora o
prazo para envio de aplicativos fosse somente de um ms aps a
abertura das inscries, em 9 de maio o ministro Rigmor Aasrud
anunciou um retorno esmagador: um total de 137 aplicativos
recebidos, e nada menos do que 90 deles baseados na reutilizao dos dados do governo. 2,5 milhes de noks foram distribudos
entre os dezessete vencedores, enquanto o montante financeiro gerado pelos aplicativos foi avaliado em 28,4 milhes de noks.

manual dos dados abertos: governo

Mashup Australia (http://mashupaustralia.org/). A fora-tarefa


australiana de governo 2.0 convidou os cidados a mostrar por
que o acesso aberto a informaes do governo seria positivo para
a economia do pas e para o desenvolvimento social. O concurso,
que contou com 82 aplicativos, durou de 7 de outubro a 13 de
novembro de 2009, tendo publicado alguns conjuntos de dados
sob uma licena aberta e em diversos formatos reutilizveis.

30

Microbolsas Hacker (http://blog.esfera.mobi/sobre-as-microbolsas-hackers/). Organizadas no Brasil pela comunidade Transparncia Hacker, tm um modelo diferente das competies tradicionais. Os desenvolvedores (ou hackers e ativistas de qualquer
rea) submetem ideias de projetos em vez de aplicativos prontos,
gerando cerca de 10 ideias por edio mensal. As duas melhores
propostas levam uma pequena bolsa de R$ 2 mil para comear
a se transformar em projeto, e todas as ideias recebem feedback
completo dos avaliadores.
Na outra ponta da abertura dos dados de governo, uma das
maneiras mais efetivas para as organizaes da sociedade civil
e comunidades demonstrarem aos governos o valor dos seus conjuntos de dados usar as informaes pblicas para gerar inovaes, sendo possvel mostrar as mltiplas maneiras de gerenciar
a informao alcanando vantagens sociais e econmicas. As

Essas organizaes e comunidades normalmente realizam e participam de competies e conferncias a respeito de dados abertos, alm de realizarem desconferncias, oficinas e hackdays
(eventos mais mo na massa, em que os participantes desenvolvem projetos e aplicativos). Tais atividades so organizadas
pelas comunidades de usurios com dados j publicados, seja
proativamente ou por meio de requisies de acesso a informao. Em outros casos, os ativistas trabalham com funcionrios
pblicos progressistas para conseguir a abertura de novas bases
de dados, de modo que possam ser utilizadas por programadores e hackers para criar novos aplicativos e projetos. Outra linha
de atuao so os movimentos que raspam ou agregam dados
de stios governamentais, montando bases de dados teis para o
desenvolvimento.
Governos tambm podem estimular o uso de dados abertos usando essa mesma estratgia das comunidades e organizaes:
eventos com foco no aprendizado de novas tecnologias de dados
ou no desenvolvimento de solues, como oficinas e hackdays.
importante convidar grupos da sociedade a participar ativamente dos eventos, desde o planejamento at a avaliao de resultados. Para saber mais sobre como organizar um evento como
esse, veja os Anexos.

manual dos dados abertos: governo

organizaes e comunidades que utilizam ou que promovem a


reutilizao de dados pblicos tm sido fundamentais em pases
onde h avanos polticos e na legislao para garantir que os
conjuntos de dados sejam poltica e tecnicamente abertos. Em pases que ainda no seguem essa tendncia, so as comunidades
formadas em torno de dados abertos que propem e impulsionam
inovaes em torno do tema.

31

Transparncia Hacker
Trata-se de uma opo de divulgao e estmulo ao uso de dados abertos para governos e departamentos pblicos brasileiros.
Apesar de no existirem polticas sistemticas de abertura de
dados de governo, um grupo da sociedade comeou a se organizar em torno da questo a partir de outubro de 2009, quando
a Esfera, empresa ligada questo da transparncia pblica, da
poltica e das tecnologias, organizou o primeiro Transparncia
HackDay (http://blog.esfera.mobi/transparencia-hackday-convite-a-participacao/).

manual dos dados abertos: governo

Os hackdays so encontros de desenvolvedores para colaborar


em projetos inovadores. A proposta do Transparncia HackDay

32

era alinhar essa prtica ao interesse do grupo, trabalhando especialmente com dados de governo. Na ausncia de dados, os hackers trabalham com as informaes disponveis em stios ou relatrios pblicos, transformando-as em conjuntos de dados abertos
e criando novos servios e stios a partir da. A ideia comear
uma abertura pela ao da sociedade.
Desses encontros, organizados de forma bem descentralizada, surgiu a Comunidade Transparncia Hacker, grupo hoje com quase
500 membros, que se encontram para conversar e criar aes
provocativas sobre o tema dos dados abertos: projetos, stios,
hackdays, techtalks (eventos que apresentam novas tecnologias
abertas para grupos da sociedade no familiarizados com o tema)
e, inclusive, a criao de documentos teis como este manual.
A comunidade aberta a quem quiser participar, e, alm de
desenvolvedores, conta com ativistas, representantes de organizaes da sociedade civil, jornalistas, pesquisadores e diversos
oficiais do governo, que se articulam com a sociedade para estimular polticas de dados abertos em seus departamentos.

Se tiver interesse em abrir dados governamentais no Brasil e no souber como fazer (ou no sabe como encontrar pessoas para utiliz-los),
h diversas iniciativas das quais possvel participar livremente. Veja
algumas delas:

Comunidade THacker: A comunidade Transparncia Hacker


um espao aberto de proposio e articulao de ideias e projetos
que utilizem a tecnologia para fins de interesse da sociedade, principalmente com dados governamentais abertos. Acima de tudo, busca
evidenciar questes sociais e polticas por meio da ressignificao de
informaes existentes, mas que ainda so de difcil acesso para a
sociedade em geral.
site:
http://thacker.com.br/
lista do grupo:
http://groups.google.com/group/thackday e
thackday@googlegroups.com

twitter:
tag #thackday

GT Dados Abertos W3C Brasil: Grupo de trabalho para a publicao e a reutilizao de dados abertos, coordenado pelo W3C Brasil.
Lista de discusso:
para se inscrever, envie um e-mail para
gt-dadosabertos@nic.br
site:
http://www.w3c.br
twitter:
http://twitter.com/w3cbrasil

manual dos dados abertos: governo

wiki:
http://wiki.thacker.com.br

33

GT INDA: Grupo de trabalho da Infraestrutura Nacional de Dados


Abertos, coordenado pela Secretaria de Logstica e Tecnologia da Informao, do Ministrio do Planejamento, para estabelecer padres,
tecnologias, procedimentos e mecanismos de controle necessrios
para disseminao e compartilhamento de dados e informaes pblicas no modelo de dados abertos.
lista do grupo:
http://groups.google.com/group/lista-inda-gt
(lista fechada, participao mediante convite)

OpenData-BR: Grupo com interesse em desenvolver material tcnico em relao a dados pblicos, de forma a auxiliar o governo,
na disponibilizao de dados, e a sociedade, na visualizao deles.
site:
http://www.opendatabr.org
lista do grupo:
http://groups.google.com/group/opendata-br

algumas informaes

tcnicas

Quando um departamento precisa disponibilizar novos dados,


deve-se escolher o formato que propicia o mximo equilbrio entre custo e adequao ao propsito dos dados. Para cada formato, h alguns aspectos que devem ser levados em conta, que
sero explicados nesta seo. Sero abordadas a disponibilizao e a organizao de dados de forma que mquinas consigam
acess-los diretamente, do modo mais simples possvel.

APIs e web services


Para dados que mudam frequentemente e em que cada requisio ao servidor tem um tamanho limitado, bastante recomendado expor os dados por meio de servios web. H vrias maneiras

manual dos dados abertos: governo

APIs, web services e


bancos de dados

35

de cri-los, mas alguns dos mais usados so SOAP e REST que,


alm de serem padres amplamente utilizados, so relativamente
simples de se desenvolver.

acesso aos bancos de dados


Assim como no caso dos web services, h acesso direto a bases de dados. Mas este servio tem a vantagem de, na hora de
desenvolver novas utilizaes com os dados, permitir aos usurios que selecionem apenas as tabelas e informaes que lhes
interessam. H algumas questes de seguranas envolvidas no
acesso remoto a banco de dados, e o acesso s realmente til
se a estrutura e a importncia de tabelas, assim como os campos
individuais, estiverem bem documentadas.

manual dos dados abertos: governo

Em geral, relativamente simples e barato criar web services que


exponham os dados de um banco, o que pode ser uma maneira
fcil de resolver questes de segurana.

36

formatos
XML
um formato amplamente usado para troca de dados, pois possibilita que se mantenha a estrutura dos dados em operaes diferentes. O modo como os arquivos XML so construdos permite
aos desenvolvedores escrever parte da documentao dentro dos
dados, sem interferir na sua leitura.

JSON
um formato de arquivo bem fcil de ser interpretado por qualquer linguagem de programao, ou seja, costuma ser mais fcil
para os computadores processarem JSON do que outras linguagens, como o XML.

RDF

CSV
Pode ser um formato bem til, pois compacto e, portanto, adequado para transferir grandes conjuntos de dados com uma mesma estrutura. Entretanto to simples, que os dados chegam a
ser inteis se no houver uma documentao das suas caractersticas, uma vez que pode ser quase impossvel adivinhar o
significado das diferentes colunas. Assim, importante para as
tabelas separadas por vrgulas (comma separated vallues CSV)
que haja documentao precisa sobre cada campo.
Alm disso, essencial que a estrutura do arquivo seja respeitada, j que a omisso de um nico campo pode atrapalhar a

manual dos dados abertos: governo

um formato relativamente novo, que torna possvel apresentar


dados de forma que as mquinas consigam compreender e interpretar informaes adicionais padronizadas sobre eles. usado
parcialmente em projetos Linked Open Data, da Unio Europeia.
Ainda no muito difundido, mas oferece excelentes oportunidades para a interoperabilidade e o processamento automtico de
dados governamentais.

37

leitura de todos os outros dados, sem oportunidade de retific-lo,


porque seria impossvel determinar como o restante dos dados
deve ser interpretado.

planilhas

manual dos dados abertos: governo

Muitas organizaes possuem informao em planilhas, como,


por exemplo, as do software Microsoft Excel. Estes dados podem
ser usados de forma imediata, adicionando-se apenas a descrio correta das colunas. Em alguns casos, existem macros e frmulas nas planilhas, o que gera um trabalho mais intenso. Portanto sempre aconselhvel documentar os clculos e frmulas
na planilha, de maneira a tornar as informaes mais acessveis
ao leitor.

38

Importante: para disponibilizar uma planilha, pode ser necessrio mudar o formato do arquivo, de forma que ela seja acessada
por qualquer tipo de software, sem privilegiar nenhuma empresa
ou organizao (de XLS para CSV, por exemplo).

documentos de texto
Documentos clssicos, em formatos como DOC, ODF, OOXML,
podem ser suficientes na hora de apresentar alguns tipos de dados por exemplo, listas de e-mail relativamente estticas ou
informaes parecidas. barato exibir nesses formatos, j que
costuma ser o formato em que os dados foram gerados. No h
suporte no que diz respeito a manter a estrutura consistente, ou
seja, difcil acess-los por meios automatizados. Certifique-se
de usar templates como base dos documentos que traro os da-

dos a serem reutilizados, permitindo-se que as informaes sejam


extradas dos documentos por outras ferramentas sem grandes
perdas. No recomendado exibir os dados no formato de texto
se houver informaes em formatos diferentes.

PDF

Alguns problemas podem ocorrer ao se trocar TXTs entre sistemas


operacionais diferentes. MS Windows, Mac OSX e variantes do

manual dos dados abertos: governo

Os PDFs costumam ser usados para circulao interna de documentos nos rgos governamentais, j que no permitem modificao (so somente leitura) e por manterem a diagramao original do contedo podendo-se incluir tabelas, grficos e imagens.
No entanto so completamente inteis para a disponibilizao
de dados abertos, j que no armazenam as informaes de
maneira estruturada. Lembre-se de que, toda vez que gerar um
PDF de uma tabela ou documento de texto, um desenvolvedor
ter de trabalhar muito para desfazer essa ao e voltar para
um formato que reconhea os dados de forma mais estruturada.

Unix tm seu prprio mtodo de informar ao computador que se


chegou ao fim do texto.

39

TXT
Documentos de texto puro (TXT) so muito fceis de ser lidos por
computadores. Entretanto esse formato de arquivo exclui os metadados estruturais de um documento, ou seja, os desenvolvedores
precisam criar um analisador que interpretar cada documento
na medida em que os dados forem aparecendo.

imagens digitalizadas
Provavelmente, o formato menos adequado para a maioria dos
dados, mas tanto o TIFF quanto o JPEG podem, pelo menos, ser
utilizados para mostrar como imagens informaes que no foram criadas eletronicamente desde o incio (por exemplo, arquivos de uma igreja antiga ou outros acervos tradicionais). Afinal
de contas, para a transparncia, uma imagem ainda melhor do
que nada.

manual dos dados abertos: governo

HTML

40

Atualmente, muitos dados esto disponveis em formato HTML em


vrios stios governamentais. Isso pode ser suficiente, j que os
dados em HTML so muito estveis e tm escopo limitado. Em
alguns casos, prefervel ter os dados em um formato mais fcil
de ser baixado e manipulado, com custo baixo e a facilidade de
linkar em website.
Para armazenar dados, mais apropriado usar tabelas em documentos HTML, e importante que os vrios campos exibidos
tenham uma identificao que facilite o processo de busca e manipulao.
O Yahoo! desenvolveu uma ferramenta chamada YQL (http://
developer.yahoo.com/yql/), que extrai informaes estruturadas
de um website em formato HTML. Ferramentas assim podem fazer
muito mais com os dados se eles forem devidamente nomeados
e classificados.

formatos abertos
Mesmo se as informaes forem fornecidas em formatos compreensveis por mquinas e eletrnicos, ainda pode ainda impedimentos em relao ao formato do arquivo.

Liberar dados em um formato fechado pode causar obstculos


significativos para a reutilizao da informao codificada dentro do arquivo, forando aqueles que desejam usar a informao
a comprar o software necessrio para acess-la.

formatos proprietrios
Alguns sistemas dedicados tm seus prprios formatos de dados
para guardar ou exportar dados. Se for necessrio utiliz-los,
deve sempre ser indicado onde encontrar mais informaes sobre
esses formatos proprietrios (como, por exemplo, um link para o
website do fornecedor).
sempre recomendado disponibilizar dados em formatos no
proprietrios. O acesso a informaes pblicas no deve ser restrito aos interesses de companhias e organizaes.

manual dos dados abertos: governo

O formato em que a informao publicada em outras palavras, a base digital onde a informao armazenada pode ser
aberto ou fechado. Um formato aberto aquele cujas especificaes do software so abertas para qualquer pessoa ver, que
gratuito e que pode ser aberto por diferentes tipos de programas,
sem limitao de reutilizao imposta por direitos de propriedade intelectual. Se um formato de arquivo fechado, possvel
que suas especificaes no estejam disponveis publicamente,
ou que, mesmo com as especificaes abertas ao pblico, a reutilizao seja limitada.

41

anexos
acesso a dados pblicos no Brasil
(Adaptado da dissertao de mestrado Transparncia na esfera pblica interconectada,3

A publicidade dos atos de governo um princpio democrtico,


que no Brasil aparece expressa no artigo 5 da Constituio: todos so iguais perante a lei, sem distino de qualquer natureza,
garantindo-se aos brasileiros e aos estrangeiros residentes no Pas
a inviolabilidade do direito vida, liberdade, igualdade,
segurana e propriedade. No inciso XXXIII deste artigo, determina-se que todos tm direito a receber dos rgos pblicos
informaes de seu interesse particular, ou de interesse coletivo ou
geral, que sero prestadas no prazo da lei, sob pena de responsabilidade, ressalvadas aquelas cujo sigilo seja imprescindvel
segurana da sociedade e do Estado. No artigo 37 da Constitui-

Daniela Silva, texto disponvel em:


http://blog.esfera.mobi/wp-content/uploads/2010/04/transparencia_esferapublica1.pdf.

manual dos dados abertos: governo

publicada em abril de 2010.)

43

o, fica explcito que a administrao pblica direta e indireta


de qualquer dos Poderes da Unio, dos estados, do distrito federal
e dos municpios obedecer aos princpios de legalidade, impessoalidade, moralidade, publicidade e eficincia.
Por causa das novas tecnologias, novas questes passam a se relacionar com esses princpios. Como garantir o direito de receber
informaes pblicas quando a relao entre governo e cidados
intermediada pelas mquinas? O que significa ser pblico e
eficiente na era da Internet?

manual dos dados abertos: governo

O acesso a dados pblicos no pas, at o presente momento,


garantido com base na Constituio, que determina que, a no
ser em casos de exceo, as informaes de governo devem ser
pblicas. com base nessa garantia que desenvolvedores acessam e agregam os dados pblicos presentes em stios governamentais, quando esses ainda no esto publicados em formatos
abertos, para fazer cruzamentos ou para construir novos projetos, stios e aplicativos.

44

Infelizmente, o direito garantido no artigo 5 da Constituio ainda


no est regulado na legislao brasileira. Entre as leis que se referem ao artigo, a Lei n 11.111/2005, por exemplo, serve mais para
destacar as excees de acesso informao pblica do que para
determinar a responsabilidade dos rgos de oferecer informaes
para os cidados. Tambm h regulamentaes que determinam a
transparncia dos dados oramentrios (como a Lei de Responsabilidade Fiscal, Lei Complementar n 101/2000) e de informaes
relacionadas a assuntos ambientais (Lei n 10.650/2003), mas falta
uma lei que, como prev a Constituio, determine prazos e formas
para que o poder pblico atenda a pedidos de informao pblica
por parte da sociedade e, mais importante ainda, defina que o governo deva ter uma postura ativa na publicao e disponibilizao
de dados e informaes pblicas.

Nos Estados Unidos, desde a dcada de 1960, o Freedom of


Information Act (FOIA) que determina esse acesso. Ao Brasil, falta
uma legislao de acesso s informaes pblicas que cumpra
as mesmas funes do FOIA, de acordo com a Constituio e
diversas declaraes de direitos humanos, j presente em mais
de oitenta naes do mundo, inclusive Libria e Bermudas, que
aprovaram projetos nesse sentido em 2010.

Alguns meses antes da aprovao do projeto de lei na Cmara,


durante a passagem por uma das comisses que tinham o poder
e a responsabilidade de modific-lo, a Comunidade Transparncia Hacker inseriu sugestes que adaptam o texto para garantir
o acesso a dados abertos. Hoje, o projeto de lei engloba os oito
princpios dos dados abertos, de forma a garantir o acesso a
informaes em formatos abertos, no proprietrios e compreensveis por mquina; entre outras caractersticas.
Governos e departamentos interessados em fazer a abertura de
seus dados, portanto, podem seguir como princpio as determinaes do projeto de Lei de Acesso Informao Pblica, que est
de acordo com as possibilidades de gerar cruzamentos, visualizaes e servios garantidos pelas novas tecnologias em rede.
Pode-se observar principalmente:

Disponvel em http://www.senado.gov.br/atividade/materia/Consulta.asp?STR_TIPO=PLC&TXT_
NUM=41&TXT_ANO=2010&Tipo_Cons=6&IND_COMPL=&FlagTot=1.

manual dos dados abertos: governo

Um projeto de lei brasileiro com essas caractersticas comeou a


ser articulado pelo Poder Executivo e organizaes da sociedade
civil em 2003. Foi proposto pela Casa Civil trs anos depois, e
aprovado pela Cmara dos Deputados em 2010. Desde ento,
o projeto da Lei de Acesso Informao Pblica est tramitando
no Senado, como PL 41/2010.4

45

No captulo 1, artigo 4, as definies de tratamento (conjunto de aes referentes produo, recepo, classificao, utilizao, acesso, reproduo, transporte, transmisso,
distribuio, arquivamento, armazenamento, eliminao,
avaliao, destinao ou controle da informao), autenticidade (qualidade da informao que tenha sido produzida, expedida, recebida ou modificada por determinado indivduo, equipamento ou sistema), integridade (qualidade
da informao que no foi modificada, inclusive quanto a
origem, trnsito e destino) e primariedade das informaes
(qualidade da informao coletada na fonte, com o mximo de detalhamento possvel, sem modificaes);

manual dos dados abertos: governo

No captulo 2, artigo 6, a garantia de integridade e autenticidade da informao (cabe aos rgos e entidades pblicas assegurar, observadas as normas e procedimentos especficos aplicveis, a proteo da informao, garantindo-se
sua disponibilidade, autenticidade e integridade);

46

No captulo 2, artigo 7, a incluso das dimenses de primariedade e integridade no escopo do acesso informao (o
acesso informao de que trata esta Lei compreende, entre
outros, os direitos de obter informao primria, ntegra, autntica e atualizada);
No captulo 2, artigo 8, a determinao de publicao de
informaes por meio da Internet (para cumprimento do
disposto no caput, os rgos e entidades pblicas devero
utilizar-se de todos os meios e instrumentos legtimos de que
dispuserem, preferencialmente stios oficiais da rede mundial
de computadores) e na regulamentao de algumas caractersticas que devem ter os stios com essas informaes (os
stios de que se trata o pargrafo 2 devero, na forma de
regulamento, atender, entre outros, aos seguintes requisitos:

No preciso esperar que a Lei de Acesso Informao seja


aprovada para colocar em prtica desde j essas determinaes
assim como a sociedade, por sua vez, j est trabalhando com
dados e informaes pblicas na Internet, demonstrando assim
o seu valor para os cidados. Este manual contribui com essa
ideia de que, em nome da inovao e da democracia, a hora
de disponibilizar dados abertos agora. Para contribuir com o
acompanhamento do processo legislativo e a demanda por uma
rpida aprovao da Lei de Acesso, possvel fazer parte do
Movimento Brasil Aberto, que une organizaes e pessoas que
pedem que a Lei tramite no Senado em regime de urgncia. Acesse brasilaberto.org para saber mais.

manual dos dados abertos: governo

conter ferramenta de pesquisa de contedo que permita o


acesso informao de forma objetiva, transparente, clara
e em linguagem de fcil compreenso; possibilitar a gravao de relatrios em diversos formatos eletrnicos, inclusive abertos e no proprietrios, tais como planilhas e texto,
de modo a facilitar a anlise das informaes; possibilitar
o acesso automatizado por sistemas externos em formatos
abertos, estruturados e compreensveis por mquina; divulgar em detalhes os formatos utilizados para estruturao da
informao; garantir a autenticidade e a integridade das
informaes disponveis para acesso; manter atualizadas
as informaes disponveis para acesso; indicar local e instrues que permitam ao interessado comunicar-se, por via
eletrnica ou telefnica, com o rgo ou entidade detentora
do stio; e adotar as medidas necessrias para garantir a
acessibilidade de contedo para pessoas com deficincia).

47

Como (des)organizar um hackday


(Extrado e revisado do original publicado no Jornal de Debates na Campus

Sim, hackers servem para mudar o mundo. Com essa ideia


na cabea, ns, da Esfera (http://blog.esfera.mobi), organizamos, em novembro de 2009, o primeiro Transparncia
HackDay. Nerds, geeks e programadores j tm como prtica corrente realizar hackdays, reunindo-se na madrugada
em torno de cdigo e pizza pelo puro prazer de resolver problemas. O que queramos fazer era juntar a fome
de codificar, cumprir desafios e subverter sistemas com a
vontade de trabalhar por questes de interesse pblico.
Nesse encontro, programadores, desenvolvedores e geeks
se encontram com ativistas, comunicadores, acadmicos e
polticos, para, juntos, pensarem em como usar as tecnologias livres e a informao pblica para criar aplicativos,
stios ou projetos que gerem mais participao cidad na
rede. Disso, j saram um mapa com problemas da cidade
de So Paulo (http://sacsp.mamulti.com); uma API extraoficial do processo legislativo brasileiro; uma outra API,
agora do banco de dados, at ento fechado a sete chaves, da Transparncia Brasil (http://github.com/pvalente/
thackday-opentables/); e outras traquitanas (ver http://
blog.esfera.mobi/tag/thackday/ para saber mais).
Recentemente, a Sunlight Foundation importante organizao norte-americana preocupada com a questo da
transparncia pblica e das novas tecnologias nos Estados

manual dos dados abertos: governo

Party, janeiro de 2010)

49

manual dos dados abertos: governo

Unidos, e de onde tiramos a ideia do HackDay lanou


o artigo Como organizar um hackathon (http://moourl.
com/sunlighthackathon), rapidamente apontado como bastante til para ns. Nossa primeira impresso ao abrir o
link foi: Legal! Fazemos tudo errado. que nosso processo de organizar coisas um tanto quanto, digamos,
catico. Como mesmo (ou principalmente) do meio do caos
pode sair muita coisa interessante, e como essencial que
mais encontros como esse aconteam pelo Brasil afora,
achamos que vale a pena hackear a lista da Sunlight
Foundation. Seguem, ento, as nossas preciosas dicas de
como (des)organizar um hackday:

50

No espere acontecer. Quando fizemos o primeiro


HackDay, no tnhamos dados, no tnhamos dinheiro, no
tnhamos ideia se as pessoas se interessariam pela proposta.
Um ms depois, tnhamos uma lista com mais de 100 participantes e interessados, algumas bases de dados cedidas
diretamente pelo governo para o evento (fora um mundo de
stios governamentais para raspar) e condies bsicas para
fazer o que queramos. Como processo, como experincia
e como resultado, foi um sucesso. Transparncia pblica e
participao poltica so conceitos altamente relacionados
ao plano local. Portanto, se voc tem vontade de contribuir
com a sua cidade ou bairro dessa forma, organizando um
HackDay, no precisa esperar as condies ideais para
isso. Coloque uma data e corra atrs do resto: consiga uma
locao, articule contatos, use e abuse da rede para angariar interessados. E tambm pode usar a lista groups.google.
com/group/thackday e a tag #thackday vontade.

Comunique-se do melhor jeito. No, definitivamente


voc no precisa colocar uma propaganda no ar no horrio nobre da Rede Globo para divulgar o evento (thanks,
Internet). Pode-se dizer que boa parte da divulgao do
primeiro Transparncia HackDay foi feita pelo Twitter, por
onde mandamos o link de um convite que estava no nosso blog (http://moourl.com/thackdayconvite). Alm disso,
contamos com a propaganda entre amigos e com as listas
de desenvolvedores. Tambm foram enviados e-mails pra
uma srie de jornalistas que cobriam poltica e novas tecnologias, mas, como a mdia tradicional s cobre o que
quente, as notcias do HackDay s saram na vspera,
quando o blablabl j tinha se feito na rede e a lista de

manual dos dados abertos: governo

Gaste pouqussimo dinheiro. O primeiro HackDay teve


apoio da Associao de Software Livre, mas pelo timing, e
at pelo nosso prprio caos de todo dia, esse patrocnio nunca se efetivou. Colocando na ponta do lpis, tivemos a sorte
de usar o espao da Casa de Cultura Digital, onde trabalhamos, gentilmente cedido pelos nossos colegas de cluster, com
custo zero. Recebemos doaes de material de escritrio e
pegamos emprestados flip-charts que serviram como murais
de organizao. Servimos bolachinhas caseiras com o caf.
Pedimos que os participantes bancassem o prprio almoo.
Posso dizer que o custo total da operao foi: R$ Zero. Claro
que, com mais estrutura, teria sido tudo melhor, mais confortvel e mais fcil. Mas ns testamos e comprovamos: at sem
grana nenhuma d para fazer um hackday. Ento, mesmo
que voc tenha grana, otimize recursos, essa tambm uma
forma sensacional de mudar o mundo.

51

manual dos dados abertos: governo

participantes j estava cheia. Para quem pensa que importante abrir dilogo com o governo (ns achamos que
sim), vale a pena bater na porta dos administradores pblicos e legisladores, levantando a bandeira da transparncia e pedindo dados pblicos para mashupear ou
a participao deles no evento. Pode surpreender muita
gente, mas encontramos muitas portas abertas nesse sentido, e colhemos frutos interessantes dessa interao poltica
(http://moourl.com/thackdaydecreto).

52

Acredite na capacidade de autogesto das pessoas.


Seria mentira dizer que tivemos de trabalhar insanamente
durante o HackDay. Estvamos l, ajudando a tocar o barco, mas o papel de organizador, depois que o evento j
est acontecendo, acaba se confundindo muito com o dos
outros participantes. No meio do dia, deu tempo de participar ativamente das discusses e at de colaborar com um
projeto (http://mapadaeja.com.br). Muito do que fizemos
foi dizer a que horas as discusses e atividades de desenvolvimento comeavam e terminavam (o que, claro, no
funcionou muito bem, fazendo com que felizmente o evento
terminasse umas trs horas depois do previsto). Quando
no esto sentadas num auditrio de conferncia, enforcadas pela gravata, as pessoas so altamente capazes de se
auto-organizar; e, apesar de a coisa fluir diferentemente do
que quando est tudo bem produzido por alguns poucos,
acreditamos que assim se faz um processo muito mais rico
e divertido para todos.
D autonomia, cobre responsabilidade. Existem problemas. Na quarta-feira depois do fim de semana do Trans-

Entenda o processo como o melhor resultado. Muitos


dos projetos criados ou empreendidos durante o primeiro
Transparncia HackDay ainda esto em verso superbeta,
alguns j caminharam um bocado, outros nem tanto. Muito
do que foi produzido linha de cdigo, ferramentas fantsticas para que outros desenvolvedores possam produzir
aplicativos e stios baseados em informaes pblicas com
muito mais facilidade. As discusses tambm so bastante
vlidas, mas dois dias obviamente no tempo suficiente
pra resolver as questes que ligam poltica e novas tecnologias no mundo contemporneo. O efeito demonstrativo
dessas coisas, para quem leigo, pode ser pequeno, mas
isso realmente no um problema. O encontro, as con-

manual dos dados abertos: governo

parncia HackDay, ficamos sabendo que a porta de uma


das casas da vila onde fica a Casa de Cultura Digital tinha
sido depredada. No ficou confirmado que isso aconteceu
durante o evento, mas, como justamente naquele fim de
semana um fluxo de 100 novos visitantes tinha passado por
ali, os indcios eram altos o suficiente para comprometer a
paz com nossos vizinhos. Foi um dia bem chato, e foi difcil
pensar no que fazer naquela situao. Mas, dado que, de
diversas formas, ficou claro que o evento era responsabilidade de todo mundo, no encontramos outra forma de agir
a no ser liberar a lista de presena para a empresa que
teve sua porta depredada e informar os participantes por
e-mail do acontecido. importante dar autonomia para as
pessoas, mas tambm deixar claro que elas so responsveis pelo espao que ocupam e pelas relaes que constroem durante um hackday.

53

manual dos dados abertos: governo

versas, as ideias e os desafios, tudo o que faz parte do


processo do HackDay, so muito importantes. E mais: a
formao de uma comunidade de gente interessada em
usar a rede para hackear o mundo, com resultados inimaginveis em mdio e longo prazo, o principal resultado
dessa iniciativa.

54

Você também pode gostar