IMPLEMENTAO DE SISTEMA PARA CONTROLE DE QUALIDADE DOS DADOS

METEOROLGICOS DA REDE DE PCDS DO INPE.

INTRODUO:

O INPE possui uma rede de estaes automticas para coletar dados meteorolgicos. Estes
dados so transmitidos por satlite para os centros de recepo do Centro de Previso de Tempo e
Estudos Climticos (CPTEC/INPE) e depois processados e armazenados na Diviso de Satlites
Ambientais, em Cachoeira Paulista. Os dados de outras redes de estaes tambm so coletados e
processados utilizando o mesmo sistema, de forma que o total de estaes supera 400. Estes dados
so normalmente referenciados como dos dados das PCDs (Plataformas de coleta de dados) do
INPE. Os dados coletados pela rede de PCDs do INPE beneficiam diretamente diversos setores da
sociedade Brasileira, eles so importantes no apenas para a meteorologia nacional, mas tambm
para a agricultura, defesa civil, pesquisa cientfica, etc. Todos os dados so disponibilizados
gratuitamente logo aps o seu processamento atravs da webpage do CPTEC/INPE.

As redes de estaes automticas possuem um problema intrnseco que precisa ser

controlado com cuidado: a qualidade dos dados coletados. A qualidade dos dados dessas estaes
pode ser degradada por uma srie de fatores que no so to crticos em estaes convencionais,
como erros de transmisso e problemas de calibrao ou funcionamento dos sensores. Uma vez que
estaes automticas freqentemente so instaladas em locais isolados, vandalismos e danos
provocados por animais tambm so freqentes. Se por um lado a inexistncia de um observador as
torna vulnerveis a alguns problemas, por outro permite que elas reportem dados com alta
freqncia temporal. Com o aumento do nmero de estaes e redes, a importncia das estaes
automticas cresce a cada dia.

Assim necessrio um sistema automtico para monitorar a qualidade dos dados coletados.
Esse sistema deve ser capaz de detectar erros de transmisso e mal-funcionamento dos sensores. O
sistema de controle de qualidade tambm deve ser capaz de marcar os dados esprios que surgem, e
impedir que estes sejam distribudos para os usurios finais. Como concluso, um sistema destes
importante tanto para os responsveis pela manuteno da rede de estaes, como para os usurios
dos dados.

UM SISTEMA PARA CONTROLE DE QUALIDADE:

A WMO estabelece um conjunto padro de procedimentos para o controle de qualidade dos

dados meteorolgicos. Esses procedimentos esto descritos em detalhes no manual WMO n.305, e
esto implementados em sistemas como o Pr-Processamento que roda operacionalmente no
CPTEC para processar os dados globais recebidos. Mas importante salientar que as normas da
WMO para controle de qualidade so apenas os procedimentos mnimos exigidos, e estes
algoritmos e limites devem ser aplicados a dados de todo o globo, isto , so generalistas. Melhores
resultados podem ser obtidos com o uso de algoritmos e limites especficos para reas limitadas ou
redes especficas. Testes podem ser desenvolvidos a partir do conhecimento de que certos
instrumentos de certos fabricantes produzem dados esprios de acordo com um certo padro, ou dos
limites fsicos para as variveis meteorolgicas para a micro-regio da rede. Um sistema com
algoritmos especficos pode melhorar o controle de qualidade de forma marcante.

Porm, desenvolver um sistema de controle de qualidade (QC) no simples, ao

contrrio do que muitos acreditam. O nmero de algoritmos especficos necessrio grande, assim
como o refinamento necessrio para estabelecer os limites absolutos ou deteco padres de falhas.
O nmero de linhas de cdigo cresce rapidamente com o aumento da sofisticao do sistema. Como
concluso, desenvolver, implantar e testar um sistema automtico exige recursos, de programadores
a especialistas em QC. Obter estes recursos foi o maior desafio a ser enfrentado, pois os recursos
disponveis para desenvolver sistemas e aplicativos para meteorologia normalmente so escassos.
Uma dificuldade adicional a carncia de especialistas em dados meteorolgicos e controle de
qualidade no pas. O presente trabalho se tornou possvel graas ao Programa PROTIM, Programa
de Tecnologia da Informao em Meteorologia, que forneceu os computadores e as bolsas
necessrias.

O MADIS do FSL/NOAA

A estratgia que escolhemos para dotar o CPTEC/INPE de um sistema de controle de

qualidade mais sofisticado para os dados das estaes automticas foi estabelecer uma parceria com
o FSL (Forecast Systems Laboratory), um rgo vinculado ao NOAA (National Oceanic and
Atmospheric Administration), situado em Boulder, nos Estados Unidos. Os responsveis pelo
sistema MADIS (Meteorological Assimilation Data Ingest System) nos cederam os programas-
fonte, e fizemos as adaptaes necessrias para os dados das PCDs do INPE. Adaptar um sistema
que utilizado operacionalmente para controlar a qualidade de mais de 15000 estaes nos Estados
Unidos (Barth, 2002; Miller, 2005) foi uma estratgia que nos poupou tempo e recursos. Estudar e
dominar um sistema j estabelecido tambm uma forma de treinar e qualificar o nosso pessoal.
O MADIS um sistema de assimilao de dados meteorolgicos desenvolvido e operado
pelo FSL/NOAA. Ele coleta, controla a qualidade e distribui dados de 48 redes de estaes
meteorolgicas automticas, incluindo a rede do INPE. O sistema tambm assimila dados
convencionais distribudos pelo GTS, imagens e produtos de satlite. Apesar do sistema ser bastante
completo, at o momento implementamos apenas o mdulo que realiza o controle de qualidade nos
dados de superfcie, pois o nosso objetivo controlar a qualidade das estaes automticas do
INPE.
Mas o que mais atraiu a nossa ateno foi a estratgia adotada para obter a colaborao dos
proprietrios das redes de estaes. Como o MADIS faz o controle de qualidade (QC) e alerta para
as interrupes no recebimento dos dados, o proprietrio de uma rede de estaes nos Estados
Unidos pode utilizar este servio. O preo a pagar deveras convidativo: Basta permitir que os
dados sejam utilizados para ensino e pesquisa. O FSL criou nos Estados Unidos uma relao onde
todos ganham, e o proprietrio da rede reduz custos ao disponibilizar os dados para o MADIS.

O QC DO MADIS:

O controle de qualidade realizado pelo MADIS feito em 3 nveis : verificaes de

validade, verificaes de consistncia interna e verificaes da consistncia espacial. O nvel 1
consiste nas verificaes de validade ou limites absolutos que estabelece os valores mximos e
mnimos permitidos para cada varivel a ser controlada. As observaes que estiverem fora desse
intervalo recebem um flag identificando-as como suspeitas ou erradas.

O nvel 2 consiste nas verificaes da consistncia interna, ou seja, exige-se que as leituras
de diferentes instrumentos de uma mesma estao possuam um relacionamento fisicamente
razovel. Por exemplo, uma observao da temperatura do ponto de orvalho no deve exceder a
temperatura observada na mesma estao. As observaes rejeitadas aqui recebem um flag
diferente, identificando-as como suspeitas devido a falhas de consistncia interna.

O nvel 3 consiste na verificao da consistncia espacial. A varivel interpolada para a

posio de cada estao e comparada com as observaes. As diferenas entre os valores medidos e
os interpolados para cada estao so utilizados para determinar se a observao est incorreta. Este
nvel de verificao computacionalmente caro, pois as interpolaes so refeitas diversas vezes a
fim de determinar qual a estao, dentre todas as vizinhas, que est reportando uma leitura
suspeita. Esta tcnica automtica s pode ser aplicada onde a densidade de estaes grande.

RESULTADOS:

Os dados das PCDs esto disponveis no banco de dados em MySQL do CPTEC/INPE.

Estes dados so extrados e utilizados para alimentar os programas que fazem o controle de
qualidade. Os resultados so reinseridos no banco de dados para ento serem disponibilizados aos
usurios. O sistema de QC disponibiliza ainda um conjunto de relatrios, como o percentual de
observaes que foram rejeitadas e quais so as estaes reportando dados ruins. Na figura abaixo
temos como exemplo apenas um dos vrios relatrios disponveis.

Os resultados das verificaes de controle de qualidade so registrados atravs de flags

que indicam os resultados de cada verificao. Atravs destes relatrios possvel identificar quais
so as estaes que esto reportando mal, se esto fazendo isso com freqncia, e qual o tipo de
erro. Se o usurio dos dados pode estar interessado apenas nos dados bons, estas informaes
adicionais e relatrios so importantes para os responsveis pela rede de observao.

Controle de qualidade consiste em analisar os dados coletados para detectar valores ou

.padres que identificam as observaes como suspeitas ou erradas. Somente aps esses

procedimentos possvel distribuir aos usurios dados que atinjam os padres internacionais de
qualidade. Os dados de estaes automticas esto sujeitas a problemas que no afetam as estaes
convencionais. Porm, como elas podem reportar dados com alta freqncia temporal e seu nmero
tende a crescer em todo o pas, a sua importncia aumentar com o tempo. Por esses motivos
necessrio possuir um sistema automtico para monitorar a qualidade dos dados coletados. Esse
sistema tambm necessrio para auxiliar no trabalho de manuteno da rede
Graas ao apoio do Programa de Tecnologia da Informao Aplicada Meteorologia, e
cooperao com o FSL/NOAA, foi possvel implementar um sistema de controle de qualidade para
as estaes automticas do INPE. A cooperao permitiu a reduo dos custos e do tempo
necessrio para a implementao do projeto. O sistema beneficiar diversos setores da sociedade,
que tero acesso a dados meteorolgicos de melhor qualidade.