Você está na página 1de 24

Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

1JULY2015 S ANDE RS NA ETAL . 5171

Uma democracia representativa para reduzir a interdependência em um conjunto multimodelo

BENJAMINEMANDERSON
Centro Nacional de Pesquisa Atmosférica,* Boulder, Colorado

RETOKNUTTI
Institute for Atmospheric and Climate Science, ETH, Zurique, Suíça

PÉTERCALDWELL
Laboratório Nacional Lawrence Livermore, Livermore, Califórnia

(Manuscrito recebido em 22 de maio de 2014, na forma final em 6 de março de 2015)

ABSTRATO

A coleção de modelos do sistema terrestre disponíveis no arquivo da fase 5 do CMIP (CMIP5)


representa, pelo menos até certo ponto, uma amostra de incerteza da evolução climática futura. A
presença de código duplicado, bem como dados compartilhados de força e validação nos vários modelos
no arquivo, levanta pelo menos três problemas potenciais: vieses na média e na variância, a
superestimação do tamanho da amostra e o potencial de correlações espúrias surgirem no arquivar
devido à replicação do modelo. Evidências analíticas são apresentadas para demonstrar que a
distribuição de modelos no arquivo CMIP5 não é consistente com uma amostra aleatória, e um esquema
de ponderação é proposto para reduzir alguns aspectos da codependência de modelos no ensemble. Um
método é proposto para selecionar diversos e hábeis subconjuntos de modelos no arquivo,

1. Introdução projetam climas futuros e não podem ser validados diretamente nas
próximas décadas. Para algumas partes, como a representação das
Os modelos atuais do sistema terrestre (ESMs) são um grande
equações de fluxo de fluido, o entendimento é maduro e, portanto,
testemunho do pensamento científico colaborativo. Milhões de
(relativamente) incontroverso. No entanto, outros componentes,
linhas de código de computador representam o ápice da
como o efeito de uma mudança climática na dinâmica do
compreensão das intrincadas interações acopladas dos sistemas
ecossistema, são suficientemente complexos para que qualquer
terrestres, oceanos, criosfera e atmosfera. Ao contrário dos
código computacional inevitavelmente faça aproximações
modelos atmosféricos mais simples do passado, poucas pessoas
significativas para representar o comportamento geral do sistema de
(se houver) agora entendem os modelos em sua totalidade e,
qualquer maneira tratável.
portanto, os próprios modelos tornaram-se veículos de um
Um determinado modelo é, portanto, mais do que um
consenso científico que usamos para
programa de computador; é uma coleção de axiomas e crenças
sobre quais processos podem ser importantes para avaliar como
nosso ambiente pode mudar e como esses processos devem ser
Indica conteúdo de Acesso Aberto. representados e, como tal, cada modelo é uma entidade
autoconsistente. O desafio surge, no entanto, quando se deseja
combinar os resultados de muitos modelos para obter uma
* O Centro Nacional de Pesquisa Atmosférica é patrocinado
pela National Science Foundation. compreensão mais abrangente das incertezas presentes em sua
implementação individual. Dado um conjunto de modelos do
sistema climático, avaliar o valor de adicionar outro modelo
Endereço do autor correspondente:Benjamin Sanderson, Centro
requer claramente uma consideração sobre se o modelo é
Nacional de Pesquisa Atmosférica, 1850 Mesa Mesa Dr., Boulder, CO
80305. adequado para o propósito (por exemplo, a validade de seus
E-mail: bsander@ucar.edu axiomas, dados forçados e

DOI: 10.1175/JCLI-D-14-00362.1

- 2015 Sociedade Meteorológica Americana


Não autenticado | Transferido em 22/03/11 14:54 UTC
5172 DIÁRIO DE CLI MAT E VOLUME28

protocolos de sintonia). Também argumentaríamos que é deste estudo, mais de 25% usam alguma variante do Modelo de
importante avaliar se o modelo fornece novas informações: para Atmosfera Comunitária (CAM3, CAM3.5, CAM4 ou CAM5) para
medir o quão independente o novo modelo é daqueles do representar processos atmosféricos. O GFDL Modular Ocean
conjunto original. Em um caso extremo, adicionar uma duplicata Model é igualmente popular (MOM2.2, MOM4.0 e MOM4.1).
exata de um modelo já no conjunto não agregaria valor; em vez tabela 1mostra uma ampla ilustração dos componentes do
disso, influenciaria qualquer combinação de resultados do modelo compartilhado nos modelos CMIP5 considerados para
modelo para os resultados do modelo duplicado (Caldwell et ai. este estudo.
2014). Essa extensa replicação de modelos no CMIP5 e seus
Fase 5 do Projeto de Intercomparação de Modelos predecessores não é um problema em si; na verdade, parece
Acoplados (CMIP5;Taylor et ai. 2012) é o maior arquivo de natural copiar peças bem-sucedidas e desenvolver o
dados climáticos que o mundo viu até hoje. Esses conjuntos trabalho de outras, e requer um esforço enorme para
multimodelo (MMEs) têm sido muitas vezes referidos como desenvolver componentes de modelo inteiramente novos.
"conjuntos de oportunidade" (Tebaldi e Knutti 2007) porque Assim, cada instituição, compreensivelmente, concentra-se
a gama de modelos representa uma amostra das escolhas em certos aspectos, mas copia outros componentes. No
sistemáticas que os desenvolvedores enfrentam ao entanto, a replicação do modelo apresenta vários problemas
representar o sistema climático na forma de código de para a análise do conjunto de modelos. A primeira é
computador. No entanto, como já foi referido (Knutti 2010), simplesmente uma questão de representação: os relatórios
esta amostra está longe de ser perfeita. de avaliação do Painel Intergovernamental sobre Mudanças
Primeiro, os modelos disponíveis podem variar em sua capacidade Climáticas (IPCC) muitas vezes usaram a média multimodelo
de resolver certos processos que podem ser observados no sistema dos conjuntos CMIP para representar uma visão consensual
terrestre. Para qualquer processo, um pesquisador pode encontrar de projeções de modelos de clima futuro, mas claramente
observações relevantes para classificar modelos para seus essa média será tendenciosa para modelos que são
propósitos, mas a saída dos ESMs é dimensionalmente alta o altamente replicados dentro do conjunto. De forma similar,
suficiente para que seja improvável que qualquer classificação seja Tebaldi et ai. 2011;Knutti e Seduma-ce 2013), mas, se os
universal.Santer et ai. 2009). Ao contrário dos modelos de previsão modelos forem altamente replicados dentro do ensemble,
do tempo, os ESMs raramente podem ser validados fora da amostra tal concordância torna-se menos significativa.
e, portanto, existe o risco de que os componentes empíricos dos
ESMs possam ser calibrados usando as únicas observações Outra questão reside no possível efeito de modelos
disponíveis; embora esta possa ser uma abordagem pragmática, replicados em estudos que tentam restringir aspectos das
deixa poucas oportunidades para avaliar e contrastar o desempenho mudanças climáticas futuras. Se um pesquisador descobre
do modelo (Sanderson e Knutti 2012). uma correlação entre uma quantidade observável e algum
Um segundo problema reside na falta de independência dos parâmetro climático desconhecido em um conjunto
modelos, onde a independência não é entendida em um sentido multimodelo (por exemplo,Fasullo e Trenberth 2012;Qu e
estatístico, mas em um sentido mais amplo de modelos Hall 2013), a significância estatística dessa correlação seria
compartilhando ideias para parametrizações e simplificações ou inflada se alguns pontos fossem repetidos. Este argumento
compartilhando código de computador real e, portanto, sendo é desenvolvido emCaldwell et ai. (2014), que mostram que,
tendenciosos de maneiras semelhantes em relação à realidade. . No embora uma abordagem de mineração de dados produza
momento da escrita, 61 modelos estão listados no banco de dados correlações mais fortes entre sensibilidade climática e
Earth System Grid. Isso não significa necessariamente que cada um campos potencialmente observáveis do que se esperaria
desses modelos forneça uma estimativa independente das mudanças ver por acaso no CMIP5, isso pode ser atribuído em parte às
climáticas futuras. De fato, algumas dessas codependências são codependências do modelo.
triviais e podem ser explicadas considerando modelos apresentados Este é o segundo de uma série de artigos que examinam a
com diferentes resoluções (por exemplo, MPI-ESM-MR e MPI-ESM-LR; interdependência nos conjuntos do CMIP. DentroSanderson et ai.
verKnutti et ai. 2013). A maioria das instituições também produz (2015), desenvolvemos uma métrica de distância que permitiu que
variantes de modelo com uma variedade de configurações modelos e observações fossem representados como pontos em um
diferentes, com opções para química atmosférica interativa ou ciclo espaço multidimensional. Em seguida, mostramos que as
do carbono (por exemplo, CMCC-CESM e CMCC-CM). Finalmente, propriedades do modelo podem ser interpoladas dentro desse
diferentes instituições podem compartilhar componentes do modelo: espaço, permitindo uma reamostragem das propriedades do modelo
por exemplo, o modelo FIO-ESM compartilha seu código de de uma maneira menos sensível à replicação do modelo e levando
atmosfera, oceano, gelo marinho e superfície terrestre com o CCSM4, em consideração uma medida de desempenho na reprodução de
mas adiciona uma parametrização de ondas oceânicas de superfície. observações. No entanto, a abordagem de Sanderson et ai. (2015)
A replicação de submodelos é comum em todo o ensemble: por também é incapaz de fornecer variações espaciais e temporais
exemplo, nos modelos considerados para completas nas quantidades. Por exemplo,

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5173

um agricultor pode não querer uma estimativa da mudança na Masson e Knutti (2011,2013), que usou distâncias intermodelo
precipitação média, mas um conjunto de verões representativos com derivadas de padrões espaciais de temperatura climatológica e
informações espaciais e temporais completas e os dados correspondentes precipitação para estabelecer um agrupamento hierárquico de
de temperatura, sol e vento. Para esses casos, pode ser melhor usar a modelos que se assemelha a uma árvore mostrando relações
saída do modelo bruto ou corrigido diretamente, mas isso requer a estruturais que se poderia esperar ao considerar linhagens de
seleção de um conjunto de modelos a serem usados. modelos. Conforme observado emMasson e Knutti (2011)e
Foi proposto anteriormente que subconjuntos de Sanderson et ai. (2015), a distribuição das distâncias
conjuntos maiores podem produzir resultados intermodelos mostra uma estrutura reconhecível, com modelos
estatisticamente mais robustos; Evans et ai. (2013) da mesma instituição e modelos com herança comum
investigaram esse conceito usando subconjuntos de um geralmente exibindo padrões semelhantes de viés de estado
conjunto multifísico de modelos de previsão do tempo. médio. No entanto, os estudos mencionados não estabeleceram
Talvez a abordagem mais simples para conseguir isso nenhuma avaliação quantitativa da distância intermodelo, que
seja usar um único modelo de cada instituição, mas há tentamos abordar aqui.
vários problemas com isso. Em primeiro lugar, embora Para tanto, formalizamos uma abordagem para usar informações
muitas vezes haja semelhanças entre os modelos de similaridade de modelos para selecionar modelos com base em
publicados por instituições únicas, uma abordagem tão sua habilidade e independência. Isso não elimina a interdependência
grosseira eliminaria casos em que modelos do modelo, mas nos permite selecionar um subconjunto de modelos
significativamente diferentes foram produzidos pelo onde os exemplos mais evidentes de replicação de modelo não estão
mesmo grupo. Há vários exemplos deste último caso: os mais presentes. Dentroseção 2a, estabelecemos um método para
modelos GISS-E2, por exemplo, são publicados com dois identificar vizinhos próximos em um conjunto de modelos climáticos.
oceanos estruturalmente diferentes. Além disso, vários Dentroseção 2d, usamos informações de similaridade de modelo
grupos [National Science Foundation (NSF)–DOE–NCAR para produzir um esquema de ponderação que leva em conta tanto a
(CESM), GFDL e Met Office (UKMO), entre outros] habilidade do modelo quanto a interdependência do modelo.Seção
publicam tanto um modelo “bleeding edge” quanto um 2emostra como esta estrutura pode ser usada para selecionar um
modelo legado para o arquivo, onde pode haver subconjunto de modelos de um arquivo de modelos climáticos.
mudanças estruturais significativas entre os Finalmente,seção 3bdemonstra este método usando o arquivo
lançamentos. multimodelo CMIP5.
Pode-se argumentar que muitos desses problemas podem ser
considerados por meio de uma consideração cuidadosa das
linhagens de modelos, documentando as parametrizações 2. Método
básicas compartilhadas por diferentes modelos ou avaliando a
uma. Processando a saída do modelo
fração de código comum entre os diferentes modelos. Isso, no
entanto, seria um empreendimento considerável, e os Neste estudo, como em nosso artigo que acompanha (
resultados exigiriam uma compreensão abrangente do código Sanderson et ai. 2015), produzimos uma matriz de distâncias
de cada modelo. Em primeiro lugar, embora alguns modelos intermodelo em um espaço EOF derivado da produção
documentem e publiquem sua base de código na íntegra antes climatológica média de 30 anos da simulação histórica de
de enviar as simulações ao arquivo do CMIP, essa prática está cada modelo realizada para CMIP5. Os detalhes da
longe de ser universal. Um modelo poderia, em teoria, ser construção da matriz de distâncias são idênticos aos de
definido resumindo as parametrizações, seus valores e outras Sanderson et ai. (2015). Usamos os experimentos históricos
suposições estruturais que foram empregadas nesse modelo, e RCP8.5 e as simulações de membros do conjunto CMIP5
mas avaliar a importância relativa de cada uma dessas em cada caso. No caso especial do CCSM4, também
parametrizações em termos de climatologia do modelo ou consideramos a sensibilidade da técnica à variabilidade
resposta a forçamentos externos exigiria uma boa intuição interna, repetindo a análise com todas as simulações
prévia das relações entre as parametrizações e o processo a ser disponíveis no arquivo CMIP5 (por exemplo, r1i1p1, r1i2p1,
estudado, o que pode ser possível em alguns, mas não r1i2p2, r2i1p1, r3i1p1, r4i1p1, r5i1p1 e r6i1p1 para as
necessariamente em todos os casos. Essa abordagem execuções históricas e r1i1p1, r2i1p1, r3i1p1, r4i1p1, r5i1p1
claramente valeria a pena e poderia ajudar muito na e r6i1p1 para as simulações RCP8.5).
interpretação das diferenças nas projeções das mudanças Os dados de entrada para este estudo são processados e
climáticas, mas seria um empreendimento monumental. usados para conduzir uma análise EOF de forma
semelhante a Sanderson et ai. (2015). Pequenas diferenças
Uma abordagem alternativa é utilizar a saída dos nas distâncias intermodelos ocorrem porque o estudo
próprios modelos para estabelecer codependências. Esta anterior considera os modelos CMIP3 e CMIP5, o que altera
abordagem foi demonstrada com alguma promessa por ligeiramente a forma exata dos EOFs. Para cada modelo, um

Não autenticado | Transferido em 22/03/11 14:54 UTC


TCAPAZ1. Componentes do submodelo para os 38 modelos CMIP5 considerados neste estudo. Expansões de acrônimos de modelo comum, componente de modelo e conjunto de dados estão disponíveis emhttp://www.
ametsoc.org/PubsAcronymList.
5174

Modelo Atmosfera Terra oceano Gelo Fonte


NemESM1-ME CAM4 CLM4 Coordenada Isopícnica de Miami CICE https://verc.enes.org/ISENES2/
Modelo Oceânico (MICOM)– models/earthsystem-models/
Modelo de Hamburgo do ncc/noresm
Ciclo do Carbono Oceânico
(HAMOCC)
NemESM1-M CAM4 CLM4 MICOM–HAMOCC CICE https://verc.enes.org/ISENES2/
models/earthsystem-models/
ncc/noresm
RM-CGCM3 MRI-AGCM3 HAL MRI-COM3 — http://www.mri-jma.go.jp/Publish/
Técnico/DADOS/VOL_64/
index_en.html
MPI-ESM-MR ECHAM6 JSBACH MPI-OM — http://www.mpimet.mpg.de/en/
science/models/mpi-esm.html
MPI-ESM-LR ECHAM6 JSBACH MPI-OM — https://verc.enes.org/models/
earthsystem-models/mpi-m/
mpi-esm
MIROC5 FRCGC-AGCM Mínimo Avançado COCO Bitz–Lipscomb Watanabe et ai. (2010)
Tratamentos de Superfície
Interação e
Escoamento (MATSIRO)
DIÁRIO DE CLI MAT E

MIROC-ESM-CHEM FRCGC-AGCM MATSIRO COCO Bitz–Lipscomb http://www.wcrp-climate.org/


wgcm/WGCM15/presentations/
21Oct/KIMOTO_Japan.pdf
MIROC-ESM FRCGC-AGCM MATSIRO COCO Bitz–Lipscomb http://www.wcrp-climate.org/
wgcm/WGCM15/presentations/
21Oct/KIMOTO_Japan.pdf
IPSL-CM5B-LR LMDZ (CM4) ORQUÍDEA NEMO-OPA NEMO-LIM http://icmc.ipsl.fr/index.php/
icmc-models/icmc-ipsl-cm5
IPSL-CM5A-MR LMDZ ORQUÍDEA NEMO-OPA NEMO-LIM http://icmc.ipsl.fr/index.php/
icmc-models/icmc-ipsl-cm5
IPSL-CM5A-LR LMDZ ORQUÍDEA NEMO-OPA NEMO-LIM http://icmc.ipsl.fr/index.php/
icmc-models/icmc-ipsl-cm5
INM-CM4.0 INM-CM INM-CM INM-CM INM-CM Volodin et al. (2010)
FGOALS-g2 Atmosférico do ponto de grade CLM3 LICOM2 CICE4 (LASG) Li et ai. (2013)
Modelo de IAP-LSAG,
versão 2.0 (GAMIL 2.0)
HadGEM2-ES HadGAM2 (N96L38) Representação de cima para baixo HadGOM2 — http://cms.ncas.ac.uk/wiki/UM/
de folhagem interativa Configurações/HadGEM2
e Flora Incluindo
Dinâmica
(TRIFIDE)
VOLUME28

Não autenticado | Transferido em 22/03/11 14:54 UTC


TCAPAZ1. (Contínuo)

Modelo Atmosfera Terra oceano Gelo Fonte


1JULY2015

HadGEM2-CC HadGAM2(N96L60) TRIFFID HadGOM2 — http://cms.ncas.ac.uk/wiki/UM/


Configurações/HadGEM2
HadGEM2-AO HadGAM2 (N96L38) MOISÉS2 HadGOM2 — http://cms.ncas.ac.uk/wiki/UM/
Configurações/HadGEM2
GISS-E2-R GISS GISS modelo do oceano Russell modelo do oceano Russell http://data.giss.nasa.gov/modelE/
ar5/
GISS-E2-H GISS GISS HYCOM HYCOM http://data.giss.nasa.gov/modelE/
ar5/
GFDL-ESM2M GFDL AM2.1 LM3 MOM4.1 Simulador de gelo marinho (SIS) http://cms.ncas.ac.uk/wiki/UM/
Configurações/HadGEM2
GFDL-ESM2G GFDL AM2.1 LM3 OURO SIS http://www.gfdl.noaa.gov/earth-
modelo de sistema
GFDL CM3 GFDL AM3 LM3 MOM4.1 SIS http://www.gfdl.noaa.gov/earth-
modelo de sistema
FIO-ESM CAM3.5 CLM3 POP2 CICE4 http://www.wcrp-climate.org/wgcm/
WGCM15/presentations/21Oct/
WANG_WGCM.pdf
CanESM2 AGCM4 Superfície de terra canadense NCAR — Yang e Saenko (2012)
Esquema (CLASSE)
CSIRO Mk3.6.0 Gordon CSIRO Atmosfera–Biosfera MOM2.2 SIS Jeffrey et ai. (2013)
Troca de Terras (CABLE)
CNRM-CM5 ARPEGE-Clima ISBA NEMO-OPA Experimental global http://www.cnrm-game.fr/spip.php?
S ANDE RS NA ETAL .

Chumbos e gelo marinho artigo126&lang5pt


para atmosfera e oceano
(SORVETE)
CMCC-CMS ECHAM5 Superfície Interativa OPA8.2 LIM http://www.wcrp-climate.org/wgcm/
Vegetação terrestre WGCM16/Bellucci_CMCC.pdf
(SILVA)
CMCC-CM ECHAM5 SILVA OPA8.2 LIM http://www.cmcc.it/models/cmcc-cm
CMCC-CESM ECHAM5 SILVA OPA8.2 LIM http://www.cmcc.it/models/cmcc-cm
CESM1(CAM5) CAM5 CLM4 POP2 CICE4 https://www2.cesm.ucar.edu/models
CESM1 (BGC) CAM4 CLM4 POP2 CICE4 https://www2.cesm .ucar.edu/models
CCSM4 CAM4 CLM4 POP2 CICE4 https://www2.cesm.ucar.edu/models
BNU-ESM CAM3.5 CLM (BNU) MOM4.1 CICE4.1 http://www.wcrp-climate.org/wgcm/
WGCM15/presentations/21Oct/
WANG_WGCM.pdf
BCC_CSM1.1(m) BCC_AGCM2.1 CLM3 MOM4 SIS Wu et ai. (2014) Wu et al.
BCC_CSM1.1 BCC_AGCM2.1 CLM3 MOM4 GFDL SIS (2014) https://wiki.csiro.au/
ACESSO 1.3 UKMO GA1.0 CABO versão 1.8 MOM4.1 CICE4.1 display/
ACESSO/Início
ACESSO 1.0 HadGEM2 r1.1 MOISÉS MOM4.1 CICE4.1 http://www.cawcr.gov.au/
publicações/relatórios técnicos/
CTR_059.pdf
5175

Não autenticado | Transferido em 22/03/11 14:54 UTC


5176 DIÁRIO DE CLI MAT E VOLUME28

TCAPAZ2. Conjuntos de dados observacionais usados como observações ao longo do estudo.

Campo Fonte Referência Anos Normalização global


TAS HadCRUT3 Brohan et ai. (2006) 1970–2000 2,09K
RP GPCP Adler et al. (2003) 1979–2001 30,1Wm22
RSUT CERES EBAF NASA (2011) 2000-05 25,8 Wm22
RLUT CERES EBAF NASA (2011) 2000-05 3,32 milímetros dia21
T Sonda Infravermelha Atmosférica (AIRS)* Aumann et ai. (2003) 2002-10 0,28K
RH AIRS* Aumann et al. (2003) 2002-10 12,12%

* Os dados usados neste esforço foram adquiridos como parte das atividades da Diretoria de Missões Científicas da NASA e são arquivados e
distribuídos pelo Centro de Serviços de Informações e Dados Goddard Earth Sciences (GES) (DISC).

número de variáveis diagnósticas quadriculadas mensais são então normalizado pelo número de elementos restantes, e
consideradas para representar a climatologia do modelo. Para os campos 2D e 3D são concatenados em um único
cada modelo disponível nos conjuntos CMIP3 e CMIP5, as comprimento vetorialn (Onden5358 248 quando todos os
climatologias mensais são obtidas a partir de uma única campos são utilizados). Cada um dosmvetores é combinado
simulação histórica pela média dos campos médios mensais para formar uma matrizX20c(Tamanhomporn,Ondemé 36,
para o período 1970-2000. Os dados são obtidos para cinco compreendendo 36 vetores de modelo CMIP5). O valor
campos bidimensionais [temperatura do ar de superfície (TAS), médio do conjunto é calculado pela média dosmlinhas da
precipitação total (PR), fluxo radiativo de ondas curtas de saída matriz, e isso é subtraído de cada linha para produzir a
no topo da atmosfera (RSUT), fluxo de saída no topo da matriz de anomaliaDX20c, de tal modo que
atmosfera de ondas longas (RLUT) e mar pressão de nível (PSL)]
e dois campos tridimensionais [temperatura atmosférica (T)e DX20c5X20c2X20c. (1)
umidade relativa (UR)]. Campos tridimensionais são calculados
por zona. As climatologias médias mensais observacionais A análise também é repetida com vários subconjuntos
correspondentes são obtidas pela média dos anos disponíveis diferentes de todo o conjunto de variáveis. Nesses casos,
para cada tipo de campo, conforme mostrado emmesa 2. a matrizDX20cé formado usando apenas esse subconjunto
e a análise continua da mesma maneira.
Os dados de cada modelo e conjunto de dados são regrididos O processo é repetido para produzir uma matriz
em um 2,58por 3,758grade de latitude-longitude e campos semelhante para representar a mudança climática entre a
verticais zonais são regrididos em uma grade de 2,58grade de simulação histórica (1970–2000) e a simulação RCP8.5 (2070–
latitude em 17 níveis de pressão. Para cada variável, os valores 2100). Nesta segunda análise, a anomalia entre os dois
são ponderados por área. Os campos resolvidos verticalmente períodos de 30 anos é tomada para formar a matriz DX21c. A
também são ponderados pela diferença de pressão entre a parte análise futura também é repetida com vários subconjuntos
superior e inferior do nível correspondente. Para concatenar de diferentes de todo o conjunto de variáveis. Nesses casos, a
maneira útil o campo multivariado para análise EOF, as variáveis matrizDX21cé formado usando apenas esse subconjunto e a
devem ser normalizadas para cada uma para representar uma análise continua da mesma maneira.
quantidade semelhante de variância no conjunto multimodelo.
b. Análise do componente principal
Normalizamos cada campo observável usando valores obtidos
das observações. Para campos bidimensionais, calculamos a Conduzimos uma análise de componentes principais na matriz
variância mensal das células da grade tropical e tomamos a resultante formada pela combinação dos vetores climatológicos de
média sobre os trópicos para obter um único fator de cada modelo participante, de modo que as cargas EOF definam umt-
normalização para cada variável. Para campos tridimensionais, espaço dimensional (ondeté o comprimento de truncamento da
tomamos a variância mensal de campos com média zonal nos análise de componentes principais) em que as distâncias euclidianas
trópicos entre 700 e 400 hPa e então calculamos a média das intermodelo e observação-modelo podem ser definidas. O uso do
variâncias no domínio espacial para obter o fator de pré-filtro EOF combina campos que são trivialmente correlacionados
normalização. Os fatores de normalização são calculados apenas (ou seja, células de grade adjacentes) em um único modo. Os
a partir das observações, e os campos de cada modelo são resultados da análise mudam de maneira sutil com o comprimento
divididos pelo mesmo fator (mostrado emmesa 2). Cada campo de truncamento, e discutimos essa sensibilidade mais adiante na
é então reformulado em um único vetor. Se algum elemento do subseção emseção 3c, mas para a análise inicial usamos um
vetor em qualquer modelo único ou nas observações estiver comprimento de truncamento det59. Esse comprimento de
faltando, esses elementos específicos serão removidos de todos truncamento fornece efetivamente graus de liberdade suficientes
os modelos. Cada vetor de campo é para

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5177

representam algumas diferenças sutis entre modelos os dados são processados da mesma forma que para o
relacionados na métrica de distância resultante, mas não caso multimodelo para criar umnicpornmatriz,X20cice
tantas a ponto de introduzir ruído aleatório excessivo no X21c
ic. Em seguida, tomamos anomalias da média do conjunto

cálculo. CMIP5,
O PCA em qualquerDXpode ser realizado por decomposição
de valor singular e truncado paratmodos, tal que ic 5X20c
DX20c ic 2X20ce (8)

DX20c5você20ceu20c(V20c)T (2) ic 5X21c


DX21c ic 2X21c. (9)

para o caso atual (20c) e Estes também podem ser projetados emV20ceV20cformar
evocê21c
(ic)(Tamanhonicport).A distancia
(ic)
vetores de carregamentovocê20c

DX21c5você21ceu21c(V21c)T (3) entre os membros do conjunto de condições iniciais podem ser


calculados como antes para o caso multimodelo.
para o caso futuro (21c). ovocê20cevocê21c(tamanhomport) são
matrizes de carregamentos de modelo,V20ceV21c(tamanhonpor c. Formando conjuntos aleatórios
t)são padrões espaciais de variabilidade do conjunto, eeu20c Para comparar as distâncias entre modelos no arquivo CMIP5
eeu21c(tamanhotport)são matrizes diagonais que com as distâncias esperadas ao acaso, criamos um conjunto de
representam as variâncias associadas a cada modo. 105matrizes de dados aleatórios com as mesmas dimensões que
As distâncias intermodelo podem então ser medidas em um você20cevocê21c(Ondemé 36). Cada distribuição aleatória
sentido euclidiano nas matrizes de carregamentovocê20cevocê21c, representa distâncias entre pontos para todas as combinações
de modo que as distâncias entre dois modeloseuejpode ser possíveis de paresmpontos (703 distâncias neste caso). Nossos
expresso como resultados não são sensíveis a aumentar ainda mais o número
( ) 1/2
de casos aleatórios.
t
deu Cada linha de uma dessas matrizes aleatórias é
j5-[você20c(eu, eu)2você20c(j, l)]2
20c
(4)
eu51 preenchida com desenhos de uma PDF Gaussiana com
variância igual à das linhas devocê20cevocê21c(todas as linhas
para os dias atuais e têm variância igual em cada caso). Como resultado, os dados
nessas matrizes aleatórias são independentes nas direções
( ) 1/2
t correspondentes ao número EOF e ao modelo
deu j5-[você21c(eu, eu)2você21c(j, l)]2
21c
(5) número. Desejamos matrizes com uma dimensão de modelo
eu51
independente para testar a probabilidade de que a saída do
CMIP5 tenha sido extraída de um conjunto de modelos
para o futuro. Distâncias modelo-observaçãod20ceu(obs)este
independentes. Ter independência na direção do campo é
obviamente só podem ser calculados para o caso atual são
apropriado porque as colunas devocê20cevocê21csão
criados usando um vetor climatológico de um conjunto de
independentes por construção.
dados observacionaisX(obs)preparados da mesma forma
Nossa suposição de que ot-a distribuição normal dimensional
íon comoX20c,
é representativa de um conjunto independente de projeções
climáticas está sujeita a algumas ressalvas; Nós estamos
(obs)n5X(obs)2X20c,
DX20c (6) assumindo efetivamente que uma distribuição normal de
modelos no espaço definido porvocê20couvocê21cé plausível
OndeX20cé a média multimodelo deX20c, com comprimenton. Este e que não há partes desse espaço que possam representar
vetor de anomalia observacional pode ser projetado emV20cpara um estado climático não físico. Existem algumas
formar um vetor de carregamento observacionalvocê(obs) justificativas para essa suposição; as distribuições aleatórias
(comprimentot).A distância entre cada modelo e as são comparadas com as matrizes de carregamentovocê20c
observações pode ser calculada de forma semelhante, evocê21c, que são conjuntos de bases ortogonais definidos
( ) 1/2 pela variabilidade multimodelo. Como tal, estamos
t assumindo que, se houver relações físicas entre as variáveis
deu(obs)
20c
(eu)5-[você20c(eu, eu)2você20c (obs)(eu)]2 . (7)
eu51
nos dados de saída do modelo (por exemplo, entre células
adjacentes da grade ou entre a temperatura da superfície e
Finalmente, calculamos a variabilidade esperada em a radiação de onda longa de saída), qualquer correlação
um conjunto de condição inicial (ic) tomandonic58 entre elas seria representada como um único modo na
(histórico) ounic56 (futuros) membros CCSM4 ensemble análise EOF. Assim, quaisquer relações lineares que existam
para simulação histórica e RCP8.5. Em cada caso, nos dados originais são efetivamente

Não autenticado | Transferido em 22/03/11 14:54 UTC


5178 DIÁRIO DE CLI MAT E VOLUME28

preservado no conjunto aleatório também. No valor razoável paraDvocêseria a distância esperada entre dois
entanto, uma forte relação não linear entre duas modelos idênticos exibindo diferentes realizações de
variáveis no arquivo CMIP5 não pode ser variabilidade interna do modelo, dado que isso representa um
representada em um único modo EOF e pode ser caso em que a estrutura do modelo é idêntica. ComoDvocêé
representada em dois ou mais modos. Nesse caso, aumentado a partir desse valor, pares de modelos cada vez mais
haveria algum espaço que deveria estar fisicamente distantes são considerados semelhantes. No caso extremo,
fora dos limites. Assim, usando dados normalmente comoDvocêaproxima as maiores distâncias entre pontos
distribuídos para definir os conjuntos aleatórios e sua (ou seja, os maiores valores ded20ceu j oud21c eu j)no conjunto,
escala de comprimento associada para distâncias então apenas os modelos com os maiores vieses
entre pontos, assumimos que a variabilidade exibiriam um valor deSde perto da unidade e todos os
multimodelo pode ser adequadamente descrita por outros membros seriam reduzidos.
um conjunto de base linear. Embora se pudesse Dentroseção 2c, derivamosDvocêempiricamente, considerando
considerar projetar uma amostra aleatória que os vizinhos mais próximos que se esperaria encontrar por acaso
ajustasse uma distribuição de alta dimensão ao em umt-distribuição normal dimensional de população igual,
conjunto existente para levar em conta as relações variância e dimensionalidade comoVOCÊ.Isso é alcançado na
não lineares entre os modos, o aumento da prática considerando as distribuições geradas aleatoriamente a
complexidade, a falta de amostras no conjunto partir doseção 2a. Nós definimosDvocêpara ser o percentil 50 das
original, distâncias do vizinho mais próximo nos 105conjuntos gerados
aleatoriamente.
d. Ponderação para exclusividade
Pode-se assim obter um valor para a repetição
Nesta seção, procuramos usar as relações derivadas emseção efetiva do modeloeuno conjunto,
2bpara definir um esquema de ponderação que efetivamente
m
reduza o peso de pares de modelos intimamente relacionados
Rvocê(eu)20c511-S(d20ceu j) e (12)
ao conjunto, que podemos avaliar usando os valores esperados j6¼eu

para distâncias próximas nos conjuntos aleatórios propostos em m


seção 2c. Nosso esquema também deve fornecer a capacidade Rvocê(eu)21c511-S(d21ceu j), (13)
de reduzir o peso dos modelos que exibem baixa fidelidade em j6¼eu

uma métrica desejável.


Os casos limites de tal esquema são fáceis de definir. para os casos passados e futuros, respectivamente, ondemé o
Consideramos os modelos, como antes, representados número total de modelos. Propomos então uma ponderação de
como pontos em um espaço definido pelos carregamentos unicidade para o modeloeutomando o inverso do número de
do modelo em uma análise EOF de conjunto. No caso modelos semelhantes aeu,
extremo, se a distância entre dois modelos for exatamente
zero, então os modelos são considerados idênticos e cada Wvocê(eu)20c5 [Rvocê(eu)20c]21e (14)
membro do par deve receber metade do peso que eles Wvocê(eu)21c5 [Rvocê(eu)21c]21. (15)
teriam (equivalentemente, uma afirmação de que adicionar
um modelo idêntico a um modelo existente membro do para os casos passados e futuros, respectivamente. Se
conjunto não deve alterar os resultados). desejado, um esquema de ponderação também pode
Propomos uma forma funcional simples para similaridade de considerar a qualidade do modelo; um modelo deve receber
modelos que satisfaça os requisitos para um determinado par de cada vez menos peso quanto mais longe o modelo estiver do
modelos (eu j),separados por uma distânciadeu20c
j oud21c
eu j, ponto que representa as observações no espaço EOF. No
2 !3 caso limite, o peso do modelo deve tender a zero, pois a
d20c 2
eu j 5e distância do modelo às observações tende ao infinito. Esses
eu j) 5exp 42
S(d20c (10)
atributos são satisfeitos pela seguinte construção para Wq, a
Dvocê

2 !3 ponderação da qualidade do modelo:


d21c 2
eu j 2 ! 32
eu j) 5exp42
S(d21c 5, (11) d20c
Dvocê
Wq(eu)5exp42
eu(obs)
5, (16)
Dq
OndeDvocêé um parâmetro livre, um ''raio de similaridade'', de modo
que pares de modelos separados por menos que esse valor são Onded20c
eu(obs)é a distância euclidiana entre o EOF
considerados semelhantes. A distância é elevada ao quadrado de carregando para o modeloeue o carregamento da climatologia
modo que a métrica tende à unidade para valores -Dvocê. O menor observada projetada no mesmo conjunto de base EOF. este

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5179

é calculado apenas para os dados históricos onde as A abordagem mais simples aqui seria remover recursivamente um
observações estão disponíveis. O parâmetroDqé um ''raio de membro do par próximo mais próximo até que o ensemble restante
qualidade do modelo'' e é um parâmetro livre no esquema esteja em conformidade com uma distribuição aleatória plausível no
de ponderação. ComoDq/1',entãoWq/1 para todos os n-espaço EOF dimensional. Uma vez que modelos melhores são
modelos, e a ponderação de qualidade não tem efeito replicados mais, no entanto, tal abordagem elimina
diferenciador. Como o valor deDqé reduzido, os modelos preferencialmente os modelos agrupados mais próximos das
mais próximos das observações são cada vez mais observações, enquanto os modelos com grandes vieses seriam
ponderados. O menor valor razoável paraDqseria o menor preservados. Isso tem um efeito prejudicial significativo sobre o
viés observacional visto no conjunto [ou seja, min(deu(obs))]. desempenho médio do conjunto restante. Em vez disso, propomos
No caso extremo comoDq/0, a maior parte do peso é uma estratégia que considera tanto o desempenho do modelo
colocada no único modelo com melhor desempenho. quanto a independência do modelo ao criar um subconjunto de
Para explorar a sensibilidade a este parâmetro, consideramos ensemble.
dois valores paraDq: uma escolha ''ampla'' ondeDqé igual à Primeiro, introduzimos uma quantidade em massa que descreve
distância intermodelo média no conjunto CMIP5 e uma escolha as características do conjunto, o "índice de qualidade do conjunto
''estreita'' que é metade desse valor. ExpressandoDqem termos independente",
de variância CMIP tem a desvantagem de que a própria variância
m
pode ser influenciada tanto pela qualidade do modelo quanto S20c 5-W20c (i)wq(eu)e (17)
m você
pela reprodução, mas esta decisão é uma questão de eu
praticidade. Apresentamos os valores deDqtão subjetiva, m
S21c 5-W21c (i)wq(eu), (18)
efetivamente como uma afirmação de que a habilidade relativa, m você
eu
em vez de qualquer medida absoluta, deve definir se aceitamos
ou rejeitamos um modelo. Com efeito, o caso amplo descreve
para casos históricos e futuros, ondeW20cvocê, Wvocê
21c
, eWq
uma situação em que apenas os modelos com os maiores vieses
são descritos emseção 2dcomo os pesos de modelo
no conjunto são reduzidos, enquanto no caso estreito é feita
individuais correspondentes ao modeloeu.Usar o produto
uma distinção entre os desempenhos "médio" e "melhor". Pode
dos dois pesos é uma decisão subjetiva, e outras formas
ser desejável deixar a variabilidade interna ou natural definir Dq,
funcionais poderiam ser exploradas. No entanto, como
mas, como mostramos emseção 3a, isso levaria a uma
demonstramos agora, essa simples combinação dos pesos
de exclusividade e qualidade atende aos nossos objetivos de
situação onded20ceu(obs)-Dqpara todoseu,que, dada a Eq. remover a influência de modelos exatamente replicados e
(16), colocaria a maior parte do peso no modelo com de modelos muito ruins.
o menor valor ded20c eu(obs). Isso pode ser ilustrado da seguinte forma para a simulação
e. Eliminando modelos interdependentes histórica: Se um modelo independente for adicionado ao
parecer,W20c
você(eu)é igual a 1 para o modeloeue entaoSmvai aumentar
Se o objetivo do pesquisador é simplesmente produzir uma
pelo índice de qualidade do modeloWq(eu).O aumento é grande para
média multimodelo que seja menos suscetível ao viés pela
um modelo de alto desempenho e se aproxima de zero para um
replicação do modelo, então simplesmente ponderar cada
modelo muito ruim. No entanto, se dois modelos idênticoseuejsão
modelo pelo valor apropriado deWvocêbastaria. Essa abordagem
adicionados ao conjunto juntos,W20c você(eu)eW20cvocê(j)cada
pode ser usada diretamente para calcular uma estimativa
igual a 0,5, e assimSNainda só aumentará emWq(eu).
central de projeções multimodelo combinadas.
Se começarmos com umN-ensemble de membros,
No entanto, alguns problemas associados à codependência
eliminamos um único membro considerando a pontuação
do modelo não podem ser resolvidos apenas pela ponderação.
máxima de qualidade de ensemble possível para cada
Por exemplo, o viés potencial associado às previsões baseadas
combinação deN21 membros. O modelo excluídojé
em regressão de parâmetros climáticos desconhecidos só pode
removido do conjunto e o processo é repetido até que um
ser resolvido removendo os modelos interdependentes. Isto
critério de parada apropriado seja alcançado. Podemos
pode ser conseguido de uma forma puramente estatística (ver
avaliar o número efetivo de modelos restantes em qualquer
Caldwell et ai. 2014), mas a interpretação de tais construções
ponto considerando o ''número de modelos efetivos'', tanto
nem sempre é intuitiva.
para casos históricos quanto para casos futuros,
Propomos aqui uma abordagem menos formal que deve ser
prontamente reproduzível para uma variedade de propósitos m
nef
20c
5-W20c (eu)e (19)
onde se deseja remover as co-dependências mais flagrantes do você
eu
modelo. Nosso método é uma eliminação de modelo passo a
m
passo, onde os modelos com as maiores codependências são nef
21c
5-Wvocê 21c
(eu), (20)
removidos primeiro. eu

Não autenticado | Transferido em 22/03/11 14:54 UTC


5180 DIÁRIO DE CLI MAT E VOLUME28

com cada um representando a soma dos pesos de modelos em distâncias intermediárias (entre 50 e 90% da
exclusividade para os modelos restantes no conjunto. distância interponto média), em relação às distribuições
A abordagem delineada aqui é quantitativa, mas aleatórias. Isso indica que a distribuição de modelos CMIP5
subjetiva, com vários parâmetros livres. Para demonstrar no espaço EOF tem uma distribuição bastante heterogênea
sua utilidade, consideramos um estudo de caso do conjunto e agrupada, com famílias de modelos intimamente
CMIP5, onde podemos demonstrar objetivamente que relacionados próximos, mas com vazios significativos entre
podemos usar o algoritmo para produzir um subconjunto de os agrupamentos de modelos. Essas características são
modelos CMIP5 que fornece diversidade de modelo especialmente claras no caso futuro, onde as distâncias são
comparável, desempenho médio aprimorado do modelo e medidas em termos de anomalias (2070-2100) do estado
replicação reduzida do modelo em comparação para a médio climático (1970-2000). Também mostramos o
amostra do modelo original. histograma das distâncias intermodelo na condição inicial
do conjunto CCSM4, demonstrando que as distâncias
intermodelo resultantes apenas da variabilidade interna do
3. Resultados modelo são uma ordem de magnitude menor do que as
distâncias intermodel médias vistas no arquivo CMIP5.
uma. Propriedades do conjunto CMIP5
Os pares de modelos responsáveis podem ser plotados
O conjunto de dados inicial do qual tiramos nossa explicitamente. Figura 3amostra pares de modelos que estão mais
conclusão é a matriz de distâncias pareadas entre modelos próximos do que as distâncias esperadas do vizinho mais próximo nas
no arquivo CMIP5,d20ced21c, que são calculados a partir de distribuições aleatórias, usando todas as variáveis. Muitas dessas
você20cevocê21cmatrizes. Esta matriz é representada amostras correspondem a modelos idênticos da mesma instituição
graficamente emFigura 1para o caso de todas as variáveis submetidos em uma resolução diferente (por exemplo, IPSL-CM5A-MR/LR
usando ambos os campos climatológicos atuais calculados e MPI-ESM-LR/MR). Outros pares de modelos referem-se a mudanças na
de 1970 a 2000 em simulações históricas e as anomalias configuração do modelo que não influenciam o conjunto de diagnósticos
desses campos na simulação RCP8.5 entre 2070 e 2100. Em atmosféricos considerados aqui (por exemplo, HadGEM2-AO e HadGEM2-
ambos os casos, a estrutura reconhecível relacionada à ES compartilham os mesmos modelos de atmosfera, oceano e gelo, mas o
genealogia do modelo é visível no campo de distância primeiro carece de tratamento do ciclo do carbono , que tem pouco efeito
intermodelo. nessas simulações orientadas à concentração). Finalmente, existem alguns
Podemos comparar, em um sentido geral, a distribuição de casos em que os modelos de duas instituições compartilham uma grande
distâncias nas matrizes com o que se poderia esperar de uma fração da base de código, e isso se reflete em sua proximidade no espaço
distribuição puramente aleatória. As distribuições para a matriz EOF (por exemplo, HadGEM2-AO e ACCESS1.0 ou FIO-ESM e BNU-ESM).
derivada de CMIP5 e as distribuições aleatórias são plotadas em Vários outros pares de modelos são plotados com linhas pontilhadas.
Figs. 2a,bpara um número de escolhas de variáveis diferentes. Estes, em menor grau, ainda ocorrem mais próximos do que se poderia
esperar por acaso (para os modelos unidos por uma linha preta, um
As distribuições aleatórias têm a mesma variância que as desses pares seria esperado por acaso em um conjunto de 36 membros).
distribuições CMIP5 originais por design porque cada Essas conexões também podem estar relacionadas a componentes
dimensão dos pseudoconjuntos aleatórios é normalmente comuns do modelo (por exemplo, NorESM e CCSM4 compartilham a
distribuída com a mesma variância do caso CMIP5 original atmosfera e a superfície terrestre, e MPI-ESM e CMCC-CSM5 compartilham
em cada dimensão devocê20cevocê21c. Como consideramos o código atmosférico). Também incluímos o ponto observacional na
um grande número de ensembles pseudo-aleatórios mesma análise em e MPI-ESM e CMCC-CSM5 compartilham o código
normalmente distribuídos, podemos produzir as melhores atmosférico). Também incluímos o ponto observacional na mesma análise
estimativas e intervalos de confiança para a distribuição das em e MPI-ESM e CMCC-CSM5 compartilham o código atmosférico).
distâncias intermodelos que se esperaria se os modelos Também incluímos o ponto observacional na mesma análise emFig. 3a, o
fossem normalmente distribuídos no espaço definido por que mostra que nenhum dos modelos do arquivo CMIP5 é considerado
você20ce você21c. Se a distribuição CMIP5 estiver fora dessa mais próximo das observações do que seria esperado por acaso. Na parte
faixa, isso implica que os modelos em CMIP5 são posterior do estudo, onde removemos modelos semelhantes do arquivo,
distribuídos de forma não normal no espaço. isso nos dá alguma confiança de que modelos semelhantes não estão
Descobrimos que existem alguns desvios significativos na sendo removidos porque todos estão convergindo para o clima
distribuição CMIP5 do que se esperaria em um caso "verdadeiro". Podemos repetir a análise para mudanças futuras nas
puramente aleatório. Primeiro, há um número de pares de mesmas variáveis (Fig. 3b), que mostram uma relação próxima
modelos que estão mais próximos uns dos outros no espaço semelhante ao caso atual. O uso de campos específicos produz
EOF do que nunca ocorre por acaso nas amostras aleatórias relacionamentos semelhantes (mas não idênticos) (Figs. 3c–e). O caso de
(menos de 50% da distância média entre pontos esperada todas as variáveis mostra
para o caso aleatório). No entanto, há também a ausência de

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5181

FIG. 1. Uma representação gráfica da matriz de distância intermodelo para CMIP5 calculada para ALL
usando (a) campos climatológicos médios mensais de 1970-2000 (conforme definido emmesa 2) e (b)
mudanças nos campos mencionados entre 1970-2000 e 2070-2100. Cada linha e coluna de (a), (b)
representa um único modelo climático (ou observação). Cada caixa representa uma combinação de pares,
onde as cores quentes indicam uma distância maior. As distâncias são medidas como uma fração da
distância média entre modelos no CMIP5.

Não autenticado | Transferido em 22/03/11 14:54 UTC


5182 DIÁRIO DE CLI MAT E VOLUME28

FIG. 2. Histogramas de distâncias euclidianas do intermodelo CMIP5 no espaço de carregamento EOF


derivados de (a) campos climatológicos médios mensais de 1970-2000 (conforme definido emmesa 2) e
(b) mudanças nos campos acima mencionados entre 1970-2000 e 2070-2100, em comparação com uma
amostra de 105histogramas calculados a partir de distribuições amostradas aleatoriamente. As barras
cinzas mostram o histograma de distâncias intermodelo no conjunto CMIP5 em um espaço EOF
construído com todas as variáveis disponíveis, enquanto outras cores mostram distâncias construídas
com apenas um subconjunto de variáveis: TAS, TOA fluxos de ondas curtas e longas, PR e TQ. As barras
amarelas indicam a distribuição usando todas as variáveis do conjunto de condições iniciais do CCSM4.
Os gráficos de caixa e bigode mostram o intervalo de valores de bin observados nas distribuições
aleatórias mostrando os percentis 10, 50 e 90 da distribuição.

que todos os relacionamentos próximos seriam esperados de uma conjunto de base (embora modelos de diferentes centros possam,
perspectiva genealógica. No entanto, quando se usa variáveis em alguns casos, compartilhar parametrizações).
únicas (principalmente PR), existem alguns resultados inesperados
b. Eliminação do modelo passo a passo
(por exemplo, MIROC e CAM5 são considerados próximos).
Atribuímos isso à dificuldade de representar a variabilidade da Existem vários argumentos para apoiar a hipótese
precipitação intermodelo em um modelo de baixa dimensão. de que o conjunto CMIP5 é enviesado pela inclusão

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5183

FIG. 3. Uma ilustração de distâncias intermodelo e observação-modelo em um espaço EOF definido por (a) climatologia simulada de 1970-2000 para
ALL e (b) a anomalia entre 1970-2000 e 2070-2100 sob o cenário RCP8.5 para ALL. Os gráficos são repetidos para variáveis individuais: (c) fluxos de
ondas curtas e longas do TOA, (d) precipitação e (e) temperatura do ar na superfície. As linhas intermodelo ilustram onde a distância intermodelo é
inferior a 50% (pontilhado) ou 90% (sólido) das distâncias interponto mais próximas em uma distribuição gerada aleatoriamente com a mesma
dimensionalidade, variância e população.

de componentes comuns: alguns dos quais são apresentados diversidade e fidelidade do modelo. O processo de eliminação
com mais frequência do que outros. Pode-se fazer este do modelo iterativo é ilustrado para o conjunto CMIP5 em Fig. 4.
argumento a partir de uma consideração dos próprios modelos
(verseção 1etabela 1) ou examinando a distribuição espacial de O gráfico mostra a retirada consecutiva de modelos do
modelos em dimensões ortogonais derivadas da saída do conjunto de 36 considerados neste estudo até que um único
modelo. Propusemos um método de remoção de modelo que modelo permaneça. O processo é demonstrado pela
maximiza uma métrica que reflete tanto eliminação de modelos interdependentes julgados pelo

Não autenticado | Transferido em 22/03/11 14:54 UTC


5184 DIÁRIO DE CLI MAT E VOLUME28

FIG. 4. Uma ilustração do procedimento de eliminação de modelo passo a passo descrito emseção 2eaplicado aos 36 modelos
do conjunto CMIP5, usando informações de similaridade de modelos da climatologia atual (1970-2000) para ALL e o amplo raio de
qualidade. O conjunto completo de modelos é mostrado no eixo esquerdo e a ordem de remoção do modelo é mostrada ao
longo do eixo inferior, com o modelo mais à esquerda removido primeiro. Se o número de modelos efetivosnefdiminui em menos
de 0,5, então o modelo removido é mostrado se fundindo com seu vizinho mais próximo no espaço EOF. Se o número de modelos
efetivos diminuir em mais de 0,5, a linha termina, indicando a remoção daquela família de modelos do conjunto. O
sombreamento de fundo indica se a menor distância entre pontos no espaço EOF usando o arquivo restante é inferior a 90%
(cinza claro), 50% (cinza médio) ou 10% (cinza escuro) de distribuições puramente aleatórias da mesma população, variância, e
dimensionalidade.

simulação da climatologia atual. Os pesos de qualidade do vizinho. No entanto, se o modelo for mais do queDvocêde
modeloWqsão obtidos usando a climatologia do estado qualquer outro modelo, a ramificação do modelo é mostrada
médio dos modelos em comparação com as observações. A como terminando no diagrama.
exclusividade do modelo é calculada como emseção 2eapós Ainda não discutimos completamente um ponto apropriado para
cada iteração. parar de cortar modelos. Esta questão é, em última análise, subjetiva,
Demonstramos a sequência de remoção do modelo em Fig. 4(para e a conclusão é um pouco dependente das necessidades específicas
semelhanças atuais, todas as variáveis e um amplo raio de do pesquisador. No entanto,Fig. 5 mostra algumas características de
qualidade). As figuras mostram a ordem em que os modelos são mudança do ensemble restante à medida que o tamanho do
removidos do arquivo para obter a máxima qualidade independente ensemble é reduzido, e isso pode ser usado para recomendar
do conjunto. Se o modelo removido estiver mais próximo do queD subconjuntos de ensemble para diferentes cenários. Em essência,
você(uma função do número de modelos restantes) para qualquer uma primeira fase de eliminação de modelos apenas remove dados
outro modelo restante, então esse modelo é mostrado para se fundir redundantes e uma segunda fase melhora as características do
com seu modelo mais próximo. conjunto por

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5185

removendo modelos pobres e parcialmente redundantes. Ir


além disso potencialmente piora a representação do viés da
média do conjunto.
Figura 5amostra comonefvaria conforme os modelos são
removidos do arquivo conforme descrito emseção 2e. O número
real depende da escolha deDvocê, o raio de semelhança. Duas
opções deDvocêsão ilustrados, usando o percentil 50 das
distâncias do vizinho mais próximo no conjunto de 105conjuntos
aleatórios (como foi usado emseção 2d) ou, para comparação, o
percentil 90. Usando todos os modelos no arquivo,nefé 15,5
usando o maior valor paraDvocêou 22,5 usando o menor valor
(usando as atuais métricas de similaridade da climatologia). A
remoção dos primeiros 10 modelos tem pouco efeito sobrenef
(especialmente usando o maior valor deDvocê). A remoção dos
modelos restantes resulta em uma diminuição monotônica danef
.
Como foi indicado porFig. 5a, a maioria das eliminações
do modelo inicial tem pouco efeito sobrenef.Figura 4mostra
que muitas das remoções iniciais representam modelos (de
CCSM4 a CESM1(BGC), de HadGEM2-ES a HadGEM2-AO e de
GFDL-ESM2M a GFDL-ESM2G) que são em grande parte
estruturalmente idênticos, pelo menos em termos de sua
longa duração -termo climatologia atmosférica, diferindo
apenas na presença de um ciclo de carbono ativo que não
influenciaria os diagnósticos utilizados neste estudo. Assim,
é em grande parte aleatório qual membro do par é
eliminado. Neste regime, há uma forte relação inversa entre
os pesos de qualidade do modelo (Wq) e pesos de
exclusividade (Wvocê), como mostrado emFig. 6a.
A segunda ampla classe de eliminações são os modelos
com fortes conexões, muitas vezes das mesmas instituições,
mas com alguns componentes diferentes. Nesses casos, o
modelo com maior ponderação de qualidade de valor (Wq) é
geralmente preservado (por exemplo, GISS-E2-H e GISS-E2-
R, que diferem em seus componentes oceânicos). Neste
regime, a relação inversa entre o peso de qualidade do
modelo e os pesos de singularidade é mais fraca (Fig. 6b),
pois as duplicatas claras já foram removidas. Observe que os
pesos de exclusividade agora se referem à exclusividade no
subconjunto restante e não no arquivo CMIP5 completo.
FIG. 5. Gráficos ilustrando a eliminação do modelo passo a passo
seguindo o procedimento emseção 2e. Os cálculos são conduzidos Os estágios finais de remoção (aproximadamente os 20
usando métricas de similaridade de modelo derivadas tanto da modelos finais) resultam em uma redução no número de
climatologia atual quanto de mudanças climáticas futuras sob modelos efetivos, ilustrado pelo término do caminho do
RCP8.5. (a) O número de modelos efetivos em função do número de
modelo. Como mostrado emFig. 5b, neste regime, a
modelos efetivos restantes no conjunto. O corte percentual é a
distribuição das distâncias intermodelos é agora consistente
fração das distâncias do vizinho mais próximo vistas em conjuntos
puramente aleatórios usados para definir o raio de similaridadeDvocê com o que se poderia esperar de uma amostra puramente
na Eq.(10). (b) A distância do vizinho mais próximo em função do aleatória. Cada família de modelos intimamente
número de modelos restantes. Para comparação, os percentis 10, 50 relacionados é agora representada, em grande parte, por
e 90 das distâncias do vizinho mais próximo em conjuntos
seu próprio "campeão". Figura 6cmostra que quando restam
puramente aleatórios da mesma dimensionalidade e variância são
apenas 10 modelos, a relação entreWvocêeWqé bastante
mostrados. (c) RMSE das médias multimodelo ponderadas e não
ponderadas em função dos modelos restantes. fraco, com todos os modelos restantes tendo pesos de
exclusividade comparáveis.

Não autenticado | Transferido em 22/03/11 14:54 UTC


5186 DIÁRIO DE CLI MAT E VOLUME28

FIG. 6. Um gráfico demonstrando como os pesos de exclusividade do modelo e os pesos de qualidade do


modelo mudam à medida que os modelos são eliminados na sequência mostrada emFig. 4, para (a) 36, (b) 20 e
(c) 10 modelos restantes.

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5187

Nosso julgamento de valor para um critério de parada


apropriado é, portanto, dependente da aplicação. Se desejar
remover apenas modelos quase idênticos, deve-se parar de
aparar quando o número de modelos efetivosnef
começa a diminuir significativamente. No entanto, se se deseja
produzir a simulação de média de conjunto de melhor
desempenho do estado médio, é mais lógico remover também
os modelos de pior desempenho, de modo que o erro RMSE da
média de subconjunto seja minimizado.

c. Sensibilidade às escolhas iniciais

O algoritmo descrito emseção 2erequer várias suposições e


exploramos a sensibilidade dos resultados a essas escolhas
nesta seção.Figura 7mostra os modelos que são retidos na
análise com uma gama de diferentes opções iniciais de variáveis
e parâmetros. Em cada caso, a análise é repetida e há uma
remoção gradual dos modelos com base na maximização do
índice de qualidade do conjunto. Em cada linha do gráfico,
mostramos quais modelos permanecem quando a menor
distância entre pontos no arquivo restante é maior que 50%
(símbolos não preenchidos) ou 10% (símbolos preenchidos) de
distribuições puramente aleatórias da mesma população,
variância e dimensionalidade (regiões marcadas por
sombreamento cinza médio e cinza escuro emFig. 4). Assim,
podemos explorar a sensibilidade dos modelos retidos às nossas
suposições iniciais.
Primeiro, há a escolha de quais variáveis são usadas para
FIG. 7. Um gráfico mostrando subconjuntos sugeridos de CMIP5 com
derivar a matriz de distância intermodelo. Para resolver isso,
pontuações de qualidade do modelo e codependências derivadas de
repetimos a análise com uma variedade de campos várias maneiras. Cada linha na figura repete a análise levando aFig. 4com
individuais, bem como o exemplo multivariado discutido na suposições diferentes. São plotados os modelos restantes onde a menor
seção anterior. A análise é repetida para temperatura e distância interponto no espaço EOF usando o arquivo restante é maior que
umidade média zonal (TQ), PR em grade, fluxos de ondas 10% (símbolos não preenchidos) ou 50% (símbolos preenchidos) de
distribuições puramente aleatórias da mesma população, variância e
curtas e ondas longas no topo da atmosfera em grade (TOA),
dimensionalidade (regiões marcadas por sombreamento cinza médio e
TAS em grade e todas as variáveis combinadas (ALL). Em cinza escuro emFig. 4). A análise é conduzida com TQ, PR em grade, fluxos
segundo lugar, exploramos o raio da qualidade do modeloD de ondas curtas e longas de TOA em grade, TAS em grade e todas as
qintroduzido na Eq.(16). A análise é repetida para dois variáveis combinadas. O parâmetroDq, o raio da qualidade do modelo, é
valores, um valor amplo ondeDqé igual à distância definido como amplo ou estreito (o último aumenta o papel das métricas
de qualidade do modelo na eliminação do modelo). A variável Wvocê, a
intermodelo média no conjunto CMIP5 e uma escolha
ponderação de exclusividade do modelo, é mostrada calculada com os
estreita que é metade desse valor. O último caso estreito dados futuros do RCP8.5 ou os dados atuais. Os números na parte inferior
aumenta efetivamente o papel da métrica de qualidade do do gráfico indicam o número de modelos retidos para as duas condições
modelo, de modo que os modelos com uma pontuação de em que a distância mínima entre modelos restante é maior que o 10º ou
qualidade baixa são removidos mais cedo no algoritmo, ao 50º percentil das menores distâncias aleatórias entre modelos.

contrário do caso amplo, onde os modelos altamente


interdependentes são removidos primeiro. Por fim,
construímos os pesos de unicidade do modeloWvocêusando a qualidade do modelo, no entanto, diminui significativamente o
as distâncias intermodelo derivadas da média de 30 anos de número de modelos retidos em relação ao valor amplo. Isso
1970-2000 dados atuais no caso "presente", mas use a pode ser explicado considerando que o ajuste estreito aumenta
anomalia entre 2070-2100 e 1970-2000 para o caso "futuro". a razão da ponderação da qualidade do modelo para modelos
Descobrimos que a escolha da variável tem pouco impacto na próximos às observações e aqueles distantes. No regime
escolha final dos subconjuntos do modelo. Embora em alguns estreito, a pontuação de qualidade do conjunto é melhor
casos a escolha do modelo de uma determinada instituição maximizada removendo-se os modelos com desempenho
possa mudar, o número total de modelos retidos é semelhante insatisfatório no início da análise; assim, após a remoção dos
para cada uma das opções de variáveis. O uso do raio estreito de modelos restantes interdependentes,

Não autenticado | Transferido em 22/03/11 14:54 UTC


5188 DIÁRIO DE CLI MAT E VOLUME28

o número de modelos únicos restantes é menor do que


no caso largo.

EOFESCOLHAS DE TRUNCAMENTO
Algumas decisões subjetivas são necessárias na
interpretação e posterior utilização do PCA realizado em
seção 2a, e discutimos isso mais detalhadamente aqui.
Em estudos anteriores comoMasson e Knutti (2011), as
distâncias intermodelo foram calculadas sem o estágio
PCA, simplesmente calculando as distâncias no espaço
definido pelas matrizes de anomaliaDX20ceDX21c. Para os
propósitos deste estudo, e seus estudos
complementares (Sanderson et ai. 2015), é necessário
diminuir a dimensionalidade (e codependência) dos
dados para estabelecer expectativas prévias de
distâncias próximas.
Neste estudo, assim como emSanderson et ai. (2015), as
distâncias entre modelos são calculadas com o conjunto
truncado de nove modos. A matriz de distância intermodelo
resultante calculada comvocê20ctruncado para nove modos tem
uma correlação de 0,93 com a matriz que seria calculada usando
a matriz de campo completoDX20c, mas usar o conjunto de base
ortogonal nos permite formar matrizes aleatórias com as quais
comparar os resultados (Figura 2).
Para valores menores det,apenas os principais padrões de
diferença de modelo são mantidos, o que resulta em
grandes distâncias entre modelos entre diferentes famílias
FIG. 8. Como emFig. 7, mas mostrando subconjuntos sugeridos de
de modelos (por exemplo, modelos CESM1 e GFDL) e
CMIP5 com diferentes comprimentos de truncamento para a análise EOF.
distâncias muito pequenas entre modelos na mesma família
São plotados os modelos restantes onde a menor distância interponto no
[por exemplo, CESM1(CAM5) e CESM1(CAM4) ]. Com tão espaço EOF usando o arquivo restante é maior que 50% (símbolos não
poucos graus de liberdade, distâncias intermodelo muito preenchidos) ou 10% (símbolos preenchidos) de distribuições puramente
pequenas não podem ser descartadas por acaso nos aleatórias da mesma população, variância e dimensionalidade (regiões
marcadas por sombreamento cinza médio e cinza escuro emFig. 4).
ensembles aleatórios e, portanto, nenhum modelo pode ser
excluído do ensemble (verFig. 8para valores de truncamento
de 3 ou menos). A análise produz resultados muito (QT;R50,42 não truncado) estão cada vez mais mal
semelhantes, e o número mínimo de modelos retidos, para correlacionados com o caso multivariado de campo completo.
valores detentre 8 e 12 (ver Fig. 8), com relativamente pouca Isso implica que alguns campos, como a temperatura da
sensibilidade à escolha variável (não mostrada). Para valores superfície, possuem informações suficientes para tornar
detde 15 ou mais, os modos de ordem superior representam desnecessária uma abordagem multivariada.
cada vez mais diferenças sutis e muitas vezes ruidosas entre Com um comprimento de truncamento de 9, que usamos para a
os modelos no arquivo, o que infla a distância entre os maior parte deste estudo, a matriz de distância resultante
vizinhos próximos no conjunto. Assim, mais uma vez vemos permanece altamente correlacionada com a matriz de distância de
menos modelos descartados. campo completo, mas a influência de campos e modelos covariantes
Para testar a sensibilidade da matriz de distância intermodelo é reduzida [ver Caldwell et ai. (2014)para uma extensa discussão
à escolha da variável, também repetimos a análise EOF com sobre essas questões].
vários subconjuntos diferentes de variáveis diagnósticas. A
d. Desempenho médio do conjunto
correlação resultante depende significativamente de qual
variável exata é retida. As distâncias entre modelos calculadas Os resultados deseção 3bsugerem que eliminar os
usando apenas TAS em grade são altamente correlacionadas modelos interdependentes mais fortes para deixar uma
com o caso multivariado (R50,95 não truncado). Fluxos radiativos distribuição plausivelmente aleatória deixaria entre 10 e 25
no topo da atmosfera (RAD; R50,85 não truncado), PR (R50,66 dos 36 modelos CMIP5 considerados aqui (dependendo das
não truncado) e temperatura e umidade verticais médias por escolhas de variáveis e parâmetros). Aparar o conjunto
zona para seu subconjunto mais independente não piora o

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5189

a fidelidade do resultado da média climatológica, e remover os que pode ser usado para identificar modelos interdependentes
outliers de pior desempenho (modelos com grandes vieses) usando a saída de diagnóstico do modelo e uma estratégia possível
pode realmente melhorá-lo, como mostramos nesta seção. para escolher um subconjunto de modelo para manter a diversidade
Podemos primeiro examinar como a média multimodelo do modelo sem replicação e incorporar informações de qualidade do
da climatologia atual se compara com as observações.Figura modelo nessa decisão.
5cconsidera os erros quadráticos médios (RMSEs) de várias Este estudo representa uma prova de conceito; a escolha dos
médias multimodelo ponderadas e não ponderadas diagnósticos usados neste estudo é, obviamente, arbitrária, até
calculadas usando os mesmos vetores multivariados de certo ponto, embora os resultados de quais modelos são
estado climático descritos emseção 2ae as observações interdependentes pareçam ser relativamente resilientes a mudanças
listadasmesa 2. Ilustramos isso usando o caso ALL, com o na variável e no período de tempo (verFig. 3;Pennell e Reichler 2011;
amplo raio de qualidade do modelo e as distâncias Knutti et ai. 2013). No entanto, assumimos que a climatologia do
intermodelo derivadas atuais. Também comparamos com o estado médio de um modelo pode ser usada para avaliar sua
RMSE médio visto quando uma amostra completamente habilidade e independência. Claramente, se nosso objetivo final é
aleatória (sem reposição) do mesmo tamanho é tomada, em avaliar a plausibilidade das simulações futuras de um modelo, então
comparação com a técnica detalhada descrita emseção 3b. a simulação do estado médio não é uma avaliação perfeita da
habilidade do modelo, embora possa ser argumentado que é uma
Se considerarmos apenas a extremidade esquerda do gráfico, condição necessária e, como tal, uma estratégia de ponderação
onde todos os 36 modelos são retidos, ponderar os modelos por baseada em climatologia atual pode ser justificada na ausência de
singularidade na verdade aumenta o RMSE. Isso é em grande qualquer informação adicional.
parte esperado – como vimos emFig. 6aque os modelos de Certamente, qual modelo exibe a pontuação de qualidade
melhor desempenho têm os menores pesos de exclusividade. mais alta depende muito das métricas específicas nas quais o
Também sugere que uma média do conjunto CMIP5 já é pesquisador pode estar interessado.Santer et ai. 2009), e está
fracamente ponderada em relação aos modelos de melhor muito além do escopo deste estudo realizar uma comparação
desempenho. Se ponderarmos explicitamente a média do exaustiva de possíveis métricas do modelo. Neste estudo,
modelo em relação aos modelos mais próximos das observações focamos principalmente na saída de diagnóstico do modelo
no espaço EOF, o RMSE pode ser reduzido significativamente. atmosférico, e nossos resultados são, portanto, mais sensíveis
À medida que os primeiros 10 modelos (altamente ao componente comum nesse modelo. Como tal, os resultados
interdependentes) são removidos do arquivo, o RMSE médio deste estudo devem ser interpretados como ilustrativos de um
simples aumenta ligeiramente, enquanto o RMSE de sorteio método potencial para reduzir a interdependência dos modelos
aleatório permanece constante, provavelmente porque os de efeitos e não como uma lista prescritiva de modelos que
modelos de alto desempenho têm menos representação quando devem ser utilizados para estudos futuros. A maioria dos
as duplicatas são removidas. A média ponderada de unicidade estudos baseados no CMIP5 poderia facilmente usar tal
também se torna mais semelhante ao caso da média simples ( estrutura, mas os julgamentos de valor de futuros
vocêWagora é mais consistente em todo o conjunto). Entre 28 e pesquisadores devem ser incorporados na escolha da métrica
12 modelos restantes, o RMSE simples diminui usada para avaliar a similaridade e a qualidade do modelo.
significativamente; quando restam 20 modelos, o subconjunto
supera o RMSE da amostra aleatória. Os valores de RMSE mais Avaliamos a probabilidade de modelos próximos
baixos ocorrem com entre 12 e 5 modelos restantes. A remoção ocorrerem por acaso usando um grande número de
de quaisquer outros modelos aumenta o RMSE da média distribuições aleatórias da mesma dimensionalidade que
multimodelo simples. Com 5 ou menos modelos restantes, todos o conjunto ortogonal truncado de cargas EOF que
os modelos têm um alto valor de ambosWvocêe Wq, portanto, derivamos do conjunto original. A amostra aleatória não
ponderar por exclusividade ou qualidade tem pouco efeito. Em é uma proxy para o espaço que pode ser alcançado pelo
todos os casos, qualquer remoção adicional de modelos (abaixo clima real; em vez disso, é uma proxy para a distribuição
de 5) aumenta significativamente o RMSE, um fato de modelos representados em um conjunto de base
provavelmente atribuível à desigualdade de Cauchy-Schwartz ( ortogonal definido pela variabilidade multimodelo. Como
Annan e Hargreaves 2011). tal, estamos assumindo que, se houver relações físicas
entre as variáveis nos dados de saída do modelo (por
exemplo, entre a temperatura da superfície e a radiação
4. Discussão e conclusões
de onda longa de saída), qualquer correlação entre elas
O presente estudo considera como se pode remover possíveis seria representada como um único modo na análise
vieses que possam surgir de componentes compartilhados no EOF . No entanto, se houver uma forte relação não linear
arquivo CMIP5 de modelos climáticos e seus predecessores. entre duas variáveis no arquivo CMIP5,
Também propomos alguns diagnósticos simples

Não autenticado | Transferido em 22/03/11 14:54 UTC


5190 DIÁRIO DE CLI MAT E VOLUME28

pode ser representado em dois ou mais modos. Neste caso, semelhanças de modelo, essas semelhanças podem não ser uma
então a distribuição de modelos no espaço poderia ser mais função apenas do código compartilhado. O Climateprediction.net (
complexa do que uma simples Gaussiana. Pode-se imaginar Stainforth et ai. 2005) e Quantificando a Incerteza nas Previsões do
projetar uma amostra aleatória que ajustasse uma Modelo (QUMP;Murphy et ai. 2007), por exemplo, mostram que uma
distribuição de alta dimensão ao conjunto CMIP5 para dar diversidade considerável no comportamento do modelo é alcançável
conta de tais não linearidades, mas o aumento da por meio da perturbação de parâmetros sozinho com uma base de
complexidade, a falta de amostras no conjunto original e a código idêntica.
parametrização necessária de tal distribuição significam que Existem vários fatores adicionais possíveis que podem
isso é impraticável. influenciar a semelhança diagnóstica. Primeiro, a tendência
Também assumimos, ao extrair amostras aleatórias usando a de várias gerações de modelos de uma única instituição
variância definida pelo ensemble original, que nenhum dos exibirem fortes semelhanças, apesar das extensas
membros do CMIP5 pode ser descartado a priori. Pode-se mudanças nos componentes do modelo [ver Fig. 2 em
imaginar uma situação em que um modelo arbitrariamente Sanderson e Knutti (2012)com referência aos modelos NSF–
pobre fosse incluído no conjunto que aumentaria a variância DOE–NCAR CESM, GFDL ou Hadley Center] indica que alguns
representada em cada modo, de modo que quaisquer modelos elementos de calibração de modelo tendem a agrupar
realistas parecessem auto-semelhantes e seriam reduzidos pela modelos de um determinado centro de modelagem. As
ponderação de exclusividade. Portanto, o método só faz sentido razões para esse agrupamento têm vários candidatos
se houver algum nível de confiança básica de que nenhum dos possíveis que podem estar na política institucional ou no
modelos no arquivo é completamente não representativo do foco regional (as instituições podem estar mais preocupadas
sistema verdadeiro. No entanto, argumentaríamos que isso é com o desempenho de seu modelo no clima da região).
verdade para qualquer análise que use o arquivo CMIP5 e que Métricas padrão usadas para avaliar o desempenho do
mesmo uma média multimodelo simples está sujeita a uma modelo durante o processo de desenvolvimento do modelo
verificação de sanidade dos modelos participantes. ou conjuntos de dados observacionais preferidos também
podem variar de instituição para instituição. Em segundo
Ressalvas à parte, este estudo ilustra algumas características lugar, os modelos raramente alteram todos os componentes
interessantes do arquivo CMIP5 e possíveis problemas que ao mesmo tempo, então postulamos que avaliar quando um
podem surgir ao tratar esse arquivo como uma amostra modelo é “novo” é uma questão subjetiva. Finalmente, o
aleatória de possíveis modelos climáticos. Existe uma extensa protocolo CMIP5 permite alguma flexibilidade na forma
replicação do código do modelo no arquivo, principalmente como os modelos implementam forças externas, de modo
dentro das instituições, mas também em alguns casos entre que grupos diferentes, mesmo com modelos idênticos,
instituições (vertabela 1). Isso não deve surpreender: um rápido Knutti et ai. (2013)ver relações semelhantes em simulações
exame da composição AOGCM nos modelos CMIP5 indica que de controle, mas não se pode excluir a possibilidade de que
alguns componentes individuais são usados por mais de 25% as próprias simulações de controle também possam incluir
do arquivo. No entanto, mostramos neste estudo (por exemplo, suposições comuns sobre condições de contorno.
Masson e Knutti 2011) que muitas dessas semelhanças podem
ser identificadas também por meio de uma simples análise do Em resumo, confirmamos os argumentos anteriores de que
resultado do modelo. Uma discussão mais detalhada dos os modelos não são independentes, alguns são essencialmente
componentes do modelo compartilhado é fornecida no material duplicados, e o número efetivo de modelos independentes
suplementar doKnutti et ai. (2013). baseados neste método é menos da metade do número real de
As semelhanças na saída de diagnóstico nem sempre são modelos, consistente com estudos anteriores (Jun et ai. 2008;
previsíveis a partir da consideração apenas da construção do modelo. Annan e Hargreaves 2011;Sanderson e Knutti 2012). Alguns
Pode-se encontrar exemplos de casos com alterações significativas modelos estão mais próximos das observações do que outros (
na base de código, mas com pequenas alterações na semelhança Gleckler et ai. 2008;Knutti e Seduma-ce 2013). Acreditamos que
diagnóstica. Por exemplo, CCSM4 e CESM1(CAM5) têm esquemas de nosso método e resultados não dependem fortemente da
aerossóis, dinâmicas e microfísica de nuvens significativamente maneira como se interpreta o conjunto como "centrado na
diferentes, e ainda assim nossos resultados mostram os dois verdade" (Knutti 2010), ''indistinguível da verdade'' (Annan e
modelos como fortemente relacionados ao considerar a distribuição Hargreaves 2011;Rougier et ai. 2013), ou nenhum (Sanderson e
de distâncias entre modelos. Isso indica que as estratégias de ajuste Knutti 2012;Bispo e Abramowitz 2013). Pode-se imaginar um
e os componentes não atmosféricos podem desempenhar um papel conjunto hipotético seguindo qualquer uma dessas estruturas;
significativo na similaridade do modelo de diagnóstico, mesmo duplicando alguns de seus membros, o viés seria introduzido na
quando a saída atmosférica é usada principalmente para avaliar a distribuição do conjunto. Ao avaliar o desempenho do nosso
distância entre os modelos. Isso implica que, embora a saída de subconjunto de conjuntos em termos de
diagnóstico seja um indicador útil de

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5191

desempenho médio do conjunto, não defendemos promíscuo. Esta situação implica que o conjunto como um todo
necessariamente um conjunto centrado na verdade, pois a já está fortemente ponderado para os modelos de melhor
média do conjunto também seria a melhor estimativa de desempenho. Mostramos que, se os modelos são ponderados
mudança futura no caso indistinguível. para recompensar sua singularidade, então o RMSE da média do
É claro que existem diferentes maneiras de explicar o conjunto é aumentado. Assim, por meio de um mecanismo de
desempenho e a interdependência do modelo. No jornal seleção quase natural, a comunidade climática criou um
complementar (Sanderson et ai. 2015), propusemos um conjunto de modelos que já enfatizou seus membros
método para produzir estimativas probabilísticas que são climatologicamente com melhor desempenho. Em outras
amplamente insensíveis a duplicatas do modelo e podem palavras, confiar na democracia modelo é, até certo ponto,
considerar o desempenho do modelo. No entanto, quando aumentar o peso das estruturas de modelo qualificadas sem
são necessários dados de alta dimensão e/ou campos pensar deliberadamente sobre isso ou discuti-lo, pelo
espacial e temporalmente consistentes (por exemplo, para mecanismo de duplicação de código bem comprovado.
modelos de impacto), um método totalmente probabilístico Isso pode ser visto como um argumento em favor
torna-se difícil e pode até dificultar o desenvolvimento de da manutenção de todo o conjunto ao realizar uma
análises de impacto tratáveis (Dessai e Hulme 2004).Bispo e análise e pelo menos alguma justificativa de que o
Abramowitz (2013)também propõem uma técnica alternativa resultado médio multimodelo é uma melhor
onde os modelos no arquivo estão sujeitos a uma estimativa defensável. No entanto, é na melhor das
transformação linear, onde a média ponderada dos modelos hipóteses uma propriedade acidental que não é
transformados é calculada para ser otimamente próxima de garantida para permanecer em conjuntos futuros e
um clima observado. Essa transformação e ponderação pode não ser visível para perguntas ou métricas mais
podem então ser extrapoladas para projeções futuras. Este específicas. Se um modelo é extensivamente
método tem a vantagem de que os modelos transformados duplicado não é uma função pura de sua qualidade
resultantes possuem erros independentes e ponderam as ou fidelidade. Um submodelo com código-fonte
projeções futuras por habilidade climatológica. No entanto, aberto e poucas restrições ao seu uso tem maior
os modelos transformados não são fisicamente auto- probabilidade de ser utilizado por outro grupo do que
consistentes e existe o potencial de as simulações serem outro modelo com política de código-fonte fechado.
superajustadas aos dados históricos de uma maneira que No entanto, um modelo que é usado em conjunto por
poderia resultar em projeções futuras com excesso de um grande número de grupos também tem um
confiança. Em comparação, o método que apresentamos grande pool de desenvolvimento investido na
aqui preserva um subconjunto de modelos físicos melhoria desse modelo. A duplicação dentro das
autoconsistentes (para projeções atuais e futuras); instituições depende também do financiamento e dos
recursos computacionais disponíveis.
Permanece também a questão de saber se o conjunto original
Assim, propomos que há uma utilidade significativa em do CMIP5 é suficiente para avaliar a incerteza sistemática em
abranger a incerteza potencial no clima futuro, futuras mudanças climáticas. Esta questão poderia facilmente
representando a propagação com um subconjunto formar um estudo em si, mas nossos resultados são um pouco
apropriado de modelos. Este estudo apresenta pesos que informativos neste assunto. Primeiro, o número de modelos
avaliam a singularidade do modelo e a fidelidade da verdadeiramente independentes no arquivo é significativamente
climatologia do modelo. Descobrimos que os dois estavam menor do que o número de modelos enviados, quando medido
inversamente relacionados, de modo que os modelos com pela saída do modelo. Portanto, adicionar outro modelo ao
as melhores simulações do clima atual também eram menos arquivo existente tem mais valor se os desenvolvedores
exclusivos. Uma parte disso é possivelmente devido ao fato introduzirem novos componentes e suposições. É verdade que
de que os modelos foram calibrados pelas observações e, explorar diferentes configurações de componentes existentes
portanto, parecerão se agrupar em torno dessas por meio de troca de submodelos ou perturbação de
observações (e entre si). No entanto, um exame mais parâmetros pode certamente modificar o comportamento do
detalhado revela que uma grande fração da falta de modelo, e argumentaríamos que tais experimentos deveriam
exclusividade dos modelos de alta pontuação pode ser continuar para explorar completamente as incertezas inerentes
explicada por outros modelos que duplicaram parte ou todo ao conjunto de modelos existente.
o seu código. Quando essas duplicatas são removidas, No entanto, essa incerteza está condicionada ao número
Essa propriedade do ensemble é claramente, até certo ponto, de modelos independentes disponíveis para nós e
contingente à escolha das métricas usadas, mas levanta uma estabelecer se o conjunto atual é suficiente é uma questão
propriedade potencialmente interessante do ensemble; os que pode não ser útil, porque não há um espaço
modelos com melhor desempenho também podem ser os mais conveniente no qual as suposições sistemáticas do modelo

Não autenticado | Transferido em 22/03/11 14:54 UTC


5192 DIÁRIO DE CLI MAT E VOLUME28

pode ser definido. Por exemplo, o conjunto CMIP5 atual pode ter Existem alguns casos em que argumentaríamos que é
nesquemas de convecção fundamentalmente diferentes, cada essencial eliminar modelos interdependentes, como quando
um com suas próprias vantagens e vieses, mas ninguém uma correlação encontrada no conjunto multimodelo é usada
argumentaria que isso constituía um "conjunto completo". Onde como uma restrição em um parâmetro climático [ou seja, para
há aproximação e parametrização, existem maneiras sensibilidade climática emFasullo e Trenberth (2012)ou para
potencialmente ilimitadas de lidar com isso. Porque ninguém feedbacks de albedo de superfície de alta latitude emHall e Qu
pode saber o comportamento do (n11)º modelo, a questão da (2006)]. A presença de modelos intimamente relacionados ou
adequação do conjunto não pode ser respondida em sentido mesmo idênticos no arquivo tenderia a inflar artificialmente a
estrito. Dentro do conjunto que temos, podemos experimentar significância de qualquer correlação simplesmente porque
de forma tratável com subconjuntos para avaliar quantos modelos idênticos exibiriam valores semelhantes tanto para o
modelos são necessários para ter confiança na distribuição das preditor quanto para a quantidade desconhecida.Caldwell et ai.
mudanças climáticas futuras formadas pelo conjunto completo, 2014). Remover os óbvios modelos interdependentes mostrados
mas nunca podemos saber se o (n11) o modelo adotará neste estudo certamente seria melhor do que avaliar uma
diferentes premissas ou resolverá um novo processo para correlação baseada em todo o arquivo, mas um método para
colocar sua projeção fora da distribuição existente. alcançar isso em sentido estatístico estrito é apresentado em
Argumentamos que uma consideração conjunta da similaridade Caldwell et ai. (2014).
do modelo e das métricas de qualidade permite ao pesquisador fazer Existe o perigo de que, à medida que os modelos melhorem, os
uso de uma amostra de simulações mais quantitativamente melhores modelos tenham o potencial de convergir para o
defensável disponível nos arquivos do CMIP, seja por meio de verdadeiro estado climático, o que pode levar à sua eliminação se os
ponderação ou por eliminação de modelo (em si, uma forma extrema modelos interdependentes forem removidos. Nós mostramos emFig.
de ponderação) para produzir uma melhor estimativa de projeções 3 que é improvável que seja o caso do CMIP5, dado que nenhum dos
de modelos combinados. Nossa abordagem para alcançar isso pode modelos está próximo o suficiente das observações para ser
ser controlada com um pequeno número de parâmetros subjetivos, influenciado pela ponderação de unicidade. No entanto, pode-se
mas claramente definidos, que podem potencialmente mitigar imaginar que se um pequeno grupo de modelos fizer um avanço real
alguns dos problemas de amostragem arbitrários que surgem ao que remova um viés sistemático de longa data (por exemplo, quando
confiar na democracia do modelo e podem ser adaptados a questões alguns modelos começam a resolver explicitamente a convecção),
específicas, escolhendo métricas e conjuntos de dados apropriados. seria necessário aceitar um nível mais alto de similaridade entre os
modelos de melhor desempenho (ou seja, a ponderação de
Deve-se notar nesta discussão que o arquivo CMIP5 não é exclusividadevocêWnão poderia mais ser independente da
uma representação completa do espaço de incerteza para as ponderação da habilidadevocês).
projeções GCM. Em vez disso, é uma coleção dos melhores Propor um subconjunto de modelos a serem considerados para
modelos possíveis pretendidos: as iterações finais de seus uma análise menos tendenciosa pode ser visto como excessivamente
respectivos processos de ajuste à medida que os prescritivo, mas nosso objetivo não é focar no conjunto exato de
desenvolvedores do modelo calibram suas escolhas de modelos que devem ser usados para estudos futuros, mas sim
parametrização para melhor representar as propriedades estabelecer uma estrutura na qual os pesquisadores possam fazer
climáticas observadas que eles consideram mais importantes, sua seleção com base nas métricas que são mais relevantes para sua
embora possa haver outras configurações aceitáveis (Mauritsen pergunta. Poderíamos argumentar que, embora a coleção de
et ai. 2012). Claramente, essas escolhas e alvos irão variar de modelos decorrentes do “conjunto de oportunidades” seja muitas
modelo para modelo, mas o fato de que há implicitamente um vezes vista como sacrossanta, a política democrática de um modelo,
número quase infinito de configurações de parâmetros um voto não é mais lógica na árvore genealógica cada vez mais
rejeitados para cada modelo deve ser lembrado ao tentar complexa de modelos disponíveis ao pesquisador. Um subconjunto
interpretar o significado da disseminação de simulações no de 10 a 20 modelos razoavelmente independentes e com bom
arquivo. Em um sentido prático, ignoramos essas configurações desempenho para os critérios considerados relevantes
rejeitadas porque não temos acesso a elas. Além disso, há provavelmente será mais habilidoso do que o conjunto completo.
algumas evidências que sugerem que a diversidade de modelos Dar peso igual a todos os modelos que completaram uma simulação
que se pode atingir por mudanças estruturais excede de interesse é, ainda que implicitamente, adotar um esquema de
significativamente a de mudanças de parâmetros em conjuntos ponderação que recompensa os componentes do modelo que são
de parâmetros perturbados atualmente disponíveis (Yokohata et altamente replicados. Esse esquema de ponderação pode
ai. 2013). No entanto, deve-se lembrar que tanto o conjunto fortuitamente ter a propriedade de recompensar os componentes
CMIP5 (e, por definição, nossos subconjuntos desse conjunto) já mais qualificados, mas, argumentaríamos, essa propriedade deve ser
é um subconjunto de todas as configurações de modelo demonstrada e a decisão de como incorporá-la deve ser tomada
possíveis que foram escolhidas pelos desenvolvedores do conscientemente.
modelo.

Não autenticado | Transferido em 22/03/11 14:54 UTC


1JULY2015 S ANDE RS NA ETAL . 5193

Agradecimentos.Reconhecemos o Grupo de Trabalho Submissão CMIP5 usando o modelo CSIRO-Mk3.6.Aust.


sobre Modelagem Acoplada do Programa Mundial de Meteoro. Oceanogr. J.,63,1-13.
Jun, M., R. Knutti e DW Nychka, 2008: Autovalor local
Pesquisa Climática, que é responsável pelo CMIP, e
análise de erros do modelo climático CMIP3.Nos digam,60A,
agradecemos aos grupos de modelagem climática por 992-1000, doi:10.1111/j.1600-0870.2008.00356.x.
produzir e disponibilizar seus resultados de modelo. Para o Knutti, R., 2010: O fim da democracia modelo?Mudança Climática,
CMIP, o Programa de Diagnóstico e Intercomparação de 102 (3–4), 395–404, doi:10.1007/s10584-010-9800-2.
Modelos Climáticos do Departamento de Energia dos EUA — — e J. Seduma-cek, 2013: Robustez e incertezas nas novas projeções do
modelo climático CMIP5.Nat. Das Alterações Climáticas,
fornece suporte de coordenação e desenvolvimento liderado
3,369-373, doi:10.1038/nclimate1716.
de infraestrutura de software em parceria com a — — , D. Masson e A. Gettelman, 2013: Genealogia do modelo
Organização Global para Portais de Ciência do Sistema climático: Geração CMIP5 e como chegamos lá.Geophys.
Terrestre. Partes deste estudo foram apoiadas pelo Office of Res. Lett.,40,1194-1199, doi:10.1002/grl.50256.
Science (BER), Departamento de Energia dos EUA, Acordo Li, L., e Coautores, 2013: The Flexible Global Ocean-
Modelo do Sistema Atmosfera-Terra, grid-point versão 2:
Cooperativo DE-FC02-97ER62402. Também gostaríamos de
FGOALS-g2.Av. Atmos. Sci.,30,543-560, doi:10.1007/
agradecer aos nossos revisores anônimos por seus
s00376-012-2140-6.
comentários extensos e perspicazes. Masson, D. e R. Knutti, 2011: genealogia do modelo climático.Geo-
física Res. Lett.,38,L08703, doi:10.1029/2011GL046864.
— — , e ——, 2013: Triagem de preditores, calibração e restrições
REFERÊNCIAS
observacionais em conjuntos de modelos climáticos: Uma
Adler, R. e Coautores, 2003: A Versão 2 Global Pre- ilustração usando sensibilidade climática.J. Clima,26,887-898,
projeto de climatologia de precipitação (GPCP) análise mensal doi:10.1175/JCLI-D-11-00540.1.
de precipitação (1979-presente).J. Hydrometeor.,4,1147-1167, Mauritsen, T., e Coautores, 2012: Ajustando o clima de uma
doi:10.1175/1525-7541(2003)004,1147:TVGPCP.2.0.CO;2. Annan, modelo.J. Av. Modelo. Sistema Terra,4,M00A01, doi:
J. e J. Hargreaves, 2011: Entendendo o CMIP3 10.1029/2012MS000154.
conjunto multimodelo.J. Clima,24,4529–4538, doi: Murphy, J., B. Booth, M. Collins, G. Harris, D. Sexton e
10.1175/2011JCLI3873.1. M. Webb, 2007: Uma metodologia para previsões probabilísticas
Aumann, HH, e Coautores, 2003: AIRS/AMSU/HSB no de mudanças climáticas regionais a partir de conjuntos físicos
Missão Aqua: Design, objetivos científicos, produtos de dados e perturbados.Philos. Trans.,365A,1993-2028, doi:10.1098/
sistemas de processamento.Trans. IEEE Geosci. Sensor Remoto,41, rsta.2007.2077.
253-264, doi:10.1109/TGRS.2002.808356. NASA, 2011: conjuntos de dados CERES EBAF, Langley Research Center,
Bishop, CH e G. Abramowitz, 2013: Modelo climático de- acessado em 2011. [Disponível online emhttp://ceres.larc.nasa.gov/
pendência e o paradigma replicar da Terra.Clima Din.,41 (3–4), products.php?product=EBAF-TOA.]
885–900, doi:10.1007/s00382-012-1610-y. Pennell, C. e T. Reichler, 2011: Sobre o número efetivo de
Brohan, P., J. Kennedy, I. Harris, S. Tett e P. Jones, 2006: Un- modelos climáticos.J. Clima,24,2358–2367, doi:
estimativas de certeza em mudanças de temperatura observadas regionais 10.1175/2010JCLI3814.1.
e globais: Um novo conjunto de dados de 1850.J. Geophys. Res.,111, Qu, X. e A. Hall, 2013: Sobre a propagação persistente em neve-
D12106, doi:10.1029/2005JD006548. feedback de albedo.Clima Din.,42,69-81, doi:10.1007/
Caldwell, PM, CS Bretherton, MD Zelinka, SA Klein, s00382-013-1774-0.
BD Santer e BM Sanderson, 2014: Significado estatístico de Rougier, J., M. Goldstein e L. House, 2013: Segunda ordem
preditores de sensibilidade climática obtidos por mineração análise de permutabilidade para conjuntos multimodelo.
de dados.Geophys. Res. Lett.,41,1803-1808, doi:10.1002/ J. Amer. Estado. Associação,108,852-863, doi:10.1080/
2014GL059205. 01621459.2013.802963.
Dessai, S. e M. Hulme, 2004: A política de adaptação climática Sanderson, BM e R. Knutti, 2012: Sobre a interpretação de
precisa de probabilidades?Política Climática,4,107-128, doi:10.1080/ conjuntos de modelos climáticos restritos.Geophys. Res. Lett.,39,
14693062.2004.9685515. L16708, doi:10.1029/2012GL052665.
Evans, JP, F. Ji, G. Abramowitz, and M. Ekström, 2013: Opti- — — , — — e P. Caldwell, 2015: Abordando a interdependência em um
escolhendo mal os pequenos membros do ensemble para produzir conjunto multimodelo por interpolação das propriedades do modelo.
simulações climáticas robustas.Ambiente. Res. Lett.,8,044050, doi:10.1088/ J. Clima,doi:10.1175/JCLI-D-14-00361.1, na imprensa.
1748-9326/8/4/044050. Santer, B., e Coautores, 2009: Incorporando a qualidade do modelo in-
Fasullo, JT e KE Trenberth, 2012: Um futuro menos nebuloso: O formação em estudos de detecção e atribuição de mudanças
papel da subsidência subtropical na sensibilidade climática.Ciência, climáticas. Proc. Nacional Acad. Sci. EUA,106,14 778–14 783, doi:
338,792-794, doi:10.1126/ciência.1227465. 10.1073/pnas.0901736106.
Gleckler, P., K. Taylor e C. Doutriaux, 2008: Performance Stainforth, DA e Coautores, 2005: Incerteza nas previsões
métricas para modelos climáticos.J. Geophys. Res.,113,D06104, da resposta climática ao aumento dos níveis de gases de efeito estufa.
doi:10.1029/2007JD008972. Natureza,433,403-406, doi:10.1038/natureza03301.
Hall, A. e X. Qu, 2006: Usando o ciclo sazonal atual Taylor, KE, RJ Stouffer e GA Meehl, 2012: Uma visão geral da
para restringir o feedback do albedo da neve em futuras CMIP5 e o desenho do experimento.Touro. Amer. Meteoro. Soc.,
mudanças climáticas.Geophys. Res. Lett.,33,L03502, doi:10.1029/ 93,485-498, doi:10.1175/BAMS-D-11-00094.1.
2005GL025127. Tebaldi, C. e R. Knutti, 2007: O uso do modelo multimodelo
Jeffrey, M., L. Rotstayn, M. Collier, S. Dravitzki, C. Hamalainen, semble em projeções climáticas probabilísticas.Philos. Trans. Roy.
C. Moeseneder, K. Wong e J. Syktus, 2013: Austrália Soc.,365A,2053-2075, doi:10.1098/rsta.2007.2076.

Não autenticado | Transferido em 22/03/11 14:54 UTC


5194 DIÁRIO DE CLI MAT E VOLUME28

— — , JM Arblaster e R. Knutti, 2011: Acordo de modelo de mapeamento Wu, T. e Coautores, 2014: Uma visão geral do clima do BCC
sobre projeções climáticas futuras.Geophys. Res. Lett., desenvolvimento de modelo de sistema e aplicação para estudos de
38,L23701, doi:10.1029/2011GL049863. mudanças climáticas.J. Meteoro. Res.,28,34-56, doi:10.1007/
Volodin, EM, NA Dianskii, AV Gusev, 2010: Simulando s13351-014-3041-7.
clima atual com o modelo acoplado INMCM4.0 das circulações Yang, D., e OA Saenko, 2012: Transporte de calor oceânico e seus
gerais atmosférica e oceânica.Izv. Atmos. Física Oceânica,46, mudança projetada no CanESM2.J. Clima,25,8148-8163, doi:
414-431, doi:10.1134/S000143381004002X. Watanabe, M., e 10.1175/JCLI-D-11-00715.1.
Coautores, 2010: Simulação climática melhorada Yokohata, T. e Coautores, 2013: Confiabilidade e importância de
por MIROC5: Estados médios, variabilidade e sensibilidade climática. diversidade estrutural de conjuntos de modelos climáticos.Clima Din.,
J. Clima,23,6312-6335, doi:10.1175/2010JCLI3679.1. 41 (9–10), 2745–2763, doi:10.1007/s00382-013-1733-9.

Não autenticado | Transferido em 22/03/11 14:54 UTC

Você também pode gostar