Machine Translated by Google

Produção e Consumo Sustentáveis 40 (2023) 1–12

Listas de conteúdos disponíveis em ScienceDirect

Produção e Consumo Sustentáveis

página inicial da revista: www.elsevier.com/locate/spc

Desenvolver um quadro de avaliação baseado em indicadores para avaliar

a sustentabilidade da gestão da água urbana
Majid Namavar a, Mohammad Reza Alavi Moghaddam a,* , Mojtaba Shafiei b
a
Departamento de Engenharia Civil e Ambiental, Universidade de Tecnologia Amirkabir (AUT), Hafez Ave., Teerã 15875-4413, Irã
b
Departamento de Hidroinformática, East Water and Environmental Research Institute, Mashhad 9188737176, Irã

INFORMAÇÕES DO ARTIGO ABSTRATO

Editor: Prof. Idiano D'Adamo

Actualmente, as metrópoles de todo o mundo enfrentam obstáculos cruciais para alcançar a sustentabilidade da gestão da água, abrangendo
as alterações climáticas, a urbanização explosiva e o aumento das populações. Este estudo propõe um quadro para avaliar a sustentabilidade
Palavras-chave:
da gestão da água urbana (UWM), sublinhando a importância do envolvimento de especialistas na identificação de indicadores apropriados.
Gestão da água urbana (UWM)
O estudo adota um novo procedimento de duas etapas para triagem de mais de 300 indicadores candidatos. Inicialmente foi seguido um
Sustentabilidade
procedimento em duas fases, sustentado pelos critérios SMART. Na segunda etapa, foram selecionados 24 indicadores fit-to-purpose através
Indicadores
Critérios SMART do método fuzzy Delphi. O quadro é posteriormente finalizado categorizando os indicadores finais em sete categorias, nomeadamente

Delphi difuso “Segurança Hídrica”, “Qualidade da Água”, “Água Potável”, Saneamento e Reutilização, “Gestão Financeira”, “Governação” e “Risco”. e
Gestão de Desastres”, facilitando assim uma melhor compreensão e ligação das práticas de UWM entre as diversas partes interessadas. O
artigo demonstra a sua aplicação na cidade de Mashhad como um caso real. A rápida adopção do quadro proposto no Irão sublinha a sua
eficácia em facilitar às partes interessadas o cultivo do compromisso colectivo. Este quadro baseado em indicadores pode ajudar a identificar
compromissos essenciais em matéria de sustentabilidade. Além disso, também pode ser uma abordagem prática para reconhecer as
prioridades relacionadas com a água para alcançar a sustentabilidade da gestão da água urbana. O quadro sugerido pode inspirar uma maior
expansão dos quadros baseados em indicadores para a UWM.

1. Introdução abordagem multifacetada. A este respeito, os decisores políticos devem adoptar

A água está inextricavelmente ligada à saúde, ao crescimento e à prosperidade da
cidade (Mittal et al., 2022; Wan Rosely e Voulvoulis, 2023). No entanto, os recursos
hídricos estão sob imensa pressão como resultado de vários factores inter-relacionados,
incluindo a expansão contínua da população, a rápida urbanização, o envelhecimento
das infra-estruturas, a descarga de águas residuais e o aumento da procura de água
( Hadjikakou et al., 2019; Piadeh et al., 2018; Rogers et al., 2020). Por outro lado, a
qualidade da água potável está em perigo devido à eliminação de efluentes municipais e
industriais, resíduos sólidos urbanos, intrusão de água salgada e contaminação por
pesticidas em muitos locais. Por um lado, as decisões de gestão sobre a política hídrica,
especialmente nos países em desenvolvimento, são tipicamente reativas e politizadas,
levando a uma cascata de questões novas (Koop et al., 2022). Estes desafios evitáveis
ofuscaram a implementação adequada das funções de gestão da água urbana (UWM).
Consequentemente, a transição para a UWM sustentável é necessária para garantir o
futuro dos sistemas de água urbanos.
A UWM sustentável é uma questão complexa e desafiadora que requer uma
continuamente medidas para aumentar a resiliência e a adaptabilidade dos sistemas de
água urbanos. Para enfrentar este desafio, várias políticas do sistema de água urbano
devem ser cuidadosamente examinadas e avaliadas, ao mesmo tempo que equilibram
objectivos sociais, económicos e ambientais conflituantes.
Além disso, a incerteza em torno dos desenvolvimentos futuros pode impactar os
fundamentos técnicos e sociais dos UWM, aumentando a complexidade da tomada de
decisões (Pokhrel et al., 2023). Neste sentido, os indicadores têm sido defendidos como
uma ferramenta que pode auxiliar o processo de tomada de decisão.
Os indicadores são reconhecidos como ferramentas valiosas para reduzir a
ambiguidade; avaliar o desempenho dos sistemas; auxiliar no processo de tomada de
decisão; fornecer aviso prévio; rever a eficácia das políticas e programas; e avaliar as
abordagens em relação à sociedade prevista (Berger et al., 2023; Makropoulos et al.,
2008; Rogers et al., 2020; Singh et al., 2009). Os indicadores podem ajudar a simplificar
grandes quantidades de informações e dados sobre a sociedade, o ambiente e a
economia num punhado de estatísticas. Além disso, a avaliação baseada em indicadores

* Autor correspondente.
Endereço de e-mail: alavim@yahoo.com (MRA Moghaddam).

https://doi.org/10.1016/j.spc.2023.06.006 Recebido em
14 de março de 2023; Recebido em formato revisado em 3 de junho de 2023; Aceito em 6 de junho de 2023.
Disponível online em 12 de junho de 2023.
2352-5509/© 2023 Instituição de Engenheiros Químicos. Publicado pela Elsevier Ltd. Todos os direitos reservados.
Machine Translated by Google
M. Namavar et al.
os quadros têm o potencial de servir como ferramentas eficazes de apoio a políticas e
decisões, ajudando a comunicar informações científicas a diversos grupos de partes
interessadas e a traduzir dados em conhecimento acionável (Sha-fiei et al., 2022).
Quadros baseados em indicadores foram desenvolvidos em diversas disciplinas,
como saúde, gestão ambiental, gestão de recursos hídricos e agricultura (Mohsin et al.,
2019; Shafiei et al., 2022).
No contexto da UWM, vários conjuntos de indicadores foram estabelecidos durante as
últimas duas décadas (resumidos na Tabela 1). Um exemplo bem conhecido chamado
City Blueprint desenvolvido pelo grupo de pesquisa van Leeuwen (Feingold et al., 2018;
Koop e van Leeuwen, 2015) contém City Blueprint Framework (CBF), Governance
Capacity Framework (GCF) e Trend and Pressure Framework. (TPF) que auxiliam na
identificação dos desafios enfrentados pelas cidades e seu desempenho em relação à
gestão de água e resíduos. A CBF é composta por 25 indicadores divididos em
Tabela 1
Resumo de estudos recentes sobre avaliação baseada em indicadores de sustentabilidade em escala de água urbana. (O ENV, SOC, ECO, INS, FUN, INF e GOV referem-se a Ambiental, Social,
Económico, Institucional, Funcional, Infraestrutura e Governança, respetivamente).
1:NM: não mencionado.
2
Produção e Consumo Sustentáveis 40 (2023) 1–12
oito categorias podem fornecer uma avaliação sustentável do ciclo urbano da água
(Feingold et al., 2018; Koop e van Leeuwen, 2015).
Outro exemplo bem conhecido é o índice de planejamento da água para o
desenvolvimento (WDPI), que foi estabelecido com base no conceito de UWM integrado
e na estrutura pressão-estado-resposta (PSR) para apoiar o processo sustentável de
planejamento hídrico urbano (Maurya et al., 2020).
Recentemente, o Índice de Cidades Sensíveis à Água (WSC), com 34 indicadores
organizados em sete objetivos, foi apresentado para avaliar a sensibilidade das cidades
à água (Rogers et al., 2020). Octavianti e Staddon (Octavianti e Staddon, 2021)
analisaram mais de 100 quadros baseados em indicadores relacionados com a
segurança hídrica, a maioria dos quais à escala urbana. Uma contribuição significativa
para a investigação sobre segurança hídrica urbana foi feita pela equipa liderada pelo
grupo de estudo Alavijeh (Alavijeh et al., 2021). O seu trabalho resultou na designação
de um quadro que compreende 12 indicadores utilizados para avaliar o estado da
segurança hídrica em
Machine Translated by Google

M. Namavar et al. Produção e Consumo Sustentáveis 40 (2023) 1–12

Áreas urbanas iranianas.
Todos os quadros descritos na Tabela 1 fornecem perspetivas esclarecedoras para
avaliar a sustentabilidade da UWM, mas não consideram plenamente os aspetos
institucionais ou de governação, que são cruciais para uma avaliação extensa. Embora
estes dois aspectos tenham sido examinados em três estudos (Chang et al., 2020;
Koop e van Leeuwen, 2015; van Leeuwen et al., 2012), eles não são independentes e
foram ofuscados pelos três aspectos principais (ambiental, social e econômico). Em
apenas três estudos (Tabela 1), as partes interessadas e os especialistas desempenharam
um papel vital no processo de seleção de indicadores, utilizando métodos como
entrevistas (Boukhari et al., 2017; Carden e Armitage, 2013; Ozerol et al., 2020). ¨Esses
métodos podem não ser apropriados para selecionar
indicadores, especialmente em países em desenvolvimento como o Irão, devido à
experiência limitada, à má administração, à falta de transparência e ao acesso aos dados.
Portanto, é imperativo estabelecer um quadro abrangente de avaliação da sustentabilidade
que englobe os quatro aspectos críticos ambientais, económicos, sociais e institucionais.
Para além do défice estrutural em fornecer um quadro abrangente de aspectos para
avaliar a sustentabilidade da água urbana, ainda não existe uma abordagem estipulada
e organizada centrada no envolvimento de múltiplas partes interessadas para determinar
o conjunto de indicadores apropriados.
O objetivo principal deste artigo é duplo: (a) Propor uma estrutura baseada em
indicadores para a avaliação da sustentabilidade da UWM que garanta com sucesso o
envolvimento de especialistas na seleção de indicadores através de um

Passo 1

Passo 2

etapa 3

Pré-

Passo 4

Método

Figura 1. Estrutura desenvolvida para a seleção de indicadores de sustentabilidade.

3
Machine Translated by Google
M. Namavar et al.
procedimento sistemático passo a passo. (b) Implementação do quadro proposto num
estudo de caso real (Mashhad, Irão) como pedra angular para demonstrar a aplicabilidade
do quadro. Para tanto, são aplicados critérios SMART (Específico, Mensurável, Atingível,
Relevante e Time-bound) e o método fuzzy Delphi (FDM) para selecionar os indicadores
finais. Os critérios SMART estão entre os mais frequentemente aplicados para reconhecer
indicadores adequados à finalidade. O FDM é uma técnica bem estabelecida e confiável,
amplamente utilizada em pesquisas científicas para a construção de consenso entre
especialistas para identificar itens apropriados, como indicadores.
2. Metodologia
O estudo empregou uma abordagem em duas etapas, conforme ilustrado na Figura
1, para determinar indicadores adequados para a gestão sustentável da água urbana
(UWM). Um conjunto de potenciais indicadores foi identificado na fase inicial de pré-
seleção (Secção 2.1). Posteriormente, os indicadores finais foram selecionados utilizando
o FDM (Seção 2.2). Finalmente, o estudo de caso real é apresentado na Seção 2.3.
2.1. Fase de pré-triagem
A revisão da literatura revelou que mais de 300 indicadores foram utilizados em vários
quadros e estudos. Assim, elaboramos um procedimento sistemático para identificar
potenciais indicadores para avaliar a sustentabilidade da UWM em colaboração com um
painel diversificado de sete especialistas da academia, empresas de consultoria em água,
especialistas ambientais e sociais e organizações governamentais. Estes indivíduos
foram seleccionados com base no seu amplo conhecimento e experiência na gestão da
água e na sua capacidade de influenciar directa ou indirectamente os processos de
tomada de decisão. A experiência e compreensão combinadas dos membros do painel
garantem que os indicadores escolhidos não são apenas cientificamente rigorosos, mas
também têm relevância prática em situações reais de gestão da água. Os indicadores
seleccionados através deste processo reflectem uma compreensão clara das
complexidades e desafios envolvidos na UWM de forma sustentável. Neste contexto, a
fase de pré-seleção abrange quatro etapas principais, que incluem:
Passo 1: indicadores referentes ao mesmo conceito foram agrupados para identificar
eventuais redundâncias ou sobreposições de significado (Faut et al., 2023; Zong et
al., 2022). Esta etapa foi concebida para evitar a recolha de indicadores duplicados
ou semelhantes, o que pode levar a tempo e esforço desnecessários despendidos na
recolha e análise de dados. Para atingir esse objetivo, o painel de especialistas
determinou três fatores no agrupamento dos indicadores: o nome, a descrição e a
fórmula de cálculo (se o indicador for quantitativo). Consequentemente, foram
consolidadas aquelas que foram consideradas redundantes ou sobrepostas. Esta
abordagem permitiu uma seleção de indicadores mais ágil e focada, aumentando a
eficiência e a precisão da análise de dados subsequente.
A disposição do painel de especialistas reduziu a possibilidade de viés ou favoritismo
na seleção dos indicadores nesta fase. Por exemplo, se o painel contivesse apenas
indivíduos de um sector, como agências governamentais, poderia haver a possibilidade
de serem priorizados tipos específicos de indicadores, dependendo do conhecimento ou
experiência do painel.
Tabela 2
Esta questão poderia levar à exclusão de indicadores essenciais que não se alinham com
Definição dos critérios SMART para seleção de indicadores (Bertule et al., 2017).
a estrutura preferida do painel. Assim, o painel de especialistas de diversas origens e
sectores foi reunido para garantir que uma ampla gama de perspectivas e conhecimentos
fossem considerados no agrupamento de indicadores, minimizando o risco de qualquer
perspectiva única dominar o processo. Como tal, os indicadores selecionados são
abrangentes e relacionados com as diversas necessidades e prioridades das partes
interessadas envolvidas nas práticas de UWM na primeira fase.
Passo 2: a adequação dos indicadores para a aplicação pretendida é uma questão
generalizada que tem impacto nos esforços de monitorização e avaliação em todos
os níveis, desde a tomada de decisão local até à
4
Produção e Consumo Sustentáveis 40 (2023) 1–12
metas globais (Brown et al., 2023). Consequentemente, é evidente que certos
indicadores, apesar de receberem ampla atenção na investigação académica, podem
não ser necessariamente adequados para implementação prática. Por outro lado,
certos indicadores que são altamente compatíveis com a aplicação prática podem
não ter sido extensivamente examinados em estudos de investigação (Liu et al.,
2020). Durante esta fase, foi realizada uma avaliação abrangente para avaliar a
adequação dos indicadores.
capacidade, particularmente à escala da água urbana. O sistema de água urbano
compreende vários componentes, tais como abastecimento de água e reciclagem, e
vários indicadores de sustentabilidade foram estabelecidos para aplicações que vão
desde o nível da cidade até estações individuais de tratamento de águas residuais.
No entanto, certos indicadores utilizados para avaliações a nível micro de
componentes específicos, tais como estações de tratamento de águas residuais,
podem não ser relevantes para este estudo, que adopta uma perspectiva macro e
holística do sistema de água urbano. Assim, foi realizada uma avaliação meticulosa
para verificar a adequação de cada indicador à luz dos objetivos e escopo da pesquisa.
Passo 3: O terceiro passo envolveu a implementação dos critérios SMART, que
compreende um conjunto de cinco padrões amplamente reconhecidos.
Os critérios SMART são um procedimento amplamente aceite e teoricamente simples
para avaliar a qualidade dos indicadores. A definição dos critérios apresentada na
Tabela 2 auxilia na identificação de indicadores adequados à finalidade, garantindo
que atendam aos requisitos. Esta abordagem evita o desperdício de recursos na
aquisição e análise de dados sem contribuição ou com baixo valor financeiro (Bertule
et al., 2017; Selvik et al., 2021). No final desta fase, foi estabelecido um sistema de
circuito fechado para garantir a avaliação abrangente de todos os potenciais
indicadores. A este respeito, se um determinado indicador não cumprisse os critérios
SMART, outro indicador dentro do mesmo cluster era escolhido como substituto e o
processo de avaliação era reiniciado desde o início (conforme ilustrado na Figura 1).
Este ciclo é repetido até que um indicador atenda aos requisitos das etapas 1 e 2 ou
não haja mais indicadores no cluster examinado. A avaliação
O processo pode ser demorado, uma vez que cada indicador de um cluster é avaliado
em reuniões presenciais e online pela equipa de investigação e pelo painel de
especialistas, mas esta abordagem meticulosa garante que nenhum indicador
candidato seja ignorado sem consideração.
Etapa 4: nesta etapa foram realizadas entrevistas com um painel de especialistas
para avaliar a compatibilidade dos demais indicadores com as condições locais.
Foram avaliadas a relevância e elegibilidade dos indicadores para avaliar a
sustentabilidade das regiões áridas e semiáridas do Irã. Os indicadores de baixa
importância foram excluídos com base no interrogatório dos especialistas. Por
exemplo, considerando factores como os preços da energia, o indicador “recuperação
energética de resíduos sólidos” (Koop e van Leeuwen, 2015) pode ser altamente útil
em países industrializados como os países europeus. Contudo, num país como o
Irão, onde os custos de electricidade são escassos ou a utilização de aterros é uma
opção popular, este indicador pode ter pouca importância. Portanto, as opiniões dos
especialistas foram cuidadosamente consideradas para garantir que os indicadores
selecionados fossem relevantes e apropriados para o contexto local.
Critério Definição
Específico O indicador mede com precisão o que se pretende medir.
Mensurável
É fornecida uma definição precisa do indicador e a interpretação das medições é
inequívoca.
Os dados são essenciais para que o indicador esteja disponível ou possam ser
Alcançável
extraídos de informações existentes.
O indicador é relevante para os objetivos de avaliação da sustentabilidade da UWM e
Relevante fornece as informações necessárias para a tomada de decisões e gestão.
Tempo O indicador monitoriza as mudanças durante um período especificado e fornece os dados
limite necessários para acompanhar o progresso em direção às metas.
Machine Translated by Google
M. Namavar et al.
2.2. Método Fuzzy Delphi (FDM)
O método Delphi é uma técnica de comunicação em grupo que utiliza questionários para
adquirir informações e gerar consenso entre especialistas/partes interessadas (Danacÿ e
Yÿldÿrÿm, 2023; Shafiei et al., 2022; Tuni et al., 2023). Em inúmeras pesquisas, a técnica
Delphi tem sido utilizada para seleção de indicadores (Ocampo et al., 2018; Padilla-Rivera et
al., 2021; Shafiei et al., 2022). Contudo, a técnica Delphi tradicional pode resultar em baixa
convergência e supressão de opiniões de especialistas (Ribeiro, 1996). O FDM é uma versão
modificada do método Delphi tradicional que utiliza lógica fuzzy para representar as opiniões
dos especialistas na forma de variáveis linguísticas. O uso de números fuzzy permite que os
especialistas expressem seus níveis de confiança em suas respostas, fornecendo uma
representação mais precisa da incerteza no processo de tomada de decisão. A introdução
da teoria dos conjuntos difusos aumentou a eficiência do FDM em comparação com o Delphi
tradicional.
Outra vantagem significativa do FDM é a redução da ambiguidade, do número de rodadas
e do custo e tempo gasto para chegar a um consenso (Ali et al., 2022; Mohammadfam et
al., 2019; Padilla-Rivera et al., 2021). . Neste artigo, o FDM foi aplicado para selecionar
indicadores adequados para avaliar a sustentabilidade da UWM. O procedimento do FDM
para seleção dos indicadores finais é resumido da seguinte forma:
1. Foi elaborado um questionário, incluindo indicadores de candidatos
derivado da fase de pré-triagem.
2. Recolher as opiniões do grupo de decisão: onze participantes (ver Tabela 3) foram
convidados a avaliar a importância de cada indicador no questionário do inquérito
utilizando variáveis linguísticas (ver Tabela 4).
3. Calcular números fuzzy: os números fuzzy triangulares (TFN) para cada indicador
candidato foram calculados para agregar julgamentos de todos os K participantes com a
Eq. (1):
/k
ÿ (1)
, maxk ( ck iU)
ÿi = (ail.biM.ciU) = ( vison ( ak iL) , (ÿk k=1 ( bk eu) )1 ÿ uma capacidade total de 263.000 m3/dia, e 215.000 m3/dia desta capacidade estão
onde ÿi é o número fuzzy triangular agregado; ail é o mínimo das avaliações periciais; biM
é a média geométrica de todas as avaliações de especialistas e ciU é o máximo das
avaliações de especialistas para cada indicador candidato i.
4. Defuzzificação: cada número difuso do triângulo foi convertido em um não difuso (Eq.
(2)).
(ail + 2biM + ciU)
DFi =
4 3. Resultados
5. Definir um valor limite: Um valor limite (ÿ) foi estabelecido para selecionar os indicadores
finais. Vários fatores, incluindo a escala de idioma e as preferências do usuário,
determinam o valor limite. (Shen et al., 2010).
No presente estudo, foi definido ÿ = 5,6 para a escala 9-fuzzy (Tabela 4) conforme
sugestão de pesquisadores anteriores (Padilla-Rivera et al., 2021; Zhang, 2017). O
processo de triagem dos indicadores finais é o seguinte:
DFi ÿ ÿÿentão o indicador é selecionado
Tabela 3
Posições dos especialistas em que o questionário está distribuído entre eles.
Posição dos especialistas
Ministério da Energia
Companhia de Água e Águas Residuais da Cidade de Mashhad
Academia da Companhia de Água e Águas Residuais do Irã
Empresas de consultoria em água e águas residuais
Produção e Consumo Sustentáveis 40 (2023) 1–12
Tabela 4
Escala de Avaliação Linguística.
Variável linguística Número difuso
Muito importante (1,1,3)
Importante (1,3,5)
Moderado (3,5,7)
Sem importância (5,7,9)
Muito sem importância (7,9,9)
(Adaptado de (Nasrollahi et al., 2023; Zhang, 2017)).
DFi < ÿÿentão o indicador é rejeitado (4)
2.3. Descrição da área de estudo de caso
A República Islâmica do Irão enfrenta um problema premente de escassez de água,
principalmente devido a secas frequentes e ao uso excessivo de águas superficiais e
subterrâneas, especialmente em torno das zonas urbanas (Madani et al., 2016).
O esgotamento dos recursos hídricos resultou no declínio dos níveis das águas subterrâneas
e na subsidência da terra. O Irão depende fortemente dos recursos hídricos subterrâneos,
que representam quase 50% do abastecimento de água potável do país. Devido ao
crescimento económico e populacional, a crescente procura de água levou a um aumento na
extracção de águas subterrâneas. Tal como outras nações em desenvolvimento que registam
um rápido crescimento populacional, o Irão está a testemunhar um afluxo substancial de
indivíduos que migram das áreas rurais para as urbanas (Alavijeh et al., 2021).
Mashhad, capital da província de Razavi Khorasan, é a segunda maior cidade do Irã.
Está geograficamente localizado entre 36ÿ 15ÿ –36ÿ
20ÿ de latitude norte e 59ÿ 30ÿ –59ÿ 40ÿ de longitude leste, aproximadamente 850 km a
nordeste de Teerã. A cidade abrange uma área de 280 km2 com uma altitude de 985 m
acima do nível do mar (ilustrado na Fig. 2). A população da cidade ultrapassa os 3 milhões e
prevê-se que mais de 20 milhões de turistas visitem a cidade anualmente. O consumo de
água é superior a 468 mil m3/dia, a maior parte fornecida por 422 poços e fontes subterrâneas.
Da mesma forma, foram construídas cinco estações de tratamento de águas residuais com
atualmente operacionais (Mashhad, 2020).
Mashhad enfrenta obstáculos formidáveis ao abastecimento de água, provenientes
predominantemente de águas subterrâneas e de recursos hídricos superficiais.
Os desafios das cidades em relação à sustentabilidade da água são agravados pelo
crescimento populacional e pela subsidência de terras, intensificando assim a urgência da
questão para os administradores municipais e os governos regionais e nacionais no Irão.
(2)
Nesta secção, o conjunto final de indicadores é determinado na Secção 3.1 e, em
seguida, o quadro proposto é finalizado (Secção 3.2). Além disso, a aplicação do framework
é demonstrada no estudo de caso real na Seção 3.3.
3.1. Indicadores finais selecionados
Após uma revisão da literatura, o procedimento de pré-seleção em quatro etapas,
(3) conforme discutido na Seção 2.1, foi realizado para fornecer uma perspectiva mais ampla
sobre a qualidade e os indicadores potenciais a serem usados na avaliação de
sustentabilidade da UWM. Este processo permitiu-nos identificar 38 indicadores potenciais,
que foram posteriormente utilizados para desenvolver o questionário difuso do inquérito
Delphi na segunda etapa do nosso estudo (Tabela 5).
Em seguida, o número de defuzzificação para cada indicador foi obtido analisando as
Frequência informações coletadas dos questionários de pesquisa distribuídos e comparando-as com o
2
valor limite selecionado (ÿ = 5,6) e, finalmente, 24 indicadores foram retidos.
2
1 A seleção de um valor limite é crucial na exclusão de indicadores, uma vez que
5
alterações neste valor podem impactar significativamente o número de indicadores
1
selecionados (Padilla-Rivera et al., 2021). Neste estudo, dois limites
5
Machine Translated by Google
M. Namavar et al.
Figura 2. Localização de Mashhad no Irã (Mashhad, província de Razavi Khorasan, Irã).
valores (ÿ1 = 5,1 e ÿ2 = 6,1) foram utilizados conforme estudos semelhantes (Ocampo et
al., 2018; Padilla-Rivera et al., 2021) para realizar a análise de sensibilidade. Conforme
mostrado na Figura 3, o número total de indicadores aceitos sofreu alterações substanciais,
visto que com ÿ1 = 5,1 e ÿ2 = 6,1, o número de indicadores era 36 e 12, respectivamente.
Estas conclusões sublinham a sensibilidade da lista final de indicadores às variações nos
valores limiares.
3.2. Finalizando a estrutura de avaliação de sustentabilidade da UWM
Dada a complexidade e as múltiplas características dos elementos que afectam a
UWM, um quadro bem estruturado, moldado pela organização de vários indicadores em
categorias relacionadas, pode fornecer uma melhor imagem do estado actual do sistema.
Esta abordagem facilita uma análise mais sistemática e organizada e permite o
desenvolvimento de intervenções direcionadas para melhorar a sustentabilidade da
UWM. Além disso, o quadro proporciona uma ligação fiável à selecção final de indicadores,
convenientemente interpretáveis por gestores ou decisores políticos. Definimos sete
categorias distintas para classificar os indicadores selecionados, consistindo em
“Segurança Hídrica”, “Qualidade da Água”, “Água Potável”, “Saneamento e Reúso”,
“Gestão Financeira”, “Governança” e “Risco e Desastres”. gestão” (Tabela 6).
Além disso, foram utilizadas três abordagens distintas de normalização para converter
diferentes valores de indicadores em escalas comparáveis ou medidas sem unidades:
“reescalonamento contínuo”, “escala de pontuação ordinal” e “autoavaliação”. A
abordagem de reescalonamento contínuo é usada neste artigo para normalizar indicadores
quantitativos de modo que a Eq. (5) é para indicadores maiores e melhores, Eq. (6) é
para indicadores de que menos é melhor. Como resultado, os valores normalizados ficam
abaixo do intervalo [0, 1] (Juwana et al., 2012; Shafiei et al., 2022):
xi ÿ xmin
si = (5)
xmáx ÿ xmín
xi ÿ xmin
si = 1 ÿ (6)
xmax ÿ xmin
onde si é o valor normalizado, xi é o valor real e xmin e xmax são os valores limite mínimo
e máximo possíveis de cada indicador.
Uma escala de pontuação ordinal é caracterizada como uma coleção de valores que
exibem uma sequência ou hierarquia reconhecível (por exemplo, 1, 2, 3, 4, 5), embora
6
Produção e Consumo Sustentáveis 40 (2023) 1–12
faltando uma representação quantitativa precisa dos intervalos entre valores vizinhos
(Arvidsson, 2019). Por fim, o presente estudo utilizou a autoavaliação, que envolveu o
julgamento dos autores na pontuação dos indicadores qualitativos com base em
entrevistas e informações disponíveis. A falta de séries de dados contínuas e actualizadas
para medir indicadores qualitativos nas categorias “Governação” e “Gestão de riscos e
desastres” foi uma preocupação significativa desde as fases iniciais.
Assim, aplicamos vários fatores qualitativos oferecidos por (van Leeuwen et al., 2012),
que são fornecidos com mais detalhes na Tabela 7.
3.3. Aplicação de estudo de caso ilustrativo
A estrutura proposta é aplicada para avaliar o estado atual da sustentabilidade do
Mashhad UWM. As pontuações dos indicadores foram determinadas utilizando estatísticas
e dados do ano hídrico de 2020–2021. A pontuação de normalização dos indicadores foi
decidida numa escala de 1 (um desempenho catastrófico que requer mais atenção das
partes interessadas e dos decisores políticos) a 5 (um desempenho excepcional).
A apresentação em teia de aranha das 24 classificações dos indicadores, conforme
ilustrado na Fig. 4, fornece uma imagem instantânea dos obstáculos de sustentabilidade
do Mashhad UWM. Como resultado, este tipo de apresentação sucinta poderia ser um
substituto eficaz para longos relatórios para os principais intervenientes. As conclusões
revelaram que quatro indicadores (quase 17% de todos os indicadores) obtiveram uma
pontuação máxima. Estes indicadores de pontuação máxima foram “Acesso à água
potável”, “Consumo de água potável”, “Gestão e planos de acção” e “Medidas de eficiência
hídrica”, correspondendo aos indicadores 7, 11, 20 e 22, respectivamente. Além disso, os
outros seis indicadores (25% do total de indicadores) alcançaram pontuações de quatro
ou superiores (número de indicadores: 6, 10, 12, 14, 15 e 21), indicando o desempenho
impressionante do Mashhad nestas áreas.
Em contrapartida, os dois indicadores “escassez hídrica” e “disponibilidade hídrica”
receberam as pontuações mais baixas possíveis, representando apenas 8% do total dos
indicadores. As pontuações baixas destes indicadores destacam a realidade das decisões
macropolíticas relacionadas com a gestão da água ao longo das últimas décadas. A falta
de uma liderança eficaz e de uma tomada de decisão emocional levou a que se centrasse
no fornecimento de recursos hídricos de todas as formas possíveis. No entanto, esta
abordagem resultou num grave esgotamento das águas subterrâneas, na incerteza do
abastecimento de água e na deterioração das infra-estruturas na cidade de Mashhad.
Adicionalmente, três indicadores, nomeadamente “Consciência pública”, “Existência de
planos de acção para redução de riscos e preparação”,
Machine Translated by Google

M. Namavar et al. Produção e Consumo Sustentáveis 40 (2023) 1–12

Tabela imagem da sustentabilidade da UWM na cidade de Mashhad.

5 Lista de indicadores selecionados e excluídos. No final, as recomendações estratégicas foram apresentadas aos decisores para
considerarem as questões mais cruciais no planeamento futuro da UWM após a
Indicadores Média Defuzzificação Decisão
difusa implementação do quadro proposto em

5,83 Cidade de Mashad:

1. Escassez de (1,6,67,9) Aceitaram
água 2. Disponibilidade (1,7,37,9) 6,18 Aceitaram
de água 3. Dependência (1,6,23,9) 6,89 Aceitaram • Criar um equilíbrio entre a oferta e a procura de água da cidade (de acordo com os
de água 4. Consumo de água potável (3,7,78,9) 5,61 Aceitaram indicadores nº 1, 2 e 3) • Desenvolver políticas para sensibilizar
5. Consumo médio de energia para
(1,5,91,9) 5,45 Rejeitado a comunidade (de acordo com o
tratamento de água

6,44 indicador com o nº 18)

6. Qualidade das águas (3,6,89,9) Aceitaram
superficiais 7. Qualidade das (1,6,94,9) 5,97 Aceitaram • Preparação de protocolos abrangentes para gestão de riscos e crises e aumento da
águas subterrâneas 8. Qualidade (5,7,66,9) 7,33 Aceitaram preparação contra as mudanças climáticas (de acordo com os indicadores nº 23, 24)
da água potável 9. Acesso à água (5,8,21,9) 7,6 Aceitaram
potável 10. Número de reclamações sobre
(1,5,73,9) 5,36 Rejeitado
serviços

11. Número de uso ilegal de água 12. (1,6,78,9) 5,89 Aceitaram

4. Discussão
Vazamentos no sistema de água (1,6,23,9) 5,61 Aceitaram
13. Idade média da rede de distribuição de água A estrutura adotada neste estudo é uma abordagem baseada em indicadores construída
(3,6.14,9) 6.07 Aceitaram
14. Acesso
ao saneamento 15. Idade 6,89
em pesquisas anteriores, como
¨ (Aboelnga et al., 2020; Koop et al., 2022; Maurya et al.,
(3,7,78,9) Aceitaram
média do esgoto 16. (1,5,3,9) 5.15 Rejeitado 2020; Ozerol et al., 2020; Pokhrel et al., 2020; Pokhrel et al., 2020; al., 2023; Rogers et al.,
Separação de águas residuais e 2020; van Leeuwen et al., 2012; Chapagain et al., 2022; Grison et al., 2023; Molinos-
(1,5,43,9) 5.21 Rejeitado
águas pluviais
Senante et al., 2016; Venkatesh e Brattebø, 2013; Willuweit e O'Sullivan, 2013; Zhang et
18. ETAR secundária 19. ETAR (3,6,68,9) 6,34 Aceitaram
al., 2023) que transmite uma perspectiva holística da condição actual da UWM, permitindo
terciária 20. Utilização de (1,5,95,9) 5,47 Rejeitado
(1,7,04,9) 6.02 a avaliação da sustentabilidade à escala urbana. O foco principal do desenvolvimento do
água reciclada 21. Consumo médio de Aceitaram
energia para tratamento de águas residuais quadro proposto é o procedimento de seleção de indicadores envolvendo vários atores.
(1,5,81,9) 5.4 Rejeitado
Este procedimento significa uma nova descoberta neste estudo, diferenciando-o de
22. Rácio de cobertura de custos (1,5,95,9) 5,47 Rejeitado pesquisas anteriores. Por outro lado, a implementação do procedimento de selecção
operacionais 23. Dotação orçamental para
(1,4,91,9) 4,95 Rejeitado participativa de indicadores revelou muitos benefícios imprevistos que não teriam sido
mitigação de
riscos hídricos (1,5,6,9) 5.3 Rejeitado descobertos se a nossa equipa os tivesse seleccionado apenas. Em resumo, o feedback
urbanos 24. Tarifa de água (1,5,69,9) 5,34 Rejeitado dos especialistas e das principais partes interessadas que participaram no procedimento
25. Tarifa de águas residuais (1,6,88,9) 5,94 Aceitaram de seleção de indicadores revelou: (1) ajudar o grupo a desenvolver um entendimento
26. Eficiência económica (1,6,78,9) 5,89 Aceitaram
acordado sobre a gestão do seu sistema de água; (2) melhor compreensão do grupo sobre
27. Pressão económica (5,7,66,9) 7.33 Aceitaram
4.9 os princípios, conceitos e soluções de sustentabilidade da UWM; (3) Facilitou o grupo no
28. Consciencialização (1,4,8,9) Rejeitado
pública 29. Participação pública 30. desenvolvimento de um conjunto comum de metas ambiciosas para o seu futuro UWM; (4)
Existência de quadro participativo (3,6,68,9) 6,34 Aceitaram apresentou as pessoas que podem colaborar para alcançar a sustentabilidade da UWM; e
e directrizes (5) permitiu discussões intersetoriais inovadoras entre os tomadores de decisão.
operacionais 31. Planos de gestão e ação (1,6,88,9) 5,94 Aceitaram
32. Existência de planos abrangentes e
diretrizes transparentes sobre serviços (3,6,53,9) 6.26 Aceitaram
públicos
de água 33. Medidas de eficiência (1,6,42,9) 5,71 Aceitaram A falta de um sistema de gestão e de mecanismos de governação adequados
hídrica 34. Percentagem de conformidade da
desempenha um papel vital no mau estado dos recursos hídricos do Irão. Por outras
estação de tratamento de águas residuais (3,7.21,9) 6.6 Aceitaram
palavras, a governação fragmentada é uma das principais causas da gestão da água
com os regulamentos
atuais 35. Existência de mecanismos e baseada em silos e de julgamentos erróneos, quer à escala nacional quer à escala
procedimentos para avaliar o
5.5
municipal. Por exemplo, o Ministério da Energia do Irão é responsável por estabelecer uma
(1,6.01,9) Rejeitado
desempenho das unidades do sistema de política hídrica e fornecer água aos sectores doméstico, agrícola e industrial, bem como
água urbano
gerar energia hidroeléctrica, tratar águas residuais e recolher estatísticas sobre recursos
36. Existência de planos de ação para
(1,6,28,9) 5,64 Aceitaram
redução de riscos e preparação hídricos.
37. Gestão de crises no sistema de O Departamento do Meio Ambiente do Irã também é responsável pela conservação do
(1,7,26,9) 6.13 Aceitaram
água meio ambiente, incluindo plantas e animais (Mosaffaie et al., 2021). Para abordar as
37. Gestão de crises no sistema de
(1,7,26,9) 6.13 Aceitaram complexidades do processo de tomada de decisão e planeamento no Irão, organizar a
água
5.29 situação caótica de gestão da água é o primeiro passo para alcançar a sustentabilidade da
38. Gestão inteligente da água nas cidades (1,5,59,9) Rejeitado
UWM.
Em comparação com a pesquisa anterior, uma das diferenças mais notáveis no nosso
e “Gestão de crises nos sistemas hídricos” receberam pontuação igual ou inferior a 2, estudo é a modificação das metas delineadas na Tabela 6 para incluir a medição de
indicando a necessidade de mais atenção no planeamento a curto e longo prazo. indicadores. Estes ajustamentos estão alinhados com os planos e políticas plurianuais e
passo a passo do Irão para a UWM. Neste contexto, consideramos três fatores críticos,
Compreender as compensações entre desafios específicos de sustentabilidade e as que incluem: (1) Precisão: ajustar os valores-alvo para cima ou para baixo pode levar à
políticas relacionadas é outro benefício da aplicação deste quadro. Por exemplo, uma subestimação ou superestimação do fenômeno medido; (2)
pontuação baixa no indicador “Conscientização pública” (pontuação = 2) influenciou
substancialmente o uso não autorizado de água, diminuindo os recursos hídricos disponíveis Comparabilidade: a alteração dos valores-alvo também pode ter impacto na comparabilidade
e aumentando a dependência da cidade do transporte aquático para satisfazer suas dos dados ao longo do tempo ou em vários locais; e (3) Implicações políticas: a alteração
demandas. Por outro lado, as pontuações elevadas dos indicadores “Acesso ao dos níveis-alvo pode afectar várias recomendações ou acções políticas. Portanto, uma
saneamento” e “Utilização de água reciclada” (pontuação = 4,2) podem fornecer aos revisão abrangente dos documentos nacionais e locais levou-nos a decidir modificar valores-
decisores políticos informações valiosas para o desenvolvimento de estratégias eficazes alvo específicos. É importante notar que a consulta de especialistas foi fundamental para
que equilibrem o consumo de água e os recursos disponíveis através da utilização de fornecer perspectivas valiosas de profissionais com o seu conhecimento especializado e
águas residuais tratadas. Estas conclusões indicam que o quadro proposto revela-se útil experiência neste campo.
para traçar uma visão ampla

7
Machine Translated by Google
M. Namavar et al.
Figura 3. Análise de sensibilidade do valor limite de alteração.
As normas e regulamentações regionais também podem impactar consideravelmente
qualquer estrutura de avaliação da gestão de recursos hídricos (GRR). Dado que muitos
países aplicam os seus procedimentos, regulamentos e normas para a gestão dos
recursos hídricos, estas diferenças podem influenciar a interpretação e comparabilidade
dos dados entre áreas. Por exemplo, vários locais têm diretrizes diferentes sobre o que
constitui quantidades “seguras” de contaminantes na água. Para resolver esta questão,
qualquer quadro concebido para avaliar a GRH deve considerar a variação regional. Esta
solução pode garantir que os dados recolhidos sejam devidamente analisados e
comparados para cada local. Além disso, o quadro pode ser concebido de forma flexível
para se adaptar às situações regionais. Por exemplo, o quadro proposto incorpora um
método para calcular indicadores qualitativos concebido para se ajustar a diferentes
padrões e directrizes regionais.
O quadro proposto apoia os Objectivos de Desenvolvimento Sustentável (ODS) das
Nações Unidas, especialmente as metas do ODS6: Garantir a disponibilidade e a gestão
sustentável da água e do saneamento para todos (Nações Unidas, 2015). Vários
indicadores relevantes neste quadro refletem as perspetivas de muitos objetivos do
ODS6 (ver Tabela 8). Esta característica pode ajudar as partes interessadas locais a
avaliar o impacto potencial da melhoria do desempenho da gestão da água urbana na
realização dos ODS e vice-versa. Além disso, a priorização de atividades com base em
indicadores identificados permite que as partes interessadas se concentrem em áreas
que impactam significativamente a sustentabilidade da UWM.
O conceito de avaliação da sustentabilidade é abrangente e orientado para a acção.
No entanto, criar uma estrutura para isso pode ser inerentemente subjetivo. Nenhum
quadro baseado em indicadores será, sem dúvida, totalmente exaustivo ou perfeito, mas
envolver as partes interessadas no processo de desenvolvimento pode melhorar a UWM
sustentável. O processo de seleção de indicadores que prioriza o envolvimento das
partes interessadas tem algumas consequências.
8
Produção e Consumo Sustentáveis 40 (2023) 1–12
Durante a fase de pré-seleção, um constrangimento significativo foi a participação
limitada de peritos. Este problema deveu-se principalmente à falta de experiência e
conhecimentos nesta área, o que pode ter resultado em preconceitos, perspectiva
limitada e resistência a ideias inovadoras. Além disso, a abordagem revelou-se demorada
devido à extrema diligência necessária na análise dos indicadores. Por último, o quarto
passo desta fase poderá ter algumas implicações para a generalização do quadro.
Por outro lado, alguns dos componentes críticos da UWM, como a gestão de águas
pluviais e o uso de energia, não estão refletidos entre os 24 indicadores finais. A questão
atual pode ser atribuída a dois fatores principais, compreendendo (1) a utilização do
FDM, que leva à influência das opiniões do painel de especialistas, bem como do valor
limite no procedimento de seleção do indicador; e (2) dados insubstanciais ou ausentes,
juntamente com discrepâncias espaciais e temporais no Irão.
Apesar de incorporar critérios SMART no processo de selecção de indicadores para
abordar as limitações de acesso aos dados e de medição, mantivemos quatro indicadores
não calculados (números de indicadores: 5, 6, 16 e 17) nos resultados para a cidade de
Mashhad. Esta decisão foi tomada devido ao seu papel indispensável e contribuição
significativa para alcançar práticas sustentáveis de GRU. Deve sublinhar-se que o
quadro proposto abrange principalmente as regiões áridas e semiáridas do Irão e não se
limita apenas à cidade de Mashhad.
Todos os esforços de estudo têm limitações inerentes e nossa investigação não é
exceção. Em primeiro lugar, uma das restrições do nosso estudo é a escassez de dados
sobre UWM. Este constrangimento decorre principalmente da falta de protocolos de
recolha de dados claros e consistentes, o que impede os esforços para obter dados
abrangentes e fiáveis. Além disso, o acesso a dados relevantes é frequentemente
dificultado por vários obstáculos, tornando a recolha e análise de dados assustadora e,
por vezes, inviável. Em segundo lugar, um pequeno grupo de participantes na primeira
fase do procedimento de selecção de indicadores poderá
Machine Translated by Google
M. Namavar et al.
Tabela 6
Conjunto final de indicadores de avaliação de sustentabilidade da UWM (W = nível da bacia
hidrográfica, QN = quantitativo, QL = qualitativo).
Categoria/indicador
Segurança hídrica
1. Escassez de água (W, QN)
2. Disponibilidade de água (W,
QN)
3. Dependência hídrica (QN) 0%
Qualidade da água
4. Qualidade das águas superficiais
(QN)
5. Qualidade das águas subterrâneas
(QN)
6. Qualidade da água potável
(QN)
Água potável
7. Acesso à água potável (QN)
8. Número de uso ilegal de água
(QN)
9. Vazamentos no sistema de
água (QN)
10. Idade média da rede de
distribuição de água (QN)
11. Beber água
consumo (QN)
Saneamento e reutilização
12. Acesso ao saneamento
(QN)
13. ETAR Secundária (QN)
Tabela 6 (continuação )
Alvo Descrição
A medida definida por diferentes
agências e no Irão como
extracção sustentável é
20% de energia renovável
de 20% do volume total de
fonte de água
recursos renováveis. (adaptado
de ( Essex et al., 2020))
A proporção de recursos de
água doce per capita
Pontuação máxima
( Aboelnga et al., 2020;
Falkenmark et al., 1989)
As fontes externas suprem a
percentagem da procura local de
água. (Aboelnga et al., 2020;
Gawlik et al., 2017)
A avaliação da qualidade da
água baseia-se preferencialmente
Pontuação máxima nos padrões nacionais do Irão
(adaptado de (van
Leeuwen et al., 2012))
Avaliação da água
a qualidade é preferencialmente
Pontuação máxima baseada nos padrões nacionais do
Irã (adaptado de (van
Leeuwen et al., 2012))
Porcentagem de amostras de
água potável que atendem aos
100% padrões de qualidade da água do
Irã (adotado de (van
Leeuwen et al., 2012))
Percentagem de residentes
urbanos que têm acesso a água
100%
potável (van Leeuwen et al.,
2012)
A quantidade de uso ilegal por
10.000 assinantes de
Número baixo
água na cidade ( Aboelnga et
al., 2020)
Este indicador compara a taxa
média de vazamento, mas a taxa
0% máxima indesejável de 50% da
água fornecida ( Gawlik et al., 2017).
Menor idade (este
indicador obtém
A idade média da rede de distribuição
pontuação 1 para de água da cidade é comparada
idade superior a 60 anos) com uma idade ideal
Em termos de água
consumo, o consumo de água
potável per capita da cidade (litros/
pontuação máxima dia) é comparado com as piores
e melhores cidades do Irã
(adaptado de (Gawlik et al., 2017))
A percentagem da população da
cidade servida pela recolha
100% e tratamento de águas residuais
(van Leeuwen et al., 2012)
A percentagem de
águas residuais tratadas por
100% processos de tratamento
primário e secundário (Koop e van
Leeuwen, 2015)
9
Categoria/indicador
14. A percentagem do
tratamento de água poluída
conformidade da planta com
os regulamentos atuais (QN)
15. Uso de água reciclada (QN)
Gestão financeira
16. Eficiência econômica (QN)
17. Percentagem de financiamento
disponível para completar
a água e as águas residuais
projetos (QN)
Governança
18. Conscientização pública (QL) Pontuação alta
19. Existência de
quadro participativo e diretrizes
operacionais (QL)
20. Gestão e planos de
ação (QL)
21. Existência de
diretrizes abrangentes e
transparentes sobre
concessionárias de água
(QL)
22. Medidas de eficiência
hídrica (QL)
Gestão de riscos e desastres
23. Existência de Ação
planos para redução de riscos
e preparação (QL)
24. Gestão de crises em sistemas
de água (QL)
Produção e Consumo Sustentáveis 40 (2023) 1–12
Alvo Descrição
O indicador é calculado como a
proporção de estações de
tratamento de águas residuais
Pontuação máxima existentes que atendem
aos padrões de conformidade
da legislação iraniana (Adaptado
de ( Pires et al., 2017))
Percentagem de águas residuais
recicladas e utilizadas para
diversos fins (indústria, consumo,
50%
agricultura)
(Adaptado de (Halkijevic et al.,
2017))
20% (este indicador Este indicador representa o custo
obtém pontuação de 1
do abastecimento de água
em relação ao custo do reuso da
para um valor superior
a 100% ( água. (Maurya et al., 2020)
O rácio orçamental atribuído ao
orçamento total aprovado baseia-se
no calendário dos projetos de
água e águas residuais
(recolha, tratamento e
reutilização) (adaptado de
(Maurya et al., 2020)).
Este indicador demonstra quão bem
os indivíduos da comunidade
compreendem os desafios do
sistema de água (Adaptado de
(Polonenko et al., 2020))
Existência de um quadro participativo
de gestão da água,
incluindo diretrizes
Pontuação máxima operacionais para implementação
e acompanhamento (Adaptado de
(Pires et al., 2017))
Este indicador é utilizado como
critério para aplicação do conceito
de gestão integrada de
Pontuação máxima recursos hídricos (GIAU) na
cidade (adaptado de (van Leeuwen
et al., 2012))
Este indicador demonstra que existe um
conjunto claro e transparente de
princípios para considerar a qualidade da
água e do tratamento de águas
Pontuação máxima
residuais
serviços (adaptado de ( Jensen
e Wu, 2018))
Uma indicação da
aplicação de medidas de
eficiência hídrica (tais como planos
Pontuação máxima e procedimentos) pelos vários
utilizadores de água da cidade (Koop
e van Leeuwen, 2015)
Existência de programas de
redução de riscos e preparação
para gerir incidentes de alterações
Pontuação máxima
climáticas (como secas e
inundações) (adaptado de ( Pires et
al., 2017))
Existência de estratégias
Pontuação máxima
locais de gestão de crises e
(Continua na próxima página)
Machine Translated by Google

M. Namavar et al. Produção e Consumo Sustentáveis 40 (2023) 1–12

Tabela 6 (continuação ) 5. Conclusão

Categoria/indicador Alvo Descrição

políticas no sistema municipal
de gestão de água e águas
residuais (como o sistema de
alerta rápido)
(Adaptado de (Jensen
¨ e Wu,
2018; Ozerol et al., 2020))
Tabela 7
Critérios de pontuação de indicadores qualitativos utilizando a abordagem de autoavaliação.
Fatores de descrição
Os indicadores são fundamentais para avaliar o desempenho de qualquer sistema,
convertendo dados não processados em conhecimento prático, que pode então ser
divulgado entre os grupos-alvo. Este artigo apresenta uma estrutura baseada em
indicadores para avaliar a sustentabilidade da UWM, contemplando inclusivamente
aspectos ambientais, sociais, institucionais e econômicos. O quadro explica uma
metodologia para colmatar a lacuna de selecção de indicadores, criando canais essenciais
para envolver diversas partes interessadas. Através de um procedimento em duas fases,
foram seleccionados 24 indicadores entre mais de 300 indicadores candidatos na
literatura. Pré-
Na primeira etapa foi realizada a triagem dos indicadores coletados e aplicados os
critérios SMART. Posteriormente, a lista final de indicadores adequados à finalidade foi
Pontuação
determinada na segunda etapa, utilizando o FDM.

Se não existirem documentos disponíveis sobre este assunto 1

Se o assunto for abordado num documento nacional ou local Se um
assunto ou programa de planeamento de políticas locais for disponibilizado à sociedade de
diversas formas (como estar num documento geral ou estar disponível no website de
instituições relacionadas)
Fornecer actualizações anuais sobre o progresso da implementação ou qualquer outra
acção que demonstre isto é uma alta prioridade a nível da comunidade local.
Como pontuação quatro e essas atividades fazem parte de iniciativas de longo prazo
minaram a precisão dos indicadores finais. Em terceiro lugar, o presente estudo identificou
e introduziu um conjunto de 24 indicadores principais; no entanto, a sua utilidade é
limitada pela ausência de componentes críticos específicos, especificamente aqueles
relacionados com a gestão de águas pluviais e utilização de energia. Por fim, nota-se que
os 24 indicadores fit-to-purpose não foram agregados num único índice. Esta abordagem
pode servir como um fator limitante tanto no âmbito dos resultados como na extensão
das suas interpretações. Pode até impedir a perspectiva de comparações intermunicipais
das práticas de UWM.
2 Em resumo, os resultados do estudo indicam: (1) A estrutura apresentada incorpora
uma ferramenta e um procedimento confiável e pertinente para identificar os pontos fortes
3
e fracos de uma cidade em relação à sustentabilidade da UWM, bem como direcionar
contramedidas administrativas que podem ajudar na melhoria da gestão da água de uma
4
cidade, (2 ) A implementação rápida do quadro proposto na cidade de Mashhad
5 substancia a sua eficácia em ajudar as partes interessadas a estabelecer compromissos
partilhados e prioridades fundamentadas, (3) A metodologia e os resultados declarados
neste estudo são fundamentais, demonstrando que a UWM de Mashhad tem muito
espaço para melhorar a sustentabilidade. Este objectivo final pode ser apoiado e orientado
pelos indicadores atribuídos, e (4) o nosso estudo pode inspirar os decisores políticos,
tanto a nível local como nacional, a embarcarem de forma colaborativa em
empreendimentos que se alinhem com objectivos sustentáveis.
Vale ressaltar que as conclusões deste estudo têm potencial para servir de base
para inúmeros empreendimentos futuros. Em primeiro lugar, o quadro pode ser facilmente
implementado noutras cidades para criar uma plataforma de aprendizagem cidade a
cidade. Em segundo lugar, poderão ser dedicados esforços para

Figura 4. Teia de aranha de 24 indicadores (os indicadores sombreados não foram calculados).

10
Machine Translated by Google

M. Namavar et al. Produção e Consumo Sustentáveis 40 (2023) 1–12

Tabela 8 Boukhari, S., Djebbar, Y., Amarchi, H., Sohani, A., 2017. Aplicação da analítica
processo de hierarquia para a sustentabilidade dos serviços de abastecimento de água e saneamento: o
A relação entre os indicadores do quadro proposto e as metas do ODS6.
caso da Argélia. Abastecimento de Água 18 (4), 1282–1293. https://doi.org/10.2166/ws.2017.194.
Brown, CJ, Saint Ange, C., Connolly, RM, Hasan, S., Jackson, S., McMahon, JM,
Metas do ODS6 Indicadores relevantes no quadro Smart, JC, 2023. Serviços ecossistêmicos em bacias hidrográficas conectadas a ecossistemas costeiros:
proposto monitoramento para detectar tendências emergentes. Ciência. Meio Ambiente Total. 161670 https://
doi.org/10.1016/j.scitotenv.2023.161670 .
6.1 Até 2030, alcançar o acesso universal e equitativo à Carden, K., Armitage, N., 2013. Avaliação da sustentabilidade da água urbana na África do Sul – não apenas medição do
água potável segura e acessível para todos 7. Acesso à água potável desempenho. Água SA 39 (3), 345–350. https://doi.org/10.4314/wsa.v39i3.1 .

6.2 Até 2030, alcançar o acesso a saneamento e higiene
adequados e equitativos para todos e acabar com a
defecação a céu aberto, prestando especial
atenção às necessidades das mulheres e meninas
e daqueles em situações vulneráveis
6.3 Até 2030, melhorar a qualidade da água
reduzir a poluição, eliminar o despejo e minimizar
a liberação de produtos químicos e materiais
perigosos, reduzir pela metade a proporção
de águas residuais não tratadas e aumentar
substancialmente a reciclagem e a reutilização
segura em todo
o mundo 6.4 Até 2030, aumentar substancialmente a
eficiência do uso da água em todos os setores e
garantir retiradas sustentáveis e fornecimento
de água doce para abordar a escassez de água e
reduzir substancialmente o número de pessoas que
sofrem com a escassez de água 6.5
Até 2030, implementar a gestão integrada dos
recursos hídricos a todos os níveis, incluindo
através da cooperação transfronteiriça,
conforme apropriado 6. b Apoiar
e reforçar a participação das comunidades locais na
melhoria da gestão da água e do saneamento
12. Acesso ao saneamento
4. Qualidade da água superficial
5. Qualidade da água
subterrânea 6. Qualidade da água potável
22. Medidas de eficiência hídrica
20. Gestão e planos de ação
19. Existência de quadro participativo
e diretrizes operacionais
Chang, I.-S., Zhao, M., Chen, Y., Guo, X., Zhu, Y., Wu, J., Yuan, T., 2020. Avaliação sobre a gestão integrada
de recursos hídricos nas principais regiões da China cidades – com base na abordagem City Blueprint®.
J. Limpo. Prod. 262, 121410 https://doi.org/10.1016/j. jclepro.2020.121410.
Chapagain, K., Aboelnga, HT, Babel, MS, Ribbe, L., Shinde, VR, Sharma, D., Dang, N.
M., 2022. Segurança hídrica urbana: uma avaliação comparativa e análise política de cinco cidades em
diversos países em desenvolvimento da Ásia. Meio Ambiente. Dev. 43, 100713 https://doi. org/10.1016/
j.envdev.2022.100713.
Danacÿ, M., Yÿldÿrÿm, U., 2023. Análise abrangente de acidentes com barcos salva-vidas usando o método
Fuzzy Delphi. Eng. Oceano. 278, 114371 https://doi.org/10.1016/j. oceaneng.2023.114371.
Essex, B., Koop, S., Van Leeuwen, C., 2020. Proposta de um quadro nacional para monitorizar o progresso
nos objetivos de desenvolvimento sustentável relacionados com a água na Europa.
Meio Ambiente. Gerenciar. 65 (1), 1–18. https://doi.org/10.1007/s00267-019-01231-1.
Falkenmark, M., Lundqvist, J., Widstrand, C., 1989. A escassez de água à escala macro requer abordagens à
microescala: aspectos da vulnerabilidade no desenvolvimento semi-árido. In: Fórum de Recursos
Naturais. Biblioteca Online Wiley, pp. https://doi.org/10.1111/j.1477-8947.1989.tb00348.x .
Faut, L., Soyeur, F., Haezendonck, E., Dooms, M., de Langen, PW, 2023. Garantindo
implementação da estratégia circular: o desenvolvimento de indicadores de economia circular para os portos.
Marit. Transp. Res. 4, 100087 https://doi.org/10.1016/j. martra.2023.100087.
Feingold, D., Koop, S., van Leeuwen, K., 2018. A abordagem do plano da cidade: gestão e governança da
água urbana nas cidades dos EUA. Meio Ambiente. Gerenciar. 61 (1), 9–23. https://doi.org/10.1007/
s00267-017-0952-y.
Gawlik, BM, Easton, P., Koop, S., Van Leeuwen, K., Elelman, R., 2017. Atlas da Água Urbana para a Europa.
Serviço de Publicações da União Europeia Luxemburgo. https://doi.org/10.1016/j.scitotenv.2019.03.288 .

melhorar e atualizar a lista de indicadores para desenvolver um índice integrado para
UWM. Finalmente, pode ser desenvolvido um quadro baseado em indicadores para
componentes dos sistemas de água urbanos, especialmente para a gestão de águas
residuais urbanas.
Declaração de interesse concorrente
Os autores declaram que não têm interesses financeiros concorrentes ou relações
pessoais conhecidas que possam ter influenciado o trabalho relatado neste artigo.
Reconhecimento
A Universidade de Tecnologia Amirkabir apoiou financeiramente esta pesquisa.
Agradecemos aos nossos colegas da Universidade Amirkabir, que forneceram
conhecimentos e conhecimentos que auxiliaram enormemente a pesquisa. Os autores
Grison, C., Koop, S., Eisenreich, S., Hofman, J., Chang, I.-S., Wu, J., Savic, D., van
Leeuwen, K., 2023. Gestão integrada de recursos hídricos nas cidades do mundo: desafios globais. Recurso
Hídrico. Gerenciar. 1-17 https://doi.org/10.1007/s11269-023-03475-3 .
Hadjikakou, M., Stanford, BD, Wiedmann, T., Rowley, HV, Kobayashi, Y., Ishii, S., Gaitan, JPA, Johns, G.,
Lundie, S., Khan, SJ, 2019. Um flexível quadro para avaliar a sustentabilidade de opções alternativas
de abastecimento de água. Ciência. Meio Ambiente Total. 671, 1257–1268. https://doi.org/10.1016/
j.scitotenv.2019.03.288.
Halkijevic, I., Vukovic, Z., Vouk, D., 2017. Indicadores e um modelo baseado em neuro-fuzzy para a avaliação
da sustentabilidade do abastecimento de água. Recurso Hídrico. Gerenciar. 31 (12), 3683–3698.
https://doi.org/10.1016/0165-0114(93)90251-C.
Jensen, O., Wu, H., 2018. Indicadores de segurança hídrica urbana: desenvolvimento e piloto.
Meio Ambiente. Ciência. Pol. 83, 33–45. https://doi.org/10.1016/j.scitotenv.2012.08.093.
Juwana, I., Muttil, N., Perera, B., 2012. Sustentabilidade hídrica baseada em indicadores
avaliação – uma revisão. Ciência. Meio Ambiente Total. 438, 357–371. https://doi.org/10.1016/j.
scitotenv.2012.08.093.
Koop, SH, van Leeuwen, CJ, 2015. Avaliação da sustentabilidade da gestão de recursos hídricos: uma revisão
crítica da abordagem do plano da cidade. Recurso Hídrico. Gerenciar. 29 (15), 5649–5670. https://doi.org/
10.1007/s11269-015-1139-z.
Koop, SH, Grison, C., Eisenreich, SJ, Hofman, J., van Leeuwen, K., 2022. Gestão integrada de recursos
hídricos em cidades do mundo: soluções globais. Sustentar. Cidades Soc. 86, 104137 https://doi.org/
10.1016/j.scs.2022.104137.
Liu, Z., Ren, Y., Shen, L., Liao, X., Wei, X., Wang, J., 2020. Análise sobre a eficácia dos indicadores para

também agradecem o apoio de Najian-Ab (uma organização governamental, ONG). avaliar a capacidade de suporte urbano: uma perspectiva de popularidade-adequação. J. Limpo.
Prod. 246, 119019 https://doi.org/10.1016/j. jclepro.2019.119019.

Madani, K., AghaKouchak, A., Mirchi, A., 2016. Seca socioeconômica do Irã:
Referências desafios de uma nação falida em termos de água. Irã. Viga. 49 (6), 997–1016. https://doi. org/
10.1080/00210862.2016.1259286.
Makropoulos, CK, Natsis, K., Liu, S., Mittas, K., Butler, D., 2008. Apoio à decisão para seleção de opções
Aboelnga, HT, El-Naser, H., Ribbe, L., Frechen, F.-B., 2020. Avaliação da segurança hídrica em cidades com
sustentáveis na gestão integrada de águas urbanas. Meio Ambiente. Modelo.
escassez de água: aplicação do Índice Integrado de Segurança Hídrica Urbana (IUWSI) em Madaba,
Suave. 23 (12), 1448–1460. https://doi.org/10.1016/j.envsoft.2008.04.010.
Jordânia. Água 12 (5), 1299. https://doi.org/10.3390/w12051299.
Mashhad, Mo, 2020. Anuário Estatístico da Cidade de Mashhad. Município de Mashhad, 2020.
Alavijeh, NK, Falahi, MA, Shadmehri, MTA, Salehnia, N., Larsen, MAD, Drews, M., 2021. Perspectivas da
Anuário Estatístico da Cidade de Mashhad ([em persa]). Acessado em 8 de outubro de 2021,
segurança hídrica urbana atual e futura no Irã. J. Limpo. Prod. 321, 129004 https://doi.org/10.1016/
disponível em. https://planning.mashhad.ir/index.php?module=web_directo ry&wd_id=336420.
j.jclepro.2021.129004.
Ali, SS, Kaur, R., Khan, S., 2022. Avaliando iniciativas de sustentabilidade em armazém para medir o
Maurya, SP, Singh, PK, Ohri, A., Singh, R., 2020. Identificação de indicadores para
desempenho de sustentabilidade: uma perspectiva de economia emergente. Ana.
planejamento sustentável do desenvolvimento hídrico urbano. Eco. Indica. 108, 105691 https://doi.org/
Ópera. Res. 1-40 https://doi.org/10.1007/s10479-021-04454-w.
10.1016/j.ecolind.2019.105691 .
Arvidsson, R., 2019. Sobre a utilização de escalas de pontuação ordinais na avaliação do ciclo de vida social.
Mittal, A., Scholten, L., Kapelan, Z., 2022. Uma revisão narrativa de jogos sérios para decisões de gestão de
Internacional J. Avaliação do Ciclo de Vida. 24 (3), 604–606. https://doi.org/10.1007/s11367-018-1557-2 .
águas urbanas: lacunas atuais e direções futuras de pesquisa. Água Res. 118217 https://doi.org/
10.1016/j.watres.2022.118217.
Berger, L., Henry, AD, Pivo, G., 2023. Orientando a paisagem dos indicadores de sustentabilidade da
Mohammadfam, I., Aliabadi, MM, Soltanian, AR, Tabibzadeh, M., Mahdinia, M., 2019.
água urbana. Meio Ambiente. Sustentar. Indica. 17, 100207 https://doi.org/10.1016/
Investigando interações entre variáveis vitais que afetam a consciência situacional com base no método
j.indic.2022.100207 .
Fuzzy DEMATEL. Internacional J. Ind. 74, 102842 https://doi.org/10.1016/j.ergon.2019.102842 .
Bertule, M., Koefoed Bjørnsen, P., Freeman, S., Escurra, J., Vollmer, D., Gallagher, L., Costanzo, S., Kelsey,
H., 2017. Utilização de indicadores para melhorar a gestão dos recursos hídricos : guia para
Mohsin, M., Rasheed, A., Sun, H., Zhang, J., Iram, R., Iqbal, N., Abbas, Q., 2019.
gestores e profissionais de bacias hidrográficas. https://archive-ouverte. unige.ch/unige:113220.
Desenvolvimento de economias de baixo carbono: um índice composto agregado baseado no carbono

11
Machine Translated by Google
M. Namavar et al.
emissões. Tecnologia de Energia Sustentável. Avaliar. 35, 365–374. https://doi.org/10.1016/
j.seta.2019.08.003 .
'
Molinos-Senante, M., Marques, RC, Perez, F., Gomez, T., Sala-Garrido, R., Caballero, R., 2016. Avaliando a
sustentabilidade das empresas de água: uma abordagem de indicadores sintéticos. Eco. Indica.
61, 577–587. https://doi.org/10.1016/j.ecolind.2015.10.009.
Mosaffaie, J., Jam, AS, Tabatabaei, MR, Kousari, MR, 2021. Avaliação de tendências da saúde da bacia
hidrográfica com base na estrutura DPSIR. Política de Uso do Solo 100, 104911. https://doi.org/10.1016/
j.landusepol.2020.104911 .
Nasrollahi, S., Kazemi, A., Jahangir, M.-H., Aryaee, S., 2023. Selecionando onda adequada
tecnologia energética para o desenvolvimento sustentável, uma abordagem MCDM. Renovar. Energia
202, 756–772. https://doi.org/10.1016/j.renene.2022.11.005.
Ocampo, L., Ebisa, JA, Ombe, J., Escoto, MG, 2018. Indicadores de ecoturismo sustentável com método
Delphi difuso – uma perspectiva filipina. Eco. Indica. 93, 874–888. https://doi.org/10.1016/
j.ecolind.2018.05.060.
Octavianti, T., Staddon, C., 2021. Uma revisão de 80 ferramentas de avaliação que medem a segurança
hídrica. Wiley Interdisciplinar. Rev. Água 8 (3), e1516. https://doi.org/10.1002/
wat2.1516.
¨ ¨
Ozerol, G., Dolman, N., Bormann, H., Bressers, H., Lulofs, K., Boge, M., 2020. Gestão da água urbana e
adaptação às mudanças climáticas: um estudo de autoavaliação por sete cidades de médio porte em a
região do Mar do Norte. Sustentar. Cidades Soc. 55, 102066 https://doi. org/10.1016/j.scs.2020.102066.
Padilla-Rivera, A., do Carmo, BBT, Arcese, G., Merveille, N., 2021. Circular social
indicadores de economia: seleção através do método fuzzy Delphi. Sustentar. Prod. Consumir. 26, 101–
110. https://doi.org/10.1016/j.spc.2020.09.015.
Piadeh, F., Alavi-Moghaddam, MR, Mardan, S., 2018. Avaliação da sustentabilidade de um híbrido de
tecnologias avançadas de tratamento para reciclagem de águas residuais industriais em países em
desenvolvimento: estudo de caso de parques industriais iranianos. J. Limpo. Prod. 170, 1136–1150.
https://doi.org/10.1016/j.jclepro.2017.09.174.
Pires, A., Morato, J., Peixoto, H., Botero, V., Zuluaga, L., Figueroa, A., 2017.
Avaliação de sustentabilidade de indicadores para gestão integrada de recursos hídricos.
Ciência. Meio Ambiente Total. 578, 139–147. https://doi.org/10.1016/j.scitotenv.2016.10.217.
Pokhrel, SR, Chhipi-Shrestha, G., Mian, HR, Hewage, K., Sadiq, R., 2023. Avaliação integrada do desempenho
dos sistemas hídricos urbanos: identificação e priorização de indicadores de uma abordagem hídrica.
Sustentar. Prod. Consumir. 36, 62–74. https://doi.org/10.1016/j.spc.2022.12.005 .
Polonenko, LM, Hamouda, MA, Mohamed, MM, 2020. Componentes essenciais de
indicadores institucionais e sociais na avaliação da sustentabilidade e resiliência dos sistemas hídricos
urbanos: desafios e oportunidades. Ciência. Meio Ambiente Total. 708, 135159 https://doi.org/10.1016/
j.scitotenv.2019.135159.
Ribeiro, RA, 1996. Tomada de decisão difusa de múltiplos atributos: uma revisão e novas
técnicas de elicitação de preferências. Sistema de conjuntos difusos. 78 (2), 155-181. https://doi.org/
10.1016/0165-0114(95)00166-2 .
Rogers, B., Dunn, G., Hammer, K., Novalia, W., de Haan, F., Brown, L., Brown, R.,
Lloyd, S., Urich, C., Wong, T., 2020. Índice de Cidades Sensíveis à Água: uma ferramenta de diagnóstico para
12
Produção e Consumo Sustentáveis 40 (2023) 1–12
avaliar a sensibilidade hídrica e orientar ações de gestão. Água Res. 186, 116411 https://doi.org/
10.1016/j.watres.2020.116411.
Selvik, JT, Bansal, S., Abrahamsen, EB, 2021. Sobre o uso de critérios baseados no
Sigla SMART para avaliar indicadores de qualidade de desempenho para gestão de segurança em
indústrias de processo. J. Perda Anterior. Processo Ind. 70, 104392 https://doi.org/10.1016/
j.jlp.2021.104392 .
Shafiei, M., Rahmani, M., Gharari, S., Davary, K., Abolhassani, L., Teimouri, MS,
Gharesifard, M., 2022. Avaliação da sustentabilidade da gestão da água ao nível da bacia hidrográfica:
conceito, metodologia e aplicação. J. Meio Ambiente. Gerenciar. 316, 115201 https://doi.org/
10.1016/j.jenvman.2022.115201.
Shen, Y.-C., Chang, S.-H., Lin, GT, Yu, H.-C., 2010. Um modelo de seleção híbrida para
tecnologia emergente. Tecnologia. Previsão. Soc. Chang. 77 (1), 151–166. https://doi. org/10.1016/
j.techfore.2009.05.001.
Singh, RK, Murty, HR, Gupta, SK, Dikshit, AK, 2009. Uma visão geral das metodologias de avaliação de
sustentabilidade. Eco. Indica. 9 (2), 189–212. https://doi.org/10.1016/j. ecolind.2008.05.011.
Tuni, A., Ijomah, WL, Gutteridge, F., Mirpourian, M., Pfeifer, S., Copani, G., 2023. Avaliação de risco para
modelos de negócios circulares: uma aplicação difusa de estudo Delphi para materiais compósitos.
J. Limpo. Prod. 135722 https://doi.org/10.1016/j. jclepro.2022.135722.
Nações Unidas, 2015. Transformando o Nosso Mundo: A Agenda 2030 para o Desenvolvimento
Sustentável. Nações Unidas, Nova York, NY, EUA. van Leeuwen,
CJ, Frijns, J., van Wezel, A., van de Ven, FH, 2012. Planos de cidades: 24 indicadores para avaliar a
sustentabilidade do ciclo urbano da água. Recurso Hídrico. Gerenciar. 26 (8), 2177–2197. https://doi.org/
10.1007/s11269-012-0009-1.
Venkatesh, G., Brattebø, H., 2013. Tipificação de cidades para agilizar a seleção de indicadores de
sustentabilidade ambiental relevantes para sistemas urbanos de abastecimento de água e tratamento de
esgoto: uma recomendação. Meio Ambiente. Dev. Sustentar. 15 (3), 765–782. https://doi. org/10.1007/
s10668-012-9405-1.
Wan Rosely, WIH, Voulvoulis, N., 2023. Pensamento sistêmico para a sustentabilidade
transformação dos sistemas de água urbanos. Crítico. Rev. Meio Ambiente. Ciência. Tecnologia. 53
(11), 1127–1147. https://doi.org/10.1080/10643389.2022.2131338.
Willuweit, L., O'Sullivan, JJ, 2013. Uma ferramenta de apoio à decisão para o planejamento sustentável de
sistemas hídricos urbanos: apresentando o Modelo Dinâmico de Simulação de Água Urbana. Água Res.
47 (20), 7206–7220. https://doi.org/10.1016/j.watres.2013.09.060.
Zhang, J., 2017. Avaliando estratégias regionais de turismo de baixo carbono usando o fuzzy
Abordagem de processo de rede analítica Delphi. J. Limpo. Prod. 141, 409–419. https://doi.org/10.1016/
j.jclepro.2016.09.122 .
Zhang, P., Qu, Y., Qiang, Y., Xiao, Y., Chu, C., Qin, C., 2023. Indicadores, metas e
avaliação da sustentabilidade da água na China: um estudo a nível provincial e municipal.
Internacional J. Meio Ambiente. Res. Saúde Pública 20 (3), 2431. https://doi.org/10.3390/
ijerph20032431 .
Zong, X., Liu, X., Chen, G., Yin, Y., 2022. Uma estrutura de compreensão profunda e
sistema de indicadores de avaliação para uma agricultura resiliente às alterações climáticas. Eco.
Indica. 136, 108597 https://doi.org/10.1016/j.ecolind.2022.108597.