See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/377014551

Uma primeira análise sobre a avaliação ex post de políticas públicas e as

vantagens (potenciais) introduzidas pelas cidades inteligentes --- A first
analysis of the ex-post assessm...

Preprint · December 2023

DOI: 10.13140/RG.2.2.18212.45445

CITATIONS READS

0 16

1 author:

José Miguel Lucas

University of Coimbra
5 PUBLICATIONS 0 CITATIONS

SEE PROFILE

All content following this page was uploaded by José Miguel Lucas on 31 December 2023.

The user has requested enhancement of the downloaded file.

 UMA PRIMEIRA ANÁLISE SOBRE A AVALIAÇÃO EX POST DE POLÍTICAS PÚBLICAS E AS
VANTAGENS (POTENCIAIS) INTRODUZIDAS PELAS CIDADES INTELIGENTES

A first analysis of the ex post assessment of public policies and the (potential) advantages
introduced by smart cities

JOSÉ MIGUEL LUCAS, candidato a doutoramento na Faculdade de Direito da Universidade de

Coimbra, Portugal, https://www.linkedin.com/in/josemiguellucas1

Resumo
Identificámos que, em Portugal, as políticas públicas a nível local parecem continuar a ser
insuficientemente avaliadas, nomeadamente após a sua implementação (ex post). Como solução
pensámos que, por regra, as pessoas se movem por incentivos (positivos ou negativos), analisando
que incentivos a tecnologia introduzida nas cidades inteligentes poderia trazer aos cidadãos,
funcionários e decisores, para passarmos a poder ter políticas mais direcionadas e poupar recursos.
Em concreto realizar uma avaliação ex post não é muito motivador porquanto, ainda que seja feita
a pensar no futuro, olha sobretudo para o passado. Ainda assim, é uma ferramenta essencial no
processo de aprendizagem/melhoria contínua. Sem uma avaliação ex post não parece ser possível
compreender se as políticas públicas (i) atingiram os objetivos, (ii) satisfizeram as necessidades
ou expectativas dos stakeholders; e/ou (iii) contêm aspetos a melhorar ou que possam ser
aproveitados para outras políticas.
Em termos de soluções, concluímos que as cidades inteligentes poderão atribuir incentivos aos
cidadãos, funcionários e decisores que os faça recorrer/implementar mecanismos de avaliação ex
post, sendo necessário (i) informar os stakeholders sobre as vantagens; (ii) definir critérios que
possam ser aplicáveis, em abstrato, a determinados casos, para poder tornar o processo mais
eficiente e atrativo, designadamente escolhendo quais as políticas do seu interesse que querem
acompanhar e os mecanismos para o fazer; (iii) utilizando processos de avaliação ex post
(workflows) mais automatizados, designadamente com recurso a inteligência artificial, e
permitindo aos decisores acompanhar a implementação das políticas e reduzir o risco de
insucesso, direcionando investimentos para iniciativas que demonstraram ser mais
eficazes/eficientes.

Palavras-chave: “avaliação ex post”; “cidades inteligentes”; “políticas públicas”

Abstract

We have identified that, in Portugal, public policies at the local level seem to continue to be
insufficiently assessed, particularly after their implementation (ex-post). As a solution, we sustain

1
O presente estudo é diretamente tributário, com correções e melhorias, do submetido a 17.12.2023 para avaliação de aquisição de
conhecimentos na unidade curricular de “Políticas públicas”, no âmbito do Mestrado em Administração Público-Privada, da Faculdade
de Direito da Universidade de Coimbra, que o Autor frequentou a título de UC isolada. Além dessa avaliação, o presente trabalho não
foi sujeito a peer review.
José Miguel Lucas é Mestre em Direito, na área de especialização em Ciências Jurídico-Políticas, pela Faculdade de Direito da
Universidade de Coimbra. Os seus interesses de investigação incluem cidades inteligentes, sustentabilidade e boa administração. O
presente trabalho integra uma série de pesquisas e análises exploratórias no âmbito do ciclo de estudos de Doutoramento em Direito
pela mesma Faculdade, daí a referência no título a “uma primeira análise”. As posições nele refletidas resultam do entendimento
pessoal do seu autor e não da posição da sua entidade empregadora atual, o Banco de Portugal, não representando, nem vinculando
esta instituição

Página 1 de 22
that, as a rule, people are moved by incentives (positive or negative), thus analyzing what
incentives the technology introduced in smart cities could bring to citizens, civil servants and
decision-makers so that we can have more targeted policies and be more efficient.
Specifically, an ex-post evaluation could be more motivating because it mainly looks at the past,
even if it is carried out with the future in mind. Still, it is an essential tool in the continuous
learning/improvement process. Without an ex-post evaluation, it does not seem possible to
understand whether public policies (i) achieved the objectives, (ii) satisfied the needs or
expectations of stakeholders, and/or (iii) contained aspects that need to be improved or that can
be used for other policies.
In terms of solutions, we conclude that smart cities will be able to provide incentives to citizens,
employees and decision-makers that make them resort to/implement ex-post assessment
mechanisms, and it is necessary to (i) inform stakeholders about the advantages; (ii) define
criteria that may apply, in abstract, to some instances, in order to make the process more efficient
and attractive, namely choosing which policies they want to be aware of and the mechanisms to
do so; (iii) using more automated ex-post evaluation processes (workflows), namely using
artificial intelligence, and allowing decision-makers to monitor the implementation of policies
and reduce the risk of failure, directing investments to initiatives that have proven to be more
effective/efficient.

Keywords: “ex post evaluation”; “smart cities”; "public policies"

ÍNDICE

1. Introdução ............................................................................................................................. 3
2. Metodologia .......................................................................................................................... 5
3. Contextualização – vantagens e desafios da avaliação ex post ............................................. 5
4. Metodologias atuais de avaliação de impacto ex post de políticas públicas ......................... 9
5. Potencialidades criadas pelas cidades inteligentes .............................................................. 12
6. Conclusões .......................................................................................................................... 16
7. Bibliografia ......................................................................................................................... 17

Página 2 de 22
1. INTRODUÇÃO
Na mesma linha de outros trabalhos recentes, como o de VALDEMAR MACHADO2 e CARINA LOPES
DA SILVA3 ― os quais concordam com a manutenção do posicionamento de obras anteriores como
a de MÓNICA ADRO LOPES4 ― a nosso ver, em Portugal, as políticas públicas continuam a ser
insuficientemente avaliadas (em especial após a sua implementação, ou seja, através de uma
avaliação ex post).
Em especial, mais do que as políticas nacionais, importam-nos as políticas ao nível dos
municípios e, nesse âmbito, a propósito do ritmo a que as cidades portuguesas estão a ficar mais
inteligentes, em entrevista, MIGUEL AMARO, citado por CRISTINA FERREIRA5 referia que “não há
um plano diretor que permita guiar os investimentos necessários e medir o seu real impacto […]
falta uma abordagem holística” [sem sublinhado no original]. Destaca-se uma evolução, um
grande empenho na implementação de novos processos, em especial a nível da administração
central ― o qual não será objeto de análise no presente trabalho ―, mas ainda assim, a nosso ver,
insuficiente.
O nosso ponto de partida é o de que sem avaliação ex post não parece ser possível compreender
se as políticas públicas (i) atingiram os objetivos, (ii) satisfizeram as necessidades ou expectativas
dos stakeholders 6envolvidos; e/ou (iii) contêm aspetos a melhorar ou que possam ser
aproveitados para outras políticas. No presente trabalho analisámos se a tecnologia que está a ser
instalada em muitas cidades, tornando-as inteligentes, pode auxiliar nessa tarefa.
Destaca-se que esta questão não se coloca apenas relativamente a Portugal. Por exemplo, OH e
SEO7 concordam que também em termos internacionais é relevante o estabelecimento e/ou a
revisão normativa e de determinados mecanismos públicos, designadamente um sistema de
avaliação ex post centrado nos cidadãos.
Aliás, em termos internacionais recorda-se que o Objetivo de Desenvolvimento Sustentável
(ODS) 11, das Nações Unidas, visa “tornar as cidades e comunidades inclusivas, seguras,
resilientes e sustentáveis” e, a nosso ver, uma cidade, para ser sustentável, carece de, entre o mais,
se centrar nos cidadãos (nas suas necessidades e expectativas), que as políticas a implementar
tenham, à partida, em vista o médio-longo prazo e, preferencialmente, se possa assegurar que
cumpriram os objetivos a que se propunham.
Face a este contexto, colocámos as seguintes questões, cientes de que não existem muitas obras
dedicadas especificamente a avaliações ex post:8
i) Quais os mecanismos para avaliação ex post de políticas públicas?
ii) Que exemplos se podem dar de estudos de avaliações ex post em Portugal?
iii) Os mecanismos existentes são aplicáveis a todos os tipos de política?
iv) Mesmo sem avaliação ex ante e in intinere é possível haver avaliação ex post?
v) Quais são as vantagens que as cidades inteligentes podem trazer à avaliação ex post?
vi) Que incentivos poderão permitir aos cidadãos maior participação e direito de acesso
à informação; aos funcionários um processo mais eficiente e aos decisores direcionar
melhor os investimentos?

2
Machado, «Enquadramento Institucional da Avaliação de Políticas Públicas em Portugal», 11–12.
3
Carina da Conceição Rodrigues Henriques Lopes da Silva, «A Avaliação das Políticas Públicas em Portugal - o Caso da Modernização
e Inovação Administrativa», 47.
4
Mónica Catarina do Adro Lopes, «A avaliação de políticas públicas em Portugal: marcos de um desenvolvimento incipiente».
5
Ferreira, «Smart Cities: A que ritmo estão as nossas cidades a ficar mais inteligentes?»
6
Sobre o conceito de stakeholders veja-se o nosso trabalho Lucas, «Mitigação do risco de exclusão social nas cidades sustentáveis
inteligentes e resilientes e a utilização da inteligência artificial na participação como mitigante [NO PRELO]».
7
Oh e Seo, «Measuring Citizens-Centric Smart City», 19.
8
Subirats et al., «La implementación de las políticas públicas».; Weimer e Vining, 4. Policy analysis : concepts and practice / David
L. Weimer, Aidan R. Vining.

Página 3 de 22
Para efeito da resposta considerámos várias obras de entre as quais destacamos:
1) Adro, Mónica Catarina. «A avaliação de políticas públicas em Portugal: marcos de
um desenvolvimento incipiente», 2013.
2) Alves, Angela. «A Web Platform for Evaluating Public Policies in Smart City
Initiatives», 2016.
3) Carneiro, Inês Ferreira. «Avaliação de políticas públicas», 2008.
4) Casa Civil da Presidência da República do Brasil, «Avaliação de Políticas Públicas
Guia prático de análise ex post», 2018.
5) Ferrão, João et al., «Metodologias de avaliação de políticas públicas», 2019.
6) Freitas, «Políticas públicas, avaliação de impactos e o direito fundamental à boa
administração», 2015.
7) Fundação Calouste Gulbenkian, « Políticas Públicas Justas para Todas as Gerações
Uma Metodologia de Avaliação», 2021.
8) Góis, M, e P Remoaldo. «Avaliação on-going e ex-post da Braga Capital Europeia da
Juventude 2012 por parte dos seus participantes e residentes», 2014.
9) Lima, Edilberto Carlos Pontes, «Avaliação de políticas públicas: um imperativo para
o aperfeiçoamento do setor público», 2020.
10) Machado, Valdemar Rodrigo, «Enquadramento Institucional da Avaliação de
Políticas Públicas em Portugal», 2022.
11) Mendes, Ireneu de Oliveira, et alii, «Da smart governance às smart cities. reflexões
comparativas sobre o caminho trilhado e o futuro desejado com base no exemplo de
duas cidades portuguesas», 2021.
12) Ntafalias, Aristotelis, et alii, «A Comprehensive Methodology for Assessing the Impact
of Smart City Interventions: Evidence from Espoo Transformation Process», 2022.
13) Nunes, Priscila, «A participação popular no controle das políticas públicas», 2015.
14) Oh, Jooseok et al., «Measuring Citizens-Centric Smart City: Development and
Validation of Ex-Post Evaluation Framework», 2021.
15) Pinto, Ricardo Ramos, «Avaliação de políticas públicas. Lisboa: ISCSP - Instituto
Superior de Ciências Sociais e Políticas, 2021.
16) Silva, Carina, «A Avaliação das Políticas Públicas em Portugal: O Caso da
Modernização e Inovação Administrativa», 2022.
17) Sisto, Raffaele, Javier García López, et alii, «City Assessment Tool to Measure the
Impact of Public Policies on Smart and Sustainable Cities. The Case Study of the
Municipality of Alcobendas (Spain) Compared with Similar European Cities», 2021.
No presente trabalho, pretendemos cingir-nos ao âmbito local, o qual nos parece ter menos
interlocutores, variáveis, menor dimensão e potencialmente complexidade do que o âmbito
nacional9. A este propósito, como refere FERRERO10 o órgão de governo local está mais próximo
das exigências e necessidades da comunidade. Assim, em abstrato, os municípios apresentam-se
como mais adequados para proporcionar a satisfação relativa da aplicação do princípio da
proximidade, consagrado no artigo 267.º, n.º 1 da Constituição da República Portuguesa,
definindo que a Administração Pública será estruturada de modo a aproximar os serviços das
populações.

9
As autoridades locais, dada a sua proximidade e a necessidade de prestação diária de serviços à população, tendem a entender melhor
as suas necessidades específicas, sem prejuízo de poder haver questões de governação que sejam consequência do governo central.
Nesse sentido, veja-se Correia, Mendes, e Ribeiro, «Determinantes e condicionantes da decisão de cooperar ao nível local: um estudo
de caso na comunidade intermunicipal da região de Coimbra». e Kelly, «Local Governments Can Show National Governments How
to Plan Better»..
10
Ferrero, «Le smart cities nell’ordinamento giuridico», 1269.

Página 4 de 22
Quanto ao âmbito negativo, dada a economia do presente trabalho, não discorreremos sobre
vários aspetos, como as origens da avaliação (ex post), nem equacionaremos a influência da
integração europeia, designadamente no seu impulso inicial11.
Em suma, pretendemos levar a cabo uma análise multidimensional para apurar se as cidades
inteligentes poderão efetivar um processo de avaliação ex post mais automatizado, garantindo em
maior medida, por um lado, o direito de acesso à informação/transparência dos stakeholders; por
outro, uma redução da carga burocrática; e, por último, aos decisores direcionar investimentos
para iniciativas que demonstraram ser mais eficazes/eficientes.

2. METODOLOGIA
Quanto à metodologia, o presente trabalho resulta de uma pesquisa exploratória,12 tendo, para o
efeito, sido realizada uma revisão literária e análise documental, recolhendo artigos científicos,
designadamente das bases de dados dos acervos de bibliotecas (como a da Universidade de
Coimbra ou a da Procuradoria Geral da República), da “EBSCO”, “IEEE”, “researchgate”,
“repositorium.sdum.uminho.pt”, “Scielo” e “Google Scholar”, em linha com o referido por
TORRACO13. O objetivo foi identificar, por um lado, estudos relativos a avaliações ex post, em
particular em Portugal e os desafios que este instrumento coloca, bem como, por outro lado, como
é que a avaliação ex post pode ser levada a cabo em cidades inteligentes e as vantagens que tal
poderia trazer14. Procurámos identificar os autores mais relevantes e os posicionamentos mais
atuais sobre a temática. Além dos artigos encontrados nas referidas bases de dados, foram
acrescentados outros, mencionados nas obras analisadas, de forma a ter uma visão mais completa
sobre os temas em discussão. No tratamento das referências bibliográficas foi utilizado o software
“Zotero”) e o estilo bibliográfico “Chicago Manual of Style, 17th Edition (note)”.

3. CONTEXTUALIZAÇÃO – VANTAGENS E DESAFIOS DA AVALIAÇÃO EX POST

3.1 Importância e vantagens da avaliação ex post15
Importa começar por recordar que, nos últimos anos, tem havido um maior impulso para a
avaliação de políticas. Esse impulso tem sido dado, em grande medida pela União Europeia, que
vem sublinhando a importância de avaliar as suas políticas e a necessidade do desenvolvimento
de políticas de avaliação, em especial no que diz respeito a fundos europeus16. Em 2013, MÓNICA

11
Para isso, e uma reflexão mais detalhada sobre o panorama atual e as tendências de desenvolvimento da prática de avaliação de
políticas públicas em Portugal, veja-se Mónica Catarina do Adro Lopes, «A avaliação de políticas públicas em Portugal: marcos de
um desenvolvimento incipiente», 3..
Para mais sobre a avaliação do impacto legislativo, veja-se Araújo, «Avaliação do Impacto Legislativo - quanto custa legislar».;
Seixas, Saccaro Junior, e IPEA - Instituto de Pesquisa Económica Aplicada, «Metodologias de avaliação e análise de impacto :
abordagens e aplicações no âmbito da regulação urbana».
12
Isto é, diferentemente de uma pesquisa confirmatória em que se reúne informação para testar uma hipótese alternativa definida a
priori, numa pesquisa exploratória reúne-se informação para determinar se uma hipótese a posteriori pode ser interessante – cf.
Jaeger e Halliday, «On Confirmatory versus Exploratory Research».
13
Torraco, «Writing Integrative Literature Reviews»; Callahan, «Writing Literature Reviews».
14
Para o efeito foram pesquisadas palavras-chave em português e inglês como “cidades inteligentes”; “avaliação ex post”; “avaliação
ex post em Portugal”; “avaliação de políticas públicas”.
15
Sisto et al., «City Assessment Tool to Measure the Impact of Public Policies on Smart and Sustainable Cities. The Case Study of
the Municipality of Alcobendas (Spain) Compared with Similar European Cities».; OECD, Improving Governance with Policy
Evaluation.
16
Mónica Catarina do Adro Lopes, «A avaliação de políticas públicas em Portugal: marcos de um desenvolvimento incipiente», 3–
4., avançando também ― na página seguinte, apud URTEAGA, bem como CUESTA e MARTÍNEZ ― razões pelas quais muitas vezes
os trabalhos realizados para “avaliar” a ação europeia pareciam constituir mais uma forma disfarçada de controlo do que uma
avaliação, no sentido pleno da palavra.
Exemplo disso é não se basearem nos potenciais problemas que os programas pudessem ter apresentado, mas espelharem os
pressupostos que deveriam ter estar verificados para a sua obtenção, situação que, no entender da Autora foi melhorando,
designadamente com o programa MEAN (“Means for Evaluating Actions of a Structural Nature”), o qual deu depois origem ao
EVALSED (“Evaluation of Socio-Economic Development”) – cf.
https://ec.europa.eu/regional_policy/policy/evaluations/guidance_en.
No entender de MARIA ROSÁRIO TORRES, apud Mónica Catarina do Adro Lopes, 9., o mesmo raciocínio valia para Portugal.

Página 5 de 22
ADRO LOPES17 considerava que se tinham desenvolvido culturas de avaliação com filosofias,
abordagens e metodologias próprias, mas que não tinham confluído para produzir uma cultura de
avaliação comum e generalizada ou, mais precisamente “não se pode dizer que a avaliação tenha
sido alguma vez sistematizada e considerada uma política pública autónoma no nosso país”18.
Segundo a Autora19, a lógica reforçou-se a partir de 2009, na sequência da crise económica e
social, evidenciando os programas de governo e os documentos de estratégia orçamental dos cinco
anos anteriores uma forte preocupação (i) com o reforço do controlo do desempenho da atividade
do Estado, ao nível do cumprimento dos limites de despesa definidos e com (ii) os objetivos
financeiros, incluindo mais frequentemente análises de custo-benefício e de auditorias
financeiras.
Como referem AGUIAR e HABER20, a avaliação ex post consubstancia uma forma de melhorar a
eficácia, eficiência e aprendizagem contínua em contextos de implementação de políticas.21 Sem
a definição inicial de objetivos, para HARGUINDÉGUY 22, não seria possível avaliar se as
necessidades e/ou expectativas para as quais a política foi criada foram ou não
satisfeitas/alcançadas. O que, a nosso ver é verdade para o caso dos objetivos, no entanto, poderá
não ser para uma avaliação das necessidades e expectativas (a qual poderá ser realizada mesmo
sem uma definição inicial). Para efetuar uma comparação é necessário, efetivamente, definir e
delimitar de forma clara as necessidades e expectativas iniciais. No entanto, ainda assim, pode ser
relevante aferir, junto dos cidadãos/stakeholders qual o nível de satisfação, tendo em mente que
poderá haver efeitos (negativos ou positivos) associados a uma determinada política e ter-se
tornado (in)satisfatória relativamente a determinadas expectativas iniciais, mas satisfazer outras
de forma perfeita.
Ainda que seja feita a pensar no futuro, uma avaliação ex post olha sobretudo para o passado. É
uma ferramenta essencial no processo de aprendizagem contínua. Permite uma análise mais
aprofundada dos custos e benefícios reais em comparação com as projeções iniciais ― se as
houver ―, não apenas relativamente aos benefícios que se apontavam, mas também o custo de
manutenção (e eventual atualização, como acontece relativamente a tecnologias). Fornece-se,
assim, feedback valioso para a tomada de decisões futuras.23 As lições aprendidas com avaliações
ex post podem ser usadas para informar escolhas estratégicas e táticas em futuros projetos ou
políticas.
Adicionalmente, recorda-se que, por regra, as pessoas movem-se por incentivos positivos e
negativos24. É por isso importante que haja responsabilidade (designadamente

Nessa lógica de consciencialização e concretização, em 1995 foi constituída a APAI, uma associação com o estatuto de utilidade
pública, sem fins lucrativos, de cariz profissional, técnico e científico que procurou assumir-se como plataforma de debate no que
respeita à avaliação de impactos (www.apai.org.pt). Do mesmo modo, em 2009 foi criada a “Aval Portugal”
(https://avalportugal.wordpress.com/), reconhecendo-se no website, em 2018, que não existia qualquer atividade há vários anos e se
não houvesse interesse da comunidade portuguesa de avaliadores, seria preferível encerrar a atividade da associação.
17
Mónica Catarina do Adro Lopes, «A avaliação de políticas públicas em Portugal: marcos de um desenvolvimento incipiente», 7.
18
Mónica Catarina do Adro Lopes, 9.
19
Mónica Catarina do Adro Lopes, 7.
20
Aguiar e Haber, «Controle jurídico das políticas públicas: uma análise a partir dos conceitos de eficácia, efetividade e eficiência».
21
No mesmo sentido, veja-se Mónica Catarina do Adro Lopes, «A avaliação de políticas públicas em Portugal: marcos de um
desenvolvimento incipiente», 2.; Freitas, «Políticas públicas, avaliação de impactos e o direito fundamental à boa administração
[Junho 2015]».
22
Harguindéguy, Análisis de políticas públicas, 116.
23
School of International Futures, «Framework for intergenerational fairness - policy assessment tool; how-to guide».; Esteves e
Joseph, «A comprehensive framework for the assessment of eGovernment projects».; Casa Civil da Presidência da República (Brasil),
«Avaliação de políticas públicas_guia prático de análise ex post_vol2».
24
Wei e Yazdanifard, «The Impact of Positive Reinforcement on Employees’ Performance in Organizations»..
De acordo com o APA Dictionary of Psychology (disponível em https://dictionary.apa.org/incentive), em psicologia, um incentivo é
definido como “um estímulo externo, como uma condição ou objeto, que melhora ou serve como motivo para o comportamento”.
Para Câmara e Guerra, Humanator XXI. as recompensas extrínsecas podem ser vistas como condição necessária, mas não suficiente,
para uma empresa ter colaboradores motivados. Desta forma, percebe-se que uma boa gestão de salário, incentivos, benefícios e
símbolos de estatuto podem eliminar fatores de insatisfação, mas podem não significar satisfação.

Página 6 de 22
política)/accountability pelos resultados. Nesse sentido, a avaliação ex post assume uma grande
relevância, apontando para um novo tipo de controlo político-democrático em consonância com
os princípios da Nova Governação 25. Permite-se também uma avaliação mais precisa e
abrangente dos efeitos em relação a outras políticas similares cujo desfecho possa vir a ser o
mesmo, podendo originar responsabilidade política ― o que, a nosso ver, abre uma oportunidade
de atuação para os municípios, mas simultaneamente uma potencial desvantagem, conforme
melhor veremos abaixo.
Num ambiente dinâmico, a avaliação ex post permite também a adaptação a mudanças a outras
políticas que estejam em curso e incluir na sua análise ajustamentos ao contexto/conceção inicial
do programa/projeto e que podem ter mudado, o que é especialmente relevante quando há diversos
fatores ou políticas que se interligam (sendo por vezes difícil, como melhor veremos abaixo,
identificar a causa-raiz).
Como refere MÓNICA ADRO LOPES26, a avaliação ex post contribui para a transparência ao
revelar os resultados alcançados. Pode aumentar a credibilidade das organizações ou municípios
envolvidos, pois demonstra um compromisso com a prestação de contas e a aprendizagem
contínua. Permite uma perspetiva realista, assente em informação/dados concretos e não meras
perceções e conceitos vagos, ainda que possa ter uma componente quantitativa e/ou qualitativa,
que possa ser discutida e permite também a compreensão e validação de teorias e modelos
subjacentes aos programas ou políticas, ajudando a entender melhor os mecanismos causais e os
fatores que contribuíram para o sucesso ou fracasso da política.
Em suma, a nosso ver, sem avaliação ex post não é possível compreender factual e
comprovadamente se os objetivos foram ou não atingidos e/ou grau de satisfação.

3.2 Desafios que enfrenta/razões para os mecanismos de avaliação ex post poderem não
funcionar ( corretamente)
Em linha com o referido acima, pode considerar-se que faltam incentivos positivos àqueles que
identificamos com os principais intervenientes no processo: cidadãos/empresas; funcionários
públicos; decisores públicos/políticos.
Para que possa haver uma avaliação ex post, é necessário que haja vontade política para o efeito
e pode ser difícil para os decisores, quando comparam os riscos e as vantagens, vislumbrarem ou
valorizarem as vantagens de levarem a cabo tal avaliação, se isso não lhes for imposto. Poderiam
invocar-se adágios populares como “quem não deve não teme”, no entanto, raramente as situações
são assim tão simples, caso inexista uma obrigação legal. E mesmo existindo, em determinados
casos, poderá compensar algum incumprimento, o qual até poderá ser atendível, caso o processo
de avaliação seja moroso e não existam recursos disponíveis.
Assim, começando pela perspetiva dos decisores públicos, pode haver uma falta de vontade
política, assente em ciclos eleitorais de curto prazo 27. Se não houver pressão pública para prestar
contas ou se os resultados das avaliações não forem diretamente percebidos como benéficos para
os políticos em exercício, a motivação para conduzir avaliações ex post pode ser limitada. Os
municípios podem estar mais focados na implementação atual de políticas e projetos do que na
revisão retrospetiva. Isso pode, por exemplo, acontecer devido à pressão para apresentar
resultados imediatos e ao foco na gestão quotidiana (muitas vezes inundada de pequenos pedidos,
também relevantes de serem resolvidos, mas de acordo com uma escala de prioridade, urgência e

25
Mónica Catarina do Adro Lopes, «A avaliação de políticas públicas em Portugal: marcos de um desenvolvimento incipiente», 2.
26
Mónica Catarina do Adro Lopes, 2.
27
Veiga e Veiga, «Political Business Cycles at the Municipal Level».

Página 7 de 22
importância, fazendo-o de forma absolutamente transparente). A natureza dos ciclos políticos
pode, assim, incentivar uma abordagem mais orientada para o curto prazo.
Adicionalmente, conforme referido, muitas vezes, os municípios têm recursos limitados,
incluindo orçamentos restritos e equipas pequenas. A alocação de recursos para atividades de
avaliação ex post pode ser vista como uma prioridade menor em comparação com outras
necessidades operacionais e serviços essenciais.
Ademais, em especial no plano político, a interpretação dos resultados pode ser subjetiva e
depender da perspetiva dos avaliadores, podendo diferentes partes interessadas ter opiniões
divergentes sobre as conclusões, até porque as condições e o ambiente podem ter mudado desde
a implementação do programa ou projeto, o que pode afetar a relevância dos resultados obtidos e
a forma como são apresentados publicamente.
Há também que salvaguardar a possibilidade de haver impedimentos legais ou estruturais a
dificultar a realização de avaliações ex post, como falta de orientações, regulamentação (clara) ou
procedimentos instituídos para a realização dessas avaliações.
Constata-se também uma dificuldade de medição dos benefícios indiretos, dado o seu grau de
subjetividade28, reportando-nos ao estudo de PARSONS, para quem a evolução do impacto atual
nos problemas políticos é algo no qual é mais relevante do ponto de vista dos valores do que dos
factos. Como refere aquele Autor, a análise quantitativa de como a política afeta um problema,
pode ser apenas uma forma de legitimar o processo de decisão política em vez de fornecer uma
avaliação satisfatória sobre se uma política ou programa funcionam e com que efeito.
A questão da avaliação também deve ser vista da perspetiva dos funcionários, que, de acordo
com JOSÉ ANTÓNIO DE OLIVEIRA ROCHA29, se podem opôr à análise das políticas e em relação
aos quais pode haver uma falta de sensibilização/conhecimento ou capacidade técnica para
realizar tais avaliações. Muitas vezes a avaliação exige habilidades específicas em métodos de
pesquisa, recolha e análise de dados, o que nem sempre está disponível nos departamentos
municipais. Além dessa eventual melhoria na área da formação/aquisição de conhecimentos,
importa também ter presente que os processos de avaliação podem ser morosos e complexos, o
que desincentiva a eficiência e eficácia no seu tratamento.
Quanto aos cidadãos, obviamente que pode identificar-se, em alguns países uma ausência de
cultura de escrutínio público e participação cívica,30 o que dificulta, não apenas a intervenção
nestes processos, como acionar a responsabilidade política/accountability. Recorda-se que quer
os funcionários, quer os decisores também são cidadãos e, por isso, a cultura organizacional e a
tradição administrativa em alguns municípios acaba por refletir aquela ideia e podem não
valorizar ou priorizar a cultura de avaliação e aprendizagem contínua.
Outro aspeto que pode dificultar o empenho relativamente a estes mecanismos é a perceção de
que a avaliação ex post está limitada a uma visão retroativa, o que significa que não é possível
ajustar o programa ou projeto retroativamente (alterando o passado), apenas é possível alterar
outras políticas presentes que estejam a ser implementadas ou futuras ― o que é um ponto
de ação ao qual voltaremos mais adiante. Tem de ser possível extrair consequências. Pode, por
isso, levar-se a crer que é um exercício inútil, na medida em que não alterará o que já foi feito.
I.e., mecanismos ex post podem gerar incompreensão na medida em que, no rigor dos termos não
adiantam nada de matéria à política, a qual já foi implementada. Daí que seja essencial no referido
enquadramento que os mecanismos a utilizar sejam proporcionais não apenas os mecanismos
a utilizar, mas também os custos, o que deverá estar planeado/definido à partida.

28
Chenrim, As políticas públicas no sector dos transportes ferroviários portugueses desde 1974, 16.
29
J. A. Oliveira Rocha, Gestão do processo político e políticas públicas.
30
Vrydagh, «Measuring the Impact of Consultative Citizen Participation».; Arnaud e Ortiz, La gouvernance: un outil de participation.

Página 8 de 22
A compreensão dessas limitações do instrumento é crucial para interpretar os resultados de forma
adequada. É igualmente relevante que se proceda à identificação dos agentes/grupos
interessados/afetados pela política (stakeholders) e que se faça um elenco das suas necessidades
e expectativas para que possam ser devidamente ponderadas31. Como refere JOSÉ ANTÓNIO
OLIVEIRA ROCHA, o impacto pode ter várias dimensões, podendo até haver afetação de grupos
não identificados à partida proporcionando as chamadas externalidades.
De acordo com JOSÉ ANTÓNIO DE OLIVEIRA ROCHA32 a avaliação das políticas não constitui em
absoluto um processo fácil, na medida em que, os objetivos nem sempre são transparentes na
implementação de uma determinada política pública, pois estabelecem-se redes de participantes
na negociação e na procura de consensos, podendo alguns participantes terem-se afastado dos
objetivos previamente delineados. Pode ser desafiante estabelecer uma relação de causa-efeito,
bem como a causa-raiz e isolar o impacto específico do programa ou projeto, especialmente se
houver vários fatores a contribuir para os resultados observados. A avaliação ex post pode revelar
"o quê", mas pode ser mais difícil determinar o "porquê".
Além disso, há que reconhecer que um processo exaustivo de avaliação ex post pode ser (i) caro,
(ii) demorado e (iii) complexo devido à necessidade de recolha de dados após a conclusão do
projeto e à variedade de fatores que influenciam os resultados. Caso não tenha havido uma
preparação adequada ― aspeto a que voltaremos mais adiante ―, pode haver uma ausência de
dados disponíveis para análise (podendo ter de haver um trabalho manual de recolha). Ou poderá
haver dados, mas não serem confiáveis, o que pode limitar a capacidade de realizar uma avaliação
completa.
Por último, o impacto das políticas públicas pode também não surtir o impacto desejado,
designadamente porque não existiram recursos financeiros suficientes para a implementação
(total) da política, o que não significa necessariamente um insucesso, podendo ter havido uma
espécie de processo de marketing junto do eleitorado de forma a conquistá-lo e a evitar que se
sinta insatisfeito.

4. METODOLOGIAS ATUAIS DE AVALIAÇÃO DE IMPACTO EX POST DE POLÍTICAS PÚBLICAS

4.1 Metodologias de avaliação de impacto de políticas públicas
Neste capítulo, assentando numa revisão literária e documental33, importa-nos elencar quais os
mecanismos de avaliação ex post de políticas públicas, procurando apurar se (i) atingiram os
objetivos, (ii) satisfizeram as necessidades ou expectativas dos stakeholders envolvidos; e (iii)
contêm aspetos a melhorar.
Existem diversos critérios de avaliação, sendo que nenhum se pode considerar como
completo/satisfatório e politicamente neutro (ainda que seja de supor que os resultados alcançados

31
J. A. Oliveira Rocha, Gestão do processo político e políticas públicas, 81.
32
J. A. Oliveira Rocha, Gestão do processo político e políticas públicas.
33
Carneiro, «Avaliação de políticas públicas».; Verdug, «Six Models of Evaluation».; Mónica Catarina do Adro Lopes, «A avaliação
de políticas públicas em Portugal: marcos de um desenvolvimento incipiente».; Harguindéguy, Análisis de políticas públicas, 116.;
Carneiro et al., «Understanding Decision Quality through Satisfaction».; Nunes, «A participação popular no controle das políticas
públicas».; Ferrão e Paixão, Metodologias de avaliação de políticas públicas.; OECD, Improving Governance with Policy Evaluation.,
Pinto, Avaliação de políticas públicas.; Bernardes e Sousa, «Políticas públicas para a construção da democracia digital: um estudo de
iniciativa do Rio de Janeiro no uso das tecnologias para a gestão de cidades inteligentes.»; Revillard, Policy Evaluation.; Gerry Stoker,
«Gestão do valor público: a administração pública orientada pela missão?»; Bernardes e Sousa, «Políticas públicas para a construção
da democracia digital: um estudo de iniciativa do Rio de Janeiro no uso das tecnologias para a gestão de cidades inteligentes.»;
Carvalho, Direito às cidades inteligentes; «Direito à sustentabilidade das cidades, sob o enfoque do princípio da dignidade da pessoa
humana - Jus.com.br | Jus Navigandi»; Fernanda Paula Oliveira e Gonçalves, «Problemas das cidades em Portugal»; Guimarães e
Xavier, «Smart cities e direito: conceitos e parâmetros de investigação da governança urbana contemporânea».;Costa, «O direito
fundamental à cidade sustentável: existência e conteúdo no direito brasileiro».; Qarri e Gill, «Smart Cities and Human Rights».;
Campos e Gonçalves, «Direito a cidades sustentáveis: a concretização do direito por intermédio de políticas públicas e intervenção
judicial ativa».;

Página 9 de 22
não resultam da influência de fatores externos, capazes de modificar a essência do efeito desejado
da política implementada).
Também pode haver outros critérios, como a satisfação dos “utentes” ou a comparação com a
situação anterior e com a atual realidade, depois de implementada a política.
Procurando uma sistematização de conceitos, JOSÉ ANTÓNIO OLIVEIRA ROCHA34, apud VERLUG,
refere três tipos de critérios: (i) substantivos; (ii) económicos e (iii) baseados no processo. Dentro
da primeira categoria, dos critérios substantivos, temos cinco sub-espécies: (i) com base nos
objetivos prosseguidos; (ii) com base em objetivos laterais; (iii) critérios dos clientes; (iv) critérios
dos stakeholders; (v) critérios profissionais. Na segunda categoria, dos critérios económicos,
cabem três subespécies: (i) economia (com base apenas nos custos); (ii) produtividade; (iii)
eficiência: custo-eficácia; custo-benefício. Por último, na terceira categoria, dos critérios
baseados no processo, inserem-se seis sub-espécies: (i) legalidade; (ii) equidade; (iii)
publicidade; (iv) representatividade; (v) participação; (vi) democracia.
Pode levar-se a cabo uma análise de eficácia, na qual os resultados reais são comparados com os
objetivos e metas inicialmente estabelecidos para a política. Para HARGUINDÉGUY35, é um
conceito que se expressa sobre se um objetivo foi conseguido ou não. Já a eficiência seria a
maximização dos outputs e inputs, relacionando a produtividade os resultados, com os meios
utilizados.
No caso de uma análise de eficiência custo-benefício,36 compara-se o custo gerado com uma
construção com o benefício que proporciona. Porém, estes estudos podem ser complexos, muito
técnicos, morosos e, por vezes, inconclusivos.
Também pode haver uma análise de produtividade, a qual, para HARGUINDÉGUY37 é um
indicador que relaciona a produção com os meios necessários (ex.: número de quilómetros
construídos e/ou número de utilizadores e os custos).
Pode também levar-se a cabo uma avaliação de impacto, em que se comparam os resultados
observados com um grupo que foi diretamente afetado pela política (grupo de tratamento) com
um grupo de controle semelhante que não foi exposto à política. O objetivo é isolar o impacto
específico da política, controlando outros fatores que podem ter influenciado os resultados.
Uma análise qualitativa e quantitativa combina métodos qualitativos e quantitativos para obter
uma compreensão abrangente dos resultados e a análise qualitativa pode fornecer insights sobre
as experiências e perceções dos beneficiários, enquanto a análise quantitativa fornece dados
numéricos mensuráveis.
Por último, uma análise de Retorno sobre Investimento (ROI) permite calcular o retorno
financeiro da política, comparando os benefícios económicos obtidos com os custos associados à
implementação.

4.2 Análise de um exemplo de um estudo/avaliação ex post

No caso da avaliação ex post de “Braga Capital Europeia da Juventude 2012 (CEJ) por parte dos
seus participantes e residentes”, feita por MÁRCIO GÓIS e PAULA REMOALDO38, as principais
conclusões centraram-se, entre o mais, na satisfação da maioria dos inquiridos, à luz dos critérios
questionados (i.e., dinamismo em termos culturais; abertura de novos horizontes para os jovens e
maior visibilidade internacional à cidade). Apurou-se também que o acesso à programação em

34
J. A. Oliveira Rocha, Gestão do processo político e políticas públicas, 143.
35
Harguindéguy, Análisis de políticas públicas, 116.
36
Harguindéguy, 116.
37
Harguindéguy, 116.
38
Campos e Remoaldo, «Avaliação on-going e ex-post da Braga Capital Europeia da Juventude 2012 por parte dos seus participantes
e residentes»., podendo também ver-se o trabalho de Cerejeira, Correia, e Sousa, «A Semana Santa de Braga»., ainda que sobre um
evento diferente.

Página 10 de 22
formato digital teve um peso maior até aos 40 anos, relevante a programação impressa para os
mais idosos. De acordo com o estudo, não se confirmou que a CEJ tenha contribuído para a
integração na sociedade de minorias étnicas e de outras culturas.
Destacamos que o estudo também questionou os participantes sobre te tinham considerado que a
CEJ tinha levado à melhoria da atividade económica da cidade de Braga, o que não nos parece a
melhor forma de apurar esta conclusão, preferindo a análise de estudos económicos, com dados,
por exemplo sobre a faturação, comparando períodos homólogos.

4.3 Possibilidade de inexistência de avaliações ex ante e in intinere

Idealmente o processo de avaliação ex post começaria com um processo de avaliação ex ante,
com uma definição precisa dos objetivos que a política busca alcançar, preferencialmente
SMART, distinguindo entre objetivos de curto, médio e longo prazo.
Também idealmente deveriam estar verificados muitos pressupostos, como ter sido feita uma
estimativa dos custos associados à implementação da política, bem como uma avaliação dos
benefícios esperados, tanto tangíveis quanto intangíveis, uma identificação dos principais riscos
associados à política, bem como um desenvolvimento de estratégias para mitigar esses riscos.
Ademais, uma verificação da conformidade com leis e regulamentações existentes; a criação de
indicadores quantitativos e/ou qualitativos SMART para medir o sucesso da política na avaliação
in intinere e também uma definição de metas realistas associadas a esses indicadores, tal como
uma análise dos possíveis impactos sociais e ambientais da política e desenvolvimento de
estratégias para maximizar os impactos positivos e minimizar os negativos.
Também dependendo da complexidade e urgência na implementação da política, faz-nos sentido
que seja estabelecido um plano de comunicação para informar e envolver o público, bem como a
definição estratégias para lidar com possíveis resistências ou preocupações. Ou até incluir, na
fundamentação da decisão, a análise de alternativas à política proposta, bem como a comparação
das suas vantagens e desvantagens e o estabelecimento de um cronograma detalhado para a
implementação da política, com a definição de marcos importantes (milestones) e prazos
(deadlines).
Poderia também haveria a definição e indicação de qual seria (e como funcionaria) o sistema de
monitorização contínua (in itinere) durante a implementação, incluindo, por exemplo,
mecanismos de feedback e avaliação temporal (por exemplo, se ocorrerá em tempo real ou
periodicamente) para eventuais ajustes, se necessário. Isto, claro, tendo em consideração que este
tipo de mecanismos exige recursos e tem custos, os quais também deverão ser levados em conta.
Nos casos em que os municípios impuseram um limite temporal a um determinado programa de
atividades, afetando um determinado montante financeiro por um número determinado de meses
ou anos é fácil compreender que, quando chega a data do seu vencimento, se encerra a política e
a atividade cessa. Também o desaparecimento de um organismo administrativo ou o
desaparecimento do interesse/necessidade/expectativa por parte do público ou a resolução do
problema marcam o fim de uma política pública. Porém, pode haver situações em que é difícil
afirmar que a política já foi implementada ou se continua em curso.
Nesses casos, a nosso ver, se/quando se pretender uma nova política ― designadamente porque
a necessidade ou expectativa anterior não foi satisfeita ―, consideramos ser relevante que se
avalie a política anterior, designadamente para que se possa melhorar a implementação de outras
políticas39.

39
Hochtl, Parycek, e Schollhammer, «Big data in the policy cycle: Policy decision making in the digital era».; Javed, Khan, e
McClatchey, «An Adaptable System to Support Provenance Management for the Public Policy-Making Process in Smart Cities».;
Hochtl, Parycek, e Schollhammer, «Big data in the policy cycle: Policy decision making in the digital era».; Van Der Aalst, Process
Mining.

Página 11 de 22
Como já propusemos noutro trabalho40, um dashboard permitiria avaliar e apresentar aos cidadãos
e aos técnicos e decisores o grau de implementação das políticas municipais definidas como
prioritárias, bem como o cumprimento de leis e regulamentos, nomeadamente em matéria da
existência ou atualização de planeamento.
Como CHENRIM41 e FREMAN e LIPSEY42, os Governos e os decisores políticos “obrigam-se” (nas
palavras do primeiro autor), a rever a política anteriormente adotada quando a avaliação e o
impacto da política acaba por não se traduzir no efeito esperado e se o público-alvo não se sentir
identificado com essa implementação. Porém, esse processo deveria, anteriormente, ser
acompanhado de uma avaliação in itinere precisamente para evitar que a política se desviasse a
esse ponto. Como já referimos, não vivemos num mundo ideal.
Para HARGUINDÉGUY43 não seria possível ter uma avaliação sem a definição prévia de critérios
de avaliação (“hechos factuales”) e compará-los com a situação prévia (com os “hechos
contrafactuales”, livres de intervenção),44 supondo que os resultados não tenham sido alcançados
com a influência de nenhum fator externo que teria modificado a essência do efeito da política,
numa “lógica de inferência”, nas palavras do Autor. Sem isso, em seu entender, não há nenhum
critério de juízo para aferir se uma política foi um êxito.
Porém, não vivemos num mundo ideal e a inexistência de processos de avaliação ex ante e
in intinere não deverá ser invocada para servir de obstáculo a que se avalie ex post, no limite
sobre a satisfação dos utilizadores com a prestação do serviço.

5. POTENCIALIDADES CRIADAS PELAS CIDADES INTELIGENTES45

5.1 Ponto prévio – conceito de cidade inteligente
Conforme referido, não se procederá a uma revisão sistemática exaustiva da literatura sobre o
conceito de cidade inteligente,46 afirmando apenas que continua sem existir uma definição
consensual do conceito de cidade inteligente47, mas uma multiplicidade de conceitos difusos, uns
focando-se nos propósitos, outros nos meios oferecidos pela tecnologia ou ambos. Como referem
JAVED et alii,48 a ambiguidade do conceito dá liberdade às cidades para escolherem o projeto que
vai ao encontro da especificidade dos seus propósitos e objetivos, preocupações, problemas e
necessidades.
Dada a multiplicidade de conceitos de cidade inteligente, optámos por aderir ao adotado pela
ITU49 e, posteriormente pela Comissão Económica das Nações Unidas para a Europa (UNECE):
uma cidade inteligente sustentável é “uma cidade inovadora a que utiliza as TIC50 e outros meios,

40
Lucas, «Conceito jurídico de cidades inteligentes e regulamentação de dashboards na dimensão de governação (para assegurar uma
visão holística)».
41
Chenrim, As políticas públicas no sector dos transportes ferroviários portugueses desde 1974, 16.
42
Freman e Lipsey, Evaluation : a systematic approach / Peter H. Rossi, Howard E. Freeman, Mark W. Lipsey.
43
Harguindéguy, Análisis de políticas públicas, 115.
44
Duarte Rodrigues, «Avaliação ex post - Evolução e desafios da avaliação de Políticas Públicas: uma perspetiva a partir da Avaliação
dos Fundos de Coesão». também se refere à avaliação de impacto contrafactual.
45
Porto e Oliveira, «The Smart Cities MethodoLogy Based on Public Value».; Keshvardoost, Renukappa, e Suresh, «Developments
of Policies Related to Smart Cities».; European Investment Bank, «Assessment methodology for smart city projects - application to
the Mediterranean Region».; Caragliu e Del Bo, «Do Smart Cities Invest in Smarter Policies? Learning From the Past, Planning for
the Future».; Cavada, «Designing Policy for Smart Cities».
46
Para um elenco das definições de smart cities existentes – cf. Arafah e Winarso, «Redefining Smart City Concept with Resilience
Approach».;; e Dameri e Rosenthal-Sabroux, «Smart City and Value Creation».
47
Jiménez, «Smart cities: inexistencia de una definición jurídica».; Fonseca e Prata, «Smart cities vs. smart(er) governance : cidades
inteligentes, melhor governação (ou não)».
48
Javed, Khan, e McClatchey, «An Adaptable System to Support Provenance Management for the Public Policy-Making Process in
Smart Cities», 1.
49
International Telecommunications Union (ITU), «Smart sustainable cities: An analysis of definitions».
50
Para um elenco de 16 definições, veja-se Jaremen, «Advantages from ICTS Usage in Hotel Industry», 7 e ss..
Perfilhamos da doutrina que defende a importância da digitalização e do tratamento digital dos dados, concordando com BUHALIS
Buhalis, ETourism: Information Technology for Strategic Tourism Management, 8–9. quando refere que se devem considerar TIC

Página 12 de 22
para melhorar a qualidade de vida, eficiência das operações e serviços urbanos e
competitividade,51 enquanto assegura que satisfaz as necessidades das gerações presentes e
futuras com respeito pelos aspetos ambientais, sociais e económicos/culturais/de governação”.
Por último, de referir que, associado ao conceito de cidade inteligente, está o de “smart
governance”, que pode ser traduzida como governança inteligente52 ou governação inteligente53,
optando por utilizar este último.
Indo mais longe, a nosso ver, inspirados por outros autores54, o conceito de cidade inteligente
poderá ser “evolutivo” ou “modular” e deve ser avaliado com base no compromisso com os
princípios e práticas em constante aperfeiçoamento. Através de ratings e rankings55 é possível
aferir o grau de alinhamento com os propósitos e o grau de cumprimento de objetivos que a
maioria dos autores associa a cidades inteligentes, podendo a inovação tecnológica, em especial
em inteligência artificial (data mining e natural language processing) auxiliar na melhoria deste
processo. O processo de evolução de uma cidade inteligente é um processo contínuo, o grau de
inteligência de uma cidade pode variar ao longo do tempo (em função de vários fatores) e deve
ser avaliado com base no seu compromisso com os princípios e práticas de uma cidade inteligente
em constante aperfeiçoamento. Não seria possível definir um ponto a partir do qual já se pode
considerar que existe uma cidade inteligente, sendo avaliada em função de ratings ou rankings.

5.2 Definição de workflow para acompanhar processo e disponibilidade de dados

(automatização) 56
Face a este contexto, como referem JAVED e MCCLATCHEY57, atualmente não há nenhuma
tecnologia que auxilie o governo durante a criação da política e permita o tracking do processo
completo que foi aplicado na criação da política. Os Autores referem a tese de doutoramento de
FARHANA SAJJAD58, em Filosofia, sobre a adequação da gestão do fluxo de trabalho (workflow),
mas para concluir que, à data do artigo, em 2018, a sua aplicação prática ainda não tinha sido
investigada.
O propósito do artigo de JAVED et alii é, por isso, propor uma solução tecnológica que auxilie os
responsáveis políticos (policy makers) ― aqueles que estão envolvidos no processo de tomada de
decisão de políticas públicas (public policy decision making), nas diversas fases: comunicação e
colaboração, facilitação da participação dos cidadãos, e armazenamento e organização dos

como todo o espectro de material eletrónico, computadores e tecnologias de comunicação, como todo o hardware, software e
“netware” exigido para o desenvolvimento e operacionalização da “info-estrutura” de uma organização. Assim, as TIC serão um
sistema integrado de software e equipamento ligado em rede que permite o processamento efetivo de informação e comunicação para
melhorar a organização.
Castelnovo, Misuraca, e Savoldelli, «Smart Cities Governance: The Need for a Holistic Approach to Assessing Urban Participatory
Policy Making», 725. refere ainda a relevância da convergência, normalização e mobilidade, tal como o papel das “nuvens” de
informação ou big data.
51
Que se reporta a políticas, instituições, estratégias e processos que determinam a “produtividade sustentável” da cidade
52
Abreu, «As dimensões e atributos da Smart City e o desenvolvimento do território - os Casos de Estudo de Cascais e Sintra».,
Bernardes, «Cidades Inteligentes: Proposta de modelagem regulatória para a governação participativa, no contexto luso-brasileiro».
ou Suzana Tavares da Silva, «Poder local, govenança e financiamento municipal».
53
Bernardo, «Smart City Governance: From E-Government to Smart Governance». ou Fernandes, «A construção de uma cidade
inteligente: Uma análise à cidade de Viana do Castelo».
54
Gil-García, Pardo, e Nam, «What makes a city smart? Identifying core components and proposing an integrative and comprehensive
conceptualization».;Oliveira, Mendes, e Serra, «As cidades como hubs territoriais inteligentes, evolução, benchmark e futuro - o
estudo de caso de Masdar».; Javed, Khan, e McClatchey, «A Network-Based Approach to Capture Provenance of a Policy-Making
Process»; Javed, Khan, e McClatchey, «An Adaptable System to Support Provenance Management for the Public Policy-Making
Process in Smart Cities».
55
«Medição do desempenho organizacional nos municípios portugueses: uma proposta de indicador de desempenho concelhio».
56
Oliveira e Sousa, «A utilização da tecnologia como forma de desburocratização dos serviços públicos».
57
Javed, Khan, e McClatchey, «An Adaptable System to Support Provenance Management for the Public Policy-Making Process in
Smart Cities», 2.
58
Sajjad, «An analytical framework for workflow technology adoption in local government authorities».

Página 13 de 22
dados59, remetendo para um outro artigo sobre o potencial de utilização dos dados recolhidos para
melhorar a implementação de outras políticas60.
As cidades inteligentes geralmente têm objetivos específicos relacionados com a eficiência
operacional, uso sustentável de recursos, inovação tecnológica e melhoria da qualidade de vida.
Nesse sentido, os indicadores de avaliação já deverão/deveriam ter sido adaptados para refletir
esses objetivos únicos das cidades inteligentes61.
Nas cidades inteligentes, as tecnologias digitais e a recolha de dados em tempo real desempenham
um papel crucial, razão pela qual a avaliação ex post pode envolver a análise de dados
provenientes de sensores, sistemas de IoT (Internet das Coisas) e outras tecnologias para medir o
desempenho e os impactos das políticas.
Assim, cidades inteligentes, a par com a recolha de dados e o seu processamento proporcionam
uma avaliação ex post mais automatizada em virtude dos dados recolhidos, a que acrescem agora
as ferramentas de inteligência artificial e de text mining, o que constitui uma abordagem poderosa
para auxiliar no tratamento da informação não estruturada recolhida, por exemplo a partir de uma
questão em aberto à população, em que cada um é livre de responder o que entender. Imagine-se
100 mil contribuições nestes termos, o trabalho manual que exigiria aos funcionários. Esta
tecnologia envolve a aplicação de técnicas de processamento de linguagem natural (PLN) e
análise de texto para extrair informações valiosas e insights a partir de grandes volumes de texto.
O text mining pode ser usado para identificar os tópicos mais relevantes nas respostas e extrair
palavras-chave que representam os principais temas discutidos, por exemplo. Assim e como
também se geram grandes volumes de dados, a avaliação ex post pode envolver técnicas
avançadas de análise de big data para identificar padrões, correlações e insights que não seriam
facilmente acessíveis em ambientes urbanos tradicionais.
A propósito de energia NTAFALIAS et al.62 fazem uma avaliação das soluções inteligentes
implementadas, propondo uma metodologia de sete etapas (apresentando um caso de uso para a
cidade de Espoo), indicando a necessidade de uma análise aprofundada da visão de longo prazo
da cidade, uma abordagem combinada de cima para baixo e de baixo para cima e a cooperação
contínua entre todas as partes interessadas envolvidas no planeamento e transformação urbana,
nas quais é necessário indicadores (KPIs).
É necessário definir critérios aplicáveis a tipos de políticas para poder tornar o processo mais
eficiente e atrativo para todos os envolvidos ― cidadãos; funcionários e decisores. Os critérios
que poderão ser adaptados para a maior flexibilização dos procedimentos, poderá avançar-se: a
complexidade; relevância e custo (em função do orçamento anual).

59
Meijer e Rodríguez Bolívar, «Governing the smart city: A review of the literature on smart urban governance».
60
Javed, Khan, e McClatchey, «A Network-Based Approach to Capture Provenance of a Policy-Making Process».
61
Teles, «Autarquias no fio da navalha: governação local e estratégias de reforço do capital social»; Gerry Stoker, «Gestão do valor
público: a administração pública orientada pela missão?»; Castro, «O Estatuto da Cidade frente ao novo paradigma das smart cities»;
Fernandes, «Cidades inteligentes - Um novo paradigma urbano»; Moreira, Gestão Pública e Teoria das Burocracias.; Bernardes e
Sousa, «Políticas públicas para a construção da democracia digital: um estudo de iniciativa do Rio de Janeiro no uso das tecnologias
para a gestão de cidades inteligentes.»; Braga da Silva Neto e Nalini, «Cidades inteligentes e sustentáveis»; Fonseca e Prata, «Smart
cities vs. smart(er) governance : cidades inteligentes, melhor governação (ou não)»; Guimarães e Xavier, «Smart cities e direito:
conceitos e parâmetros de investigação da governança urbana contemporânea»; Pereira, «O direito à cidade. Reconhecimento e
efetividade: proposta a partir da ideia de cidade inteligente».;Qarri e Gill, «Smart Cities and Human Rights».; Ferraresi e Engelmann,
«O direito à cidade (inteligente) e as smart cities: a tecnologia como fio condutor para a (re)organização de espaços urbanos
sustentáveis».; Aminah, «The public rights to the sidewalk in a smart city framework: The case study of Surabaya City»; Cardullo, Di
Felicaiantonio, e Kitchin, «The Right to the Smart City»; Di Feliciantonio, «Against the romance of the smart community: The case
of Milano 4 You»; «Financing smart, sustainable cities | Global law firm | Norton Rose Fulbright»; Flak e Hofmann, «The Impact of
Smart City Initiatives on Human Rights»; Flak e Hofmann; Kitchin, Cardullo, e Di Felicaiantonio, «Citizenship, Justice, and the Right
to the Smart City»; Ribera-Fumaz, «Moving from Smart Citizens to Technological Sovereignty?»; Shaw e Graham, «Digital
information and the right to the city»; Vogl et al., «Smart technology and the emergence of algorithmic bureaucracy: Artificial
intelligence in UK local authorities»; Willis, «Whose Right to the Smart City?»
62
Ntafalias et al., «A Comprehensive Methodology for Assessing the Impact of Smart City Interventions».

Página 14 de 22
Assim, e em face de determinadas decisões mais relevantes, complexas, transversais ou
dispendiosas para as suas comunidades, os decisores públicos devem ter orientações que
lhes permitam definir procedimentos flexíveis e adequados relativamente aos elementos que
― em face do tipo de decisão ― lhes permitam criar uma base sólida para avaliar ex ante a
viabilidade e eficácia das suas propostas.
Idealmente deveria haver uma “abordagem holística” (como poderia ser o caso de um Plano
Diretor Digital” (PDD), conforme noticiado pelo Jornal Económico a 17.01.2020), que
propusesse um enquadramento da performance, sobre a conformidade legal de cumprimento de
obrigações, como a aprovação de planos; ou o cumprimento de objetivos ―, nomeadamente
quanto à avaliação da (sustentabilidade da) política, de forma a beneficiar da participação ativa
dos cidadãos ― daí a nossa proposta de análise de um mecanismo de dashboard em outro
trabalho.63
Essa abordagem abrangente ajuda a garantir que as políticas atendem às necessidades da
sociedade e são suscetíveis de alcançar os resultados desejados, não podendo a avaliação ex post
ser uma mera formalidade. Concluímos que as cidades inteligentes podem efetivar um
processo de avaliação ex post mais automatizado, fruto dos dados recolhidos através de
sensores, dispositivos IoT (Internet das Coisas), sistemas de transporte público, câmaras de
vigilância, sistemas de gestão de resíduos , etc.,.
Poderá, assim, reduzir-se a carga burocrática, garantir o direito de acesso à
informação/transparência e permitir aos municípios direcionar investimentos para
iniciativas que demonstraram ser mais eficazes/eficientes e abandonar aquelas que não
alcançaram os resultados desejados e, em derradeira análise, contribuir decisivamente para
o escrutínio democrático devidamente esclarecido.
Porém, essa necessidade de reapreciação de outras políticas não pode conduzir a um processo
burocrático e moroso que demore a implementação de outras políticas. Daí a necessidade de que
haja um workflow ― que poderá ser analógico, mas se for digital será mais rápido e eficiente ―
para que a informação que se extrai de uma avaliação ex post possa ficar disponível para as
avaliações ex ante e in itinere que o município tenha pendentes.

5.3 Maior transparência e divulgação de incentivos positivos

Nas cidades inteligentes, a participação cívica muitas vezes ocorre por meio de plataformas
digitais e aplicativos móveis ― aumentando ainda mais caso sejam utilizados mecanismos
híbridos ―, pelo que uma avaliação pode incluir uma análise mais célere e com mais dados da
eficácia desses canais de participação, designadamente se eles estão a alcançar uma representação
adequada da diversidade de opiniões na população. Permite-se, assim, aos cidadãos o acesso à
informação a partir de uma plataforma disponibilizada on line; serem notificados das políticas do
seu interesse e serem chamados a colaborar na sua avaliação, através do meio que considerarem
mais conveniente (para alguns será o email, para outros um mecanismo presencial).
Como refere CHENRIM64, os cidadãos também podem bloquear a implementação de uma política,
por a considerarem injusta ou não conforme aos seus interesses e, as próprias políticas podem
tornar-se de difícil interpretação, ou tornarem-se de tal modo onerosas face à importante relação
custo-benefício, que inviabiliza a sua implementação e minimiza o seu impacto.
Neste contexto, as soluções que mais facilmente assumem relevância são, por um lado a (in)formação
de todos os stakeholders em especial sobre as vantagens do processo de avaliação ex post.

63
Lucas, «Conceito jurídico de cidades inteligentes e regulamentação de dashboards na dimensão de governação (para assegurar uma
visão holística)».
64
Chenrim, As políticas públicas no sector dos transportes ferroviários portugueses desde 1974, 16.

Página 15 de 22
Por outro lado, pode auxiliar ao processo se houver uma regulamentação e eventual imposição
nacional, o que exige a definição prévia de um enquadramento que delimite, englobe e
categorize as políticas e os mecanismos que poderão ser utilizados em cada um deles, para
tornar o processo mais expedito e repetível. Isto porque, como refere CHENRIM 65, a avaliação
do impacto leva de volta ao inicio do ciclo político, i.e., definição do problema e fixação da
agenda.

6. CONCLUSÕES
A. Sem avaliação ex post não é possível compreender factual e comprovadamente se os
objetivos foram ou não atingidos e/ou grau de satisfação ― ver ponto 3.1. acima;
B. A inexistência de processos de avaliação ex ante e in intinere não deverá ser invocada para
servir de obstáculo a que se avalie ex post, podendo questionar-se, pelo menos, a satisfação
dos utilizadores com a prestação do serviço ― ver ponto 4.5. acima;
C. Nas cidades inteligentes, em virtude do recurso a tecnologia, é possível efetivar um processo
de avaliação ex post mais automatizado, fruto dos dados recolhidos ― ver ponto 5.2. acima;
D. É necessário definir critérios aplicáveis, em abstrato, a determinados tipos de políticas ou
consoante estejam verificados determinados pressupostos para poder tornar o processo mais
eficiente e atrativo cidadãos; funcionários e decisores, como poderá ser o caso da
complexidade; relevância e custo (em função do orçamento anual do município). Assim, em
face de determinadas decisões mais relevantes, complexas, transversais ou dispendiosas
para as suas comunidades, os decisores públicos deveriam ter orientações que lhes
permitissem definir procedimentos flexíveis e adequados de avaliação ex post ― ver ponto
5.3. acima;
E. As cidades inteligentes poderão atribuir incentivos aos cidadãos, funcionários e decisores
que os faça recorrer/implementar mecanismos de avaliação ex post, por exemplo, ao:
a. Permitir aos cidadãos o acesso à informação a partir de uma plataforma disponibilizada
on line; serem notificados das políticas do seu interesse e serem chamados a colaborar
na sua avaliação, através do meio que considerarem mais conveniente (para alguns será
o email, para outros um mecanismo presencial);
b. Reduzir a carga burocrática (nomeadamente com recurso a inteligência artificial e text
mining para processar a recolha de dados necessária para a valiação, bem como os
eventuais contributos dos stakeholders);
c. Permitir aos decisores uma adequação da gestão do fluxo de trabalho (workflow) e
sobretudo reduzir o risco de insucesso das políticas através de um maior
acompanhamento, servindo o aumento da probabilidade de sucesso e de satisfação da
população como incentivo para que se possa comprovar através de uma avaliação ex
post, tanto mais que a avaliação do impacto leva de volta ao início do ciclo político,
podendo a informação que se extrai de uma avaliação ex post ficar disponível para as
avaliações ex ante e in itinere que o município tenha pendentes.
F. Para o efeito é necessário informar os cidadãos/empresas, funcionários e decisores políticos
sobre as suas vantagens de uma avaliação ex post e, também aí, as cidades inteligentes
apresentam vantagem através da utilização das novas tecnologias da informação na
divulgação e transmissão de conhecimento.

65
Chenrim, 16.

Página 16 de 22
7. BIBLIOGRAFIA
Abreu, Pedro. «As dimensões e atributos da Smart City e o desenvolvimento do território - os Casos de
Estudo de Cascais e Sintra», 2022.
https://repositorio.ul.pt/bitstream/10451/52154/1/Abreu_Pedro_TM_2022.pdf.
Aguiar, Julio Cesar, e Melina Tostes Haber. «Controle jurídico das políticas públicas: uma análise a partir
dos conceitos de eficácia, efetividade e eficiência». A&C - Revista de Direito Administrativo &
Constitucional 17, n.o 70 (2017).
Aminah, Siti. «The public rights to the sidewalk in a smart city framework: The case study of Surabaya
City». Masyarakat Kebudayaan Dan Politik, 2021.
https://doi.org/10.20473/mkp.V34I22021.221-234.
Arafah, Y, e H Winarso. «Redefining Smart City Concept with Resilience Approach». IOP Conference
Series: Earth and Environmental Science 70 (junho de 2017): 012065.
https://doi.org/10.1088/1755-1315/70/1/012065.
Araújo, Francisco Cepêda Ferreira de. «Avaliação do Impacto Legislativo - quanto custa legislar».
Mestrado - Relatório de Estágio, no âmbito do Mestrado em Economia, Faculdade de Economia -
Universidade de Coimbra, 2017.
Arnaud, A.J., e L. Ortiz. La gouvernance: un outil de participation. Collection Droit et société. LGDJ,
2014. https://books.google.pt/books?id=MArSrQEACAAJ.
Bernardes, Marciele Berger. «Cidades Inteligentes: Proposta de modelagem regulatória para a governação
participativa, no contexto luso-brasileiro», 2019.
http://repositorium.sdum.uminho.pt/bitstream/1822/65702/1/Marciele%20Berger%20Bernardes.
pdf.
Bernardes, Marciele Berger, e J. P. P. Sousa. «Políticas públicas para a construção da democracia digital:
um estudo de iniciativa do Rio de Janeiro no uso das tecnologias para a gestão de cidades
inteligentes.» Em Estado, Política e Direito: políticas públicas, gestão pública e direitos
fundamentais, Vol. 5. Editora CRV, 2015. https://doi.org/10.24824/978854440755.4.
Bernardo, Maria do Rosário Matos. «Smart City Governance: From E-Government to Smart Governance».
Editado por Luisa Cagica Carvalho. Handbook of Research on Entrepreneurial Development and
Innovation Within Smart Cities. Hershey, PA: Information Science Reference, 2017.
https://doi.org/10.4018/978-1-5225-1978-2.ch014.
Braga da Silva Neto, Wilson Levy, e José Renato Nalini. «Cidades inteligentes e sustentáveis: desafios
conceituais e regulatórios / Intelligent and sustainable cities: conceptual and regulatory
challenges». Revista de Direito da Administração Pública 1, n.o 1 (30 de junho de 2017).
https://doi.org/10.47096/redap.v1i1.107.
Buhalis, D. ETourism: Information Technology for Strategic Tourism Management. Financial Times
Prentice Hall, 2003.
Callahan, Jamie L. «Writing Literature Reviews: A Reprise and Update». Human Resource Development
Review 13, n.o 3 (setembro de 2014): 271–75. https://doi.org/10.1177/1534484314536705.
Câmara, Pedro B. da, e Paulo Balreira Guerra. Humanator XXI. 6.a ed. atualizada. Gestão e Inovação.
Lisboa: Dom Quixote, 2013.
Campos, Claudinei Da Silva, e Marcelo Freire Gonçalves. «Direito a cidades sustentáveis: a concretização
do direito por intermédio de políticas públicas e intervenção judicial ativa». Revista de Direito,
Economia e Desenvolvimento Sustentável 7, n.o 2 (15 de fevereiro de 2022): 1.
https://doi.org/10.26668/IndexLawJournals/2526-0057/2021.v7i2.8099.
Campos, Márcio, e Paula Remoaldo. «Avaliação on-going e ex-post da Braga Capital Europeia da
Juventude 2012 por parte dos seus participantes e residentes», 2014.
Caragliu, Andrea, e Chiara F. Del Bo. «Do Smart Cities Invest in Smarter Policies? Learning From the Past,
Planning for the Future». Social Science Computer Review, 2016.
Cardullo, Paolo, Cesare Di Felicaiantonio, e Rob Kitchin. «The Right to the Smart City». Bingley, UK:
Emerald Publishing, 2019.
https://www.emerald.com/insight/publication/doi/10.1108/9781787691391.

Página 17 de 22
Carina da Conceição Rodrigues Henriques Lopes da Silva. «A Avaliação das Políticas Públicas em Portugal
- o Caso da Modernização e Inovação Administrativa», 2022.
Carneiro, Inês Ferreira. «Avaliação de políticas públicas», 2008. https://repositorio.ul.pt/handle/10451/282.
Carneiro, João, Ricardo Santos, Goreti Marreiros, e Paulo Novais. «Understanding Decision Quality
through Satisfaction». Em Highlights of Practical Applications of Heterogeneous Multi-Agent
Systems. The PAAMS Collection, editado por Juan M. Corchado, Javier Bajo, Jaroslaw Kozlak,
Pawel Pawlewski, Jose M. Molina, Benoit Gaudou, Vicente Julian, et al., 430:368–77.
Communications in Computer and Information Science. Cham: Springer International Publishing,
2014. https://doi.org/10.1007/978-3-319-07767-3_33.
Carvalho, Maria Fernanda Pires de. Direito às cidades inteligentes. Arraes Editores, 2021.
https://books.google.pt/books?id=Uf5ZEAAAQBAJ.
Casa Civil da Presidência da República (Brasil). «Avaliação de políticas públicas_guia prático de análise
ex post_vol2», 2018.
Castelnovo, Walter, Gianluca Misuraca, e Alberto Savoldelli. «Smart Cities Governance: The Need for a
Holistic Approach to Assessing Urban Participatory Policy Making». Social Science Computer
Review 34, n.o 6 (2016): 724–39. https://doi.org/10.1177/0894439315611103.
Castro, Mariane Silva De. «O Estatuto da Cidade frente ao novo paradigma das smart cities», 2019, 146.
Cavada, Marianna. «Designing Policy for Smart Cities». Em Smart Cities and Digital Transformation:
Empowering Communities, Limitless Innovation, Sustainable Development and the Next
Generation, editado por Miltiadis D. Lytras, Abdulrahman A. Housawi, e Basim S. Alsaywid,
181–86. Emerald Publishing Limited, 2023. https://doi.org/10.1108/978-1-80455-994-
920231009.
Cerejeira, João, Isabel Correia, e Sílvia Sousa. «A Semana Santa de Braga: Impacto Económico, Perfil do
Visitante e Satisfação». Em Culturas e Turismo: Reflexões Sobre o Património, as Artes e a
Comunicação Intercultural, por Moisés De Lemos Martins e Rosânia Da Silva, 125–35, 1.a ed.
UMinho Editora/CECS, 2021. https://doi.org/10.21814/uminho.ed.48.13.
Chenrim, Paulo José Soares. As políticas públicas no sector dos transportes ferroviários portugueses desde
1974, 2008. https://repositorium.sdum.uminho.pt/handle/1822/8927.
Correia, Pedro Miguel Alves Ribeiro, Ireneu De Oliveira Mendes, e Vanessa Medeiros Ribeiro.
«Determinantes e condicionantes da decisão de cooperar ao nível local: um estudo de caso na
comunidade intermunicipal da região de Coimbra». Revista Estudo & Debate 26, n.o 3 (30 de
setembro de 2019). https://doi.org/10.22410/issn.1983-036X.v26i3a2019.2102.
Costa, Laisa Pavan da. «O direito fundamental à cidade sustentável: existência e conteúdo no direito
brasileiro», 2019.
https://www.univali.br/Lists/TrabalhosMestrado/Attachments/2565/Disserta%C3%A7%C3%A3
o%20-%20%20Laisa%20Pavan%20da%20Costa%20-%2027-07.19.pdf.
Dameri, Renata Paola, e Camille Rosenthal-Sabroux. «Smart City and Value Creation». Em Smart City,
editado por Renata Paola Dameri e Camille Rosenthal-Sabroux, 1–12. Progress in IS. Cham:
Springer International Publishing, 2014. https://doi.org/10.1007/978-3-319-06160-3_1.
Di Feliciantonio, Cesare. «Against the romance of the smart community: The case of Milano 4 You».
Editado por Paolo Cardullo, Cesare Di Felicaiantonio, e Rob Kitchin. The right to the smart city.
Bingley, UK: Emerald Publishing, 2019. https://doi.org/10.1108/978-1-78769-139-120191007.
«Direito à sustentabilidade das cidades, sob o enfoque do princípio da dignidade da pessoa humana -
Jus.com.br | Jus Navigandi». Acedido 17 de setembro de 2022.
https://jus.com.br/artigos/63702/direito-a-sustentabilidade-das-cidades-sob-o-enfoque-do-
principio-da-dignidade-da-pessoa-humana/2.
Duarte Rodrigues. «Avaliação ex post - Evolução e desafios da avaliação de Políticas Públicas: uma
perspetiva a partir da Avaliação dos Fundos de Coesão». Fórum das Políticas Públicas 2020 –
Lisboa, 28 de janeiro de 2020.
Esteves, Jose, e Rhoda C. Joseph. «A comprehensive framework for the assessment of eGovernment
projects». Government Information Quarterly, 2008.

Página 18 de 22
European Investment Bank. «Assessment methodology for smart city projects - application to the
Mediterranean Region», 2017. https://institute.eib.org/wp-content/uploads/2017/02/2017_0131-
ASCIMER-PROJECT-SUMMARY.pdf.
Fernanda Paula Oliveira, e Adelino Gonçalves. «Problemas das cidades em Portugal». Em Direito do
urbanismo e do ordenamento do território : estudos / coord. Fernanda Paula Oliveira ; [textos]
Adelino Gonçalves ... [et al]., 2012.
Fernandes, Catarina Lourenço. «A construção de uma cidade inteligente: Uma análise à cidade de Viana
do Castelo», 2022.
https://recipp.ipp.pt/bitstream/10400.22/21477/1/Catarina_Fernandes_MEI_2022.pdf.
Fernandes, Maria Teresa Porto. «Cidades inteligentes - Um novo paradigma urbano». Universidade
Católica do Porto, 2016.
https://repositorio.ucp.pt/bitstream/10400.14/21641/1/Tese%20cidades%20inteligentes%20-
%20estudo%20de%20caso%20.pdf.
Ferrão, João, e José Manuel Pinto Paixão. Metodologias de avaliação de políticas públicas, 2019.
Ferraresi, Camilo, e Wilson Engelmann. «O direito à cidade (inteligente) e as smart cities: a tecnologia
como fio condutor para a (re)organização de espaços urbanos sustentáveis». Em Água, clima e
restauração dos ecossistemas: reconhecimento dos direitos da natureza e das garantias do futuro
intergeracional. v. I, editado por Gina Pompeu, Randal Pompeu, e Marcus Holanda, 1.a ed., 321–
41. Editora Fundação Fênix, 2021. https://doi.org/10.36592/9786587424958-14.
Ferreira, Cristina A. «Smart Cities: A que ritmo estão as nossas cidades a ficar mais inteligentes?», 12 de
junho de 2022.
Ferrero, Edoardo. «Le smart cities nell’ordinamento giuridico». Il Piemonte delle Autonomie AnnoII,
Numero 2, 2015 (2015). https://iris.unito.it/retrieve/e27ce428-ed9c-2581-e053-
d805fe0acbaa/Le%20smart%20cities%20nell%27ordinamento%20giuridico.pdf.
«Financing smart, sustainable cities | Global law firm | Norton Rose Fulbright». Acedido 22 de junho de
2022. https://www.nortonrosefulbright.com/en/knowledge/publications/2d18343a/financing-
smart-sustainable-cities.
Flak, Leif Skiftenes, e Sara Hofmann. «The Impact of Smart City Initiatives on Human Rights». Editado
por Shefali Virkar, Marijn Janssen, Ida Lindgren, Ulf Melin, Francesco Mureddu, Peter Parycek,
Efthimios Tambouris, Gerhard Schwabe, e Hans Jochen Scholl. Electronic Government, E-
Democracy and Open Government, and Electronic Participation: Joint Proceedings of Ongoing
Research and Projects of IFIP WG 8.5 EGOV-CeDEM-ePart 2020. Krems, Austria: CEUR
Creative Commons License Attribution 4.0, 2020.
Fonseca, Isabel Celeste, e Ana Rita Almeida Prata. «Smart cities vs. smart(er) governance : cidades
inteligentes, melhor governação (ou não)». Questões Atuais de Direito Local, AEDRL -
Associação de Estudos de Direito Regional e Local, n.o n.24 (Out.-Dez. 2019) (2019): 19–38.
Freitas, Juarez. «Políticas públicas, avaliação de impactos e o direito fundamental à boa administração
[Junho 2015]». Seqüência: Estudos Jurídicos e Políticos 36, n.o 70 (17 de junho de 2015): 115.
https://doi.org/10.5007/2177-7055.2015v36n70p115.
Freman, Howard E., e Mark W. Lipsey. Evaluation : a systematic approach / Peter H. Rossi, Howard E.
Freeman, Mark W. Lipsey., 1999.
https://search.ebscohost.com/login.aspx?direct=true&db=cat01014a&AN=ibu.b1031154&site=e
ds-live.
Gerry Stoker. «Gestão do valor público: a administração pública orientada pela missão?» Em Estado,
sociedade civil e administração pública: para um novo paradigma do serviço público. Coimbra:
Almedina, 2008.
Gil-García, J. Ramón, Theresa A. Pardo, e Taewoo Nam. «What makes a city smart? Identifying core
components and proposing an integrative and comprehensive conceptualization». Information
Polity, 2015. https://doi.org/10.3233/IP-150354.
Guimarães, Patrícia Borba Vilar, e Yanko Marcius de Alencar Xavier. «Smart cities e direito: conceitos e
parâmetros de investigação da governança urbana contemporânea». Revista de Direito da Cidade
8, n.o 4 (27 de novembro de 2016): 1362–80. https://doi.org/10.12957/rdc.2016.23685.

Página 19 de 22
Harguindéguy, J.B. Análisis de políticas públicas. Biblioteca universitaria de Editorial Tecnos. Tecnos,
2013. https://books.google.pt/books?id=1byHnAEACAAJ.
Hochtl, Johann, Peter Parycek, e Ralph Schollhammer. «Big data in the policy cycle: Policy decision
making in the digital era». Journal of Organizational Computing and Electronic Commerce, 2016.
International Telecommunications Union (ITU). «Smart sustainable cities: An analysis of definitions».
Geneva, 2014.
J. A. Oliveira Rocha. Gestão do processo político e políticas públicas. Escolar Editora, 2010.
Jaeger, Robert G., e Tim R. Halliday. «On Confirmatory versus Exploratory Research». Herpetologica 54
(1998): S64–66.
Jaremen, Daria. «Advantages from ICTS Usage in Hotel Industry». Czech Journal of Social Sciences,
Business and Economics 5, n.o 3 (28 de setembro de 2016): 6–17.
https://doi.org/10.24984/cjssbe.2016.5.3.1.
Javed, Barkha, Zaheer Khan, e Richard McClatchey. «A Network-Based Approach to Capture Provenance
of a Policy-Making Process». Em Proceedings of the 21st International Database Engineering &
Applications Symposium on - IDEAS 2017, 283–86. Bristol, United Kingdom: ACM Press, 2017.
https://doi.org/10.1145/3105831.3105850.
———. «An Adaptable System to Support Provenance Management for the Public Policy-Making Process
in Smart Cities». Informatics, 2018. https://doi.org/10.3390/informatics5010003.
Jiménez, María Luisa Gómez. «Smart cities: inexistencia de una definición jurídica». Em VIII Congreso
Internacional de Ordenación del Territorio, de Derecho Urbanístico: Nuevos tiempos, nuevos
objetivos, Asociación Canaria de Derecho Urbanístico - Relatoría, Ponencias y Comunicaciones
- 25, 26 e 27 de maio de 2016, Asociación Interprofesional e Ordenación del Territoro
(FUNDICOT)., 829–43. Madrid, 2016. https://tysmagazine.com/congreso-internacional-de-
ordenacion-del-territorio/.
Kelly, Bronwyn. «Local Governments Can Show National Governments How to Plan Better: Integrated
Planning and Reporting Reforms in Australia». Commonwealth Journal of Local Governance, 20
de dezembro de 2022, 170–80. https://doi.org/10.5130/cjlg.vi27.8254.
Keshvardoost, Sina, Suresh Renukappa, e Subashini Suresh. «Developments of Policies Related to Smart
Cities: A Critical Review». Em 2018 IEEE/ACM International Conference on Utility and Cloud
Computing Companion (UCC Companion), 370–75. Zurich: IEEE, 2018.
https://doi.org/10.1109/UCC-Companion.2018.00083.
Kitchin, Rob, Paolo Cardullo, e Cesare Di Felicaiantonio. «Citizenship, Justice, and the Right to the Smart
City». Editado por Paolo Cardullo, Cesare Di Felicaiantonio, e Rob Kitchin. The Right to the Smart
City. Bingley, UK: Emerald Publishing, 2019.
https://www.emerald.com/insight/publication/doi/10.1108/9781787691391.
Lucas, José Miguel. «Conceito jurídico de cidades inteligentes e regulamentação de dashboards na
dimensão de governação (para assegurar uma visão holística)». [NO PRELO], 2023.
———. «Mitigação do risco de exclusão social nas cidades sustentáveis inteligentes e resilientes e a
utilização da inteligência artificial na participação como mitigante [NO PRELO]», sem data.
Machado, Valdemar Rodrigo A. de S. O. «Enquadramento Institucional da Avaliação de Políticas Públicas
em Portugal», 2022.
«Medição do desempenho organizacional nos municípios portugueses: uma proposta de indicador de
desempenho concelhio». Em Inteligência territorial, 1.a ed. [S.l.]: Idioteque, 2019.
Meijer, Albert Jacob, e Manuel Pedro Rodríguez Bolívar. «Governing the smart city: A review of the
literature on smart urban governance». International Review of Administrative Sciences, 2016.
https://doi.org/10.1177/0020852314564308.
Mónica Catarina do Adro Lopes. «A avaliação de políticas públicas em Portugal: marcos de um
desenvolvimento incipiente», 2013.
https://cabodostrabalhos.ces.uc.pt/n10/documentos/5.3.2_Monica_Catarina_do_Adro_Lopes.pdf.
Moreira, José Manuel. Gestão Pública e Teoria das Burocracias: entre a visão clássica da Administração
Pública e o novo paradigma da Governação Pública. Cadernos INA. Politicas públicas ; INA
papers. Public policies, 47 = 47. Oeiras: INA Editora, 2010.

Página 20 de 22
Ntafalias, Aristotelis, Giorgos Papadopoulos, Panagiotis Papadopoulos, e Aapo Huovila. «A
Comprehensive Methodology for Assessing the Impact of Smart City Interventions: Evidence
from Espoo Transformation Process». Smart Cities 5, n.o 1 (21 de janeiro de 2022): 90–107.
https://doi.org/10.3390/smartcities5010006.
Nunes, Priscila Daniel. «A participação popular no controle das políticas públicas», 2015.
OECD. Improving Governance with Policy Evaluation: Lessons From Country Experience. OECD Public
Governance Reviews. OECD, 2020. https://doi.org/10.1787/89b1577d-en.
Oh, Jooseok, e Minho Seo. «Measuring Citizens-Centric Smart City: Development and Validation of Ex-
Post Evaluation Framework». Sustainability 13, n.o 20 (18 de outubro de 2021): 11497.
https://doi.org/10.3390/su132011497.
Oliveira, Chaiene Meira De, e Devilson Da Rocha Sousa. «A utilização da tecnologia como forma de
desburocratização dos serviços públicos: perspectivas e desafios à administração pública: The use
of technology as a way to deburocratize public services: perspectives and challenges to public
administration». International Journal of Digital Law 2, n.o 1 (10 de março de 2021): 21–22.
https://doi.org/10.47975/IJDL.oliveira.2021.
Oliveira, Fernanda Paula, Ireneu de Oliveira Mendes, e Alexandre Santos Serra. «As cidades como hubs
territoriais inteligentes, evolução, benchmark e futuro - o estudo de caso de Masdar». Lex Humana
14, n.o 1 (2022).
Pereira, Maria Fernanda Pires de Carvalho. «O direito à cidade. Reconhecimento e efetividade: proposta a
partir da ideia de cidade inteligente». Pontifícia Universidade Católica de Minas Gerais, 2018.
http://www.biblioteca.pucminas.br/teses/Direito_PereiraMF_1.pdf.
Pinto, Ricardo Ramos. Avaliação de políticas públicas. Lisboa: ISCSP - Instituto Superior de Ciências
Sociais e Políticas, 2021.
Porto, Josiane Brietzke, e Mirian Oliveira. «The Smart Cities Methodology Based on Public Value: The
First Evaluation Cycle». BAR - Brazilian Administration Review 17, n.o 1 (2020): e190048.
https://doi.org/10.1590/1807-7692bar2020190048.
Qarri, Ana, e Lex Gill. «Smart Cities and Human Rights». Human Rights, janeiro de 2022.
Revillard, Anne, ed. Policy Evaluation: Methods and Approaches. Éditions science et bien commun, 2023.
https://zenodo.org/record/8327162.
Ribera-Fumaz, Ramon. «Moving from Smart Citizens to Technological Sovereignty?» Editado por Paolo
Cardullo, Cesare Di Felicaiantonio, e Rob Kitchin. The Right to the Smart City. Bingley, UK:
Emerald Publishing, 2019.
https://www.emerald.com/insight/publication/doi/10.1108/9781787691391.
Sajjad, Farhana. «An analytical framework for workflow technology adoption in local government
authorities», 2014.
School of International Futures. «Framework for intergenerational fairness - policy assessment tool; how-
to guide», 2021.
Seixas, Luiz Felipe Monteiro, Nilo Luiz Saccaro Junior, e IPEA - Instituto de Pesquisa Económica
Aplicada. «Metodologias de avaliação e análise de impacto : abordagens e aplicações no âmbito
da regulação urbana». Texto para Discussão, 7 de junho de 2022, 1–49.
https://doi.org/10.38116/td2771.
Shaw, Joe, e Mark Graham. «Digital information and the right to the city». Editado por Katharine S. Willis
e Routledge. The Routledge companion to smart cities. New York: Routledge, 2020.
Sisto, Raffaele, Javier García López, Julio Lumbreras Martín, Carlos Mataix Aldeanueva, e Linos Ramos
Ferreiro. «City Assessment Tool to Measure the Impact of Public Policies on Smart and
Sustainable Cities. The Case Study of the Municipality of Alcobendas (Spain) Compared with
Similar European Cities». Em Smart and Sustainable Planning for Cities and Regions, editado por
Adriano Bisello, Daniele Vettorato, David Ludlow, e Claudia Baranzelli, 81–101. Green Energy
and Technology. Cham: Springer International Publishing, 2021. https://doi.org/10.1007/978-3-
030-57764-3_6.
Subirats, Joan, Peter Knoepfel, Corinne Larrue, e Frédéric Varonne. «La implementación de las políticas
públicas». Em Análisis y gestión de políticas públicas, 2a ed. Barcelona: Ariel, 2012.

Página 21 de 22
 Suzana Tavares da Silva. «Poder local, govenança e financiamento municipal», 2005.
https://www.isg.pt/wp-content/uploads/2021/03/24_3_sutavaressilva_taxas_f24.pdf.
Teles, Filipe. «Autarquias no fio da navalha: governação local e estratégias de reforço do capital social».
Em Estado, sociedade civil e administração pública: para um novo paradigma do serviço público.
Coimbra: Almedina, 2008.
Torraco, Richard J. «Writing Integrative Literature Reviews: Guidelines and Examples». Human Resource
Development Review 4, n.o 3 (setembro de 2005): 356–67.
https://doi.org/10.1177/1534484305278283.
Van Der Aalst, Wil M. P. Process Mining: Discovery, Conformance and Enhancement of Business
Processes. Berlin, Heidelberg: Springer Berlin Heidelberg, 2011. https://doi.org/10.1007/978-3-
642-19345-3.
Veiga, Linda Gonçalves, e Francisco José Veiga. «Political Business Cycles at the Municipal Level», 2004.
https://repositorium.sdum.uminho.pt/bitstream/1822/6823/1/Veiga_Veiga_2007_PC.pdf.
Verdug, Evert. «Six Models of Evaluation». Em Routledge Handbook of Public Policy. Routledge
Handbooks. London ; New York: Routledge, 2013.
Vogl, Thomas M., Cathrine Seidelin, Bharath Ganesh, e Jonathan Bright. «Smart technology and the
emergence of algorithmic bureaucracy: Artificial intelligence in UK local authorities». Public
Administration Review, 2020. https://doi.org/10.1111/puar.13286.
Vrydagh, Julien. «Measuring the Impact of Consultative Citizen Participation: Reviewing the Congruency
Approaches for Assessing the Uptake of Citizen Ideas». Policy Sciences 55, n.o 1 (março de 2022):
65–88. https://doi.org/10.1007/s11077-022-09450-w.
Wei, Leong Teen, e Rashad Yazdanifard. «The Impact of Positive Reinforcement on Employees’
Performance in Organizations». American Journal of Industrial and Business Management 04, n.o
01 (2014): 9–12. https://doi.org/10.4236/ajibm.2014.41002.
Weimer, David L., e Aidan R. Vining. 4. Policy analysis : concepts and practice / David L. Weimer, Aidan
R. Vining, 2016.
https://search.ebscohost.com/login.aspx?direct=true&db=cat01014a&AN=ibu.b2658395&site=e
ds-live.
Willis, Katharine S. «Whose Right to the Smart City?» Em The Right to the Smart City, editado por Paolo
Cardullo, Cesare Di Feliciantonio, e Rob Kitchin, 27–41. Emerald Publishing Limited, 2019.
https://doi.org/10.1108/978-1-78769-139-120191002.

Página 22 de 22

View publication stats