Ciências da Informação 545 (2021) 487–498

Listas de conteúdos disponíveis em ScienceDirect

Ciências da Informação

página inicial da revista: www.elsevier. com / locate / ins

Uma abordagem baseada na relação benefício-custo para a seleção de portfólio sob vários
critérios com informações de preferência incompletas

Eduarda Asfora Frej uma , Petr Ekel b , ⇑ , Adiel Teixeira de Almeida uma
uma Universidade Federal de Pernambuco, CDSID - Centro de Desenvolvimento de Decisão, Sistemas e Informação, Av. Acadêmico Hélio Ramos, s / n -, Cidade Universitária, Recife, PE CEP 50.740-530,

Brasil
b Pontifícia Universidade Católica de Minas Gerais, Programa de Pós-Graduação em Engenharia Elétrica. Av. Dom José Gaspar, 500, CEP 30535610 Belo Horizonte, MG, Brasil

informações do artigo abstrato

Historia do artigo: A mensuração da relação benefício-custo (BCR) é uma abordagem útil para selecionar portfólios de projetos quando eles são
Recebido em 11 de maio de 2020
avaliados aplicando critérios múltiplos e conflitantes. Uma função de valor multiatributo pode ser usada para medir o benefício
Recebido na forma revisada em 20 de julho de 2020 Aceito em
de cada projeto, o que permite avaliar os BCRs, classificar os projetos e selecioná-los de acordo com o orçamento disponível.
31 de agosto de 2020
No entanto, aqui, há uma dificuldade signi fi cativa associada à imprecisão nos valores das constantes de escala dos critérios,
Disponível online em 16 de setembro de 2020
que podem não ser exatamente conhecidas pelos tomadores de decisão (DMs). Considerando isso, o presente trabalho é
direcionado a superar essa dificuldade desenvolvendo um modelo baseado em BCR para selecionar carteiras com
Palavras-chave:
informações incompletas sobre constantes de escala de critérios. Durante o processo de elicitação, os DMs respondem a
Tomada de decisão / auxílio multicritério
perguntas sobre preferências considerando as compensações entre os critérios. As informações fornecidas são convertidas
(MCDM / A)
Informação incompleta
em desigualdades formando um espaço de pesos de critérios. Essas desigualdades servem como restrições para modelos de

Levantamento de preferências programação linear, que são processados para encontrar relações de dominância entre projetos, considerando seus BCRs.
Seleção de portfólio O processo é apoiado por ferramentas de computação desenvolvidas. A formação de um portfólio de projetos de pesquisa e
Priorização de projetos desenvolvimento, que serão executados por uma concessionária de energia elétrica brasileira, é apresentada para ilustrar os
Constantes de escala de critérios resultados do trabalho e sua aplicabilidade prática.

2020 Elsevier Inc. Todos os direitos reservados.

1. Introdução

Os problemas de seleção de portfólio em organizações consistem na seleção, de um conjunto de projetos previamente definido, de um subconjunto deles. Cada um desses projetos
agrega certo valor para a organização, mas também têm um custo específico de implementação. O orçamento organizacional disponível para investimento em tais projetos é geralmente
limitado e pré-definido de acordo com os objetivos e prioridades de cada empresa. Devido à natureza combinatória dos problemas de portfólio, geralmente é impraticável avaliar todo o
conjunto de carteiras viáveis e selecionar aquela que agrega o maior valor para a organização e se encaixa no orçamento disponível. Portanto, várias abordagens para modelagem de
problemas de portfólio foram desenvolvidas na literatura para lidar com tais situações sem a necessidade de computar e avaliar todos os portfólios possíveis.

⇑ Autor para correspondência: Programa de Pós-Graduação em Engenharia Elétrica, Pontifícia Universidade Católica de Minas Gerais, Av. Dom José Gaspar, 500, 30535610 Belo Horizonte, MG, Brasil. Tel .: +55 31

3319 4305; fax: +55 31 3310 4225.

Endereço de e-mail: eafrej@cdsid.org.br (EA Frej), ekel@pucminas.br , petr.ekel2709@gmail.com (P. Ekel), almeida@cdsid.org.br (AT de Almeida).

https://doi.org/10.1016/j.ins.2020.08.119
0020-0255 / 2020 Elsevier Inc. Todos os direitos reservados.
EA Frej et al. Ciências da Informação 545 (2021) 487–498

Uma abordagem amplamente utilizada para priorização de projetos é sua formalização dentro do conhecido problema da mochila, quando um modelo de otimização é analisado com o
objetivo de maximizar o valor global de benefício do portfólio, sujeito a uma restrição orçamentária [9,15,20,21] . De acordo com essa abordagem, o melhor portfólio não é necessariamente
formado pelos projetos mais bem classificados, devido à natureza combinatória do problema. A metodologia desenvolvida no presente artigo, no entanto, trata a problemática do portfólio
de acordo com a abordagem da relação benefício-custo. Essa é outra maneira de realizar a análise de portfólio de uma maneira mais prática. Esta abordagem baseia-se na classificação
dos projetos em ordem decrescente de sua relação benefício-custo e, em seguida, selecionar os projetos que se enquadram no orçamento disponível [3,7,26,36] . Por meio dessa
abordagem, os projetos com uma relação custo / benefício mais alta são selecionados para o portfólio, desde que se enquadrem no orçamento disponível. É diferente do problema clássico
da mochila, que seleciona o portfólio mais bem avaliado - em vez dos projetos mais bem avaliados - de acordo com uma abordagem combinatória para a análise do problema. A
abordagem da relação benefício-custo tem a vantagem de tratar o problema de seleção de portfólio de uma maneira mais prática, sem gastar muito esforço computacional na análise do
modelo de otimização combinatória.

Apesar da abordagem selecionada para priorizar projetos, o fato de que objetivos organizacionais múltiplos e conflitantes estão inerentemente envolvidos nos problemas de seleção
de portfólio não pode ser negligenciado. Isso leva à necessidade de usar abordagens multicritério de tomada de decisão / auxílio (MCDM / A) para lidar com a seleção de portfólio. Angelou
e Economides [1] combinar a análise de Opções Reais com a abordagem Analytic Hierarchy Process (AHP) e propor o método ROAHP para seleção de portfólio de projetos de tecnologias
de informação e comunicação dentro de uma estrutura de análise de decisão. Okioga et al.

[32] aborda um problema de portfólio de energia renovável nos Estados Unidos com base em um método de custo-benefício com o uso da abordagem AHP. Hajkowicz et al. [22] propor
uma análise de utilidade de custo para a seleção de um portfólio ideal de projetos de melhoria da qualidade da água na Austrália. Ao contrário da análise de benefício de custo tradicional,
na análise de utilidade de custo, os benefícios são medidos por meio de pontuações de utilidade sobre vários atributos em unidades diferentes. Lourenço et al. [26] propor um novo sistema
de apoio à decisão PROBE (Portfolio Robustness Evaluation) para avaliação da eficiência de carteiras considerando uma abordagem custo-benefício, em que o benefício de cada projeto
seja obtido por meio de uma análise multicritério baseada no método MACBETH.

Métodos de superação também foram aplicados para lidar com problemas de portfólio. Basilio et al. [4] utilizou o método PROMETHEE II para classificação de ativos para seleção de
carteiras de investimentos em uma bolsa de valores brasileira, em que foram considerados 21 indicadores financeiros. De Almeida e Vetschera [12] destacou um problema de escala que
surge no modelo original PROMETHEE V para seleção de portfólio, e então Vetschera e De Almeida [42] propôs uma nova abordagem para o método PROMETHEE V, incorporando o
conceito de c- portfólios ideais para superar esses problemas de escala. Abordagens que aplicam conjuntos difusos também têm sido usadas para seleção de portfólio, bem como para
outras problemáticas em um ambiente multiatributo [13,14,29,34] . Além disso, abordagens híbridas considerando métodos de superação e conceitos difusos também foram desenvolvidas
para classificar projetos sob vários critérios [17] . Finalmente, as abordagens baseadas em variáveis proxy também foram aplicadas para classificar os projetos a fim de construir portfólios
eficientes [5] .

Uma revisão da literatura sobre as abordagens MCDM para lidar com a seleção de portfólio foi conduzida por Aouni et al. [2] . o
os autores deste trabalho realizaram uma avaliação de diversos critérios que têm sido usados para lidar com problemas de portfólio. Além disso, eles indicam quais técnicas de MCDA
foram aplicadas para resolver problemas de portfólio: o método multicritério mais usado foi o AHP, mas outros métodos como ELECTRE, PROMETHEE e TOPSIS também foram
amplamente usados. Outra revisão sistemática da literatura sobre problemas de seleção de portfólio de projetos foi realizada por Mohagheghi et al. [30] . Nesta revisão, os critérios e
ferramentas de modelagem mais amplamente usados são destacados.

Uma grande variedade de métodos que funcionam com informações parciais sobre as preferências dos DMs pode ser encontrada na literatura, e essas abordagens foram motivadas
principalmente devido à dificuldade de obter pesos usando métodos tradicionais. [24,39,43] . As abordagens tradicionais muitas vezes requerem muitas informações de preferência
específicas do Mestre, o que as torna inutilizáveis na prática, uma vez que é difícil para o Mestre especificar as informações detalhadas exigidas. Isso torna ainda maior a lacuna entre os
métodos teóricos e as aplicações práticas. Portanto, diversos métodos de MCDM que funcionam com base em informações parciais têm sido desenvolvidos a fim de facilitar o processo de
tomada de decisão para DMs. Os resultados de [10,28,31,38-41] estão relacionadas com a problemática da escolha no MCDM; ou seja, quando o objetivo do problema é escolher uma
alternativa única ou um subconjunto de alternativas. Para a problemática de classificação, algumas abordagens também foram desenvolvidas (ver [19,24,25,27,33] ) Quando se trata da
problemática do portfólio, entretanto, há uma lacuna na literatura de métodos MCDM de informação parcial. Deve-se enfatizar aqui que as revisões de Aouni et al. [2] e Mohagheghi et al. [30]
não descreva nenhum método MCDM que funcione com informações de preferência incompletas (ou parciais) dos tomadores de decisão, relacionadas especificamente com a
problemática do portfólio.

Portanto, neste contexto, é necessário desenvolver e aplicar métodos que trabalhem com informações de preferência incompletas para lidar com problemas de decisão multicritério,
uma vez que DMs nem sempre são capazes e / ou dispostos a fornecer o nível necessário de informações de preferência exigido pelos métodos tradicionais. [43] . Este artigo é direcionado
a preencher a lacuna indicada e propõe uma abordagem multicritério para resolver problemas de seleção de portfólio com base em informações de preferência incompletas obtidas de
DMs. Isso é realizado em um processo fl exível, operado por meio de um sistema de apoio à decisão (SAD), aplicando um modelo de relação custo-benefício. Portanto, nosso artigo difere
das abordagens existentes no que diz respeito à maneira como um modelo baseado em BCR para problemáticas de portfólio é tratado por meio de uma abordagem de decisão de
múltiplos critérios que considera informações parciais sobre as preferências de DMs.

A principal motivação para o desenvolvimento dessa abordagem está em tornar o processo de decisão mais fácil para os DMs e diminuir os esforços cognitivos despendidos durante
esse processo. A motivação para introduzir a abordagem da relação benefício-custo no modelo proposto é tratar o problema de portfólio de uma forma mais prática, sem a necessidade de
despender um grande esforço computacional

488
EA Frej et al. Ciências da Informação 545 (2021) 487–498

em um modelo de otimização combinatória, e o verdadeiro desafio inovador abordado por este artigo é como lidar com um modelo baseado em BCR considerando informações parciais /
incompletas sobre preferências. Os resultados do artigo são ilustrados pela consideração detalhada e solução de um problema prático de seleção de um portfólio de projetos de pesquisa e
desenvolvimento (P&D) que devem ser desenvolvidos por uma grande empresa brasileira de energia elétrica.

O artigo está organizado da seguinte forma. Seção 2 apresenta o modelo de relação benefício-custo para seleção de portfólio de projetos com base em uma elicitação, geralmente,
fornecendo informações incompletas sobre as preferências do DM. Seção 3 apresenta um caso prático de seleção de projetos de P&D para uma grande concessionária de energia elétrica
brasileira, que ilustra uma aplicação do modelo discutido em
Seção 2 . Seção 4 apresenta os resultados obtidos com a aplicação e é feita uma discussão sobre os pontos principais. Finalmente,
Seção 5 apresenta as observações e conclusões finais deste trabalho.

2. Abordagem multicritério benefício-custo para seleção de portfólio com informações incompletas

2.1. Abordagem de relação benefício-custo para priorização de projetos

Vamos supor primeiro que um conjunto de n projetos indivisíveis P ¼ f p 1; p 2; ; p n} está disponível para seleção, a fim de de alguma forma
trazer uma medida de benefício para uma organização. Cada projeto p Eu tem um custo associado à sua implementação c Eu. Um orçamento limitado
B é definido pela organização como o montante máximo de dinheiro disponível para gastar com os projetos. Os projetos são
avaliada aplicando atributos múltiplos e conflitantes UMA ¼ f uma 1; uma 2; ; uma m g que são relevantes para a organização quando escolhidos -
quais projetos devem ser priorizados. Cada atributo uma j tem uma constante de escala (ou peso) k j, que representa as compensações ou taxas de substituição entre os critérios. Esses
atributos representam medidas de benefício para cada projeto e, portanto, a
benefício de um projeto p Eu pode ser calculado, de acordo com a Teoria do Valor Multiatributo [23] , como uma soma dos valores dos atributos
ponderado por t X O dimensionamento dos valores constantes de cada atributo k j do seguinte modo:

b ð p Eu Þ ¼ m kj v j ð x eu j º ð1º
j¼1

Na Eq. (1) , b ð p Eu º é o benefício geral do projeto p Eu, x eu j é o valor do resultado do projeto p Eu no atributo uma j, e v j é a função de valor do atributo uma j, que é obtido com base em uma
transformação de escala dos valores de x eu j , para que todos os atributos sejam avaliados na mesma escala de valores. As funções de valor são construídas por meio de uma avaliação
intracriteria. Os valores de v j ð x eu j º pode ser calculado como uma normalização simples dos valores de x eu j em uma escala linear de 0-1 [11] , ou eles podem ser obtidos com base nas
preferências dos Mestres com o método de bissecção, método de diferenças ou construção de uma escala qualitativa de valor (para detalhes sobre intracritérios

métodos de avaliação, consulte Belton e Stewart [6] ) Dado o benefício do projeto p Eu, b ð p Eu º, e o custo do projeto p Eu, c Eu, é possível calcular a relação benefício-custo BCR Eu de cada
projeto p Eu, do seguinte modo:

ð
BCR Eu ¼ b p Eu º ð2º
c Eu

Com base nas relações benefício-custo dos projetos, é possível classificá-los em ordem decrescente de BCR, e, portanto, os projetos são selecionados para fazer parte do portfólio de
acordo com esta classificação, até o orçamento B está batido. Esta abordagem é considerada uma estratégia prática para priorizar projetos e resulta em um portfólio que produz o maior
benefício para os recursos financeiros que devem ser gastos [26] .

No entanto, é necessário indicar que os modelos de relação benefício-custo para seleção de portfólio geralmente assumem que os valores das constantes de escala dos atributos são
conhecidos a priori, ou são obtidos através de um método multicritério que fornece valores exatos para esses parâmetros [3] . Ao mesmo tempo, a atribuição de valores para pesos de
atributos em modelos aditivos não é uma tarefa trivial. Esses parâmetros não representam apenas o nível de importância dos critérios, mas uma questão de escala também está envolvida,
e os pesos têm um significado de taxas de substituição quando usados para agregar critérios [23] . Os DMs devem avaliar esses parâmetros considerando o quanto eles estão prontos
para recusar um nível de satisfação de um determinado critério para obter um nível melhor de satisfação de outro critério.

Estabelecer esses pontos de compensação é cognitivamente exigente e demorado [39,43] , e às vezes DMs não são
pronto e / ou disposto a fornecer tais informações ao obter preferências. Considerando isso, as abordagens que lidam com informações incompletas (ou parciais) relacionadas às
compensações de critérios podem servir como formas úteis para conduzir o processo de elicitação com muito menos esforços cognitivos e tempo gasto por DMs [8,10,18,19] . As subseções
a seguir ilustram como é possível realizar a elicitação de informações incompletas sobre as preferências fornecidas pelos DMs e também como é possível elaborar uma recomendação
para seleção de portfólio sem valores exatos de pesos fornecidos para avaliação dos benefícios dos projetos.

2.2. Elicitação de parâmetros de constantes de escala sob informações incompletas

Para calcular os valores dos benefícios de cada projeto de acordo com (1) , os valores das constantes de escala do atributo são
a ser eliciado. No entanto, como mencionado acima, estabelecer esses valores não é fácil para DMs e, portanto, o desenvolvimento de uma abordagem para lidar com informações
incompletas (ou seja, sem a necessidade de fornecer valores exatos de pesos) é uma forma construtiva de aplicar as MCDAs tradicionais com a aplicação de técnicas de elicitação, que
permitem reduzir significativamente o tempo e os esforços necessários. Levando isso em consideração, a seguir, discutimos o processo de elicitação gerando, geralmente, pesos que são

489
EA Frej et al. Ciências da Informação 545 (2021) 487–498

não exatamente especificado. O DM envolvido estabelece relações de preferência entre os valores dos atributos, que podem ser convertidos em desigualdades com relação às razões das
constantes de escalonamento dos atributos. A disponibilidade dessas desigualdades permite utilizar modelos de programação linear para elaborar as recomendações correspondentes.

Em primeiro lugar, vamos supor que os pesos dos atributos sejam classificados pelo DM em ordem decrescente de preferência da seguinte forma:

k 1> k 2> > km ð3º

Agora, uma vez que o atributo uma 1 tem uma importância relativa maior - considerando também a faixa de consequências - do que o atributo uma 2,

deve haver um certo resultado intermediário (entre o pior e o melhor) Y T 1 de atributo uma 1 para o qual o Mestre está disposto a
negocie pelo melhor resultado de atributo uma 2, com todos os outros atributos no mesmo nível (vamos supor que eles tenham o pior resultado). Uma vez que a função de valor dos
atributos é definida de tal forma que o valor do melhor resultado é definido como 1
( v j melhor j ¼ 1) e o valor do pior resultado é definido como 0 ( v j pior j ¼ 0), e com base na função de agregação aditiva
(1) , é possível escrever

k1 v1YT 1 ¼ k2 ð4º

Portanto, Y T 1é o ponto de troca entre atributos uma 1 e uma 2 Se o DM especificar ainda mais os pontos de compensação entre
atributos uma 2 e uma 3, uma 3 e uma 4, e assim por diante, então um sistema de equações simples pode ser construído e resolvido, de modo que os valores das constantes de escala sejam
encontrados. É assim que Keeney e Raiffa's [23] procedimento de compensação tradicional funciona para obter pesos

valores. No entanto, esses valores de compensação Y T j definitivamente não são fáceis de estabelecer, e isso é o que chamamos aqui de informações completas
estabelecimento de mação. Portanto, em vez de forçar o Mestre a encontrar seu ponto de troca entre pares de critérios, a elicitação pode ser conduzida perguntando-se relações de
preferência para o Mestre em relação a diferentes níveis de atributos adjacentes. Para
Por exemplo, o Mestre é questionado se ele prefere um resultado intermediário Y 1 de atributo uma 1 ou o melhor resultado de atributo
uma 2, com todos os outros atributos no mesmo nível (pior nível). Definindo o valor de Y 1 ¼ Y 0 1, se o DM preferir Y 0 1 do que melhor 2,
então a seguinte desigualdade é obtida diretamente com base na Equação (1)

k1 v1Y0 1> k2 ð5º

Por outro valor de Y 1 ¼ Y 00 1, se o DM preferir melhor 2 do que Y 00 1, então a desigualdade

k1 v 1 Y 00 1< k2 ð6º

pode ser escrito.

Da mesma forma, o DM também pode estabelecer relações de preferência para diferentes pares de critérios adjacentes. De uma forma mais genérica, as seguintes desigualdades podem
ser obtidas para j ¼ 1; ; m 1:

kj vjY0 j> kjº1 ð7º

kj v j Y 00j < k j º 1 ð8º

As desigualdades (3) , (7) , e (8) permitem construir um conjunto viável de vetores de pesos, que chamamos de espaço de pesos viável.

8
>
> k 1> k 2>. . . > k m
>
>
>
> k1 v1Y0
>
> 1> k2
>
>
>
> k1 v 1 Y 00 k2
>
>
1<
>
>
>
>
k2 v 2 Y 2 0> k 3
>
>
>
> k2 v 2 Y 00
> 2< k3
<
x ¼> ...
ð9º
0> k j º 1
>
> kj vjYj
>
>
>
>
>
>
>
> k j v j Y 00j < k j º 1
>
>
>
> ...
>
>
>
>
>
>
> m 1> k m
: km1 vm1Y0
>
k m 1 v m 1 Y 00 m1<km

O DM não precisa necessariamente especificar todas as relações de preferência para todos os pares de critérios adjacentes. Equação (9) representa, de forma genérica, como o
espaço de pesos pode ser construído. As desigualdades que formam o espaço dos pesos dependerão, em cada situação, de quais informações o DM está disposto a fornecer. Às vezes,
uma recomendação de decisão pode ser desenhada com poucas desigualdades apenas. Claro que, sendo a informação prestada parcial, a recomendação de decisão também é parcial -
por exemplo, uma classificação parcial dos projetos, em que podem surgir relações de incomparabilidade. Contanto que o DM

490
EA Frej et al. Ciências da Informação 545 (2021) 487–498

está disposto a fornecer informações preferenciais adicionais, a recomendação se torna mais completa. A seção a seguir ilustra como um portfólio de projetos pode ser selecionado com
informações incompletas de pesos de critérios, geralmente, representados por (9) .

2.3. Construir um portfólio de projetos com base em informações preferenciais incompletas

O objetivo principal aqui é obter um ranking dos projetos com base no conceito de relação benefício / custo e, a partir daí, selecionar os projetos a entrar no portfólio, com base no
orçamento disponível B. Nosso maior desafio, porém, é construir um ranking de projetos sem informações exatas fornecidas sobre os pesos dos atributos. Devido ao nível de incompletude
das informações pro-
fornecido sobre os valores de k j, não é possível calcular valores exatos para o benefício de cada projeto b ð p Eu º. Em vez de valores exatos para pesos de atributos, as informações
refletidas por (9) leva a uma gama de valores entre os quais cada peso de atributo k j é.
Vamos primeiro introduzir o conceito de diferença da relação benefício-custo, que pode ser calculada para qualquer par de projetos

ð p Eu; p k º, denotado por d i; k BCR e calculado como Equação (10) .

d
ð
i; k BCR ¼ b p Eu º b ð p k º ð 10 º
c Eu ck

O significado de d i; k BCR é bastante simples, uma vez que não representa nada além da diferença entre o benefício
relações de custo de projetos p Eu e p k.

Com informações parciais sobre pesos de atributos, não é possível calcular o valor exato de d i; k BCR 8 Eu; k. Nonethe-
menos, a diferença máxima entre een o benefício para c! o rácios de projetos p Eu e p k pode ser obtido analisando o seguinte
baixo mo de otimização
! ,
Xmdel: Xm
max d i; k BCR ¼ kj v j x eu j c Eu kj v j ð x kj º ck ð 11 º
j¼1 j¼1

st

k 1> k 2> > km

k1 v1Y0 1> k2

k1 v1Y0 0
1< k2

k2 v2Y0 2> k3

k2 v 2 Y 00 2 < k 3

kjº1
kj vjYj 0>

kj v j Y 00j < k j º 1

km1 v m 1 Y m 1> k m 0

km1 v m 1 Y 00 m1< km

kj 0; j ¼ 1; ;m

Xm
kj¼ 1
j¼1

A análise de (11) visa maximizar o valor de d i; k BCR, sujeito às restrições que formam o espaço de peso
x ( 9) com a adição das restrições de normalização e não negatividade. As variáveis de decisão em (11) são os atributos
constantes de escala k j.
Agora, a fim de construir um ranking dos projetos com informações fornecidas incompletas, consideramos aqui o conceito de
dominância dos pares entre os projetos, levando em consideração sua relação benefício-custo.

491
EA Frej et al. Ciências da Informação 545 (2021) 487–498

De fi nição: Dominância entre projetos candidatos.

Deixei d
i; k BCR ser a solução ideal de (11) . Um projeto p Eu domina outro projeto p k se e apenas se d i; k BCR> 0e
d
k; eu BCR
0; ie, p Eu domina p k se a relação benefício-custo de p Eu pode ser maior do que a relação benefício-custo de p k por pelo menos

um vetor de pesos viáveis dentro x, mas a relação benefício-custo de p k não pode ser maior do que a relação benefício-custo de
p Eu para qualquer vetor de pesos viáveis dentro x.
O modelo de programação linear (11) é executado para todos os pares de projetos ð p Eu; p k Þ 8 Eu; k; e, então, a condição de dominância é testada para cada par. Se a condição de

dominância não for satisfeita para projetos p Eu e p k ( nem para p k e p Eu), então projetos p Eu
e p k são considerados incomparáveis para o nível atual de informações de preferência obtidas. Com tais relações de incompatibilidade e relações de dominância entre projetos, uma
classificação parcial de projetos pode ser obtida diretamente [19] . o
mais informações fornecidas sobre pesos de atributos, mais completa é a classificação.

3. Seleção do portfólio de projetos de P&D: um caso prático da concessionária de energia elétrica

3.1. Descrição do Problema

O problema de seleção de portfólio abordado neste artigo está associado à formação de um portfólio de projetos de P&D, que serão executados por uma concessionária de energia
elétrica, uma das mais fortes e importantes do segmento de energia elétrica do Brasil.
Um grupo de consultores, em conjunto com engenheiros da concessionária, definiu um total de quinze critérios / atributos a serem considerados na avaliação. Esses critérios foram
estabelecidos de acordo com cinco linhas estratégicas fundamentais para a concessionária. O primeiro grupo de critérios está relacionado às imposições da Agência Nacional de Energia
Elétrica (ANEEL). O segundo grupo de critérios abrange os objetivos estratégicos priorizados pela concessionária. No terceiro grupo, estão os critérios relacionados ao mercado da
concessionária. O quarto grupo avalia os aspectos relacionados à equipe de execução do projeto. Por fim, o quinto grupo abrange critérios relacionados ao impacto social, econômico e
ambiental de cada projeto. tabela 1 resume o conjunto de critérios do problema.

Um total de quarenta e seis projetos foram avaliados com relação a esses quinze critérios de acordo com uma escala Likert de cinco pontos, em que 1 representa o pior desempenho
possível e 5 representa o melhor desempenho possível. Além disso, também foi medido o custo relacionado à implantação de cada projeto. mesa 2 resume a matriz de consequências do
problema, e a última coluna indica o custo, em reais (R $), associado a cada projeto.

3.2. Processo de elicitação de preferências

A elicitação das preferências foi realizada em um processo interativo com a utilização do DSS, que está disponível, gratuitamente, mediante solicitação aos autores, no site www. fi
tradeoff.org.
As estimativas fornecidas em tabela 1 servir como uma entrada para o DSS.
A primeira informação solicitada ao DM é a ordem das constantes de escalonamento dos critérios, que foi dada da seguinte forma:

k UMA 1> k UMA 2> k UMA 3> k UMA 4> k B 1> k C 1> k E 1> k D 1> k B 2> k C 2> k D 2> k B 3> k E 2> k C 3> k E 3:

Após classificar os pesos dos critérios, o sistema passou a fazer perguntas ao DM. Para responder a essas perguntas, o DM teve que pensar sobre suas compensações entre os
diferentes critérios. Figura 1 ilustra a primeira pergunta feita ao DM pelo DSS.

tabela 1
Descrição dos critérios.

A. Critérios impostos pela Agência Nacional de Energia Elétrica (ANEEL) A1. Originalidade do projeto
A2. Aplicabilidade do projeto
A3. Relevância prática do projeto
A4. Razoabilidade da estrutura de custos dos projetos
B. Critérios estratégicos B1. Conformidade com os objetivos, premissas e resultados esperados da concessionária
B2. Contribuição para a integração entre os segmentos de utilidades
B3. Grau de cobertura das novas tecnologias digitais abordadas pelo projeto
C. Critérios de mercado C1. Contribuição do projeto para a criação de novos mercados ou expansão dos mercados existentes para a concessionária

C2. Grau de integração entre os agentes do ecossistema de inovação (universidades, instituições de P&D, startups e
empresas de base tecnológica)
C3. Grau de replicação dos resultados do projeto no setor elétrico como um todo
D. Critérios relacionados à competência da equipe de execução do projeto D1. Qualificação da equipa e entidades executoras (qualificação técnica da equipa, experiência anterior em projectos de I&D)

D2. Qualidade do projeto em termos de apresentação de ideias-chave, clareza, concisão e estrutura de texto

E. Critérios de impacto social, econômico e ambiental E1. Grau de contribuição para aumentar a eficiência operacional, redução de custos e perdas e melhoria na entrega e qualidade
do serviço
E2. Grau de contribuição para o treinamento e qualificação de pessoas
E3. Grau de contribuição para o desenvolvimento social e / ou ambiental

492
EA Frej et al. Ciências da Informação 545 (2021) 487–498

mesa 2
Matriz de consequências e custos dos projetos.

Projetos A1 A2 A3 A4 B1 B2 B3 C1 C2 C3 D1 D2 E1 E2 E3 Custo (R $)

P A1-1 5 4 5 4 5 4 5 4 5 5 5 5 4 5 3 4.000.000
P A1-2 4 4 4 4 4 3 4 3 4 4 5 4 4 4 3 3.850.000
P A1-3 4 5 4 3 4 3 4 4 4 4 4 4 4 4 3 5.400.000
P A1-4 4 4 4 3 3 4 4 3 3 4 4 3 4 3 3 5.200.000
P A1-5 4 4 3 5 2 4 4 3 4 4 4 3 3 4 3 3.600.000
P A1-6 4 3 4 4 3 3 4 3 3 3 3 4 3 4 3 4.100.000
PA1-7 3 3 4 4 3 3 4 3 3 3 4 3 3 3 3 4.300.000
P A2-1 4 4 4 4 5 4 4 3 4 4 4 4 3 4 5 5.000.000
P A2-2 3 4 4 3 3 4 3 3 4 4 3 3 4 3 4 6.200.000
P A3-1 4 5 4 2 4 5 4 4 3 4 4 3 4 3 3 8.500.000
P A3-2 5 4 4 4 4 3 4 3 3 4 3 4 4 3 3 5.800.000
P A3-3 4 4 3 3 3 4 4 3 3 3 4 3 3 3 3 6.600.000
P A3-4 4 4 4 1 3 3 4 3 3 3 3 3 3 2 3 8.400.000
P A3-5 3 3 4 4 3 3 3 3 4 3 3 1 3 2 3 6.000.000
P A4-1 4 4 4 3 4 5 5 4 4 4 4 5 4 4 4 8.400.000
P A4-2 5 4 4 4 4 4 4 5 4 4 4 4 5 4 3 6.800.000
P A4-3 4 4 3 4 4 3 4 4 4 4 4 3 4 3 3 5.800.000
P A4-4 4 4 3 3 4 4 3 4 3 3 4 3 4 3 3 6.400.000
P A4-5 3 4 4 4 1 3 4 3 3 3 3 3 3 3 3 5.500.000
P A4-6 4 1 3 4 3 3 3 4 3 3 2 3 3 3 3 5.400.000
P A4-7 3 3 2 3 4 1 2 3 3 3 2 3 2 3 3 6.300.000
P A4-8 4 2 3 3 3 3 3 3 2 2 3 3 1 2 3 6.400.000
P A4-9 3 3 2 4 4 3 3 2 2 2 3 2 3 1 2 5.400.000
P A4-10 3 3 2 3 3 3 3 2 1 2 1 3 3 2 3 6.200.000
P A4-11 3 3 1 4 3 2 2 3 2 2 2 2 3 2 3 5.200.000
P A4-12 1 2 2 3 3 3 2 1 2 1 2 2 2 2 2 6.200.000
P A5-1 5 5 5 3 4 5 4 4 4 4 5 5 4 5 4 6.500.000
P A5-2 5 5 5 2 5 4 4 4 3 4 5 5 5 4 3 7.800.000
P A5-3 5 4 5 3 5 4 4 3 3 3 5 4 4 3 3 6.400.000
P A5-4 5 4 4 3 5 4 4 3 3 3 5 5 3 3 3 6.200.000
P A5-5 5 4 4 2 4 4 4 3 4 3 5 4 3 4 3 7.600.000
P A5-6 4 5 4 2 4 3 4 3 3 4 4 4 3 4 3 7.700.000
P A5-7 4 4 4 4 3 3 1 3 3 3 4 3 3 2 3 5.600.000
P A5-8 4 4 3 3 3 2 2 3 3 3 3 2 3 2 1 6.400.000
P A6-1 4 4 4 2 4 4 4 3 4 4 3 4 4 4 3 7.700.000
P A6-2 5 4 4 3 4 4 3 4 3 4 4 3 4 4 3 5.500.000
P A6-3 4 4 4 4 4 3 3 4 3 3 4 3 4 3 3 4.900.000
P A6-4 4 4 3 3 4 4 3 4 3 3 3 4 3 3 3 5.700.000
P A6-5 4 3 4 2 4 3 3 4 3 3 4 3 3 4 3 7.800.000
P A6-6 3 4 4 3 4 3 4 3 4 3 3 3 4 3 3 5.600.000
P A6-7 4 3 3 3 3 3 3 4 3 3 4 3 3 3 3 5.400.000
P A6-8 3 3 4 5 4 3 3 2 3 2 3 3 4 3 3 4.800.000
P A6-9 3 3 4 3 4 4 3 4 2 2 2 3 3 3 3 5.700.000
P A6-10 3 2 3 3 3 3 3 3 4 3 3 2 4 3 3 5.500.000
P A6-11 3 2 3 4 3 3 3 3 4 3 2 2 3 3 3 4.700.000
P A6-12 2 2 2 3 3 3 3 3 3 2 2 2 3 4 3 5.500.000

Essa questão se baseia na comparação entre duas consequências hipotéticas que o DM deve comparar, ao declarar suas preferências considerando as compensações entre
diferentes critérios. Em particular, em Figura 1 o DSS pediu ao DM para escolher entre um desempenho igual a 3 no critério da primeira classificação (A1) e um desempenho igual a 5 (que
é o melhor desempenho possível) no critério da última classificação (E3). Para isso, o DM considera a comparação de duas consequências hipotéticas: consequência A, com todos os
critérios no pior nível, exceto para o critério de primeiro classificado (A1), ilustrado pela barra azul; e conseqüência B, com todos os critérios no pior nível, exceto o último critério
classificado (E3), ilustrado pela barra verde. Todas as barras vermelhas representam o pior resultado dos outros critérios. Do lado direito da tela, é possível visualizar as opções de
respostas: consequência A, se o Mestre preferir o resultado 3 de A1; consequência B, se o Mestre preferir o resultado 5 de E3; indiferença entre essas duas consequências; ou sem
resposta, se o Mestre acha que esta questão é muito difícil de ser respondida. Neste último caso, o SAD gera outra pergunta sem perda de informação. Ainda do lado direito da tela,
abaixo das opções de respostas, é possível visualizar a quantidade de níveis na classificação parcial de projetos obtida com base no modelo de relação benefício-custo apresentado em Seção
2 . É possível verificar que foram encontrados quatro níveis de ranking de acordo com as informações parciais fornecidas até aquele ponto (que neste caso é a ordem dos pesos dos
critérios). O Mestre escolheu a preferência pela consequência B na questão de Figura 1 , o que significa que ele prefere o nível máximo do critério E3 a um desempenho de 3 de A1. Neste
ponto, outra questão de preferência foi gerada, conforme mostrado por Figura 2 . A comparação das consequências colocadas pelo DSS ilustrado em Figura 2 é análogo ao de Figura 1 ;
mas agora o DM é solicitado a comparar um desempenho de 4 do critério A1 e o melhor desempenho (5) do critério A2 (segundo critério classificado).

493
EA Frej et al. Ciências da Informação 545 (2021) 487–498

Figura 1. Primeira pergunta de elicitação feita pelo DSS.

Figura 2. Segunda pergunta de elicitação feita pelo DSS.

No entanto, antes de responder a esta pergunta, o DM observou que 16 níveis de classificação foram encontrados depois que ele respondeu à primeira pergunta de elicitação. Ao clicar no
botão '' Mostrar Resultados Atuais ”, o DM visualizou a classificação parcial obtida até aquele ponto e, mesmo com o fato de a classificação não estar completa, decidiu que bastava para o
objetivo da empresa, que era para realizar uma análise de portfólio. O DSS é fl exível e permite ao Mestre interromper o processo de elicitação sempre que estiver satisfeito com os
resultados parciais fornecidos. A próxima seção mostra os resultados obtidos.

4. Resultados e discussão

Conforme mencionado na seção anterior, o DM decidiu interromper o processo fornecendo uma pequena quantidade de informações: classificação das constantes de escala dos
critérios e resposta a uma pergunta de elicitação. Decidiu fazê-lo porque a classificação parcial obtida tinha 16 níveis e bastava para os fins da concessionária. Tabela 3 apresenta a
classificação dos projetos, que foi calculada com base nas relações de dominância encontradas pelo modelo de relação benefício-custo descrito em Seção 2 .

494
EA Frej et al. Ciências da Informação 545 (2021) 487–498

Tabela 3
Projetos classificados pela relação benefício-custo.

Ranking Projetos Custo (R $) Custo cumulativo (R $)

1 [P A1-1] 4.000.000 4.000.000

2 [P A1-2] 3.850.000 7.850.000
3 [P A1-5] 3.600.000 11.450.000
4 [P A1-6], [P A2-1] 9.100.000 20.550.000
5 [P A1-3], [PA1-7], [P A6-3], [P A5-1] 21.100.000 41.650.000
6 [P A6-2] 5.500.000 47.150.000
7 [P A1-4] 5.200.000 52.350.000
8 [P A3-2], [P A4-2], [P A4-3], [P A5-3], [P A5-4], [P A6-8] 35.800.000 88.150.000
9 [P A6-4], [P A6-6] 11.300.000 99.450.000
10 [P A5-2], [P A5-7], [P A6-11], [P A4-5], [P A6-7], [P A2-2], [P A4-4] 41.600.000 141.050.000
11 [P A4-1], [P A4-6], [P A5-5], [P A6-9], [P A6-10], [P A3-3] 39.200.000 180.250.000
12 [P A3-5], [P A6-1], [P A5-6] 21.400.000 201.650.000
13 [P A3-1], [P A4-9], [P A6-5], [P A6-12], [P A4-11], [P A5-8] 38.800.000 240.450.000
14 [P A4-7], [P A4-8] 12.700.000 253.150.000
15 [P A3-4], [P A4-10] 14.600.000 267.750.000
16 [P A4-12] 6.200.000 273.950.000

A primeira coluna de Tabela 3 mostra a posição do ranking dos projetos indicados na segunda coluna. A terceira coluna reflete o custo associado aos projetos dentro da posição de
classificação correspondente, e a quarta coluna representa o custo cumulativo, que é dado pelo custo dos projetos da posição atual e o custo de todos os projetos das posições superiores.

É importante destacar que um projeto só ocupa uma determinada posição no ranking se e somente se, de acordo com a Definição 1, for dominado por todos os outros projetos nas
posições superiores. Por exemplo, o projeto [P A1-6] está na quarta posição do ranking; isso significa que este projeto foi dominado pelos projetos [P A1-1], [P A1-2] e [P A1-5], que
ocupam, respectivamente, a primeira, segunda e terceira posições no ranking. Quando houver mais de um projeto dentro do mesmo nível de classificação, isso significa que esses projetos
podem ser incomparáveis entre si pelo nível atual de informações parciais obtidas até aquele ponto. Por exemplo, existem dois projetos no quarto nível do ranking: [P A1-6] e [P A2-1];
portanto, nem [P A1-6] domina [P A2-1] nem [P A2-1] domina [P A1-6],

Para fins de seleção de portfólio, a concessionária deve primeiro definir qual orçamento está disponível para gastos com os projetos de P&D e, em seguida, o portfólio pode ser
selecionado. Por exemplo, se o orçamento for definido em R $ 50.000.000, todos os projetos da primeira até a sexta posição podem ser selecionados para implementação. No outro caso,
se o orçamento for definido em R $ 120.000.000, projetos até a nona posição poderiam ser selecionados, e um total de R $ 20.550.000 ainda estaria disponível. Isso significa que o DM
poderia analisar os projetos que pertencem à décima posição e ainda escolher alguns deles para fazerem parte do portfólio para completar o orçamento.

Como mencionado em Seção 2 , os valores exatos das constantes de escala dos critérios não precisam ser encontrados, uma vez que a informação
fornecido é parcial. No entanto, os limites superior e inferior para esses parâmetros também podem ser calculados com base na programação linear. Fig. 3 mostra um gráfico fornecido pelo
DSS, que ilustra o limite superior e o limite inferior para cada peso de critério. A linha azul indica os limites superiores dos valores dos pesos, enquanto a linha vermelha reflete os limites
inferiores dos valores dos pesos, e os critérios são ordenados da esquerda para a direita. A faixa de valores entre os limites superior e inferior nos permite realizar uma análise de robustez
da classificação resultante mostrada em Tabela 3 , porque para qualquer vetor de pesos dentro desses intervalos (e somando até 1), a classificação de Tabela 3 continua o mesmo. Uma
vez que o intervalo em Fig. 3 parece bastante grande, a classificação pode ser considerada relativamente robusta a mudanças nos valores das constantes de escala dos critérios.

Outra saída gráfica do DSS é um diagrama de Hasse dos projetos, que mostra todas as relações de dominância entre eles com a propriedade de redução de transitividade, conforme
ilustrado por Fig. 4 . No Fig. 4 , cada círculo representa um projeto e as setas direcionadas representam uma relação de dominância entre dois projetos.

As diferentes posições na classificação são separadas por linhas tracejadas. Este diagrama é especialmente útil para seleção de portfólio,

Fig. 3. Limites superior e inferior para constantes de escala de critérios.

495
EA Frej et al. Ciências da Informação 545 (2021) 487–498

Fig. 4. Relações de dominância entre projetos.

496
EA Frej et al. Ciências da Informação 545 (2021) 487–498

quando o orçamento disponível não corresponde exatamente ao custo cumulativo até uma determinada posição. No exemplo dado acima, em que a empresa definiria o orçamento
disponível em R $ 120.000.000, todos os projetos até a posição nove seriam selecionados, e R $ 20.550.000 ainda estariam disponíveis para gastos com projetos de P&D da décima
posição. Mas esta posição tem um total de 7 projetos ([P A5-2], [P A5-7], [P A6-11], [P A4-5], [P A6-7], [P A2-2 ] e [P A4-4]). Então, como o DM escolheria quais deles farão parte do
portfólio e quais não? Esta questão poderia ser respondida com uma análise mais profunda do diagrama de dominância em Fig. 4 .

Ao analisar os projetos pertencentes à posição 10, é possível perceber que os projetos [P A5-2], [P A5-7] e [P A6-11] dominam pelo menos um projeto dentro da posição 10, mas eles
não são dominados por nenhum projeto dentro desta posição. Portanto, eles podem ser opções promissoras para inclusão no portfólio. Agora, o custo desses projetos deve ser analisado
para verificar se todos eles (ou mesmo todos) se enquadram no portfólio de acordo com o orçamento restante disponível. De acordo com mesa 2 , os projetos [P A5-2], [P A5-7] e [P A6-11]
custam, respectivamente, R $ 7.800.000, R $ 5.600.000 e R $ 4.700.000, totalizando R $ 18.100.000, o que significa que todos eles ainda podem fazer parte da carteira, visto que o
remanescente orçamentário disponível é de R $ 20.550.000.

5. Conclusões

Neste artigo, foi apresentado um novo modelo para selecionar um portfólio de projetos com base na relação benefício-custo com informações incompletas fornecidas por DMs. O
benefício de um projeto é calculado de acordo com a função de valor multiatributo, com base nos múltiplos critérios pelos quais os projetos candidatos são avaliados. As relações de
dominância de pares entre os projetos são calculadas usando o conceito de razão benefício-custo, a fim de classificar os projetos usando informações incompletas sobre os valores das
constantes de escala dos critérios, cujos valores exatos são considerados desconhecidos. O uso de informações de preferência parcial / incompleta em problemas de seleção de portfólio
pode servir como uma alternativa eficaz para aquelas situações em que é indesejável ou impossível despender muito tempo e / ou esforços cognitivos no processo de tomada de decisão. [37]
.

Os resultados do trabalho foram aplicados para resolver o problema de seleção do portfólio de projetos de P&D de uma grande concessionária brasileira de energia elétrica, no qual
quarenta e seis projetos candidatos foram avaliados em relação a quinze critérios, divididos em cinco linhas estratégicas principais. Logo após o DM classificar os pesos dos critérios e
responder a uma única questão de troca, uma classificação parcial com dezesseis níveis foi alcançada. O DM teve a opção de continuar respondendo as perguntas para obter uma
classificação mais completa e refinada; entretanto, para fins de seleção de portfólio, a classificação parcial obtida até aquele ponto foi suficiente. Este caso particular mostra como a
abordagem proposta neste artigo pode ser útil para a tomada de decisão relacionada ao portfólio com poucas informações fornecidas pelos usuários. Além disso, o DSS aplicado para
elicitação de preferências e cálculo de classificação com base na relação benefício-custo é interativo e permite que os DMs visualizem resultados parciais durante o processo. A
visualização gráfica para auxílio à decisão e análise de robustez também são recursos úteis fornecidos pelo sistema proposto.

Como a abordagem proposta tem um foco orientado por preferências (mas não por dados), testes experimentais com uma gama mais ampla de estudos de caso não foram
conduzidos nesta pesquisa. Em vez disso, a metodologia proposta foi aplicada a um problema prático de seleção de portfólio de P&D para uma concessionária de energia elétrica cujos
engenheiros e consultores foram realmente entrevistados e suas preferências processadas. No entanto, deve ser enfatizado que a abordagem proposta pode ser aplicada a qualquer
problema de seleção de portfólio (por exemplo [16,35] ) sob condições que os benefícios e custos de cada projeto possam ser estimados e um DM esteja disponível para que suas
preferências sejam avaliadas.

Declaração de contribuição de autoria CRediT

Eduarda Asfora Frej: Metodologia, Software, Redação - rascunho original, Redação - revisão e edição. Petr Ekel: Conceituação, Redação - revisão e edição, Validação, Supervisão,
Investigação. Adiel Teixeira Almeida: Conceituação, Metodologia, Supervisão, Administração de projetos.

Declaração de Concorrência de Interesses

Os autores declaram que não conhecem interesses financeiros concorrentes ou relações pessoais que possam ter influenciado o trabalho relatado neste artigo.

Agradecimentos

Os autores agradecem ao CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) pelo apoio financeiro recebido.

Referências

[1] GN Angelou, AA Economides, Uma estrutura de análise de decisão para priorizar um portfólio de projetos de infraestrutura de TIC, IEEE Trans. Eng. Gerir. 55 (3) (2008) 479-495 .

497
EA Frej et al. Ciências da Informação 545 (2021) 487–498

[2] B. Aouni, M. Doumpos, B. Pérez-Gladish, RE Steuer, Sobre a importância crescente de métodos de auxílio à decisão de múltiplos critérios para seleção de carteira, J. Oper. Res. Soc. 69 (10) (2018) 1525–1542 .

[3] CA Bana e Costa, TG Fernandes, PV Correia, Priorização de investimentos públicos em infraestruturas sociais usando análise de valor multicritério e conferência de decisão: um estudo de caso, Int. Transa. Oper.
Res. 13 (4) (2006) 279-297 .
[4] MP Basilio, JG de Freitas, MGF Kämpffe, R. Bordeaux Rego, Formação de carteira de investimentos via auxílio à decisão multicritério: um estudo do mercado de ações brasileiro, J. Model. Gerir. 13 (2) (2018)
394-417 .
[5] SS Bastiani, L. Cruz-Reyes, E. Fernandez, C. Gómez, G. Rivera, modelo de avaliação de qualidade para carteiras de projetos expressa por uma classificação de prioridade, em: Avanços recentes em abordagens
híbridas para projetar sistemas inteligentes, Springer, Cham , 2014, pp. 555-565 .
[6] V. Belton, T. Stewart, Multiple Criteria Decision Analysis: An Integrated Approach, Springer Science & Business Media, 2002 . [7] MM Borrego-Marín, J. Berbel, Análise de custo-benefício da modernização da
irrigação na bacia do rio Guadalquivir, Agric. Water Manage. 212 (2019) 416-423 .

[8] PAA Carrillo, LRP Roselli, EA Frej, AT de Almeida, Selecionando um pacote de tecnologia agrícola com base no método de troca flexível e interativo, Ann. Oper. Res. (2018) 1-16 .

[9] RT Clemen, JE Smith, Sobre a escolha de linhas de base na análise de portfólio multiatributo: uma nota de advertência, Decis. Anal. 6 (4) (2009) 256-262 . [10] AT De Almeida, JA Almeida, APCS Costa, AT
Almeida-Filho, Um novo método para elicitação de pesos de critérios em modelos aditivos: fl exível e troca interativa, Eur. J. Oper. Res. 250 (1) (2016) 179–191 .

[11] AT De Almeida, CAV Cavalcante, MH Alencar, RJP Ferreira, AT de Almeida-Filho, TV Garcez, Modelos Multicritério e Multiobjetivo para Análise de Decisão de Risco, Confiabilidade e Manutenção, Springer, 2015 .

[12] AT de Almeida, R. Vetschera, Uma nota sobre as transformações de escala no método PROMETHEE V, Eur. J. Oper. Res. 219 (1) (2012) 198–200 . [13] P. Ekel, I. Kokshenev, R. Parreiras, W. Pedrycz, J. Pereira,
Tomada de decisão multiobjetivo e multiatributo em um ambiente difuso e suas aplicações de engenharia de energia, Inf. Sci. 361–362 (2) (2016) 100–119 .

[14] P. Ekel, AC Lisboa, JG Pereira, DAG Vieira, LML SilvaD'Angelo, MFSV, Análise expressa multicritério georreferenciada de dois estágios de novos projetos de linhas de transmissão elétrica, Int. J. Electr. Power
Energy Syst. 108 (3) (2019) 415-431 .
[15] T. Fasth, S. Bohman, A. Larsson, L. Ekenberg, M. Danielson, Análise de decisão de portfólio para avaliar os conflitos das partes interessadas no planejamento do uso da terra, Grupo Decis. Negot. (2020) 1-23 .

[16] E. Fernandez, C. Gomez, G. Rivera, L. Cruz-Reyes, Abordagem metaheurística híbrida para lidar com muitos objetivos e decisões sobre suporte parcial na otimização de portfólio de projetos, Inf. Sci. 315 (2015)
102-122 .
[17] L. Ferreira, D. Borenstein, E. Santi, procedimento de classificação MADM híbrido fuzzy para melhor discriminação alternativa, Eng. Appl. Artif. Intell. 50 (2016) 71-82 . [18] EA Frej, LRP Roselli, J. Araújo de Almeida,
AT de Almeida, Modelo de decisão da Amulticriteria para seleção de fornecedores em uma indústria alimentícia baseado no método FITradeoff, Math. Probl. Eng. 2017 (2017) .

[19] EA Frej, AT de Almeida, APCS Costa, Usando visualização de dados para alternativas de classificação com informação parcial e elicitação de tradeoff interativa, Oper. Res. (2019) 1-23 .

[20] K. Golabi, Selecionando um portfólio de propostas não homogêneas de P&D, Eur. J. Oper. Res. 21 (3) (1985) 347-357 . [21] K. Golabi, CW Kirkwood, A. Sicherman, Selecionando um portfólio de projetos de energia
solar usando a teoria de preferência multiatributo, Manage. Sci. 27 (2) (1981) 174-189 .

[22] S. Hajkowicz, R. Spencer, A. Higgins, O. Marinoni, Evaluating water quality investments using cost utility analysis, J. Environ. Gerir. 88 (4) (2008) 1601-1610 .

[23] RL Keeney, H. Raiffa, Análise de Decisão com Múltiplos Objetivos em Conflito, Wiley & Sons, Nova York, 1976 . [24] CW Kirkwood, RK Sarin, Ranking com informação parcial: um método e uma aplicação, Oper. Res.
33 (1) (1985) 38-48 . [25] JCL López, PAÁ. Carrillo, DAG Chavira, JJS Noriega, Um sistema de apoio à decisão de grupo baseado na web para problemas de classificação multicritério, Oper. Res. 17 (2) (2017) 499–534 .

[26] JC Lourenco, A. Mortone, CAB e Costa, PROBE — um sistema multicritério de apoio à decisão para avaliação da robustez do portfólio, Decis. Suporte Syst. 54 (1) (2012) 534–550 .

[27] B. Malakooti, Classificação e seleção de alternativas de critérios múltiplos com informações parciais e uso de força ordinal e cardinal de preferências, IEEE Trans. Syst. Man Cybern. A Syst. Murmurar. 30 (3) (2000)
355-368 .
[28] AM Mármol, J. Puerto, FR Fernández, Incorporação sequencial de informações imprecisas em processos de decisão de múltiplos critérios, Eur. J. Oper. Res. 137 (1) (2002) 123-133 .

[29] MK Mehlawat, A. Kumar, S. Yadav, W. Chen, modelo de seleção de portfólio multi-objetivo difuso baseado em análise envoltória de dados envolvendo momentos superiores, Inf. Sci. 460 (2018) 128-150 .

[30] V. Mohagheghi, SM Mousavi, J. Antuchevičienė, M. Mojtahedi, Problemas de seleção de portfólio de projetos: uma revisão de modelos, abordagens de incerteza, técnicas de solução e estudos de caso, Technol.
Econ. Dev. Econ. 25 (6) (2019) 1380–1412 .
[31] J. Mustajoki, RP Hämäläinen, A. Salo, Apoio à decisão por intervalo SMART / SWING - incorporando imprecisão nos métodos SMART e SWING, Decis. Sci. 36 (2) (2005) 317-339 .

[32] IT Okioga, J. Wu, Y. Sireli, H. Hendren, Formulação de política de energia renovável para geração de eletricidade nos Estados Unidos, Estratégia de Energia Rev. 22 (2018) 365-384 .

[33] KS Park, SH Kim, Ferramentas para tomada de decisão multiatributo interativa com informações incompletamente identi fi cadas, Eur. J. Oper. Res. 98 (1) (1997) 111-123 .

[34] W. Pedrycz, P. Ekel, R. Parreiras, Fuzzy Multicriteria Decision-making: Models, Methods, and Applications, John Wiley & Sons, 2011 . [35] F. Perez, T. Gomez, seleção de portfólio de projeto multiobjetivo com
restrições fuzzy, Ann. Oper. Res. 245 (1–2) (2016) 7–29 . [36] LD Phillipse, CAB e Costa, Priorização transparente, orçamento e alocação de recursos com análise de decisão multicritério e conferência de decisão, Ann.
Oper. Res. 154 (1) (2007) 51-68 .

[37] LRP Roselli, AT De Almeida, EA Frej, Neurociência de decisão para melhorar a visualização de dados de suporte à decisão no método FITradeoff, Oper. Res. 19 (2019) 1-21 .

[38] AA Salo, RP Hamalainen, Razões de preferência na avaliação multiatributo (PRIME) -elicitação e procedimentos de decisão sob informação incompleta, IEEE Trans. Syst. Man Cybern. A Syst. Murmurar. 31 (6)
(2001) 533-545 .
[39] AA Salo, RP Hämäläinen, Avaliação de preferência por declarações de proporção imprecisas, Oper. Res. 40 (6) (1992) 1053–1061 . [40] A. Salo, A. Punkka, Classificação de inclusão em hierarquias de critérios, Eur.
J. Oper. Res. 163 (2) (2005) 338-356 . [41] P. Sarabando, LC Dias, Procedimentos simples de escolha em problemas multicritério sem informação precisa sobre os valores das alternativas, Comput. Oper. Res. 37 (12)
(2010) 2239-2247 .

[42] R. Vetschera, AT De Almeida, Uma abordagem baseada em PROMETHEE para problemas de seleção de portfólio, Comput. Oper. Res. 39 (5) (2012) 1010–1020 . [43] M. Weber, Tomada de decisão com
informações incompletas, Eur. J. Oper. Res. 28 (1) (1987) 44-57 .

498