RELAT�RIO DE STATUS DE EXECU��O DE COMPROMISSO

RESUMO DO COMPROMISSO
DATA DO RELAT�RIOCOMPROMISSOPREPARADO PORmaio de 2020Compromisso 5. Definir
mecanismo de coleta de dados para melhoria de servi�os regulados pela Ag�ncia
Nacional de Transporte Terrestres (ANTT) e est�mulo da participa��o da sociedade
nas pesquisas de satisfa��oPaulo Henrique da Silva Costa�RG�O RESPONS�VEL E
ENTIDADES PARTICIPANTES
�rg�o coordenadorAg�ncia Nacional de Transportes Terrestres - ANTTAtores Envolvidos
GovernoControladoria-Geral da Uni�o � CGUSociedade CivilInstituto de Estudos
Socioecon�micos � INESC
Instituto Brasileiro de Defesa do Consumidor � IDECVIS�O GERAL DO COMPROMISSO
O presente compromisso faz parte do tema �An�lise de satisfa��o dos usu�rios e
impacto social da regula��o da ANTT, por meio de pesquisa eletr�nica�, proposto
pela Ag�ncia Nacional de Transportes Terrestres � ANTT com o objetivo de
desenvolver tecnologia e integrar dados dos sistemas online de usu�rios que
utilizam as rodovias, ferrovias e os �nibus interestaduais para envolver o cidad�o
e gerar valor � atividade regulat�ria da ANTT, promovendo regula��o por meio de
incentivos e com melhor observa��o dos problemas dos mercados regulados.
Al�m de procurar atender o objetivo do tema proposto, existe uma necessidade legal
que � a busca de mecanismos para atender o disposto na Lei n� 13.460, de 26 de
junho de 2017, mais especificamente o disposto no � 1� do art. 23, onde existe a
previs�o de que os �rg�os e entidades p�blicos devem avaliar os servi�os prestados
por pesquisa de satisfa��o feita, no m�nimo, a cada um ano, ou por qualquer outro
meio que garanta signific�ncia estat�stica aos resultados.
Desta forma, ao cumprir o compromisso assumido no 4� Plano de A��o, espera-se que o
produto seja capaz de atingir o objetivo proposto, al�m de contribuir para
implementa��o de pesquisas de satisfa��o que possam ser realizadas de acordo com a
Lei n� 13.460/2017.
VIS�O GERAL DO MARCO / PRAZOS
MARCOS% CONCLUS�ODATA PARA CONCLUS�O ORIGINALNOVA DATA DE CONCLUS�O

(alterada devido � pandemia)�

Prazo limite: 31/12/2020 RESPONS�VELOBSERVA��ES E EVID�NCIAS SOBRE O ANDAMENTO DO
MARCOJUSTIFICATIVA QUE DEMONSTRE A NECESSIDADE DE EXTENS�O DO PRAZO DE CONCLUS�O
FRENTE � PANDEMIA1 � Levantamento interno dos dados necess�rios para avalia��o do
servi�o100%31/12/2018ANTT *
IDECForam realizadas a��es junto �s �reas final�sticas da ANTT que resultaram no
levantamento dos dados necess�rios para avalia��o do servi�o.-2 � Mapeamento das
op��es de ferramentas de coleta de dados100%31/03/2019IDEC*
INESC
ANTT
OGU/CGUO mapeamento foi realizado a partir de s�tios eletr�nicos especializados no
tema e em pesquisas cient�ficas sobre satisfa��o publicadas.-3 � Estudo de
viabilidade para defini��o das ferramentas de pesquisa15%31/08/201930/11/2020ANTT*
Este Marco est� em execu��o e deve ser conclu�do at� o dia 31/07/2020.A conclus�o
do marco depende de a��es presenciais junto �s �reas da ANTT respons�veis pelas
compras e pela log�stica, e tamb�m da �rea respons�vel pela Tecnologia da
Informa��o - TI. Estas a��es tem por objetivo elucidar alguns questionamentos que o
grupo de trabalho teve no momento em que estava realizando um piloto para escolha
da ferramenta de pesquisa. Assim, os encontros, que aconteceriam presencialmente,
tiveram que ser postergados e passar�o a ser realizados virtualmente. Diante disso
e do iminente atraso nas atividades em desenvolvimento, devido as condi��es de
sa�de p�blica, estima-se um atraso de quatro meses na conclus�o do compromisso. 4 �
Defini��o da estrat�gia para a sele��o da ferramenta100%31/01/2020ANTT*
IDEC
INESC
OGU/CGUO modelo MCDA-C foi constru�do.-5 � Aplica��o da estrat�gia para a sele��o
da ferramenta15%31/05/202030/11/2020ANTT*
OGU/CGU
IDECA estrat�gia est� sendo aplicada por �rea de atua��o da ANTT e deve estar
conclu�da dentro do prazo estipulado.A conclus�o do marco depende de a��es
presenciais junto �s �reas da ANTT respons�veis pelas compras e pela log�stica, e
tamb�m da �rea respons�vel pela Tecnologia da Informa��o - TI. Estas a��es tem por
objetivo elucidar alguns questionamentos que o grupo de trabalho teve no momento em
que estava realizando um piloto para escolha da ferramenta de pesquisa. Assim, os
encontros, que aconteceriam presencialmente, tiveram que ser postergados e passar�o
a ser realizados virtualmente. Diante disso e do iminente atraso nas atividades em
desenvolvimento, devido as condi��es de sa�de p�blica, estima-se um atraso de
quatro meses na conclus�o do compromisso. 6 � Sele��o da ferramenta15%31/07/2020
30/11/2020ANTT*
OGU/CGU
IDECA sele��o da ferramenta est� em andamento e dever� ser conclu�da no prazo
estipulado.A conclus�o do marco depende de a��es presenciais junto �s �reas da ANTT
respons�veis pelas compras e pela log�stica, e tamb�m da �rea respons�vel pela
Tecnologia da Informa��o - TI. Estas a��es tem por objetivo elucidar alguns
questionamentos que o grupo de trabalho teve no momento em que estava realizando um
piloto para escolha da ferramenta de pesquisa. Assim, os encontros, que
aconteceriam presencialmente, tiveram que ser postergados e passar�o a ser
realizados virtualmente. Diante disso e do iminente atraso nas atividades em
desenvolvimento, devido as condi��es de sa�de p�blica, estima-se um atraso de
quatro meses na conclus�o do compromisso. * �rg�o/entidade respons�vel por
coordenar a execu��o do marcoRISCOS E PROBLEMAS / SOLU��ES A SEREM TOMADAS
PROBLEMACAUSASOLU��ONILNILNILNILNILNIL
CONCLUS�O (RECOMENDA��ES/OBSERVA��ES/NECESSIDADE DE REPLANEJAMENTO)
Marco 1: Levantamento interno dos dados necess�rios para avalia��o do servi�o

Preliminarmente, cabe ressaltar que n�o foram identificados riscos e problemas na

execu��o do 1� marco. Tal situa��o deve-se ao fato de que as duas �ltimas pesquisas
de satisfa��o realizadas pela ANTT permitiram a consolida��o dos dados pesquisados.
Somente uma �rea t�cnica � Superintend�ncia de Transporte Rodovi�rio de Multimodal
de Cargas � SUROC, n�o possu�a mapeados estes dados, pois n�o participava das
pesquisas. Assim n�o houve dificuldades em levantar os dados.
O primeiro marco - Levantamento interno dos dados necess�rios para avalia��o do
servi�o, teve in�cio em 01/10/2018, e foi realizado utilizando as seguintes a��es:
1�) realizou-se uma apresenta��o para os superintendentes e gerentes das �reas
final�sticas da Ag�ncia Nacional de Transportes Terrestres � ANTT, que s�o
respons�veis pela regula��o e fiscaliza��o dos servi�os de transportes terrestres
sob a compet�ncia da Ag�ncia (Transporte Rodovi�rio e Ferrovi�rio de Passageiros;
Transporte Rodovi�rio e Ferrovi�rio de Cargas; Infraestrutura Rodovi�ria), para
falar sobre a OGP, Planos de A��o e o compromisso que a Ag�ncia est� coordenando;
2�) solicitou-se a cada superintendente a indica��o de um servidor para representa-
lo durante a execu��o dos trabalhos referentes ao 1� marco;
3�) foram realizadas seis reuni�es: a) a primeira contou com representantes de
todas as �reas final�sticas, e da Superintend�ncia Executiva � Coordenadora do
compromisso; b) as demais reuni�es foram realizadas com o representante de cada
�rea individualmente, da Ouvidoria e da Superintend�ncia Executiva.
Na primeira reuni�o, foram apresentados o compromisso e os respectivos marcos. Em
seguida foi estabelecida uma agenda para reuni�es individuais nas quais os
representantes de cada �rea deveriam trazer os dados a serem levantados para
avalia��o do servi�o.
Foram realizadas posteriormente cinco reuni�es:
* A primeira reuni�o foi realizada com a Superintend�ncia de Explora��o da
Infraestrutura Rodovi�ria � SUINF, respons�vel pelo acompanhamento dos contratos de
concess�o rodovi�ria. A SUINF apresentou algumas sugest�es para a lista com
atributos e itens a serem pesquisados junto aos usu�rios de rodovias federais
concedidas, tomando como refer�ncia a pesquisa de satisfa��o finalizada em 2018;
* A segunda reuni�o foi realizada com a Superintend�ncia de Fiscaliza��o � SUFIS,
respons�vel pela fiscaliza��o dos servi�os de transporte rodovi�rio e ferrovi�rio
de passageiros e de cargas, que n�o apresentou especificamente nenhum dado
diferente daqueles que foram levantados na pesquisa de satisfa��o dos usu�rios
realizadas no �ltimo ano e que teve seu resultado apresentado em outubro de 2018;
* A terceira reuni�o foi realizada com a Superintend�ncia de Servi�os de Transporte
de Passageiros � SUPAS, que ap�s analisar os atributos e itens utilizados na
pesquisa de 2017/2018 para avaliar a satisfa��o dos usu�rios com os servi�os
prestados pelas empresas que operam o servi�o de transporte rodovi�rio
interestadual e internacional de passageiros, optou por mant�-los;
* A quarta reuni�o foi realizada com a Superintend�ncia de Servi�os de Transporte
Rodovi�rio de Multimodal de Cargas � SUROC, que ressaltou a necessidade de
participa��o em pesquisas de satisfa��o e chamou a aten��o para a diversidade de
usu�rios do TRC e o fato de at� recentemente o modal n�o ter uma regula��o
econ�mica, os quais podem ser fatores que venham a influenciar os atributos.
Particularmente, a diversidade de usu�rio pode ser um dificultador para a
identifica��o do usu�rio. Por fim, apresentou os dados a serem pesquisados; e
* Finalmente, a quinta reuni�o foi realizada com a Superintend�ncia de
Infraestrutura e Servi�os de Transporte Ferrovi�rio de Cargas � SUFER, que informou
que ser�o mantidos os atributos utilizados na �ltima pesquisa.
Abaixo, s�o apresentados os quadros com dados internos levantados durante a
execu��o dos trabalhos junto �s superintend�ncias da Ag�ncia:

Quadro 1: Dados Levantados na SUINF

AtributosITENSPistaCondi��es do pavimento (buracos, desn�veis, etc.)Condi��es do
pavimento em dias de chuvaDesn�vel entre pista e acostamentoDesn�vel na entrada de
pontesSinaliza��oClareza nas informa��es das placasCondi��o da pintura do pavimento
Visibilidade da sinaliza��oFacilidade de identifica��o do servi�o de Atendimento ao

Usu�rio - SAUFluidezVelocidade dos ve�culos na rodoviaFacilidade de ultrapassagem

Fluidez nas travessias urbanas Fluidez nos acessos e cruzamentosSeguran�aLargura do
acostamentoCondi��es das encostasCondi��o das prote��es laterais das pontesCondi��o
das prote��es laterais da pista Seguran�a nos acessos e cruzamentosServi�os
Utilidade das mensagens nos pain�is eletr�nicos Qualidade da informa��o prestada ao
usu�rio pelos canais de atendimentoAtendimento nos SAUs � Servi�o de Atendimento ao
Usu�rio (disponibilidade de �gua, limpeza nos banheiros, etc.) Satisfa��o com o
atendimento m�dico de emerg�ncia (tempo e efici�ncia) Satisfa��o com o socorro
mec�nico (tempo e efici�ncia)LimpezaLimpeza da pistaLimpeza das laterais da rodovia
Condi��o da vegeta��o lateralPed�gioValor do ped�gio � justo em rela��o aos
servi�os oferecidosFacilidade e rapidez no pagamento do ped�gioAtributosItens
Atendimento da EmpresaFacilidade para compra (acesso, tempo na fila, op��es de
pagamento)Facilidade para a troca de bilhetesCapacidade da equipa da empresa em
resolver problemasConfortoConforto do ve�culo (poltrona, espa�o interno,
temperatura, n�vel de ru�do, etc.)CortesiaGentileza e educa��o dos funcion�rios
(motorista e pessoal da empresa) HigieneLimpeza do banheiro do ve�culoLimpeza dos
outros elementos do ve�culo (corredor, poltrona, cortina, espa�o para bagagem de
m�o)Confiabilidade da viagemExperi�ncias quanto a n�o ocorr�ncia de quebra de
ve�culos e interrup��o da viagem Integridade e seguran�a da bagagem (cuidado com o
manuseio / arruma��o da bagagem)PontualidadePontualidade (hor�rio em que o ve�culo
parte e chega em rela��o ao programadoRegularidadeDisponibilidade dos servi�os
(quantidade de viagens / hor�rios na linha)Seguran�aInforma��es do motorista sobre
procedimentos de seguran�a antes do in�cio da viagemSeguran�a na condu��o do
ve�culo pelos motoristas (Manobras, velocidades, etc.)Pre�o JustoPre�o pago pela
viagem � justo em rela��o ao servi�o oferecidoConserva��o do ve�culoEstado de
conserva��o do ve�culoParada para refei��es e lanchesQuantidade de paradasTempo das
paradasSeguran�aLimpeza e conforto das instala��es, inclusive banheiroQualidade dos
produtos e servi�osPre�o dos produtos e servi�osInforma��es e sinaliza��o
(facilidade para localizar o ve�culo e servi�o)Terminal de embarqueSeguran�a
Limpeza, conserva��o e conforto das instala��es, inclusive banheirosServi�o de
informa��o e sinaliza��oQualidade dos produtos e servi�osPre�o dos produtos e
servi�osFacilidade de acesso (transporte p�blico, taxi, estacionamento)Quadro 2:
Dados levantados pela SUPAS

Quadro 3: Dados levantados pela SUROC

AtributosItensOperacionaisIntegridade da carga ap�s o transporteComunica��o sobre a
entrega da cargaPrazo de entregaPrazo de carregamento / descarregamentoComerciais
Liberdade para negocia��o do valor do frete������������� Valor do freteInforma��o
sobre RNTRC (status do transportador)Competitividade com rela��o a outros modos
AdministrativosFacilidade de contrata��o de servi�o de transporteFacilidade de
contrata��o do seguro de cargasFacilidade para realiza��o do pagamento do Vale �
Ped�gio obrigat�rioFacilidade para realiza��o do pagamento Eletr�nico de Frete

Quadro 4: Dados levantados pela SUFER

AtributosItensOperacionaisManuten��o da integridade da cargaPontualidade na entrega
da cargaPrograma��o e suprimento dos vag�es de acordo com a necessidade do usu�rio
Qualidade dos vag�esSeguran�a � preven��o de acidentesSolu��o dos problemas
operacionaisTempo de tr�nsito ComerciaisCumprimento dos volumes acordadosPre�o das
opera��es acess�riasRessarcimento de preju�zos com quebra, avaria, roubo e extravio
de cargaValor das tarifas de transporteAdministrativosComunica��o para tratativas
comerciais e operacionaisFacilidade para contrata��o de servi�o de transporte
Informa��o sobre a localiza��o da cargaQualidade dos servi�os de atendimento de
usu�rios

Desta forma, o 1� marco do Compromisso n� do 4� Plano de A��o Nacional foi

conclu�do com o levantamento interno dos dados necess�rios para avalia��o do
servi�o.

Marco 2: Mapeamento das op��es de ferramentas de coleta de dados

Na execu��o deste Marco, foram mapeadas as op��es de ferramentas e metodologias de

coleta de dados dispon�veis, buscando identificar em sites especializados no
assunto e em pesquisas anteriores realizadas por outras entidades, as metodologias
mais frequentemente utilizadas para realizar pesquisa de levantamento de opini�o de
usu�rios ou clientes. Tamb�m foram encontrados alguns instrumentos espec�ficos de
aplica��o de question�rio, os quais se incluem dentro de uma �nica metodologia de
aplica��o in loco, com ou sem aplicador presencial.
As op��es levantadas foram encontradas em sites especializados, como o da
Associa��o Brasileira de Empresas de Pesquisa e o Instituto Brasileiro de Pesquisa
e An�lise de Dados, em pesquisas cient�ficas sobre pesquisa de satisfa��o, e em
sites com exemplos de Pesquisas realizadas. Ao fim do levantamento, as observa��es
come�aram a se tornar repetitivas, visto a predomin�ncia desses modos listados
acima no mercado atual. Tamb�m � importante ressaltar a proemin�ncia recente de
v�rios m�todos de Pesquisas exclusivamente digitais, voltados a redes sociais ou
aplicativos de rastreamento de opini�o de diversas formas, que podem ser avaliados
em maior detalhe no item 1.9, mas que n�o foram priorizados por apresentar, na
avalia��o dessa pesquisa, limita��es de abrang�ncia da amostra, considerado o tipo
e segmenta��o de usu�rios do sistema de transportes.

O mapeamento apontou que as formas de pesquisas t�m limita��es, vantagens, custos e

t�cnicas envolvidas muito diferentes uns dos outros levando a especifica��es e
n�veis de trabalho muito diferentes. Isto pode fazer com que ocorram impactos
diversos nos usu�rios de diferentes meios de transportes que a ANTT regula no pa�s
devido � alta diferen�a de tempo de uso, de tempo de embarque e de modo de
utiliza��o dos meios de transportes, que variam desde �nibus interestaduais, a
rodovias, passando por �nibus suburbanos.

Em outras palavras, �nibus suburbanos que possuem uma alta rotatividade e grande
volume de passageiros, por linha e por hora, podem exigir uma metodologia mais
�gil, j� os �nibus interestaduais e sistemas ferrovi�rios que possuem embarque mais
vagaroso e os n�meros de usu�rios mais controlado pode ter uma metodologia mais
est�tica fisicamente. Por outro lado, as rodovias que possuem usu�rios guiando os
pr�prios ve�culos pode ter uma metodologia que se adeque a isso. Estas varia��es
podem ser estudadas em mais detalhe nas pr�ximas fases do compromisso.

Diante disso, este mapeamento apresenta este cen�rio inicial que dever� ser
debatido em maiores detalhes entre as entidades do projeto nos pr�ximos Marcos.

Abaixo � apresentado o resultado do Mapeamento das Op��es de Ferramentas de Coleta

de Dados, composto de metodologias (Quadro 5) e ferramentas (Quadro 6):

Quadro 5: Metodologias
DetalhamentoPr�sContrasLinks, obs., etc.1.1 � Tablet + Aplicativo �Aberto�Comprar
tablets para serem utilizados nos ve�culos, esta��es ou pontos de parada, e
implantar software desenvolvido por parceiros, empresas, startups, hackatonas,
etc...
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;
- Facilidade de licitar insumo e servi�o em separado;
- Facilidade de reprograma��o do question�rio.- Necessidade de manuten��o frequente
do equipamento;
- Necessidade de programar localiza��o e suporte da ferramenta nos locais de
intera��o com usu�rio.1.2 - Tablet + Aplicativo ANTTComprar tablets para serem
utilizados nos ve�culos, esta��es ou pontos de parada, e implantar software por
equipe contratada internamente na ANTT- Abrang�ncia da amostra ao ser acess�vel a
todos usu�rios;
- Pela facilidade de produzir o aplicativo, talvez valha a pena fazer internamente;
- Facilidade de reprograma��o do question�rio.

- Necessidade de manuten��o frequente do equipamento;

- Necessidade de programar localiza��o e suporte da ferramenta nos locais de
intera��o com usu�rio.1.3 - Aplicativo ANTT para usu�rioDesenvolver um aplicativo
para celulares de usu�rios- Simplicidade e relativamente f�cil difus�o
- (Oportunidade) Necessidade de existir ferramenta de servi�o ao usu�rio, como
venda de passagens, reclama��o, etc. para manter o uso do aplicativo.
- N�o ter� total cobertura das categorias de usu�rio;
- Amostra enviesada (posse de celular, com servi�o 3G contratado).1.4 - Grupo Focal
Desenvolver procedimento para pesquisas de grupo focal constantes com usu�rios-
Bastante customiz�vel;
- F�cil de medir a rea��o do usu�rio;
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;- Trabalhoso para
estruturar o processo;
- Momento de fala e rela��o presencial pode afetar a espontaneidade dos usu�rios;
- Custo pode ser elevado.
Sobre grupos focais:
(1)
(2)1.5 - Pesquisas tradicionaisDesenvolver procedimento para efetivar a realiza��o
de pesquisas tradicionais, com aplicadores, constantes com usu�rios
- Expertise da ANTT na metodologia;
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;- Custo elevado;
- Demora do processamento dos dados;1.6 - Lean SurveyStartup com metodologia em
rede de aplica��o de pesquisas tradicionais por aplicadores aut�nomos- Expertise da
ANTT na metodologia;
- Economia de at� 70% na aplica��o da pesquisa, segundo site;
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;
- Processo novo, pode haver falta de confiabilidade;
- Talvez o custo ainda seja mais elevado que em outras op��es;Sobre a ferramenta:
(3)1.7 - Disparo de e-mails aos usu�rios cadastrados- Abrang�ncia da amostra ao ser
acess�vel a todos usu�rios;
- Simplicidade e f�cil execu��o e compila��o dos dados.

- Necessidade de compilar o e-mail dos usu�rios;

- Poss�vel baixo n�mero de respostas;1.8 - Telefonema aos usu�rios cadastrados-
Menos trabalho que pesquisa de campo;
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;- Processo trabalhoso
demanda trabalho ativo de funcion�rios ou equipe, embora menos trabalho de campo;
- Necessidade de compilar o telefone dos usu�rios.

1.9 - Men��es em Redes Sociais- Simplicidade e f�cil execu��o.- Amostragem muito

enviesada;
- Quest�o n�o � orientada, ent�o � necess�rio desenvolver uma metodologia a partir
do n�mero absoluto de men��es;
Introdut�rio:
(4)

Completo:
(5)1.10 - Metodologia CATI/CAPI- Menos trabalho que pesquisa de campo;
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;- Processo novo;
- Processo trabalhoso demanda trabalho ativo de funcion�rios ou equipe, embora
menos trabalho de campo;
- Precisa identificar telefone dos usu�rios.
(6)

(7)

(8)
Quadro 6: Ferramentas
DetalhamentoPr�sContrasLinks, obs., etc.2.1 - Gertec (Aparelho port�til)Contrata��o
de aparelho especializado em pesquisa de satisfa��o no formato port�til para
aplicar as pesquisas.
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;
- Facilidade de reprograma��o do question�rio- Necessidade de manuten��o frequente
do equipamento;(10)2.2 - Solvis (Toten)Contrata��o de aparelho especializado em
pesquisa de satisfa��o no formato t�tem para aplicar as pesquisas- Abrang�ncia da
amostra ao ser acess�vel a todos usu�rios;
- Facilidade de reprograma��o do question�rio- Necessidade de presen�a de aplicador
do question�rio;(11)2.3 - Like no LikeExemplo de contrata��o de aparelho
especializado em pesquisa de satisfa��o no formato totem para aplicar as pesquisas
- Abrang�ncia da amostra ao ser acess�vel a todos usu�rios;
- Facilidade de reprograma��o do question�rio- Necessidade de manuten��o frequente
do equipamento;

Fonte para coletar ideias:

Associa��o Brasileira de Empresas de Pesquisa
http://www.abep.org/

Avalia��o destes diversos tipos:

http://www.inf.ufsc.br/~vera.carmo/Ensino_2013_2/Instrumento_Coleta_Dados_Pesquisas
_Educacionais.pdf

Discuss�o sobre formul�rio, question�rio ou entrevista:

http://www.editorarealize.com.br/revistas/conedu/trabalhos/TRABALHO_EV056_MD1_SA13_
ID8319_03082016000937.pdf

Links para metodologias e Ferramentas:

1) http://www.scielo.br/paiedeia/v12n24/04
2) https://revistas.ufpr.br/cogitare/article/view/14486
3) https://leansurvey.com.br/
4)
https://bibliotecas.sebrae.com.br/chronus/ARQUIVOS_CHRONUS/bds/bds.nsf/24131C962E2F
9B6C0325714700683043/$File/NT00031FF6.pdf
5) https://www.ibpad.com.br/wp-content/uploads/2016/12/Monitoramento-e-pesquisa-em-
midias-sociais.pdf
6) https://www.institutophd.com.br/como-funcionam-as-pesquisas-capi-e-cati/
7) https://pt.wikipedia.org/wiki/CATI
8) http://www.brazilpanels.com.br/Cati.aspx
9) https://www.gertec.com.br/produtos/pesquisa-rapida/
10) https://www.solvis.com.br/

Marco 3: Estudo de viabilidade para defini��o das ferramentas de pesquisa

Na execu��o deste Marco est�o previstas tr�s a��es: estudo de viabilidade t�cnica;
estudo de viabilidade operacional; e estudo de viabilidade econ�mica. O prazo para
conclus�o desta tarefa expira em 30 de agosto de 2019.

Durante a elabora��o do cronograma para execu��o deste Marco, o grupo respons�vel

entendeu que ele est� fortemente correlacionado com os marcos 4 - Defini��o da
estrat�gia para a sele��o da ferramenta, 5 - Aplica��o da estrat�gia para a sele��o
da ferramenta e 6 � Sele��o da ferramenta.

Assim, foi proposta a cria��o de um modelo para sele��o baseada na Metodologia

Multicrit�rio de Apoio a Decis�o � Construtivista (MCDA-C). Tal modelo ser� o
produto do Marco 4 e englobar� o estudo de viabilidade do Marco 3 e se constituir�
na etapa predecessora da estrat�gia para sele��o que ser� aplicada (marco 5) para
sele��o da ferramenta (Marco 6).

Como a conclus�o desse marco dependia da conclus�o do Marco 4, o que se deu em

outubro/2019, este marco ser� executado concomitantemente com os Marcos 5 e 6.
Dessa forma, a partir de novembro de 2019, deu-se in�cio a execu��o dos Marcos 3, 5
e 6, que est�o em andamento com previs�o de conclus�o dentro do prazo estipulado no
cronograma da a��o.

Marco 4: Defini��o da estrat�gia para a sele��o da ferramenta

Como dito no item anterior, o produto deste Marco ser� um modelo para sele��o da
ferramenta baseada na Metodologia Multicrit�rio de Apoio a Decis�o � Construtivista
(MCDA-C).

A Metodologia Multicrit�rio de Apoio � Decis�o � Construtivista (MCDA-C), de acordo

com Ensslin et al (2010), �� uma ramifica��o do MCDA tradicional para apoiar os
decisores em contextos complexos, conflituosos e incertos�. Dutra et al. (2009)
resumiram as premissas da MCDA-C e chegaram a dois consensos: o primeiro � de que
nos problemas decis�rios existem m�ltiplos crit�rios; e o segundo, � de que a no��o
de melhor solu��o � substitu�da pela busca de uma solu��o que melhor se enquadre
nas necessidades do decisor e no contexto decisional como um todo. Desta forma, a
metodologia MCDA-C permite aos atores de um processo decis�rio aumentarem seu grau
de conformidade e de entendimento no desenvolvimento de um processo de tomada de
decis�o, no qual est�o presentes seu sistema de valor e seus objetivos (pontos de
vista), e busca encontrar a melhor solu��o para atender aos valores dos decisores.

A An�lise Multicrit�rio de Apoio � Decis�o � Construtivista (MCDA-C) � constru�da a

partir de quatro etapas: Identifica��o do Contexto Decis�rio, Estrutura��o do
Problema, Estrutura��o do Modelo Multicrit�rio e Avalia��o das A��es Potenciais.

A etapa de Identifica��o do Contexto Decis�rio aborda os aspectos que devem ser

definidos no in�cio da constru��o do modelo de an�lise multicrit�rio. Nela, s�o
identificados os atores envolvidos no processo de constru��o do modelo, �
identificado o tipo de a��o que ser� avaliado e � escolhida a problem�tica de
refer�ncia (ENSSLIN et al., 2001).

A identifica��o dos atores envolvidos no processo decis�rio constitui-se num

importante passo na constru��o de um modelo multicrit�rio. Na pr�tica, � dos atores
o sistema de valores que nortear� a constru��o de modelo. Ensslin et al. (2001)
distinguem os atores em dois grupos, conforme a participa��o no processo decis�rio:
os intervenientes, que participam diretamente do processo de decis�o, e os agidos
que sofrem de forma passiva as consequ�ncias da implementa��o da decis�o tomada.

No processo de apoio � decis�o foram identificados como atores intervenientes tr�s

servidores da Ouvidoria e dois servidores da Superintend�ncia Executiva da ANTT,
representantes do governo na OGP. Por outro lado, foram elegidos como atores agidos
os Usu�rios dos servi�os regulados pela ANTT e a Sociedade Civil (Tabela 1):

Tabela 1 � Atores do processo constru��o do modelo para sele��o da ferramenta

INTERVENIENTESEspecialistas e pesquisadores do PPGT - UnBFacilitador � Coordenador
do compromissoAGIDOSUsu�rios dos servi�os regulados pela ANTTSociedade Civil
Ap�s a identifica��o dos atores, o pr�ximo passo consiste em identificar o tipo de
a��o avaliada pelo modelo. Segundo Roy, apud Ensslin et al., 2001, a��o � a
representa��o de uma poss�vel contribui��o � decis�o, representa��o esta que pode
ser considerada aut�noma com rela��o ao processo de decis�o. Assim, neste modelo
foi identificada como a��o potencial a sele��o da ferramenta para coleta de dados
para melhoria de servi�os regulados pela Ag�ncia Nacional de Transportes Terrestres
(ANTT).

Para finalizar etapa de Identifica��o do Contexto Decis�rio, foi escolhida a

Problem�tica da Escolha, uma vez que o objetivo deste trabalho � escolher uma
ferramenta para coleta de dados para melhoria de servi�os regulados pela Ag�ncia
Nacional de Transportes Terrestres (ANTT) dentre as diversas op��es existentes no
mercado.

A etapa de Estrutura��o do Problema visa � defini��o de um r�tulo para o problema e

a determina��o da Fam�lia de Pontos de Vista Fundamentais (PVF).

Nesta etapa da constru��o do modelo multicrit�rio, foram identificados os Elementos

Prim�rios de Avalia��o - EPA, com base na din�mica de grupo chamada de
brainstorming, que visa explorar a potencialidade criativa dos especialistas em
transportes. Ap�s serem identificados, os EPA, que segundo Bana e Costa (1992) s�o
constitu�dos de objetivos, metas, valores dos decisores, bem como a��es, op��es e
alternativas, os mesmos foram testados para verificar se atendiam �s propriedades
necess�rias para transform�-los em Pontos de Vista Fundamentais (PVF). Somente ap�s
atenderem a essas propriedades, passaram a ser considerados como Fam�lia dos Pontos
de Vista Fundamentais (Figura 1).

Figura 1 - Fam�lia dos Pontos de Vista Fundamentais

Com a determina��o da fam�lia dos Pontos de Vistas Fundamentais, concluiu-se a

etapa de estrutura��o do problema. A pr�xima etapa consiste na estrutura��o do
modelo multicrit�rio.

Na etapa de Estrutura��o do Modelo Multicrit�rio define-se, inicialmente, quais os

aspectos, dentro do contexto decis�rio, que os decisores consideram essenciais e
desej�veis no processo de avalia��o das a��es potenciais (ENSSLIN et al., 2001).
Estes aspectos constituem os eixos de avalia��o, que Bana e Costa et al. (1999)
definem como uma dimens�o considerada como relevante, segundo os valores dos
decisores, para avaliar as a��es potenciais. Segundo Ensslin et al. (2001), a
identifica��o dos eixos de avalia��o do problema � chamada de transi��o de um mapa
cognitivo para um modelo multicrit�rio.

A estrutura��o do modelo multicrit�rio foi realizada a partir da constru��o de uma

�rvore de Pontos de Vista Fundamentais; cria��o de crit�rios de avalia��o para cada
PVF com a defini��o de um Descritor para mensurar cada crit�rio de avalia��o e a
obten��o de uma Fun��o de Valor Associada ao Descritor. Por fim, foram definidas as
Taxas de substitui��o entre os PVF.

A estrutura��o em �rvore (ou ��rvore de valores�) permite visualizar de forma

organizada a totalidade dos aspectos importantes do problema (BANA E COSTA, 2005).
De acordo com Ensslin et al. (2001), a estrutura arborescente utiliza a l�gica da
decomposi��o, em que um crit�rio mais complexo de ser mensurado � decomposto em
subcrit�rios de mais f�cil mensura��o. Em regra, o crit�rio de n�vel hier�rquico
superior � definido pelo conjunto de crit�rios de n�vel hier�rquico inferior que
est�o ligados a ele na �rvore.

A �rvore de Pontos de Vista Fundamentais � estruturada em n�veis, cada n�vel

utiliza um elemento (R�tulo, PVF, PVE, Sub PVE). O primeiro n�vel � composto pelo
R�tulo do Problema, que descreve o problema a ser solucionado e representa o
objetivo a ser alcan�ado. O n�vel seguinte � composto pela Fam�lia de Pontos de
Vista Fundamentais que podem ou n�o ser decompostos em Pontos de Vista Elementares
(PVE). Os PVE s�o utilizados sempre que existe a necessidade de decomposi��o do
eixo de avalia��o e permitem que seja realizada uma melhor avalia��o da performance
das a��es potenciais no ponto de vista considerado. Os PVE podem ser decompostos em
sub PVE, desde que os decisores sintam necessidade, para uma melhor explica��o de
um ponto de vista. De acordo com Keeney (1992), devem existir pelo menos dois
crit�rios de n�vel hier�rquico inferior conectados ao crit�rio de n�vel hier�rquico
superior. A estrutura gen�rica de um modelo multicrit�rio que adota uma estrutura
de arborescente � apresentada na Figura 2.

Figura 2 - Estrutura gen�rica de um Modelo Multicrit�rio

Assim, a �rvore de Pontos de Vista Fundamentais para avalia��o da qualidade do

servi�o semiurbano est� representada na Figura 3 abaixo:

Figura 3 � �rvore dos Pontos de Vista Fundamentais

Ap�s a defini��o da �rvore dos Pontos de Vista Fundamentais, foram constru�dos os

descritores para cada eixo de avalia��o, formados pelos sub PVE (crit�rios de
avalia��o).

Os descritores, segundo Bana e Costa (1992) e Bana e Costa et al (1999) apud

Ensslin et al. (2001), podem ser definidos como um conjunto de n�veis de impacto
que servem como base para descrever as performances plaus�veis das a��es potenciais
em termos de cada PVF. Desta forma foram criados 17 descritores com suas
respectivas fun��es de valor, e foram estabelecidos n�veis de impacto para cada um
desses descritores.

Algumas abordagens t�m sido propostas para a constru��o das fun��es de valor, por
exemplo, "Direct Rating" (VON WINTERFELDT e EDWARDS, 1986), "Bisection" (GOODWIN e
WRIGHT, 1991) e MACBETH (BANA E COSTA e VANSNICK, 1995b, 1995c, 1995d, 1997; BANA E
COSTA et al., 1995a).

Este trabalho � baseado na metodologia MACBETH (Mensuring Attractiveness by a

Category Based Technique). Atrav�s de sua simplifica��o, ele pode superar
dificuldades decorrentes do processo de questionamento. Os intervenientes t�m que
elaborar um julgamento absoluto sobre a diferen�a entre dois n�veis (BANA E COSTA e
VANSNICK, 1995b).

O procedimento de questionamento MACBETH consiste em fazer aos intervenientes a

seguinte pergunta: Qual � a rela��o de atratividade de passar de n�vel inferior
para um n�vel superior, por exemplo, de um n�vel Bom para o n�vel Muito Bom. Este
questionamento se faz para todos os n�veis. Os intervenientes respondem, segundo
seus ju�zos de valor para cada dois n�veis umas das categorias sem�nticas:
'indiferente', 'muito fraco', 'fraco', 'moderado', 'forte', 'muito forte' ou
'extremo'.

Para facilitar esse di�logo, utiliza-se uma escala ordinal sem�ntica composta por
sete categorias de diferen�a atratividade, a saber (ENSSLIN et al., 2001):

C0 � nenhuma diferen�a de atratividade (indiferen�a)

C1 � diferen�a de atratividade muito fraca
C2 � diferen�a de atratividade fraca
C3 � diferen�a de atratividade moderada
C4 � diferen�a de atratividade forte
C5 � diferen�a de atratividade muito forte
C6 � diferen�a de atratividade extrema

Durante este processo de questionamento, o facilitador preenche uma submatrix

triangular superior � matriz n x n, de acordo com as respostas dadas pelos
intervenientes das categorias sem�nticas. Em seguida, o M-MACBETH encontra (por
programa��o linear) a escala cardinal que melhor representa os julgamentos
absolutos dos intervenientes.
Para exemplificar, a Figura 4 mostra a Matriz de Julgamento Sem�ntico do Software
M-MACBETH, preenchida a partir do ju�zo de valor dos atores intervenientes e a
respectiva fun��o de valor obtida a partir da matriz de julgamento. Na Tabela 2, �
apresentado o Descritor do Sub PVE N50 � Aquisi��o da Ferramenta.

Figura 4 - Matriz de Julgamento Sem�ntico + Fun��o de Valor extra�da do Software M-

Macbeth

Tabela 2 � Descritor do Sub PVE N50 � Aquisi��o da Ferramenta.

Crit�rio de avalia��o do Sub PVE N50 � Aquisi��o da Ferramenta.N�veis de Impacto
N�veis de Refer�nciaDescri��oFun��o de ValorNENHUMBomA ANTT n�o ter� nenhum custo
com a aquisi��o da ferramenta100,00BAIXOA ANTT ter� um custo baixo com a aquisi��o
da ferramenta76,92M�DIOA ANTT ter� um custo m�dio com a aquisi��o da ferramenta
53,85ALTOA ANTT ter� um custo alto com a aquisi��o da ferramenta30,77MUITO ALTO
NeutroA ANTT ter� um custo muito alto com a aquisi��o da ferramenta0,00
Em seguida, foram definidas as taxas de substitui��o. Segundo Ensslin et al.
(2001), as taxas de substitui��o, tamb�m conhecidas como pesos, s�o par�metros que
os decisores julgam adequados para agregar, de forma compensat�ria, desempenhos
locais (nos crit�rios) em uma performance global.

As taxas de substitui��o de um modelo multicrit�rio expressam, � luz da prefer�ncia

do decisor, a perda de performance que uma a��o potencial deve sofrer em um
crit�rio para compensar o ganho de desempenho em outro. Elas s�o tamb�m chamadas de
trade-offs, taxas de compensa��o e constantes de escala. Vulgarmente, e na
literatura inglesa, s�o tamb�m conhecidas como �pesos� (weights) (ENSSLIN et al.,
2001).

As taxas de substitui��o foram obtidas junto aos especialistas que atuaram como
atores intervenientes. O resultado obtido � apresentado na Tabela 3.

Tabela 3 � Taxas de Substitui��o do Modelo Multicrit�rio para Sele��o da Ferramenta

Na �ltima etapa, Avalia��o das A��es Potenciais, de acordo com Ensslin et al.
(2001), as a��es t�m seu desempenho avaliado. A partir do desempenho de cada a��o,
utiliza-se uma f�rmula de agrega��o aditiva, que permite agregar em uma avalia��o
global as performances locais das a��es, em cada um dos crit�rios do modelo. Ainda
nesta etapa, � realizada a an�lise dos resultados do modelo por meio de uma an�lise
de sensibilidade a fim de testar a robustez do modelo diante de varia��es de seus
diversos par�metros (ZAMCOP� et al., 2012).

At� o dia 31/10/2019, as etapas: Identifica��o do Contexto Decis�rio; Estrutura��o

do Problema; e Estrutura��o do Modelo Multicrit�rio, que representam a constru��o
do modelo para a sele��o da ferramenta, foram conclu�das. A Avalia��o das A��es
Potenciais representa a utiliza��o do modelo constru�do para execu��o dos Marcos 3,
5 e 6.

P�gina2
Controladoria-Geral da Uni�o
Parceria para Governo Aberto � Open Government Partnership - OGP