Processo Estruturado de Revisao Da Literatura e Analise Bibliometrica Sobre Avaliacao de Desempenho de Processos de Implementacao de Eficiencia Energetica
Processo Estruturado de Revisao Da Literatura e Analise Bibliometrica Sobre Avaliacao de Desempenho de Processos de Implementacao de Eficiencia Energetica
o . 1, 1 o Sem. 2014, pp. 21-50 PROCESSO ESTRUTURADO DE REVISO DA LITERATURA E ANLISE BIBLIOMTRICA SOBRE AVALIAO DE DESEMPENHO DE PRCESSOS DE IMPLEMENTAO DE EFICINCIA ENERGTICA Sandra Rolim Ensslin 1 , Leonardo Ensslin 2 Eduardo Kazumi Yamakawa 3 , Marilda da Penha Teixeira Nagaoka 4 Alexandre Rasi Aoki 5 , Luciano Cavalcante Siebert 6 RESUMO O presente trabalho visa apresentar um processo para selecionar artigos rele- vantes sobre o tema avaliao de desempenho de processos de implementa- o de efcincia energtica, a fm de compor o cerne de um referencial biblio- grfco sobre o tema em questo. O processo possibilitou identifcar 13 artigos relevantes e alinhados com o tema de pesquisa em bases de dados internacio- nal. Alm da seleo de artigos, o presente trabalho realiza uma anlise biblio- mtrica desse portflio e descreve, para o portflio selecionado, os artigos mais relevantes, os autores e os peridicos que mais publicaram sobre o tema. Palavras-chave: Bibliometria; Reviso Bibliogrfca; Avaliao de Desempe- nho; Indicadores de Efcincia Energtica. 1 Programa de Ps-Graduao em Engenharia de Produo e de Contabilidade. Universidade Federal de Santa Catarina.Campus Universitrio Trindade, Centro Scio Econmico - Caixa Postal 476, CEP 88040- 900, Florianpolis, SC, Brasil. E-mail: sensslin@gmail.com 2 Programa de Ps-Graduao em Administrao. Universidade do Sul de Santa Catarina.Rua Trajano, n. 299 Centro, CEP 88010-010, Florianpolis, SC, Brasil. E-mail: leonardoensslin@gmail.com 3 Programa de Ps-Graduao em Engenharia de Produo. Universidade Federal de Santa Catari- na.Campus Universitrio Trindade, Caixa Postal 476, CEP 88040-900, Florianpolis, SC, Brasil. E-mail: eduardo.yamakawa@gmail.com 4 Programa de Ps-Graduao em Engenharia de Produo. Universidade Federal de Santa Catari- na.Campus Universitrio Trindade, Caixa Postal 476, CEP 88040-900, Florianpolis, SC, Brasil. E-mail: marildanagaoka@yahoo.com.br 5 Programa de Ps-Graduao em Engenharia de Produo. Universidade Federal de Santa Catari- na.Campus Universitrio Trindade, Caixa Postal 476, CEP 88040-900, Florianpolis, SC, Brasil. E-mail: aoki@lactec.org.br 6 Programa de Ps-Graduao em Engenharia Eltrica. Universidade Federal do Paran. Centro Politcnico da UFPR, Caixa Postal 19.067, CEP 81531-980, Curitiba, PR, Brasil. E-mail: luciano.siebert@lactec.org.br 22 REVISTA BRASILEIRA DE ENERGIA ABSTRACT The goal of the current project is to present a process to select relevant arti- cles about the theme performance evaluation of processes of implementa- tion of energy sufciency in order to compile the core of a bibliographic re- ference about the theme analyzed. The process enabled the identifcation of 13 articles that are relevant and aligned with the research theme based on international data. Besides the selection of the articles, the current pro- ject carries out a bibliometric analysis of such portfolio and describes, for the selected portfolio, the most relevant articles as well as the authors and journals that published the most about the theme. Keywords: Bibliometry; Bibliographic Review; Performance Evaluation; Energy Efciency Indicators. 1. INTRODUO Efcincia energtica um investimento, assim como uma linha de transmisso ou uma usina de gerao de energia, que tem como objetivo reduzir o consumo de energia eltrica para assim garantir o atendimento de demandas futuras. Possui foco na reduo do desperdcio de energia (MCLEAN-CONNER, 2009). Segundo Nogueira (2007), Panesi (2006) e Mclean-conner (2009) aes de efcincia energtica trazem vantagens e benefcios em trs esferas: 1. Na sociedade: Com a economia de energia, o estado poder obter mais recursos para investir em outros setores, tais como o social; Maior garantia de fornecimento de energia eltrica e de atendi- mento a novos consumidores no futuro; Aumento da conscincia contra o desperdcio em geral. 2. No meio ambiente: Reduo dos impactos ambientais associados produo, distribuio, transformao e uso de energia eltrica entre os quais se pode citar a queima de combustveis fsseis, emisso de gases relacionados ao efeito estufa, alagamentos, des- matamentos, radiao nuclear entre outros. 3. Nas empresas, tanto estatais quanto privadas: Melhoria do aproveit- amento das instalaes e equipamentos eltricos, causando uma reduo das despesas diretas referente ao consumo inefciente de energia, podendo causar um aumento na produtividade e um conse- 23 VOL. 20 | N o 1 | 1 o SEM. 2014 quente crescimento na competitividade entre as empresas; Impactos sobre a imagem da empresa junto ao mercado; Melhora do ambien- te de trabalho e da segurana, atravs da adequao de instalaes e equipamentos aos novos padres estabelecidos; Diminuio do consumo e consequentemente da demanda de pico, podendo as- sim postergar ou evitar aumentos na capacidade do sistema de distri- buio de energia eltrica gerenciado pelas concessionrias. Os projetos de efcincia energtica, tais como substituio de mo- tores eltricos tipo padro por motores de alto rendimento, podem ser en- carados como um importante projeto de pesquisa, desenvolvimento e ino- vao, pois traz novos produtos, novos conhecimentos para empresrios e tcnicos das empresas (NATURESA e MARIOTONI, 2008). Um dos maiores aspectos quando se trata de polticas de efcin- cia energtica a avaliao dos resultados atingidos, avaliao das metas, avaliao da situao relativa entre outros pases (BOSSEBOEUF, 1997). Para isso so necessrios os indicadores de efcincia energtica. Segundo o Centro de Pesquisas Energticas da sia e do Pacfco (APERC, 2000) indicadores de efcincia energtica medem a efetividade em que a energia usada na produo de alguma sada til. Efcincia energti- ca um conceito que no pode ser apresentado quantitativamente de uma maneira exata, ela depende de indicadores, que fornecem uma aproximao quantitativa da efcincia energtica (PATTERSON, 2001). No setor industrial, por exemplo, indicadores podem ser defnidos pela seguinte razo:
A sada til do processo pode ser especifcada tanto em toneladas de produto, valor agregado, unidades produzidas, entre outros, enquanto a entrada de energia por sua vez, poder ser defnida em quilowatt-hora, tonelada equivalente de petrleo, Joules entre outros. O uso no criterioso de indicadores de efcincia energtica pode implicar em concluses errneas (PATTERSON, 2001). Por exemplo, o de- crscimo de um indicador de efcincia pode muitas vezes no representar uma efcincia energtica inferior, mas a automao de um sistema fabril. Quando bem aplicados, IEE apresentam quando comparados a um cenrio de benchmarking, um cenrio passado ou um projeo futura, um potencial para melhorar a efcincia energtica do local (APERC, 2000). 24 REVISTA BRASILEIRA DE ENERGIA Os indicadores de efcincia energtica mais utilizados so os indi- cadores fsico-energticos e econmico-energticos, ou mais brevemente, indicadores fsicos e econmicos, sendo os primeiros utilizados normal- mente para uma microanlise (setorial, sub-setorial, etc.) e os ltimos para uma macro anlise (BOR, 2008). Existem dois tipos de indicadores de efcincia energtica. O pri- meiro tipo o fsico que expressa o consumo especfco de energia relativo a uma medida fsica de produo, tendo como vantagem a existncia de uma relao direta entre o indicador e a tecnologia da efcincia energtica (PHYLIPSEN, 1998; APERC, 2000). O segundo tipo, econmico, expressa a quantidade consumida de energia relativa ao valor monetrio/econmico, denominado em uma unidade monetria. Tcnicas de decomposio de- vem ser utilizadas para no levar em conta aspectos, tais como, a infao do perodo, a variao da taxa de cmbio entre outros. So mais apropria- dos para um alto nvel de agregao (BOSSEBOEUF, 1997). O clculo de indicadores de efcincia energtica representa o pri- meiro passo no objetivo maior de entender e avaliar a efcincia energtica. A anlise dos indicadores de efcincia energtica fundamental para de- senvolver um completo entendimento da efcincia energtica, e pode ser obtido atravs de uma variedade de tcnicas (APERC, 2000). Para a avaliao de desempenho dos processos de implementao de efcincia energtica, estes indicadores so de grande importncia no entendimento da efccia das aes, atravs da comparao dos indicadores obtidos a partir das medi- es anteriores e aps a implementao das aes de efcincia energtica. No Brasil, a consistncia de programas nacionais que combinem adeses voluntrias com legislao compulsria e um suporte proporcio- nado pelos recursos decorrentes das receitas das concessionrias, fez do Pas referncia internacional no que diz respeito a programas de efcincia energtica (SOUZA et al., 2009) Em relao produo cientfca sobre o tema avaliao de desem- penho de processos de implementao de efcincia energtica, sabe-se, que grande parte dos artigos cientfcos publicados no mundo sobre o as- sunto indexada por bases de dados disponveis na internet. Dada esta constatao, tem-se a seguinte pergunta de pesquisa: Quais so as bases tericas capazes de informar o fragmento da literatura cientfca relativo Avaliao de Desempenho de Programas de Efcincia Energtica? 25 VOL. 20 | N o 1 | 1 o SEM. 2014 Diante deste questionamento, o passo inicial conhecer o que a litera- tura cientfca apresenta sobre o tema. Assim, o objetivo desta pesquisa apre- sentar um processo cientfco estruturado capaz de construir, nos pesquisado- res, o conhecimento necessrio sobre o tema - Avaliao de Desempenho de Programas de Efcincia Energtica. Para alcanar este objetivo, ser identifca- do um portflio bibliogrfco (PB) das publicaes cientfcas relevantes e ser realizado um mapeamento das caractersticas desse PB em termos de: (i) quem /so o(s) pesquisado(res) com trajetria nessa rea de conhecimento; (ii) quais so os peridicos que tm devotado espao para publicao desse assunto; e (iii) qual/quais /so o(s) artigo(s) de destaque. Para dar conta dessa tarefa, os pesquisadores selecionaram um instrumento de interveno cuja aborda- gem cientfca fosse construtivista, alinhado, assim, ao objetivo da pesquisa. O instrumento selecionado o Knowledge Development Process Construtivist (ProKnow-C), concebido no LabMCDA (Laboratrio de Metodologias de Apoio Deciso-Construtivista) sob a coordenao do Prof. Leonardo Ensslin Ph.D, do departamento de Engenharia de Produo da Universidade Federal de Santa Catarina (UFSC) (ENSSLIN et al., 2010). A justifcativa desta investigao se d no somente sua contribui- o comunidade cientfca e prtica, que estuda a avaliao de desempenho sob o ponto de vista do auxlio gesto de Programas de Efcincia Energ- tica - no sentido de destacar, em um nico trabalho, as caractersticas de um conjunto de obras reconhecidas cientifcamente e relevantes sobre o tema com base em aspectos julgados como relevantes pelos pesquisadores -, mas tambm se prope a apresentar a operacionalizao de uma ferramenta de apoio para todos aqueles que desejam iniciar um processo de pesquisa sobre algum assunto e desejam valer-se de um processo estruturado para realizar a seleo de artigos relevantes e assim justifcar cientifcamente sua base te- rica. Cumpre salientar que nos ltimos anos, vrios estudos tm utilizado o instrumento Proknow-C; entretanto nenhum investigando o fragmento da literatura referente Efcincia Energtica (ENSSLIN et al., 2014a; ENSSLIN et al., 2014b; LACERDA, ENSSLIN e ENSSLIN, 2014; SARTORI et al., 2014; WAI- CZYK e ENSSLIN, 2013; ENSSLIN et al., 2013; ENSSLIN, ENSSLIN e PINTO, 2013; ROSA et al., 2012; BORTOLUZZI et al., 2011; TASCA et al., 2010). O artigo est dividido em quatro sees, incluindo a primeira, que a introduo. A segunda apresenta o enquadramento metodolgico desta pesquisa, a terceira seo apresenta o processo estruturado de reviso de literatura de pesquisa. Na terceira apresentam-se os procedimentos para bibliometria e na quarta seo as concluses. 26 REVISTA BRASILEIRA DE ENERGIA 2. ENQUADRAMENTO METODOLGICO A presente pesquisa possui um carter exploratrio-descritivo. O carter exploratrio justifcado pelo objetivo da pesquisa de construir conhecimen- to nos pesquisadores - sobre o tema avaliao de desempenho de programas de efcincia energtica; j o carter descritivo justifcado quando da eviden- ciao das caractersticas dessa rea de conhecimento (RICHARDSON, 1999). Quanto natureza do artigo, esta pesquisa classifca-se como teri- co-ilustrativa, uma vez que demonstra, passo-a-passo, como operacionalizar o instrumento Proknow-C para que qualquer pesquisador possa replic-lo para gerar conhecimento em sua rea de interesse (ALAVI; CARLSON, 1992). A pesquisa faz uso de dados primrios e secundrios. A etapa de se- leo do portflio bibliogrfca, faz uso de dados primrios, uma vez que as delimitaes so feitas pelos pesquisadores em todas as escolhas deman- dadas pelo processo. J a etapa de Anlise Bibliomtrica, faz uso de dados secundrios, uma vez que as caractersticas so buscadas/identifcadas no PB, publicado nas bases de dados selecionadas (RICHARDSON, 1999). A pesquisa analisa os dados tanto de forma qualitativa quanto quan- titativa. A abordagem qualitativa fca evidenciada durante toda a etapa de se- leo dos artigos do Portflio Bibliogrfco, bem como na interpretao dos dados provenientes da anlise bibliomtrica. A abordagem quantitativa fca evidenciada na etapa anlise bibliomtrica do PB, quando da identifcao das caractersticas que se confguram como os pilares da rea, uma vez que feita pela contagem da quantidade de ocorrncia (RICHARDSON, 1999). Quanto aos procedimentos tcnicos, a pesquisa utiliza-se de pes- quisa bibliogrfca, uma vez que realizada uma anlise de publicaes cientfcas indentifcadas nas bases de dados SCOPUS, ISI Web of Knowled- ge, IEEE, INSPEC e COMPENDEX. A pesquisa tambm se utiliza de pesquisa- -ao, visto que os pesquisadores esto envolvidos de modo cooperativo e participativo para resoluo do problema, evidenciando-se mais claramen- te durante a fase de aderncia das palavras-chave (RICHARDSON, 1999). O instrumento de interveno utilizado foi o processo estruturado de reviso bibliogrfca denominado Knowledge Development Process Construtivist (ProKnow-C), que descreve e apresenta um processo para construir, nos pesquisadores, o conhecimento necessrio para investigar e analisar um tema, detalhado a seguir. 27 VOL. 20 | N o 1 | 1 o SEM. 2014 3. PROCESSO DE PESQUISA EM BANCO DE DADOS E BIBLIOMETRIA O processo de pesquisa cientfca se inicia com um problema, pergunta ou dvida, que motiva os pesquisadores a procurarem informaes sobre um dado tema em bibliotecas e bases bibliogrfcas digitais (TASCA et al., 2010). Os procedimentos para a referida seleo foram divididos em trs etapas, sendo (i) Investigao Preliminar; (ii) Seleo dos artigos que iro compor o portflio da pesquisa; e, (iii) Anlise bibliomtrica do portflio de artigos do tema estudado. As referidas etapas so detalhadas nas prximas subsees. 3.1. Investigao preliminar a) Defnio das palavras-chave: Com o propsito de conhecer quais palavras-chave a comunidade cientifca tem utilizado para tratar o tema avaliao de desempenho de programas de efcincia energtica, os autores deste trabalho pes- quisaram na base SCOPUS trs artigos relacionados ao assunto e realizou- -se uma leitura integral dos mesmos onde se pode determinar as palavras- -chave da pesquisa conforme Figura 1. Figura 1 - Defnio das palavras chave e eixos de pesquisa. Fonte: Autores 28 REVISTA BRASILEIRA DE ENERGIA Pode-se visualizar na Tabela 1 a combinao entre as palavras cha- ve dos eixos 1 e 2 formando as palavras chave de pesquisa, as quais foram utilizadas nas bases de dados selecionadas. Tabela 1 - Palavras-chave de pesquisa. Fonte: Autores Eixo 1 Operador Booleano Eixo 2 Performance Evaluation AND Energy Efciency Efciency Indicator Energy Indicator Energy Savings Energy Consumption Performance Assessment AND Energy Efciency Efciency Indicator Energy Indicator Energy Savings Energy Consumption Performance Appraisal AND Energy Efciency Efciency Indicator Energy Indicator Energy Savings Energy Consumption Performance Measurement AND Energy Efciency Efciency Indicator Energy Indicator Energy Savings Energy Consumption b) Identifcao dos bancos de dados Para a defnio dos bancos de dados utilizados nas pesquisas uti- lizou o processo mostrado na Figura 2, sendo que se iniciou pela anlise das bases de dados disponibilizadas pela Capes em seu portal na internet buscando-se a aderncia dos contedos descritos pelas bases pesquisa em questo. 29 VOL. 20 | N o 1 | 1 o SEM. 2014 Figura 2 - Defnio dos bancos de dados. Fonte: Autores Nessa atividade, identifcou-se um total de 114 bases no portal da internet da CAPES. Para a defnio da aderncia de seu contedo, realizou- -se a leitura de seus temas e assuntos publicados, selecionando cinco ba- ses: SCOPUS, ISI Web of Knowledge, IEEE, INSPEC e COMPENDEX. Selecionadas as bases que comporo os bancos de dados a serem analisados, faz-se necessrio verifcar o alinhamento das mesmas com o assunto de pesquisa. Por meio de busca utilizando-se as palavras-chave, foram encontrados 9.576 artigos nas bases de dados selecionadas. De posse dos resultados de cada base, fxou-se uma representati- vidade em 99,98% dos artigos que iro fazer parte dos bancos de dados a serem pesquisados totalizando 9.575 artigos. As bases ISI Web of Knowled- ge e Compendex foram eliminadas, sendo que na primeira foi encontrado apenas 1 artigo e na segunda nenhum artigo foi encontrado utilizando-se as palavras-chave escolhidas. 30 REVISTA BRASILEIRA DE ENERGIA 3.2. SELEO DOS ARTIGOS QUE IRO COMPOR O PORTFLIO DA PESQUISA Aps a seleo das palavras-chave e das bases de dados realiza-se o processo de seleo dos artigos que iro compor o portflio bibliogrfco. 3.2.1. Realizar a busca nos bancos de dados utilizando-se as palavras chaves A busca realizada analisando-se as palavras-chave defnidas na Tabela 1. Nesta etapa os fltros utilizados foram: alm das palavras-chave, o perodo de busca que se limitou aos ltimos dez anos (2001 a 2011); tipo de documento que se restringiu aos artigos. Desta etapa obteve-se um total de 9.576 artigos brutos conforme pode ser visualizado na Figura 3. Figura 3 - Busca nos bancos de dados com as palavras-chave e fltros limitantes O resultado da pesquisa nos bancos de dados para as palavras-cha- ve de pesquisa dos eixos 1 e 2 so mostradas na Tabela 2. Bancos de Dados a serem pesquisados . Buscar artigos nos B D com as P C Buscar* nos B D com as P Cs e os fltros limitantes: Tempo (anos); Assunto; Tipos de arquivo; etc Banco de Artigos Brutos preliminar * A busca realizada no: Ttulo, Palavras Chave e Resumo de cada Banco de Dados. 9.576 artigos 31 VOL. 20 | N o 1 | 1 o SEM. 2014 Tabela 2 - Resultado da pesquisa nos bancos de dados para as palavras- -chave de pesquisa dos eixos 1 e 2. Fonte: Autores Eixo 1 Eixo 2 Quantidade de Artigos I S I
W e b
o f
K n o w l e d g e S c o p u s C o m p e n d e x I n s p e c I E E E T o t a l
p o r
P a l a - v r a s
C h a v e Performance Evaluation Energy Efciency 0 1079 0 79 272 1430 Efciency Indicator 0 326 0 0 3 329 Energy Indicator 0 155 0 0 18 173 Energy Savings 0 165 0 13 72 250 Energy Consumption 0 713 0 159 187 1059 Performance Assessment Energy Efciency 1 1158 0 5 38 1202 Efciency Indicator 0 413 0 0 1 414 Energy Indicator 0 245 0 0 16 261 Energy Savings 0 175 0 2 5 182 Energy Consumption 0 700 0 8 9 717 Performance Appraisal Energy Efciency 0 15 0 0 1 16 Efciency Indicator 0 14 0 0 0 14 Energy Indicator 0 3 0 0 0 3 Energy Savings 0 2 0 0 0 2 Energy Consumption 0 12 0 0 1 13 Performance Measurement Energy Efciency 0 1488 0 3 508 1999 Efciency Indicator 0 273 0 0 7 280 Energy Indicator 0 128 0 0 41 169 Energy Savings 0 152 0 0 61 213 Energy Consumption 0 657 0 3 190 850 Total por Bases de Dados 1 7873 0 272 1430 9576 3.2. SELEO DOS ARTIGOS QUE IRO COMPOR O PORTFLIO DA PESQUISA Aps a seleo das palavras-chave e das bases de dados realiza-se o processo de seleo dos artigos que iro compor o portflio bibliogrfco. 3.2.1. Realizar a busca nos bancos de dados utilizando-se as palavras chaves A busca realizada analisando-se as palavras-chave defnidas na Tabela 1. Nesta etapa os fltros utilizados foram: alm das palavras-chave, o perodo de busca que se limitou aos ltimos dez anos (2001 a 2011); tipo de documento que se restringiu aos artigos. Desta etapa obteve-se um total de 9.576 artigos brutos conforme pode ser visualizado na Figura 3. Figura 3 - Busca nos bancos de dados com as palavras-chave e fltros limitantes O resultado da pesquisa nos bancos de dados para as palavras-cha- ve de pesquisa dos eixos 1 e 2 so mostradas na Tabela 2. Bancos de Dados a serem pesquisados . Buscar artigos nos B D com as P C Buscar* nos B D com as P Cs e os fltros limitantes: Tempo (anos); Assunto; Tipos de arquivo; etc Banco de Artigos Brutos preliminar * A busca realizada no: Ttulo, Palavras Chave e Resumo de cada Banco de Dados. 9.576 artigos 32 REVISTA BRASILEIRA DE ENERGIA 3.2.2. Verifcando a aderncia das palavras chaves utilizadas na pesquisa com as utilizadas pelos artigos A etapa seguinte consiste em verifcar a aderncia das palavras- -chave utilizadas com as contidas no Portflio Bibliogrfco Bruto, con- forme apresentado na Figura 4. Com essa anlise possvel verifcar se as palavras-chave utilizadas na pesquisa esto alinhadas s palavras-chave utilizadas pela comunidade cientifca. Atravs de uma ferramenta espec- fca, pde-se identifcar as palavras-chave de todos os artigos do portflio de artigos brutos e verifcar se as palavras-chave escolhidas na pesquisa constavam entre as palavras-chave dos artigos. Figura 4 - Verifcao da aderncia das palavras-chave. Fonte: Autores 33 VOL. 20 | N o 1 | 1 o SEM. 2014 Atendido este requisito os 9.575 artigos passaram a ser considera- dos como o Portflio Bibliogrfco Bruto. 3.2.3. Excluso de artigos duplicados A prxima etapa referente a execuo da fltragem do banco de artigos, mostrada na Figura 5. Para um efetivo gerenciamento dessas re- ferncias, as mesmas foram importadas para o aplicativo EndNote (The Thomson, 2008). Com o auxlio dessa ferramenta, pde-se identifcar 7.675 referncias a serem excludas da amostra, devido s mesmas serem refern- cias duplicadas. Uma vez realizadas essas excluses, a biblioteca de artigos se compe de 1.900 referncias, at esse ponto do processo de seleo. Figura 5 - Filtro do banco de artigos bruto quanto a redundncia. Fonte: Autores 3.2.4. Leitura dos ttulos para verifcar o alinhamento com o tema de pesquisa A atividade seguinte a de fltragem do banco de artigos bruto no repetidos quanto ao alinhamento do ttulo onde fez-se necessria a leitura dos ttulos dos 1.900 artigos e a avaliao dos mesmos. Aps este processo chegou-se a 487 artigos no repetidos e alinhados com o ttulo. Os quanti- tativos de entrada e sada podem ser vistos na Figura 6. 34 REVISTA BRASILEIRA DE ENERGIA Figura 6 - Filtragem do banco de artigos bruto no repetidos quanto ao alinha- mento do ttulo. Fonte: Autores 3.2.5. Verifcao do reconhecimento cientfco das publicaes As 485 referncias que, pelos seus ttulos, se alinhavam com o tema de pesquisa, foram analisados pelo seu reconhecimento cientfco. Nesta anlise as referncias foram consultadas pela ferramenta Google Scholar (GOOGLE, 2011) quanto ao nmero de citaes e ordenadas de forma de- crescente. A partir destes resultados, estabeleceu-se um valor de corte para os artigos mais citados. Esse valor representa a seleo das referncias mais citadas at que suas citaes somadas representem um valor superior a 85% de todas as citaes obtidas pelos 485 artigos at agora analisados. Somando todas as citaes dos 485 artigos analisados, obtm-se o nmero de 8.440 citaes. Assim, os artigos que individualmente foram citados 12 vezes ou mais, representam 7.174 citaes, ou seja, 85% de todas as cita- 35 VOL. 20 | N o 1 | 1 o SEM. 2014 es das 485 referncias at agora selecionadas. Dessa forma, o ponto de corte para aprovar artigos no que se refere ao reconhecimento cientfco, foi identifcado como 12 citaes ou mais. Com essa identifcao do valor de corte, 213 artigos foram selecionados pelo nmero de citaes, confor- me se pode observar na Figura 7. Figura 7 - Evidenciao do valor de corte quanto a suas citaes. Fonte: Autores Conhecendo-se artigos com maior reconhecimento cientfco, re- alizou-se a anlise dos mesmos de acordo com o alinhamento do resumo (abstract) ao foco da pesquisa que corresponde a etapa seguinte. 3.2.6. Verifcao do alinhamento das publicaes pela leitura dos resumos Analisando-se os 213 resumos, 198 artigos foram excludos por no estarem alinhados com o tema de pesquisa. Os artigos restantes, no total de 15 artigos, representam o novo repositrio A, sendo ele um banco de ar- tigos que possuem ttulo e resumo alinhados, alm de ter reconhecimento cientfco comprovado pela quantidade de citaes. 3.2.7. Reavaliao dos artigos menos citados pelos critrios: atualidade e relevncia do autor Realizou-se a leitura dos ttulos e resumos dos 87 artigos no se- lecionados na etapa anterior, com o propsito de identifcar aqueles que podem apresentar uma contribuio para esta pesquisa, ao estar obriga- 36 REVISTA BRASILEIRA DE ENERGIA toriamente alinhado com o tema de pesquisa e ao mesmo tempo atender pelo menos um dos critrios : i. Artigos publicados em 2009 e aps, com a considerao que esses no tiveram tempo para ser reconhecidos e citados; ii. Para os artigos publicados em 2008 e anteriormente, os artigos de- vem ter sido escritos por autores do grupo de artigos com relevn- cia cientfca confrmada. As atividades com suas entradas e sadas podem ser visualizadas na Figura 8. Figura 8 - Filtro do banco de artigos bruto no repetidos e com ttulo alinhado com o objetivo de pesquisa. Fonte: Autores Entre os 272 artigos analisados no processo chamado de reanli- se, 55 artigos foram publicados no ano de 2009 ou aps, e seguiram para a prxima fase, que corresponde anlise da leitura dos resumos. Dos 217 artigos publicados em 2008 ou antes, 32 artigos so de autores presentes no portflio dos artigos do repositrio K, (artigos alinhados e com reconhe- cimento cientfco confrmado) podendo assim seguir para prximo fltro. Os outros 185 artigos, anteriores a 2008 e que seus autores no estavam no banco de autores do repositrio K, foram eliminados. Assim, de posse de 85 artigos selecionados para o processo de rea- nlise, 83 foram eliminados aps a leitura dos seus resumos, pois o alinha- 37 VOL. 20 | N o 1 | 1 o SEM. 2014 mento dos artigos ao tema de pesquisa fundamente para a composio do portflio fnal de artigos. Assim 4 artigos estavam alinhados com o tema de pesquisa, compondo o novo repositrio B, fazendo parte do banco de artigos aceito na reanlise, ou seja, aqueles que no so repetidos, esto alinhados ao tema de pesquisa e com reconhecimento cientfco potencial. Com os procedimentos da reanlise dos artigos menos citados, os mesmos foram somados aos 15 artigos mais citados no novo repositrio A obtido anteriormente, formando o novo repositrio no total de 19 artigos, titulado repositrio C. Figura 9 - Filtragem quanto ao alinhamento do artigo integral. Fonte: Autores O portflio fnal com 13 artigos, nomeados por ordem alfab- tica do primeiro autor na Tabela 3. 38 REVISTA BRASILEIRA DE ENERGIA Tabela 3 - Artigos que formam o portflio de artigos para compor o refe- rencial terico sobre avaliao de desempenho de indicadores de efcin- cia energtica. Fonte: Autores 1. (BLOCK et al, 2009) Block, C., J. Van Caneghem, et al. "Environmental per- formance of industrial companies, sites, installations and production processes." PeriodicumBiologorum 111(1): 73-78. 2009. 2. (BUNSE et al, 2010) Bunse, K., M. Vodicka, et al. Integrating energy efciency performance in production management - gap analysis between industrial ne- eds and scientifc literature. JournalofCleanerProduction, v.19, n.6-7, p.667-679. 2010. 3. (COUDER and VEBRUGGEN, 2003) Couder, J. and A. Verbruggen. "Technical efciency measures as a tool for energy benchmarking in industry?" Energy andEnvironment 14(5): 705-724. 2003. 4. (EICHHAMMER et al., 2001) Eichhammer, W. e M. Wilhelm. Industrial energy efciency : Indicators for a European cross-country comparison of energy ef- ciency in the manufacturing industry. Energy Policy, v.25, n.7-9, p.759-772. 2001. 5. (GREENING et al., 2000) Greening, L., D. L. Greene, et al. Energy efciency and consumption -- the rebound efect -- a survey. Energy Policy, v.28, n.6-7, p.389-401. 2000. 6. (HUand KAO, 2007) Hu, J.-L. e C.-H. Kao. Efcient energy-saving targets for APEC economies. Energy Policy, v.35, n.1, p.373-382. 2007. 7. (MORRISSEY and HORNE, 2010) Morrissey, J. e R. E. Horne. Life cycle cost implications of energy efciency measures in new residential buildings. Energy andBuildings, v.43, n.4, p.915-924. 2010. 8. (NEVES et al, 2009) Neves, L. P., L. C. Dias, et al. Structuring an MCDA model using SSM: A case study in energy efciency. European Journal of Operational Research, v.199, n.3, p.834-845. 2009. 9. (PATTERSON, 2001) Patterson, M. G. What is energy efciency? : Concepts, indicators and methodological issues. Energy Policy, v.24, n.5, p.377-390. 2001. 10. (PHILIPSEN et al., 2002) Phylipsen, G. J. M., K. Blok, et al. International com- parisons of energy efciency-Methodologies for the manufacturing industry. Energy Policy, v.25, n.7-9, p.715-725. 2002. 11. (RRIETENBERGEN and BLOK, 2010) Rietbergen, M. G. e K. Blok. Setting SMART targets for industrial energy use and industrial energy efciency. Energy Policy, v.38, n.8, p.4339-4354. 2010. 12. (SANTAMOURIS et al., 2007) Santamouris, M., G. Mihalakakou, et al. Using intelligent clustering techniques to classify the energy performance of school buildings. Energy andBuildings, v.39, n.1, p.45-51. 2007. 13. (TANAKA, 2008) Tanaka, K. Assessment of energy efciency performance measures in industry and their application for policy. Energy Policy, v.36, n.8, p.2887-2902. 2008. 39 VOL. 20 | N o 1 | 1 o SEM. 2014 Aps concluir o processo estruturado de seleo do portflio bi- bliogrfco, na seo a seguir apresentada a bibliometria para o portflio fnal dos artigos. O processo ilustrado na Figura 10 possibilitou realizar uma seleo de referncias, que se iniciou com 9.576 artigos e fnalizou em um portflio composto por 13 artigos explicitados na Tabela 3. Figura 10 - Resumo do processo para seleo de referncias bibliogrfcas. Fonte: Autores 3.3. Anlise Bibliomtrica No contexto do instrumento ProKnow-C, a anlise bibliomtrica defnida como uma atividade de contagem de ocorrncia de determinada varivel (caracterstica) nas publicaes do Portflio Bibliogrfco para ge- rao de conhecimento de um dado assunto (ENSSLIN et al., 2014b; ENS- SLIN, ENSSLIN, PACHECO, 2012; LACERDA, ENSSLIN, ENSSLIN, 2012; ROSA et al., 2012; Ensslin et al, 2010). Nesta pesquisa as variveis/caractersticas sero as Publicaes (artigos); os Autores e os Peridicos. A anlise bibliomtrica do portflio de artigos selecionados para o desenvolvimento do referencial terico, sobre avaliao de desempenho na perspectiva estratgica, foi dividido em 3 etapas: Anlise bibliomtrica dos artigos selecionados; Anlise bibliomtrica das referncias dos artigos selecionados; Classifcao dos artigos conforme relevncia acadmica na amos- tra. 40 REVISTA BRASILEIRA DE ENERGIA Na atividade de anlise bibliomtrica dos artigos selecionados, re- sultam 3 aspectos a serem avaliados: i. Grau de relevncia de peridicos, conforme pode ser visto na Figu- ra 11 ii. Reconhecimento cientfco dos artigos pelo nmero de citaes, conforme detalhado na Tabela 4 Figura 11 - Nmero de artigos no portflio bibliogrfco por peridico. Fonte: Autores 41 VOL. 20 | N o 1 | 1 o SEM. 2014 Tabela 4 - Nmero de citaes do artigo do portflio. Fonte: Autores Peridico Artigo Ano Nro Citaes Google Scholar Energy Policy Energy efciency and consumption -- the rebound efect -- a survey 2000 310 Energy Policy What is energy efciency?: Concepts, indicators and methodological issues 2001 132 Energy and Buildings Life cycle cost implications of energy efciency measures in new residential buildings 2010 106 Periodicum Biologorum Environmental performance of indus- trial companies, sites, installations and production processes 2009 104 Journal of Cleaner Production Integrating energy efciency perfor- mance in production management - Gap analysis between industrial ne- eds and scientifc literature 2010 47 Energy Policy Efcient energy-saving targets for APEC economies 2007 33 Energy Policy Industrial energy efciency : Indi- cators for a European cross-country comparison of energy efciency in the manufacturing industry 2001 30 Energy Policy International comparisons of energy efciency-Methodologies for the ma- nufacturing industry 2002 30 Energy and Buildings Using intelligent clustering techni- ques to classify the energy performan- ce of school buildings 2007 12 Energy Policy Assessment of energy efciency per- formance measures in industry and their application for policy 2008 11 Journal of Operatio- nal Research Structuring an MCDA model using SSM: A case study in energy efciency 2009 6 Energy and Environment Technical efciency measures as a tool for energy benchmarking in industry? 2003 3 Energy Policy Setting SMART targets for industrial energy use and industrial energy ef- ciency 2010 0 O peridico Energy Policy foi o mais representado no portflio bi- bliogrfco com 7 artigos, seguido do peridico Energy and Buildings com 2 artigos e os demais com 1 artigo. 42 REVISTA BRASILEIRA DE ENERGIA O artigo com maior quantidade de citaes foi o Energy efciency and consumption -- the rebound efect - a survey, de (GREENING et al., 2000) com 310 citaes. Com o intuito de identifcar os peridicos, artigos, autores e pala- vras-chave que se destacam no contexto da pesquisa, foram analisados as 251 referncias que compe os 13 artigos do portflio fnal. Essas 251 referncias foram analisadas sob os critrios listados abai- xo: Relevncia dos peridicos nas Referncias dos artigos do portflio bibliogrfco, conforme ilustrado na Figura 12; Autores com maior participao nas referncias do portflio biblio- grfco conforme Figura 13; Cruzamento entre os autores com maior participao no portflio e suas referncias, ilustrado na Figura 14. Figura 12 - Relevncia dos peridicos nas referncias dos artigos do portflio bibliogrfco. Fonte: Autores O maior destaque para o peridico Energy Policy com 42 artigos entre as referncias dos artigos do portflio seguido do peridico Energy Economics com 16 artigos e do Journal of Cleaner Production com 14 artigos. 43 VOL. 20 | N o 1 | 1 o SEM. 2014 Figura 13 - Autores com maior participao nas referncias do portflio bibliogr- fco. Fonte: Autores Nota-se que o autor com maior participao nas referncias do por- tflio bibliogrfco foi Blok, K com 7 artigos em seguida vieram Worrell, E e Patterson, M.G. com 6 artigos. Figura 14 - Autores com maior participao no portflio e suas referncias 44 REVISTA BRASILEIRA DE ENERGIA Pode-se verifcar que o autor com maior participao no portflio e suas referncias foi tambm Blok, K. com 9 artigos seguido de Patterson, M.G. com 7 artigos e Worrell, E. com 6 artigos. Classifcao dos artigos conforme relevncia acadmica na amos- tra. Para classifcar os artigos do portflio pela sua relevncia acadmi- ca, o presente estudo adotou dois eixos de avaliao: i. Nmero de citaes no Google Scholar (GOOGLE, 2011) que o arti- go obteve desde sua publicao e; ii. Nmero de citaes do autor mais citado na anlise das referncias bibliogrfcas dos artigos do portflio, conforme discutido na se- o anterior Fruto dessa anlise, a Figura 15 apresenta o grfco com as duas di- menses defnidas para classifcar os artigos conforme sua relevncia aca- dmica e os artigos que se destacaram nessa anlise. Os quadrantes foram defnidos ao deixar apenas os artigos que mais se destacaram em cada dimenso. 45 VOL. 20 | N o 1 | 1 o SEM. 2014 Figura 15 - Artigo e seus autores do portflio bibliogrfco de maior destaque. Fonte: Autores Nessa anlise, foi possvel identifcar que o cruzamento da quan- tidade de citaes dos artigos do portflio bibliogrfco na literatura com o nmero de citaes do autor mais citado do artigo nas referncias do portflio bibliogrfco, os artigos de maior relevncia em relao ao nme- ro de citaes do autor mais citado do artigo nas referncias do artigo do portflio bibliogrfco so (PHILIPSEN et al., 2002) International comparisons of energy efciency-Methodologies for the manufacturing industry e (RIETT- BERGEM and BLOK, 2010) Setting SMART targets for industrial energy use and industrial energy efciency com 9 citaes do autor mais citado nas refern- cias do portflio bibliogrfco seguido de (PATTERSON, 2001) What is energy 46 REVISTA BRASILEIRA DE ENERGIA efciency? : Concepts, indicators and methodological issues com 7 citaes do autor mais citado nas referncias do portflio bibliogrfco. Referente ao nmero de citaes dos artigos do portflio bibliogrfco na literatura o ar- tigo de destaque foi (GREENING et al., 2000) Energy efciency and consump- tion -- the rebound efect -- a survey com 310 citaes. 4. CONCLUSES O processo estruturado de reviso de literatura permitiu: i) iden- tifcar um conjunto de 13 artigos relevantes que, segundo o pesquisador, esto alinhados com seu assunto de interesse e tem destaque cientfco; conforme apresentados na seo Reavaliao dos artigos menos citados pelos critrios: atualidade e relevncia do autor; ii) evidenciar os artigos, autores e peridicos de destaque do portflio selecionado, conforme apresentados na seo Anlise Bibliomtrica. Quanto a identifcao dos autores constatou-se que os autores que mais se destacaram foram Blok, K. com 9 artigos seguido de Patterson, M.G. com 7 artigos e Worrell, E. com 6 artigos presentes no portflio bibliogrfco e nas referncias do portflio bibliogrfco. Quanto ao peridico, os que obtiveram mais destaque foram Energy Policy, Energy Economics e Journal of Cleaner Production. Tambm foi verifcado que o trabalho de Greening et al.,( 2000) com 310 citaes se sobressaiu na classifcao de relevncia acadmica realizada sob a tica de nmero de citaes e pelo autor mais citado nas referncias bibliogrfcas do artigos selecionados no portflio fnal. Em linhas gerais, o estudo evidenciou que a rea de conhecimento de processos de implementao de efcincia energtica, informada pela Ava- liao de Desempenho, confgura-se como um campo a ser explorado. Com relao ferramenta selecionada, os autores argumentam que o desenvolvimento estruturado do Proknow-C leva o usurio a refetir sobre todas as variveis e delimitaes e com isto gera conhecimento sobre o assunto, de tal forma que tenha condies de argumentar sobre quais so as escolhas e aportes tericos mais alinhados a sua viso de mundo; que, assim, suportaro o arcabouo terico de seus futuros trabalhos cientfcos. A partir do conhecimento do portflio bibliogrfco e da identifca- o das caractersticas desse portflio, sugere-se como futuras pesquisas, (i) a continuidade da pesquisa atualizando a abrangncia temporal at a 47 VOL. 20 | N o 1 | 1 o SEM. 2014 presente data; e, (ii) a continuidade desta pesquisa, com o desenvolvimen- to das etapas anlise sistmica e identifcao de oportunidades de pesqui- sa por meio do ProKnow-C. REFERNCIAS BIBLIOGRFICAS ALAVI, M.; CARLSON, P. A review of MIS research and disciplinary develop- ment. Journal of Management Information Systems, v. 8, n. 4, p. 45-62, 1992. APERC ASIA PACIFIC ENERGY RESEARCH CENTRE. Energy efciency indica- tors: A study of energy efciency indicators for industry In APERC econo- mies. Tokyo, 2000. BLOCK, C., J. Van CANEGHEM, et al. Environmental performance of indus- trial companies, sites, installations and production processes. Periodicum Biologorum 111(1): 73-78. 2009. BOR, Yunchang Jefrey. Consistent multi-level energy efciency indicators and their policy implications. Energy Economics, v. 30, p. 2401-2419, 2008. BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L.; VALMORBIDA, S. M. I. Avalia- o de Desempenho em Redes de Pequenas e Mdias Empresas: Estado da arte para as delimitaes postas pelo pesquisador. Revista Eletrnica Estra- tgia & Negcios, v. 4, n. 2, 2011. BOSSEBOEUF, Didier; CHATEAU, Bertrand; LAPILLONNE, Bruno. Cross-coun- try comparison on energy efciency indicators: the on-going European efort towards a common methodology. Energy Policy, Vol. 25, Nos. 7-9, pp. 673-682, 1997. BUNSE, K., M. VODICKA, et al. Integrating energy efciency performance in production management - gap analysis between industrial needs and scientifc literature. Journal of Cleaner Production, v.19, n.6-7, p.667-679. 2010. COUDER, J. and A. VERBRUGGEN. Technical efciency measures as a tool for energy benchmarking in industry? Energy and Environment 14(5): 705- 724. 2003. EICHHAMMER, W. e M. WILHELM. Industrial energy efciency : Indicators for a European cross-country comparison of energy efciency in the manufac- 48 REVISTA BRASILEIRA DE ENERGIA turing industry. Energy Policy, v.25, n.7-9, p.759-772. 2001. ENSSLIN, Sandra Rolim; ENSSLIN, Leonardo; MOREIRA, Arthur Carlos da Sil- va; PEREIRA, Vera Lcia Duarte do Valle. Evidenciao do estado da arte da avaliao da segurana do trabalho em empreendimentos da construo civil. Interciencia, v.39, n. 1, p. 16-23, 2014a. ENSSLIN, Sandra Rolim; RIPOLL-FELIU Vicente Meteo; ENSSLIN, Leonardo; DUTRA, Ademar; Silva Rodrigo Valverde da. What are the pillars that scien- tifc literature presents to support university management activity via per- formance evaluation? 19th Konopka Workshop on Accounting and Mana- gement Control. Burgos. Espanha. 2014b. ENSSLIN, Sandra Rolim; ENSSLIN, Leonardo; BACK, Felipe; LACERDA, Roge- rio Tadeu de Oliveira. Improved decision aiding in human resource mana- gement: A case using constructivist multi-criteria decision aiding. Interna- tional Journal of Productivity and Performance Management, v. 62, n. 7, p. 735-757, 2013a. ENSSLIN, Leonardo; ENSSLIN, Sandra R.; PINTO, Hugo de M.; Processo de investigao e Anlise bibliomtrica: Avaliao da Qualidade dos Servios Bancrios. RAC Revista de Administrao Contempornea; v.17, n. 3, p. 325-349, 2013b. ENSSLIN, L.; ENSSLIN, S. R.; PACHECO, Giovanni Cardoso. Um estudo sobre segurana em estdios de futebol baseado na anlise bibliomtrica da lite- ratura internacional. Perspectivas em Cincia da Informao, v. 17, n. 2, p. 71-91, 2012. ENSSLIN, L., ENSSLIN, S. R., LACERDA, R. T. O. & TASCA, J. E. Processo de Anli- se Bibliomtrica. Processo tcnico com patente de registro pendente junto ao INPI, BRASIL. 2010. ENSSLIN, L. (2011) Notas de aula. Disciplina de MCDA-C do Programa de Ps Graduao em Engenharia da Produo - UFSC. ENSSLIN, L., ENSSLIN, S. R., LACERDA, R. T. O. & TASCA, J. E. Processo de Se- leo de Portflio Bibliogrfco. Processo tcnico com patente de registro pendente junto ao INPI. Brasil 2010. ENSSLIN, L.; GIFFHORN, E.; ENSSLIN, S. R.; PETRI, S. M.; VIANNA, W. B. Avalia- o do Desempenho de Empresas Terceirizadas com o Uso da Metodologia 49 VOL. 20 | N o 1 | 1 o SEM. 2014 Multicritrio de Apoio Deciso- Construtivista. Revista Pesquisa Operacio- nal, V.30, No. 1, p. 125 152, Janeiro a Abril de 2010. Verso impressa ISSN 0101-7438 / verso online ISSN 1678-5142. GREENING, L., D. L. GREENE, et al. Energy efciency and consumption -- the rebound efect -- a survey. Energy Policy, v.28, n.6-7, p.389-401. 2000. HU, J.-L. e C.-H. KAO. Efcient energy-saving targets for APEC economies. Energy Policy, v.35, n.1, p.373-382. 2007. LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R.; DUTRA, A. Research opportuni- ties in strategic management feld: a performance measurement approach. International Journal of Business Performance Management, v. 15, n. 2, p. 158-174, 2014. LACERDA, Rogerio. Tadeu de Oliveira; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim. Uma Anlise Bibliomtrica da literatura sobre Estratgia e Avaliao de Desempenho. Gesto & Produo [online]., v. 19, n.1, p. 59-78, 2012. MORRISSEY, J. e R. E. HORNE. Life cycle cost implications of energy ef- ciency measures in new residential buildings. Energy and Buildings, v.43, n.4, p.915-924. 2010. NATURESA, J. S. e C. A. MARIOTONI. Inovao Tecnolgica, Efcincia Ener- gtica e os Investimentos na Indstria Brasileira. Revista Brasileira de Ener- gia, v.14, n.1, p. 85-104, 2008. NEVES, L. P., L. C. DIAS, et al. Structuring an MCDA model using SSM: A case study in energy efciency. European Journal of Operational Research, v.199, n.3, p.834-845. 2009. PATTERSON, M. G. What is energy efciency? : Concepts, indicators and me- thodological issues. Energy Policy, v.24, n.5, p.377-390. 2001. PHYLIPSEN, G. J. M., K. BLOK, et al. International comparisons of energy ef- ciency-Methodologies for the manufacturing industry. Energy Policy, v.25, n.7-9, p.715-725. 2002. RIETBERGEN, M. G. e K. BLOK. Setting SMART targets for industrial energy use and industrial energy efciency. Energy Policy, v.38, n.8, p.4339-4354. 2010. 50 REVISTA BRASILEIRA DE ENERGIA RICHARDSON, R. J. Pesquisa social: mtodos e tcnicas. So Paulo: Atlas, 1999. ROSA, Fabricia Silva da; ENSSLIN, Sandra Rolim; ENSSLIN, Leonardo; LUNKES, Rogerio Joao. Envirnonmental disclosure management: A construtivist case. Management Decision, v. 50, iss: 6, p. 1117-1136, 2012. SANTAMOURIS, M., G. MIHALAKAKOU, et al. Using intelligent clustering te- chniques to classify the energy performance of school buildings. Energy and Buildings, v.39, n.1, p.45-51. 2007. SARTORI, Simone; ENSSLIN, Leonardo.; CAMPOS, Lucila. M. S.; ENSSLIN, San- dra Rolim. Mapeamento do estado da arte do tema sustentabilidade am- biental direcionado para a tecnologia de informao. Transinformao, v. 26, p. 77-89, 2014. SOUZA, H.M., LEONELLI, P.A., PIRES, JUNIOR, V.B.S., PEREIRA, R.W.L. Revista Brasileira de Energia. V.15, n.1, p. 7-26. 2009. TANAKA, K. Assessment of energy efciency performance measures in in- dustry and their application for policy. Energy Policy, v.36, n.8, p.2887-2902. 2008. TASCA, Jorge. E.; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; ALVES; M. B. M. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, Vol. 34, N. 7, pp. 631-655, 2010. THOMSON, C. EndNote. X2, The Thomson Corporation. 2008. WAICZYK, C., ENSSLIN, E. R. Avaliao de produo cientfca de pesquisado- res: mapeamento das publicaes cientfcas. Revista Contempornea de Contabilidade. v. 10, n. 20, p. 97-112, 2013.