Escolar Documentos
Profissional Documentos
Cultura Documentos
Doi: http://dx.doi.org/10.12804/revistas.urosario.edu.co/apl/a.4649
Cómo citar este artículo: Silva, F. M. S. M., Lopes, B. J., & Lima, C. F. (2017). Adaptação da escala de uso compulsivo
de Internet para avaliar dependência de smartphone. Avances en Psicología Latinoamericana, 36(1), x-x. doi: http://dx.doi.
org/10.12804/revistas.urosario.edu.co/apl/a.4649
Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515 155
Hemerson Fillipy Silva Sales, Flávia Marcelly de Sousa Mendes da Silva, Bruna de Jesus Lopes, Carla Fernanda de Lima
factor showed adequate levels of internal consistency um grupo específico de tecnologias, as chamadas
in both studies, with alpha values 0.91 (Study 1) and Tecnologias da Informação e Comunicação (tics;
0.94 (Study 2). The findings suggest the psychometric Salanova, Llorens & Cifre, 2013). As tics são des-
adequacy of eds, as they have supported the psycho- envolvidas com o objetivo de facilitar a vida dos
metric parameters investigated (validity and reliability) indivíduos, auxiliando na busca de informações,
in two different contexts. agilizando tarefas, permitindo comunicação à longa
Keywords: Dependency; smartphone; validity; precision. distância, dentre outras possibilidades. Todavia,
ao mesmo tempo em que o homem se aproveita
Resumen dos benefícios trazidos pela tecnologia, ele tam-
bém está apto a desenvolver novas patologias.
La presente investigación fue delineada en dos estudios, Vício em jogos online (Achab et al., 2014), vicio
los cuales tuvieron como objetivos adaptar (Estudio 1) em sexo online (Dhuffar & Griffiths, 2015) e uso
y validar (Estudio 2) la Escala de uso compulsivo de compulsivo de internet (Meerkerk, Van DenEi-
Internet para evaluar dependencia de smartphone. Para jnden, Franken & Garretsen, 2010), são apenas
esto, se contó con dos muestras: la primera compuesta alguns exemplos disso.
por 235 participantes de las ciudades de Teresina-PI As inovações tecnológicas na telefonia móvel
e Picos-PI, y la segunda por 297 participantes de la vêm sendo desenvolvidas desde 1973 quando foi
ciudad de Parnaíba-PI. Los resultados presentados en criado o primeiro telefone celular, com peso su-
el Estudio 1 fueron de nivel exploratorio, indicando perior a 1 kg e com menos de 20 minutos de resis-
para la Escala de Dependencia de smartphone (eds) tência da bateria (Akin, Altundag, Turan & Akin,
una solución unifactorial, estructura que fue corrobo- 2014). Atualmente, os celulares mais modernos
rada en el Estudio 2 por medio de un análisis factorial compreendem os chamados “smartphones”. Estes,
confirmatorio. El factor general presentó buenos ín- como o nome sugere, são os telefones inteligentes,
dices de consistencia interna en los dos estudios, con aparelhos de telefonia móvel que se diferenciam
valores alfa de 0,91 (Estudio 1) y 0,94 (Estudio 2). Los dos celulares comuns (feature phones) por apresen-
hallazgos sugieren la adecuación psicométrica de la eds, tarem funcionalidades mais avançadas. Os modelos
teniendo en cuenta que dieron soporte a los parámetros atuais, por exemplo, combinam funções de media
psicométricos investigados (validez y precisión) en dos players portáteis, máquinas fotográficas digitais
contextos distintos. compactas, câmeras de vídeo portáteis, unidades
Palabras clave: dependencia, smartphone, validez, de navegação GPS, funções de toque de alta reso-
precisión. lução, navegadores da web que podem acessar e
exibir corretamente páginas web padrão, e acesso
a dados de alta velocidade via wi-fi, além de ban-
Introdução da larga móvel (Know, Kin, Cho & Yang, 2013).
Segundo Sánchez (2012), o êxito dessa combi-
A globalização, assistida pelo advento das novas nação entre mobilidade e internet gerou um novo
tecnologias e pelo o avanço da internet trouxeram contexto comunicativo, que pode ser batizado como
consigo uma nova configuração da sociedade. As “A era dos smartphones”. No Brasil, por exemplo,
novas gerações parecem ter nascido com um chip o comércio de smartphones vem crescendo de for-
integrado que predispõe e facilita o uso de dispo- ma surpreendente nos últimos anos. Segundo a idc
sitivos digitais como videogames, computadores, (2015), o último trimestre de 2014 se encerrou com
tablets e smarthphones (Vega, Correa & Sánchez, recorde de vendas, atingindo uma marca de 54,5
2015). Grande parte destas inovações competem a milhões de smartphones comercializados, 55 % a
156 Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515
Adaptação da escala de uso compulsivo de Internet para avaliar dependência de smartphone
mais em comparação com o ano anterior que al- f rustração, intranquilidade, sentimento de que falta
cançou 35,2 milhões de aparelhos vendidos. Neste alguma coisa, ou até mesmo expressões físicas
mesmo ano o mercado de celulares encerrou com de raiva e manipulação, coação ou chantagem
uma alta de 7 %, com um total de 70,3 milhões de (Greenfield, 2011).
aparelhos comercializados, chegando a 4ª posição Em um comparativo quanto às variáveis gêne-
mundial, ficando atrás somente de China, Estados ro e idade, Deursen et al. (2015) apontam que as
Unidos e Índia (IDC, 2015). mulheres são mais propensas a desenvolver com-
Diante de tamanha necessidade e funcionalida- portamentos habituais e viciantes de uso de smar-
de deste aparelho, o mesmo vem se tornando cada tphone do que os homens e que os indivíduos mais
vez mais imprescindível e indispensável nos dias jovens dedicam mais tempo em seus aparelhos. Os
atuais, sendo bastante comum encontrar pessoas autores justificam que os jovens experimentariam
em locais públicos com seus smartphones nas mais estresse social e menos auto-regulação, sendo,
mãos, imersas em alguma de suas aplicações. Na portanto, mais propensos a desenvolver compor-
literatura, já se fala inclusive em vício em smar- tamentos habituais ou viciantes.
tphone. Segundo Know et al. (2013), a mobilida- Os jovens tem se descuidado, deixando, mui-
de garantida pelo aparelho (Lepp, Li, Barkley & tas vezes, de realizar atividades cotidianas e ne-
Salehi-Esfahani, 2015) e a possibilidade do uso da cessárias, como ler, estudar, dormir, comer, con-
internet em qualquer hora e lugar, tem acarretado versar com alguém, trabalhar, ou se concentrar
o uso descomunal dessa tecnologia, podendo se enquanto estão caminhando ou dirigindo (Vega,
constituir uma dependência comportamental gra- Correa & Sánchez, 2015). É comum também que
ve, caracterizada por abstinência, dificuldade de manifestem condutas negativas por razões psi-
realizar atividades diárias e distúrbios de controle cológicas e biológicas como estresse (Lee et al.,
de impulsos. 2014), ansiedade, agressividade, distúrbios de
Para Deursen, Bolle, Hegner e Kommers sono e sintomas de depressão quando não podem
(2015), a dependência ocorreria porque o smar- estar usando o smartphone (Thomée, Harenstam
tphone oferece várias experiências agradáveis que & Hagberg, 2011; Veja et al., 2015); ou mesmo,
potencialmente funcionam como recompensas, apresentar problemas de comportamento, atenção,
aumentando a chance de que o uso orientado venha ou problemas físicos decorrentes da dependência
se transformar em um uso habitual, ativado por (Rosen et al., 2014). Como exemplo deste último,
estímulos internos e externos. Os autores exem- estudos da área médica apontam que telefones
plificam que quando o usuário verifica a conta no móveis podem afetar os sistemas biológicos au-
Facebook, as novas notificações no feeds de no- mentando os radicais livres, danificando células
tícias podem agir como recompensa, garantindo sadias do corpo e mudando os sistemas de defesa
assim que a verificação reapareça e se transforme antioxidante de tecidos humanos, podendo levar
então em um comportamento habitual e viciante assim ao estresse oxidativo (Ozguner et al., 2005).
que se torna cada vez mais difícil de controlar. Diante desse contexto, se tornam necessários
Assim, como na dependência de substâncias o conhecimento e ampliação de estudos acerca
psicoativas, a abstinência característica da de- do uso de smartphone, sendo fundamental contar
pendência comportamental do uso de smartphone com instrumentos que ajudem a coletar infor-
é também marcada pela existência de sintomas mações sistemáticas e a diagnosticar o uso dessa
físicos desconfortáveis e desconforto psicológi- tecnologia em excesso, a fim de promover ações
co significativo, podendo ocorrer explosões de que possam minimizar os danos e combater as
forte emoção, sentimento de perda, separação, consequências. Existem pelo menos duas escalas
Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515 157
Hemerson Fillipy Silva Sales, Flávia Marcelly de Sousa Mendes da Silva, Bruna de Jesus Lopes, Carla Fernanda de Lima
158 Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515
Adaptação da escala de uso compulsivo de Internet para avaliar dependência de smartphone
medida desenvolvida por Meerkerk et al. (2009) garantia do anonimato, o respeito aos cuidados
e adaptada para o contexto nacional por Medei- referentes as pesquisas com seres humanos e a
ros et al. (no prelo). Contudo, antes de realizar tal possibilidade de desistência a qualquer momento,
procedimento, buscou-se o aval dos autores do sem qualquer tipo de prejuízo, conforme preconiza
instrumento, os quais deram sinal positivo para a a resolução 466/2012 do Conselho Nacional de
realização da empreitada. Para obter a Escala de Saúde, que regulamenta as pesquisas com seres
Dependência de Smartphone (eds), basicamente humanos. Os sujeitos levaram aproximadamente
foram feitas alterações nos enunciados dos 14 5 minutos para preencherem o formulário.
itens da cius, substituído, em todos, o termo “in-
ternet” por “smartphone”. No mais, considera- Análise dos dados
ram-se também pequenas alterações com o intuito
de contextualizar melhor o enunciado para o novo Para a análise e tabulação dos dados do foram
propósito. Preservando, no entanto, a escala de utilizados os softwares pasw (Predictive Analytics
resposta original. Software; versão 18), o Factor (versão 10.3.01;
Após esse processo, procedeu-se a uma análise Lorenzo-Seva & Ferrando, 2006) e o Mplus (ver-
de juízes, na qual se solicitou a três psicólogos são 6.0; Muthén & Muthén, 2010). Por meio do
que emitissem pareceres acerca da coerência dos primeiro foram realizadas estatísticas descritivas
itens, assegurando a retenção apenas daqueles (médias, desvio padrão e frequência), utilizadas
que mensurassem a dependência de smartphone. com o intuito de descrever a amostra.
Nesta etapa todos os itens foram avaliados como No segundo foram realizadas uma Análise Pa-
bons descritores. Em seguida, buscando certificar ralela e Análises Fatoriais Exploratórias com co-
a inteligibilidade dos itens, tanto para o extrato rrelações policóricas usando o Unweighted Least
mais alto quanto para o mais baixo da população, Squares como método de estimação. Ambas foram
da qual a amostra seria extraída (Pasquali, 2003), empregadas no Estudo 1 com o objetivo de verificar
realizou-se uma análise semântica. Esta contou com a estrutura fatorial do instrumento. No mesmo sof-
a colaboração de 16 participantes, dentre os quais tware foram solicitadas, ainda, análises do índice
9 tinham nível superior e 7 estavam cursando o de consistência interna (Alfa de Cronbach) para
ensino médio. Os dois grupos não apontaram nen- verificar a fidedignidade da escala nos dois estudos.
huma dificuldade ou incoerência textual dos itens. Por último, o Mplus foi utilizado para executar
Após supridas tais exigências, os formulários uma Análise Fatorial Confirmatória para variá-
foram enfim aplicados na população alvo. Esse veis categóricas, sendo esta pertinente para testar
processo ocorreu tanto de forma coletiva (em sala hipóteses específicas sobre a estrutura latente do
de aula, por exemplo) como individual (lugares modelo no Estudo 2 (Tabachnick & Fidell, 2006).
de grande circulação de pessoas, por exemplo, em Na utilização do Mplus, considerou-se a matriz
praças); sendo as respostas exclusivamente indi- de covariância e o método de estimação Weigh-
viduais. A participação foi voluntária, de modo ted Least Squares Mean-and Variance-adjusted
que antes de responderem o questionário os par- (wlsm; Muthén, Du Toit & Spisic, 1997). Para
ticipantes formalizaram sua aceitação por meio verificar a qualidade de ajuste do modelo foram
da assinatura do Termo de Consentimento Livre e levados em consideração os seguintes indicadores:
Esclarecido. Este documento informava algumas χ²/g.l (Qui-Quadrado pelos graus de liberdade), o
questões importantes do estudo, como o objetivo da Comparative Fit Index (cfi), o Tucker-Lewis Index
pesquisa, os direitos dos respondentes em relação (tli) e o Root-Mean-Square Error of Approxima-
a mesma, o caráter confidencial das respostas, a tion (rmsea). Serão avaliados como bons, para o
Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515 159
Hemerson Fillipy Silva Sales, Flávia Marcelly de Sousa Mendes da Silva, Bruna de Jesus Lopes, Carla Fernanda de Lima
160 Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515
Adaptação da escala de uso compulsivo de Internet para avaliar dependência de smartphone
Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515 161
Hemerson Fillipy Silva Sales, Flávia Marcelly de Sousa Mendes da Silva, Bruna de Jesus Lopes, Carla Fernanda de Lima
Segundo Hauck Filho, Salvador-Silva e Teixei- Com base nos resultados encontrados, acre-
ra (2014), as cargas fatoriais obtidas por meio do dita-se que este objetivo tenha sido alcançado.
estimador wlsmv também podem ser interpretadas Na primeira análise do Estudo 1, por exemplo, a
como indicadores do potencial discriminativo dos validade foi testada por meio de técnicas de aná-
itens, sugerindo como aceitáveis valores acima lise fatorial. A análise fatorial exploratória, com
de 0,50. Como se pode perceber na tabela 2, to- método de estimação Unweighted Least Squares,
das as cargas fatoriais estão acima desse valor, apresentou cargas altas para uma estrutura unifato-
suportando assim a qualidade dos itens quanto a rial sugerida pela Análise Paralela. Tais resultados
esse parâmetro. convergem com aqueles encontrados nos estudos
Constatada a adequação dos dados, buscou-se de elaboração e adaptação da Escada de Uso Com-
então novas evidências de fidedignidade da EDS. pulsivo de Internet (Meerkerk et al., 2009).
Para isso, utilizou-se novamente do coeficiente de Complementarmente, no Estudo 2 foi realizada
consistência interna Alfa de Cronbach, consideran- uma Análise Fatorial Confirmatória que novamente
do as variáveis como categóricas, que apontou um corroborou esse achado. Esta análise, além de dar
valor alfa de 0,94, índice considerado “excelente” apoio à estrutura unidimensional previamente en-
pela literatura (George & Mallery, 2002), sendo contrada, também indicou que a eds se apresenta
inclusive superior àquele encontrado no Estudo 1. adequada em um outro contexto. Além disso, os
Os achados obtidos neste estudo confirmam valores das cargas fatoriais encontradas por meio
a hipótese estrutural teorizada e demonstrada no da Análise Fatorial Confirmatória, com o estimador
primeiro estudo, oferecendo, dessa forma, mais su- wlsmv, deram suporte ao parâmetro de discrimi-
porte aos parâmetros de validade e precisão da eds. nação dos itens, indicando o poder dos mesmos
de mensurar sujeitos com níveis distintos do traço
Discussão estudado, a saber, a dependência de smartphone.
Os dois achados conferiram à medida validade
A presente pesquisa objetivou adaptar e vali- fatorial, uma das fontes que contribuem para a
dar a Escala de Uso Compulsivo de Internet para acumulação gradual de informações que susten-
avaliar a dependência de smartphone. Para isso, tam a validade de construto (Anastasi & Urbina,
foram considerados dois estudos. No Estudo 1, 2000), considerada a forma mais fundamental de
procurou-se adaptar a eds, partindo do conteúdo validade (Pasquali, 2003).
dos itens da cius, e testar os parâmetros psicométri- Quanto ao parâmetro de precisão, por meio do
cos da nova medida. Especificamente, testaram-se coeficiente de consistência interna Alfa de Cron-
os dois parâmetros exigidos pela literatura para a bach, foram encontrados valores acima do ponto
construção e adaptação de medidas: a validade, que de corte recomendado pela literatura, tanto para
diz respeito ao poder da escala de ser congruente fins de diagnóstico (0,70; Nunnally, 1991; Pasquali,
com o construto mensurado; e a precisão, que se 2003) como para fins de pesquisa (0,60; Clark &
refere à capacidade da escala de medir sem erros Watson, 1995). Comparando com as escalas de
(Pasquali, 2003). No Estudo 2, buscou-se saber se vício em smartphone, tais valores [Estudo 1 (α =
os resultados apresentados no primeiro estudo re- 0,91); Estudo 2 (α = 0,94)] são superiores àqueles
fletiam em uma segunda amostra. Especificamente, apresentados pelas cinco dimensões da SAS (Kwon
utilizou-se de modelagem por equações estruturais et al., 2013), que obteve alfas entre 0,82 e 0,91; e
para verificar se os dados desta amostra se adequa- àqueles obtidos pelas quatro dimensões da SPAI
vam à estrutura fatorial encontrada no Estudo 1. (valores alfa entre 0,72 e 0,87; Lin et al., 2014).
162 Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515
Adaptação da escala de uso compulsivo de Internet para avaliar dependência de smartphone
Esses achados, além de assegurarem a precisão da grande parte por estudantes universitários, foi
EDS, também reúnem evidências complementares também selecionada por conveniência (não-pro-
de validade de construto (Pasquali, 2003). babilística), o que limita a sua representatividade
No mais, apesar dos resultados serem satisfa- e generalização em relação à população em geral.
tórios, estes não foram de todo surpreendentes. Na Quanto a isso, vale-se considerar, que não se pre-
análise fatorial confirmatória, por exemplo, um tendeu generalizar resultados, mas sim identificar a
dos indicadores de ajuste, o rmsea, apresentou adequação psicométrica de uma medida específica.
um valor um pouco acima do ponto de corte acei- Assim, o número amostral buscado se justificou,
tável, apesar de seu valor inferior do intervalo de tão somente, pelas análises estatísticas utilizadas
confiança estivesse no limite desse ponto de corte. (Hair et al., 2004; Pasquali, 1999).
Tal fato pode ter ocorrido devido à tendência do Mediante as limitações supracitadas, sugere-se
rmsea de desfavorecer modelos menos complexos, o desenvolvimento de novos estudos, que objeti-
já que modelos com mais parâmetros geralmente vem validar a eds em mais contextos, podendo
apresentam melhor ajustamento em comparação utilizar-se de amostras maiores e mais diversifi-
com modelos com menos parâmetros (Marôco, cadas, ou mesmo, considerar outras possibilidades
2014). Às restrições encontradas sugerem inferir como investigar formas distintas de validade (e.g.,
ao modelo testado um ajustamento moderado, pois convergente e preditiva); testar a invariância fa-
embora tenham apresentado valores adequados, torial considerando diferentes grupos (e.g., sexo
são classificados na literatura como “sofríveis”. e idade); e verificar a correlação deste construto
É interessante destacar ainda duas limitações com outras variáveis (e.g., estresse, ansiedade e
potenciais deste estudo. A primeira delas faz re- saúde-geral).
ferência a questões teóricas. Objetivou-se contar Em resumo, os resultados expostos suportam
com uma medida de dependência de smartphones, que a Escala de Dependência de Smartphone apre-
utilizando-se dos aportes teóricos que versam sobre senta boas qualidades psicométricas tanto para
o uso excessivo de internet, justificando-se devido fins de pesquisa quanto para o diagnóstico do pro-
à características semelhantes compartilhadas por blema, o qual pode ser caracterizado por escores
essas duas tecnologias. Contudo, destaca-se que altos nessa medida. Mais especificamente, quanto
os smartphones apresentam algumas particulari- mais elevada for a pontuação obtida na escala,
dades em relação à internet, como por exemplo, o mais os individuos sofrem dos principais fatores
tamanho do aparelho, aplicações, onipresença, e que caracterizam à dependência e uso compul-
flexibilidade no tempo e espaço (Nielsen & Fjuk, sivo de smartphone, a saber: perda de controle,
2010). Tal limitação sugere a perda de variabilida- conflito, preocupação, sintomas de abstinência, e
de de comportamentos explicativos do problema. enfrentamento. Destaca-se, ainda, que a medida
Embora a incorporação de tais especificidades seja adaptada mostrou-se ser mais parcimoniosa que
importante, essa questão não inviabiliza o estudo, as demais encontrados na literatura (Kwon et al.,
visto que os comportamentos descritos na escala 2013; Lin et al., 2014), já que essas compreendem
compreendem de forma satisfatória os critérios configurações mutidimensionais. Com isso, acre-
diagnóstico utilizados para dependência e trans- dita-se estar contribuindo de forma significativa
torno obsessivo-compulsivo descritos no dsm-iv. para o estudo dessa problemática, principalmen-
A outra limitação diz respeito a questões me- te a nível nacional, visto que atualmente não foi
todológicas, a saber, o tamanho e a natureza da encontrado nenhum instrumento que avalie tal
amostra, pois além desta ter sido composta em construto no país.
Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515 163
Hemerson Fillipy Silva Sales, Flávia Marcelly de Sousa Mendes da Silva, Bruna de Jesus Lopes, Carla Fernanda de Lima
164 Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515
Adaptação da escala de uso compulsivo de Internet para avaliar dependência de smartphone
Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515 165
Hemerson Fillipy Silva Sales, Flávia Marcelly de Sousa Mendes da Silva, Bruna de Jesus Lopes, Carla Fernanda de Lima
of the negative health impacts of exercise Tabachnick, B., & Fidell, L. S. (2006). Using multi-
and eating habits. Computers in human beha- variate statistics (5th ed.). New York: Harper
vior, 35, 364-375. doi: dx.doi.org/10.1016/j. Collins.
chb.2014.01.036 Thomée, S., Harenstam, A., & Hagnerg, M. (2011).
Salanova, M., Llorens, S., & Cifre, E. (2013). The dark Mobile phone use and stress, sleep disturban-
side of technologies: Technostress among users ces, and symptoms of depression among young
of information and communication technolo- adults - a prospective cohort study. Bio med
gies. International Journal of Psychology, 48(3), central, 11(66), 1-11. doi: 10.1186/1471-2458-
422-436. doi: 10.1080/00207594.2012.680460 11-66
Sánchez, C. C. (2012). Ciberperiodismo en el smar- Vega, L. E. F., Correa, G. B., & Sánchez, D. C.
tphone. Estudio de la multimedialidad, usa- (2015). Contribuición de la mercadotecnia em
bilidad, hipertextualidad e interactividad de la utilización del smartphone para videojuegos,
las aplicaciones de medios nativos digitales convirtiéndola em uma posible adicción em los
para smartphone. Estudios sobre el mensaje jóvenes. European scientific jounal, 11(8), 35-
periodístico, 18, 243-251. Recuperado de: ht- 45. Recuperado de http://eujournal.org/index.
tp://revistas.ucm.es/index.php/ESMP/article/ php/esj/article/view/5253/5064
view/40978/39229
166 Avances en Psicología Latinoamericana / Bogotá (Colombia) / Vol. 36(1) / pp. 155-166 / 2018 / ISSNe2145-4515