Você está na página 1de 14

eclaração de consenso da Academia Americana de Neuropsicologia Clínica sobre rotulagem uniforme de

pontuações de teste de desempenho

Thomas J. Guilmette,Jerry J. Sweet,Nancy Hebben,Deborah Koltai,E. Mark Mahone ,Brenda J.


Spiegler, mostre tudo

Páginas 437-453 | Recebido em 02 de janeiro de 2020, Aceito em 10 de janeiro de 2020, publicado online: 10
de fevereiro de 2020

• Baixar citação

• https://doi.org/10.1080/13854046.2020.1722244

• CrossMark

Neste artigoPerto

• Resumo

• Enunciado do problema

• Desenvolvimento da conferência de consenso

• Processo de criação de consenso e redação da declaração de consenso

• Recomendações de consenso para rótulos de teste para testes com distribuições normais

• Recomendações de consenso para rótulos de teste para testes com distribuições não normais

• Recomendações de consenso para definição e aplicação de deficiência

• Resumo

• Referências

• Artigo Completo

• Números e dados

• Referências

• Citações

• Métricas

• Reimpressões e permissões
Declaração de consenso da Academia Americana de Neuropsicologia Clínica sobre rotulagem
uniforme de pontuações de desempenho de teste

Thomas J. Guilmette,Jerry J. Sweet,Nancy Hebben,Deborah Koltai,E. Mark Mahone,Brenda J. Spiegler,

Resumo

Objetivos.Os rótulos descritivos das pontuações dos testes de desempenho são um componente crítico da
comunicação dos resultados das avaliações neuropsicológicas e psicológicas. No entanto, não existe um sistema
universalmente aceito para atribuir descritores qualitativos a pontuações em intervalos específicos. Além disso,
a definição e o uso do termo “deficiência” carecem de especificidade e consenso. Consequentemente, os rótulos
de pontuação de teste e a denotação de deficiência são aplicados de forma inconsistente pelos médicos, criando
confusão entre os consumidores de serviços neuropsicológicos, incluindo fontes de referência, estagiários,
colegas e o sistema judicial. Para reduzir essa confusão, especialistas em avaliação neuropsicológica e psicológica
clínica e forense se reuniram em uma conferência de consenso na Reunião Anual de 2018 da Academia
Americana de Neuropsicologia Clínica (AACN).Os objetivos da conferência de consenso foram recomendar (1)
um sistema de rótulos qualitativos para descrever os resultados dos testes baseados no desempenho com
distribuições normais e não normais e (2) uma definição de deficiência e sua aplicação em determinações de
casos individuais.

Resultados: Os objetivos da conferência de consenso foram atingidos resultando em recomendações específicas


para a aplicação de rótulos uniformes para testes de desempenho e para a definição de deficiência, que são
descritos neste artigo. Além disso, está incluída nesta declaração de consenso uma descrição do processo da
conferência e as justificativas para essas recomendações.

Conclusões / Importância: Esta conferência de consenso é a primeira tentativa formal pela comunidade
neuropsicológica profissional de fazer recomendações para rótulos de pontuação de teste de desempenho
uniformes e para avançar uma definição consistente de deficiência. O uso de descritores e termos uniformes
reduzirá a confusão e aumentará a compreensão do relatório por parte dos consumidores de nossos relatórios,
bem como de nossos trainees e colegas.

Palavras-chave: deficiência , testes de desempenho , descritores qualitativos , rótulos de pontuação de teste

Enunciado do problema

O método mais comum de descrever o desempenho da pontuação do teste em relatórios neuropsicológicos


clínicos e forenses é pelo uso de descritores qualitativos (Guilmette, Hagan, & Giuliano, 2008 ), como média,
acima da média, superior e prejudicada, que geralmente são considerados como mais significativo e
compreensível do que pontuações brutas, pontuações padrão ou classificações percentuais na comunicação de
resultados. Considerando que vários sistemas de rotulagem foram propostos (por exemplo, Groth-
Marnat, 2009 ; Heaton, Grant, & Matthews, 1991 ; Schoenberg & Rum, 2017 ; Schretlen, Testa, &
Pearlson, 2010 ; Wechsler, 2009 , 2014), não existe consenso ou sistema universalmente aceito para a atribuição
de descritores ou rótulos qualitativos para testes baseados em desempenho.

Vinte e cinco anos atrás, em seu discurso presidencial para a Divisão 22 (Psicologia de Reabilitação) da American
Psychological Association, Bruce Caplan identificou o problema ao declarar "Termos como 'moderadamente
prejudicado' e 'dentro dos limites normais' freqüentemente carecem de referências quantitativas e, portanto,
estão sujeitos a diferentes interpretações entre indivíduos e contextos ”(1995, p. 236). A preocupação de Caplan
surgiu de um estudo que ele conduziu, no qual pediu aos participantes de uma “grande organização
neuropsicológica” que atribuíssem um rótulo descritivo de uma lista de 22 classificações potenciais a quatro
pacientes hipotéticos. Ele encontrou um grau notável de inconsistência entre avaliadores. Caplan opinou ainda
que “A fim de aumentar nossa credibilidade, especialmente em contextos forenses onde diferentes médicos
podem fornecer interpretações díspares de pontuações de testes idênticos,precisamos de pesquisa e discussão
para chegar a algum consenso sobre o que vários rótulos descritivos implicam ”(p. 239). Da mesma forma,
Hebben e Milberg (2002 ) em sua revisão da interpretação do teste neuropsicológico também concluíram:
"Rótulos como 'média' ou 'abaixo da média' não são precisos e podem referir-se a diferentes intervalos de
pontuação, dependendo do clínico individual."

Em uma pesquisa com neuropsicólogos certificados, Guilmette et al. ( 2008 ) pediram aos respondentes para
atribuir um rótulo descritivo a 12 diferentes pontuações padrão de 50 a 130 derivadas de um teste de memória
baseado em um breve cenário de caso. O número médio de diferentesrótulos descritivos atribuídos pelos 110
participantes da pesquisa a cada uma das 12 pontuações padrão foi 14 com um intervalo de 9 a 23. Este
resultado novamente forneceu evidências empíricas da variabilidade significativa e falta de uniformidade na
atribuição de descritores qualitativos a pontuações padrão específicas. É importante ressaltar que Guilmette e
colegas também encontraram variação de atribuição de rótulo relacionada a diferentes métodos interpretativos
ou padrões. Alguns entrevistados confiaram em descritores comparativos normativos ou interindividuais (por
exemplo, superior, médio, abaixo / acima da média, baixo), em deficiências ou comparações intra-individuais
que descrevem normalidade ou anormalidade com base em alguma linha de base pré-mórbida estimada (por
exemplo, normal, intacta, prejudicada ),ou em comparações intra-individuais em relação à expectativa de uma
pontuação com base em outros fatores, como QI, que foram incluídos no cenário do caso (por exemplo, abaixo
/ acima das expectativas). Dada a falta de confiabilidade na aplicação de descritores de teste de desempenho,
Guilmette et al. sugeriram que “a psicologia clínica e neuropsicológica profissional se esforça para articular
recomendações específicas ou adotar padrões explícitos que estabelecem uma terminologia bem definida e
uma atribuição mais consistente de descrições qualitativas para intervalos de pontuação de teste” (2008, p.
136).sugeriram que “a psicologia clínica e neuropsicológica profissional se esforça para articular recomendações
específicas ou adotar padrões explícitos que estabelecem uma terminologia bem definida e uma atribuição mais
consistente de descrições qualitativas para intervalos de pontuação de teste” (2008, p. 136).sugeriram que “a
psicologia clínica e neuropsicológica profissional se esforça para articular recomendações específicas ou adotar
padrões explícitos que estabelecem uma terminologia bem definida e uma atribuição mais consistente de
descrições qualitativas para intervalos de pontuação de teste” (2008, p. 136).

Para aumentar a confusão para os médicos ao decidirem quais rótulos de pontuação de teste aplicar, os editores
de teste são inconsistentes em suas recomendações de descritores de pontuação para seus testes. Como os
trainees e os médicos em atividade bem sabem, diferentes manuais de teste podem recomendar diferentes
rótulos qualitativos para as mesmas pontuações padrão. Por exemplo, os manuais de teste de inteligência e
memória Wechsler listam descritores qualitativos para suas pontuações padrão e a maioria dos médicos aplica
esses descritores ao descrever o desempenho nessas escalas. No entanto, o descritor qualitativo no sistema
Wechsler para uma pontuação padronizada específica nem sempre é o mesmo descritor recomendado para a
mesma pontuação em um teste diferente. Considere uma pontuação padrão de 75, que seria rotulada de
"limítrofe" pelos testes Wechsler adultos,"Muito baixo" pelo Wide Range Achievement Test-5 (Wilkinson &
Robertson,2007 ) e a Escala de Inteligência Wechsler para Crianças-5 (Wechsler, 2014 ), "bem abaixo da média"
pelo Procedimento de Avaliação Neuropsicológica Kaufman Short (Kaufman & Kaufman, 1994 ), "baixo" pelo
Woodcock-Johnson IV (Schrank, McGrew , & Mather, 2014 ), "pobre" pelo Teste de Inteligência Não-verbal-3
(Brown, Sherbenou, & Johnsen, 1997 ), e "abaixo da média a levemente prejudicado" pelo Sistema de Pontuação
Qualitativa de Boston para a Figura Complexa de Rey-Osterrieth (Stern et al., 1999) Consequentemente, o clínico
provavelmente tende a atribuir rótulos diferentes à mesma pontuação padrão de testes diferentes para aderir
às recomendações do editor de teste. Embora desvios de tais recomendações variadas do manual de teste
possam ser bastante justificados, tais desvios podem tornar as interpretações clínicas vulneráveis a ataques em
contextos litigiosos. Essas inconsistências em um relatório podem ser confusas tanto para os pacientes quanto
para as fontes de encaminhamento, bem como para os trainees que tentam compreender as complexidades da
interpretação da pontuação do teste.

Da mesma forma, a identificação de uma faixa de pontuação de teste "prejudicada" foi tratada de forma
inconsistente por pesquisadores e médicos, com pontos de corte aplicados de forma variável a pontuações
começando com um desvio padrão, 1,5 desvio padrão ou dois desvios padrão abaixo das expectativas
normativas (Beauchamp et al., 2015 ; Heaton et al., 1991 ; Ingraham & Aiken, 1996 ; Meyer, Boscardin, Kwasa,
& Price, 2013 ; Schoenberg et al., 2018 ). No Guilmette et al. ( 2008) pesquisa observada anteriormente,
"prejudicado" foi aplicado por alguns entrevistados como um rótulo descritivo começando com uma pontuação
padrão tão alta quanto 95. Não surpreendentemente, o termo deficiência (junto com outros termos como
defeituoso, anormal e deficiente) foi aplicado com aumento da frequência conforme as pontuações padrão
diminuíam.

Ao classificar as pontuações como prejudicadas, discordância também ocorreu em relação aos rótulos que
identificam o grau de desempenho anormal, às vezes começando com um termo que transmite incerteza (por
exemplo, limite) antes de prosseguir para o uso de rótulos que transmitem maior certeza aparente (por
exemplo, leve, moderado e grave) para pontuações que presumivelmente se desviam em maior medida das
expectativas normativas. No entanto, esses modificadores também carecem de qualquer definição de consenso.
Em cada um desses casos, o uso de termos destinados a transmitir anormalidade ou “deficiência” normalmente
foi baseado puramente em uma pontuação de teste que se desvia das expectativas normativas. Este hábito de
prática pode ser considerado como 'limite de teste', uma abordagem concreta inadequada que considera cada
pontuação de teste específica como tendo um significado clínico inerente,sem considerar o perfil geral do
resultado do teste e o contexto de vida do examinado em particular. Tal abordagem não é vista como um
método aceitável de se chegar a conclusões clínicas.

A falta de consistência na aplicação de rótulos de pontuação de teste e de uma definição do termo deficiência
prejudica a prática profissional da neuropsicologia clínica. Apesar de ser um problema de décadas, não foi
abordado de forma adequada por nossas organizações profissionais. Para tanto, a Academia Americana de
Neuropsicologia Clínica (AACN) estabeleceu uma conferência de consenso para propor um conjunto consistente
de descritores qualitativos e definir deficiência com o objetivo de fornecer orientação aos médicos e facilitar o
aumento da consistência na aplicação desses termos.

Desenvolvimento da conferência de consenso

A gênese desta conferência de consenso começou em fevereiro de 2014, quando o Conselho de Administração
da AACN (BOD) aprovou uma proposta iniciada por Manfred Greiffenstein, com a assistência de Thomas
Guilmette, para formar um grupo de trabalho para criar um documento de posição para orientação sobre a
rotulagem uniforme de teste pontuações. O Conselho encarregou Greiffenstein e Guilmette de selecionar os
membros do grupo de trabalho, desenvolver as principais perguntas da pesquisa, organizar e analisar a coleta
de dados da pesquisa entre os membros e escrever um documento de posição. Os co-presidentes do grupo de
trabalho pediram a 13 neuropsicólogos / psicólogos especialistas que representavam pesquisadores, médicos e
líderes de opinião para participarem neste esforço, com a condição de que cada membro pudesse concordar
que (a) diretrizes de rotulagem eram necessárias, (b) nível de desempenho e interpretação da pontuação
precisava ser distinguido,e, finalmente, que (c) a interpretação da pontuação deve ser sempre contextualizada.
Os membros desse grupo de trabalho original incluíam: Corwin Boake, Bruce Caplan, Robert Denney, Jacobus
Donders, Anthony Giuliano, Leigh Hagan, Bernice Marcopulos, Ann Marcotte, Scott Millis, Neil Pliskin, Kirk
Stucky, Joseph Snow e Keith Owen Yeates.
Uma série de pesquisas e sugestões online foram distribuídas entre os membros do grupo de trabalho, com
comunicação e discussão subsequentes ocorrendo por e-mail. O objetivo não era consenso, mas sim, encontrar
uma opinião da maioria sobre os descritores para pontuações de teste com distribuições normais e distribuições
não normais, bem como uma definição de deficiência. O progresso foi lento e incompleto, mas um rascunho
preliminar do documento de posição foi escrito por Greiffenstein e Guilmette e encaminhado ao Comitê de
Publicações da AACN para revisão em junho de 2016. No entanto, o trabalho no projeto cessou após a morte de
Manfred Greiffenstein em agosto de 2016.

Guilmette então consultou o presidente do Comitê de Publicações da AACN, Jerry Sweet, que sugeriu que o
conteúdo do rascunho do documento de posição provavelmente não seria instrutivo para os médicos e,
particularmente dada a importância desta questão, uma conferência de consenso seria o máximo meios
apropriados de promover o uso de rótulos de teste uniformes de testes de desempenho. Guilmette e Sweet
abordaram o Conselho de Diretores da AACN com uma proposta para uma conferência de consenso modelada
após a conferência de consenso da AACN sobre a avaliação neuropsicológica de esforço, viés de resposta e
simulação (Heilbronner et al., 2009) O BOD da AACN aprovou a proposta em sua reunião anual em junho de
2017. A conferência de consenso de um dia inteiro foi planejada para ocorrer durante a reunião anual de 2018
a ser realizada em San Diego. O BOD da AACN também aprovou que aproximadamente 25 participantes da
conferência, com conhecimentos e experiência relevantes, seriam convidados pelos co-presidentes, Guilmette
e Sweet, para propor rótulos para pontuações distribuídas normalmente, pontuações não distribuídas
normalmente e para definir deficiência e seus uso e aplicação. Todos os membros da conferência em potencial
também precisam concordar com as três estipulações estabelecidas por Greiffenstein e Guilmette para sua
proposta de documento de posição mencionada acima. Após a conferência de consenso, uma apresentação de
90 minutos ou “fórum público” seria realizada e aberta a todos os participantes da conferência AACN.O fórum
público incluiria a apresentação das recomendações da conferência de consenso e obter feedback crítico dos
participantes. Uma declaração de consenso da conferência, resumindo os resultados e recomendações, seria
então enviada ao jornal oficial da AACN,The Clinical Neuropsychologist, para publicação.

Os organizadores da conferência identificaram 28 especialistas do Canadá e dos Estados Unidos que


representavam a diversidade de gênero, enfoque adulto / pediátrico, cultura e ambiente de trabalho para
participar da conferência. Cinco especialistas interessados em participar desse processo não estiveram
disponíveis para comparecer à conferência e, como alternativa, concordaram em fornecer revisões da
declaração de consenso antes da publicação, embora apenas dois eventualmente pudessem revisar o
manuscrito. Os demais membros da conferência, com base em parte na preferência e nas considerações de
diversidade, foram divididos em três grupos de trabalho que buscariam consenso sobre os rótulos de pontuação
de teste para testes normalmente distribuídos, testes não normalmente distribuídos e definição e aplicação de
deficiência. Os co-presidentes do grupo de trabalho foram identificados, novamente refletindo um equilíbrio de
gênero e foco adulto versus pediátrico.Leituras e referências pré-congresso, que foram identificadas pelos
organizadores e a partir de sugestões feitas pelos próprios conferencistas, foram distribuídas a todos os
participantes. Os materiais de recurso incluíam artigos científicos ou acadêmicos e capítulos de livros (listados
noapêndice ), bem como outras propostas informais de rotulagem de pontuação de teste, incluindo aquelas do
grupo de trabalho de rotulagem Greiffenstein e Guilmette inicial e uma versão abreviada da Classificação
Internacional de Funcionalidade da Organização Mundial da Saúde.

Processo de criação de consenso e redação da declaração de consenso

Os participantes da conferência se reuniram em 20 de junho de 2018, um dia antes da reunião anual da


Academia Americana de Neuropsicologia Clínica em San Diego. Dos 25 membros que estavam programados para
se encontrar, três participantes não puderam comparecer, mas concordaram em revisar a declaração de
consenso antes da publicação, resultando em um total de 22 participantes de 17 estados dos EUA, Distrito de
Columbia e Canadá. Após uma breve visão geral da história e dos objetivos da conferência, os participantes se
reuniram em seus grupos de trabalho e começaram a discussão. O resto do dia alternou-se entre as saídas do
grupo de trabalho e a discussão geral do grupo na tentativa de chegar a um consenso nos três domínios. Todo
o grupo chegou a um consenso sobre uma série de pontos específicos nas três áreas do grupo de trabalho.Os
co-presidentes do subgrupo resumiram suas descobertas e recomendações em uma apresentação aos
participantes da conferência da AACN durante um fórum público de 90 minutos em 22 de junho de 2018,
durante o qual comentários e críticas foram solicitados.

Para incentivar a transparência e a abertura às opiniões dos membros da AACN em geral, a apresentação em
PowerPoint da reunião de 22 de junho de 2018 foi distribuída por meio do listserv da AACN, solicitando
comentários, recomendações, críticas e perguntas de 11 a 28 de julho de 2018. Os comentários e feedback
recebidos da lista de discussão resultaram em discussão adicional por e-mail e consideração entre os 22
participantes originais da conferência de consenso. Essencialmente, todas as recomendações de consenso
iniciais que surgiram na conferência de 20 de junho de 2018 foram reconsideradas.

A significativa discussão online e a consideração de múltiplas alternativas levaram ao reconhecimento de que


os pontos iniciais de consenso alcançados durante a reunião de junho haviam evoluído, levando à necessidade
de restabelecer o consenso. Os co-presidentes do grupo de trabalho e os co-presidentes da conferência
trabalharam com cada grupo, com pontos de consenso revisados trazidos para o grupo maior para consideração
final. Eventualmente, o consenso foi alcançado novamente para todos os três tópicos do subgrupo: rótulos de
pontuação de teste para testes com distribuições não normais em 13 de dezembro de 2018, para definição e
aplicação de deficiência em 1 de fevereiro de 2019, e rótulos de pontuação de teste para testes com
distribuições normais em 2 de maio de 2019.

Um resumo do processo de consenso e suas recomendações foi escrito e revisado por todos os 22 participantes
da conferência e também foi revisado por especialistas externos, resultando nesta declaração de consenso da
conferência. A declaração de consenso reflete a experiência combinada de 27 neuropsicólogos / psicólogos, que
consideraram a literatura científica, as perspectivas históricas e os fatores clínicos, bem como a ampla
contribuição de muitos membros da AACN. Esta contribuição e revisão também incluíram o Comitê de
Publicação da AACN e a aprovação final do Conselho de Administração da AACN.

As recomendações contidas nesta declaração não devem ser consideradas padrões de prática obrigatórios. Em
vez disso, eles refletem a orientação consensual de especialistas ou “melhores práticas” que os médicos podem
considerar incorporar em seu trabalho para alcançar maior uniformidade e consistência na aplicação de rótulos
ou descritores de pontuação de teste e o uso do termo deficiência. Para ser absolutamente claro, esta
declaração não édestina-se a instruir ou limitar os médicos em sua interpretação de dados de testes
neuropsicológicos. A análise integrativa de um perfil de teste neuropsicológico depende exclusivamente do
julgamento de médicos individuais e de sua apreciação e experiência em sintetizar informações de várias fontes
médicas, históricas, culturais, comportamentais e outras para chegar a formulações clínicas, impressões e
diagnósticos.

Recomendações de consenso para rótulos de teste para testes com distribuições normais

O grupo de trabalho de distribuição normal inicialmente contou com os seguintes conceitos para orientar suas
deliberações:

• A interpretação das pontuações é diferente da rotulagem das pontuações.


• As pontuações não podem ser “prejudicadas”; apenas uma função pode ser prejudicada.
• A simplicidade dos descritores pode melhorar a comunicação.
• Os descritores devem ser baseados na frequência ou semelhança de desempenho, não na patologia.

Ao considerar a melhor maneira de ancorar os rótulos nas pontuações dos testes, os modelos de 5 e 7 categorias
foram revisados por seus méritos relativos. O modelo de 5 categorias teria rótulos atribuídos às pontuações em
cada desvio padrão. Por exemplo, ± 1 desvio padrão seria englobado em um rótulo, média, com outros rótulos
atribuídos para cada desvio padrão adicional acima e abaixo da média até três desvios padrão, resultando em
cinco rótulos de pontuação de teste no geral. As principais vantagens dessa abordagem seriam que os rótulos
mapeiam facilmente os desvios padrão e há simplicidade em ter relativamente poucos rótulos a serem
considerados. No entanto, este modelo diverge significativamente das práticas clínicas comuns, tornando a
adoção pelos profissionais menos provável. Além do que, além do mais,a faixa média se estenderia por dois
desvios padrão, abrangendo cerca de 68% da distribuição. Em contraste, quando as pontuações padrão entre
90 e 109 são rotuladas como média, cerca de 50% da distribuição cai dentro desta faixa, o que é consistente
com a maioria dos sistemas descritivos (Groth-Marnat,2009 ; Schoenberg & Rum, 2017 ; Schretlen et al., 2010 ;
Wechsler, 2009 ). Consequentemente, o modelo de 7 categorias derivado do sistema Wechsler foi adotado. Este
modelo tem maior relevância clínica, com gradações mais finas que não estão vinculadas a unidades inteiras de
desvio padrão. Além disso, esse modelo foi considerado mais próximo das práticas clínicas atuais e, portanto,
provavelmente mais fácil para os médicos incorporarem em suas práticas.

Como era verdade no grupo de consenso, os rótulos específicos atribuídos a vários intervalos de pontuação
foram objeto de discussão detalhada durante a sessão de feedback com os participantes da conferência da AACN
e, subsequentemente, entre os membros da lista de AACN que ofereceram comentários e sugestões. Havia uma
forte crença de que os rótulos de pontuação de teste deveriam estar livres de termos que parecessem
julgadores, tendenciosos ou seriam vistos como uma conclusão clínica e, em vez disso, deveriam refletir apenas
uma posição de pontuação dentro da distribuição normal. Especificamente, a intenção era que os rótulos de
pontuação não parecessem transmitir o processo separado de interpretação do clínico, que é a etapa necessária
na determinação de deficiência ou déficit.

Os rótulos de pontuação de teste iniciais recomendados pela conferência de consenso foram os seguintes:
pontuação extremamente alta (≥130); pontuação alta (120–129); pontuação acima da média (110–119);
pontuação média (90-109); pontuação abaixo da média (80-89); pontuação baixa (70-79); e pontuação
extremamente baixa (<70). Houve preocupações iniciais levantadas na reunião aberta da AACN de que o termo
“extremamente” não refletia adequadamente a frequência incomum de pontuações de teste nas extremidades
da distribuição. Após discussão entre os membros da conferência de consenso, foi acordado alterar o termo
para "excepcionalmente". Notavelmente,o debate e a consideração mais prolongados e detalhados envolveram
os rótulos "média baixa" ou "abaixo da média" na faixa de pontuação padrão de 80-89 devido à ambigüidade
potencial de se "média baixa" ainda é considerada "média" e se uma pontuação padrão abaixo de 90 deve ser
considerado "abaixo da média". Uma consideração foi que até 24% da população seria considerada “abaixo da
média” se o ponto de corte para “média” fosse todas as pontuações padrão abaixo de 90. Essa preocupação
parecia ser particularmente saliente entre alguns dos neuropsicólogos pediátricos. Houve discussão sobre o uso
de um modificador adicional, como “ligeiramente” abaixo ou “ligeiramente” abaixo da média, mas esses termos
foram rejeitados devido à sua ambiguidade e falta de significado padrão.Na tentativa de encontrar uma
resolução entre essas considerações e dada a aceitação do rótulo de "média baixa" para pontuações padrão 80-
89 entre muitos médicos e sistemas descritores qualitativos existentes (Groth-Marnat,2009 ; Schretlen et
al., 2010 ; Wechsler, 2009 ), o painel de consenso recomendou o descritor de “média baixa” para pontuações
padrão entre 80 e 89.

Dado que as pontuações padrão entre 80 e 89 são rotuladas de “média baixa”, então as pontuações abaixo
desse nível, na faixa de pontuação padrão de 70-79, são consideradas “abaixo da média”. O sistema de
classificação de Wechsler para adultos se refere a essa faixa como "limítrofe", mas esse termo foi considerado
muito ambíguo e sujeito a implicar uma conclusão interpretativa. Conforme observado anteriormente, outros
editores de teste descreveram as pontuações nesta faixa como "baixa", "muito baixa", "bem abaixo da média",
"ruim" e "abaixo da média a levemente prejudicada. ” Esses termos também foram rejeitados por parecerem
ser julgadores, tendenciosos, muito abertos à interpretação ou confundir uma pontuação de teste com um
rótulo de deficiência. Embora a conferência de consenso original recomendasse "pontuação baixa" como um
rótulo na faixa de pontuação padrão de 70-79 em oposição à atual "abaixo da média", isso foi rejeitado porque
esta faixa reflete pontuações que estão inequivocamente abaixo da média e, conforme indicado acima , caiam
abaixo das pontuações que são "média baixa". Além disso, a descrição de uma pontuação sendo simplesmente
“baixa” ou “alta” (na faixa de 120-129) foi considerada muito ambígua e aberta à interpretação. Por último, as
sugestões de que o modificador “bem” seja adicionado aos rótulos “abaixo da média” e “acima da média”
também foram consideradas pela maioria dos co-presidentes do grupo como adicionando pouco ou nenhum
valor esclarecedor.

As recomendações de consenso finais para rótulos descritivos para pontuações de teste normalmente
distribuídas estão listadas abaixo no contexto de pontuações padrão gerais comumente usadas em testes de
inteligência. Transformar outros tipos de pontuações, como pontuações T, pontuações z ou percentis, em
descritores qualitativos seguiria a mesma abordagem de rotulagem. Enquanto, com a maioria dos testes
baseados em desempenho, pontuações padrão mais baixas indicam pior desempenho, em alguns casos,
pontuações padrão mais altas podem indicar pior desempenho. Nesses casos, os médicos escolhem rótulos que
refletem essa distinção ( Tabela 1 ).

Tabela 1. Rótulos de pontuação de teste recomendados com base em pontuações padrão e percentis para testes
com distribuições normais.

CSVTabela de exibição

O grupo de consenso também recomenda que os médicos especifiquem o grupo normativo e quaisquer ajustes
demográficos usados para a determinação da pontuação padrão (por exemplo, se as pontuações são ajustadas
para sexo, idade, educação, etc.). Os médicos também devem reconhecer que a nomenclatura é baseada em
pontuações derivadas específicas, que são estimativas psicométricas delimitadas por intervalos de confiança.
Portanto, os médicos devem considerar cuidadosamente as pontuações de rotulagem próximas aos pontos de
corte, incluindo a consideração da faixa de erro. Além disso, o consenso do grupo é que esse sistema seja usado
em vez dos fornecidos em manuais de teste específicos, pois isso promoverá a uniformidade em toda a disciplina
e facilitará a comunicação consistente e eficaz com as partes interessadas. Finalmente, para esclarecer ainda
mais a atribuição de rótulos e descritores às pontuações dos testes,uma recomendação de consenso é que os
médicos incluam uma tabela ou gráfico nos relatórios que identifique explicitamente quais pontuações padrão
coincidem com quais rótulos. Isso é especialmente importante porque reconhecemos que, apesar de nossos
esforços, o público leigo e outros consumidores podem ter dificuldade em apreciar e compreender as distinções
entre nossos rótulos de pontuação de teste qualitativo recomendados.

Conforme observado anteriormente, esses rótulos de pontuação de teste destinam-se apenas a ser descritivos,
identificando posições de pontuação em relação a uma distribuição de curva normal. Como tal, os rótulos não
transmitem deficiência ou outros julgamentos de avaliação; pontuações isoladas não podem ser prejudicadas
ou deficientes. Reconhecendo que o risco de uma pontuação representando uma função prejudicada aumenta
com o desvio estatístico das expectativas normativas, no entanto, há consenso de que a determinação de déficits
ou deficiências é de responsabilidade do médico, que chega a tal determinação usando uma ampla gama de
informações específicas para o paciente individual. Consistente com esta intenção, ao descrever as pontuações
dos testes, a recomendação de consenso foi colocar a palavra "pontuação" após o descritor,para enfatizar a
diferença entre um resultado de teste específico e uma habilidade. Por uma questão prática, os médicos podem
achar complicado sempre colocar a palavra “pontuação” após o descritor (por exemplo, pontuação média baixa)
e, portanto, podem decidir abandonar a palavra para diminuir a redundância e aumentar a concisão.

Recomendações de consenso para rótulos de teste para testes com distribuições não normais

Na neuropsicologia clínica, quatro tipos de testes são frequentemente administrados com distribuições não
normais.

a. Os testes pretendem avaliar domínios cognitivos específicos, mas com distribuições altamente
distorcidas na população normal (por exemplo, Teste de Nomenclatura de Boston, Julgamento de
Orientação de Linha (JLO), desenho do relógio, cópia de figura, etc.).

b. Testes usados para determinar a presença ou ausência de sinais patognomônicos ou condições


específicas (por exemplo, testes de apraxia, sequenciamento motor manual, exame sensório-
perceptivo, etc.).

c. Testes de validade de desempenho (PVTs) e medidas usadas principalmente para identificar questões
relacionadas ao envolvimento do teste, ampliação dos sintomas, esforço e validade do teste (por
exemplo, Teste de Memória Simultânea, Teste de Memória de Palavras, Escolha de Palavras de
Soluções Clínicas Avançadas etc.)

d. Questionários e escalas de avaliação sobre habilidades cognitivas e / ou condições ou sintomas


comportamentais frequentemente avaliados por neuropsicólogos (por exemplo, Inventário de
Avaliação Comportamental da Função Executiva, Sistema de Avaliação Comportamental para
Crianças, Lista de Verificação de Comportamento Infantil, etc.).

Os participantes da conferência de consenso não abordaram a rotulagem de pontuação de teste para


questionários e escalas de classificação no Grupo D porque estes não são testes baseados em
desempenho; fornecer recomendações sobre a classificação de pontuação para esses tipos de instrumentos
estava além do escopo de nosso mandato BOD da AACN. Para os testes dos Grupos A, B e C, o objetivo da
aplicação do teste e o tipo de informação que o teste fornece são fundamentalmente diferentes um do outro,
bem como dos testes que têm distribuições de pontuação normais ou quase normais. Consequentemente,
abordamos os testes em cada categoria separadamente e fornecemos uma discussão resumida com
recomendações nas seções relevantes abaixo.

A. Testes com distribuições altamente enviesadas

Os testes nesta categoria são componentes fundamentais de uma avaliação neuropsicológica completa, pois
muitos são projetados para avaliar uma habilidade ou domínio cognitivo específico (por exemplo, Julgamento
da Orientação da Linha, Teste de Nomenclatura da Bateria de Avaliação Neuropsicológica, categorias concluídas
no Teste de Classificação de Cartas de Wisconsin [WCST], teste de reconhecimento no Teste Breve de Memória
Visuoespacial - Revisado [BVMT-R], etc.). A natureza de tais testes é mais comparável às medidas baseadas em
critérios que avaliam uma habilidade específica para a qual há pouca variabilidade entre indivíduos considerados
“normais” ou saudáveis. Em geral, o objetivo desses testes é identificar áreas específicas de comprometimento
ou déficit em examinandos, ao contrário de medidas normativas que mostram alta variabilidade com indivíduos
“normais” ou saudáveis e situam os resultados dentro da distribuição normal da população.Duas questões
organizacionais relacionadas a essas medidas foram contempladas pelos membros do grupo em profundidade:
É apropriado usar pontuações padrão para testes com faixas altamente restritas? e As pontuações nesses testes
devem ser rotuladas de forma diferente dos testes com distribuições normais?
Com relação aos testes com faixas de pontuação altamente restritas, o consenso foi que percentis devem ser
usados em vez de pontuações padrão. A justificativa para essa recomendação é baseada no fato de que as
classificações de percentis são mais comparáveis e significativas do que outras pontuações transformadas
quando a distribuição é altamente distorcida. É importante ressaltar que os percentis para testes não
distribuídos normalmente são baseados em contagens cumulativas reais de indivíduos que obtiveram uma
pontuação específica e, portanto, não são estimativas estatísticas baseadas em unidades de desvio padrão em
torno da média do grupo de referência. Portanto, recomendamos evitar o uso de pontuações padrão para os
resultados desses testes.

Para alguns testes com distribuições distorcidas, a normalidade pode ser aproximada por meio de vários
procedimentos de “suavização”. O uso de pontuações padrão nessas situações pode ser justificável, mas o
médico deve pesar cuidadosamente os riscos e benefícios da transformação da pontuação padrão e dar
consideração adicional sobre como essas pontuações devem ser rotuladas.

Em relação à questão de saber se as pontuações nesses testes devem ser rotuladas de forma diferente dos testes
com distribuições normais, o consenso do grupo foi que os rótulos devem ser os mesmos entre os dois tipos de
testes, pelos seguintes motivos:

• Usar uma linguagem comum e um sistema simplificado para rótulos descritivos nos dois tipos de
testes é muito menos confuso para médicos e consumidores.

• O uso de um sistema de rotulagem separado para testes nesta categoria criaria um sistema
desnecessariamente complexo que poderia ser difícil de empregar em alguns ambientes clínicos.

• Às vezes, o neuropsicólogo pode não saber se a distribuição subjacente de um teste específico é


normal ou não normal. Além disso, a distribuição subjacente do teste pode estar sujeita a alterações
dependendo de variáveis demográficas específicas (por exemplo, sexo, idade, educação e
considerações multiculturais).

• Neuropsicólogos competentes devem compreender o teste, sua finalidade e sua distribuição de


pontuação na população normal.

Esta recomendação de aplicar rótulos descritivos comparáveis a testes com distribuições normais ou distorcidas
é feita com quatro exceções importantes:

a. Os mesmos rótulos usados com testes normalmente distribuídos são recomendados, com a
qualificação de que a classificação de percentil deve ser usada para determinar o rótulo, não uma
pontuação padrão. Isso é direto quando aplicado à classificação de pontuações na extremidade
inferior da distribuição, mas não na extremidade superior da distribuição (ver b. Abaixo).

b. Em testes altamente distorcidos, às vezes é estatisticamente impossível obter uma pontuação


percentual nas faixas mais altas. Em muitos destes ensaios um perfeita ou quase perfeita pontuação
bruta é tipicamente descrita como sendo igual ou superior ao 16 ° percentil. Por exemplo, uma
pontuação perfeita de 6 categorias corrigir no WCST é conhecida simplesmente como acima do
16 º percentil. Isso também é verdadeiro para uma pontuação perfeita no reconhecimento do BVMT-
R ou na cópia da figura complexa de Rey. Considerando esta medição e a realidade estatística,
descrever tais pontuações como qualquer coisa, exceto estando dentro das expectativas
normais ou dentro dos limites normais, seria inapropriado.

c. Dado que os testes distorcidos têm efeitos de teto ou piso significativos e muitas vezes são projetados
para identificar déficits, não desempenho excepcional, rotular pontuações mais altas nesses testes
como acima da média ou excepcionalmente alta (mesmo quando a faixa de percentil é alta) pode não
ser significativo e pode ser enganoso. Por exemplo, o JLO, um teste de 30 itens, tem um teto baixo
em que 28% da amostra normativa obteve pontuações corrigidas de 29–30 e pontuações acima de
21 foram obtidas por 93% da amostra. Embora um grande número de 29 ou 30 de queda no
86 th percentil, rotulagem estas pontuações como superior, tal como classificado no manual (p. 59),
não é tão significativa quanto simplesmente indicando que o marcador estava dentro dos limites
normais ou dentro das expectativas normais (Benton , Sivan, Hamsher, Varney, & Spreen, 1994) Para
elaborar este ponto, a pontuação no 86 º percentil no JLO não tem o mesmo significado clínico como
um teste com pontuação distribuídos normalmente, como Bloco de design, quando pontuação no
86 º percentil. Para o último, classificações de percentis altos sempre indicam que uma pequena
porcentagem da amostra normativa obteve uma pontuação nessa faixa superior. Como este exemplo
ilustra, isso não é verdade para testes com distribuições altamente distorcidas. Assim,
recomendamos que os profissionais evitem usar os descritores de média alta, acima da média ou
excepcionalmente alta ao rotular as pontuações na extremidade superior de uma distribuição
altamente enviesada. Em vez disso, usando um rótulo descritivo que transmite o significado geral de
uma pontuação de teste, como o desempenho estava dentro das expectativas normaisou dentro dos
limites normais , seria mais apropriado, incluindo os resultados dos testes que caem dentro da média
ou acima do 24 º percentil. A tabela abaixo elucida recomendações de pontuação de teste de
distribuição não normal com base em percentis. Advertimos, entretanto, que nem todos os testes
não distribuídos normalmente se encaixam no exemplo que fornecemos. É importante ressaltar que
essas etiquetas não devem ser aplicadas a PVTs (consulte a letra C abaixo).

d. Finalmente, para testes em que procedimentos de suavização foram empregados no


desenvolvimento de normas, o uso do rótulo de pontuação "excepcionalmente alto" é fortemente
desencorajado porque este rótulo é descritivamente reservado para testes com distribuições
genuínas normais ou quase normais, ou seja, quando pontuações no excepcionalmente alta categoria
representam desempenhos iguais ou superiores a 98 ° percentil ( Tabela 2 ).

Tabela 2. Rótulos de pontuação de teste recomendados com base em percentis para testes com distribuições
não normais.

CSVTabela de exibição

B. Testes usados para determinar a presença ou ausência de sinais patognomônicos

Os testes para determinar a presença ou ausência de sinais patognomônicos ou condições específicas


geralmente não são afetados por várias variáveis demográficas. Por exemplo, espera-se que adultos saudáveis
tenham um desempenho com poucos ou nenhum erro ou irregularidades nos testes de práxis, sequenciamento
motor e bissecção de linha. É claro que surgem exceções em crianças devido a considerações de
desenvolvimento. Por exemplo, certos erros baseados na linguagem exibidos por uma criança de 4 anos são
normais, mas se observados em uma pessoa de 17 anos, tais erros seriam considerados patognomônicos (por
exemplo, reversões de letras, erros parafásicos frequentes, etc.). As principais questões que consideramos
foram: “Quando distúrbios, síndromes ou sinais patognomônicos específicos são aparentes durante o teste, o
relato de uma pontuação é necessário, útil ou preciso? Isso pode ser enganoso? "

Após cuidadosa consideração, a recomendação de consenso é que quando um examinando exibe um sinal
patognomônico específico ou condição neurocomportamental, deve ser nomeado e / ou descrito em termos
comportamentais específicos. Por exemplo, “Em várias tarefas baseadas na linguagem, a fala não era fluente
com vários erros parafásicos. Ele não sabia ler nem escrever. No entanto, ele poderia repetir palavras e frases
curtas. Esses achados são consistentes com afasia motora transcortical ”. Além disso, ao se referir a resultados
negativos ou a ausência de patologia ou desempenho anormal nesses tipos de testes, o uso de
termos intacto , presente ou ausenteé sugerido, conforme apropriado para o tipo de sinal. Nossa posição é que
descrever ou nomear um sinal ou condição patognomônica é muito mais informativo e preciso do que atribuir
uma pontuação, mesmo se houver faixas de pontuação disponíveis. O uso de rótulos para pontuações de teste
nesta categoria de testes não é tão significativo ou informativo quanto as descrições específicas e precisas do
desempenho ou identificação da condição / síndrome específica. Um neuropsicólogo competente tem uma
compreensão sofisticada das relações cérebro-comportamento e será hábil na identificação de apresentações
neurocomportamentais clássicas sem a necessidade de pontuações de teste (por exemplo, afasia, apraxia,
desatenção hemiespacial, agnosia, etc.).Isso é particularmente aparente quando os procedimentos de avaliação
são usados para revelar ou investigar a presença ou ausência de sinais patognomônicos ou condições
neurocomportamentais específicas na categoria B.

C. Testes de validade de desempenho

De todos os tipos de teste considerados pelo grupo de trabalho de distribuição não normal, este recebeu a maior
atenção da comunidade neuropsicológica. As razões para isso são provavelmente multifatoriais, mas
certamente ligadas às implicações das pontuações de rotulagem de uma maneira específica, especialmente em
contextos forenses.

Depois de considerar uma série de sugestões fornecidas por médicos da AACN interessados nesta categoria
particular de testes, o consenso foi que o seguinte sistema de três camadas para pontuações de rotulagem
deveria ser usado - intervalo válido , intervalo indeterminado , intervalo inválido.

Embora uma variedade de sistemas existentes tenha sido considerada, muitos foram rejeitados porque
continham ou implicavam uma posição interpretativa (por exemplo, aprovação vs. reprovação), eram
potencialmente julgadores (aceitável vs. inaceitável), careciam de especificidade ou concisão ou não
capturavam adequadamente o intervalo das razões para o baixo desempenho (ou seja, um indivíduo pode obter
pontuações baixas em PVTs por várias razões, sendo a retenção intencional de esforço uma delas).

A possível inclusão de um rótulo de quarta categoria (ou seja , desempenho abaixo do nível de chance ) foi
discutida, mas foi rejeitada pelos seguintes motivos: (1) mover além do rótulo de pontuação de intervalo inválido
para um subconjunto de pontuações abaixo do nível de chance pode parecer mover além da descrição para
interpretação dentro do intervalo inválido geral; (2) adicionar um intervalo de pontuação de subconjunto dentro
do intervalo já rotulado como inválido seria potencialmente mais confuso e mais difícil de aplicar
consistentemente entre os profissionais; e (3) espera-se que um neuropsicólogo competente comente sobre
desempenhos e implicações significativamente abaixo do acaso, ao integrar todas as informações pertinentes
em seu resumo interpretativo e formulação de caso.

Um ponto crítico é que atingir uma pontuação de faixa inválida em um PVT nem sempre ou automaticamente
indica a presença de simulação ou “esforço comprometido” e pode ou não invalidar todos os resultados do
teste. Com relação a essas questões, os atuais participantes da conferência de consenso não tiveram áreas de
desacordo com as recomendações de prática delineadas na declaração de consenso da AACN de 2009 sobre
validade de resposta e simulação (Heilbronner et al. 2009 ). Em situações em que um examinado produz uma
ou mais faixas inválidas ou pontuação (ões) de faixa indeterminada (s), é o clínico que é responsável por julgar,
com base na totalidade das informações disponíveis, o que essas pontuações significam e como devem ser
interpretadas.

Finalmente, exemplos de como esses rótulos podem ser usados em um relatório são fornecidos em três
exemplos separados abaixo. Esses exemplos podem ser incluídos em uma seção de relatório que descreve
resultados de testes individuais. Em cada exemplo, há uma referência clara a uma pontuação, ao invés de uma
declaração interpretativa específica.

• A pontuação do examinado em um PVT independente estava dentro da faixa válida.


• Em um PVT incorporado, o examinando atingiu uma pontuação de faixa indeterminada.
• A pontuação de PVT da memória de escolha forçada estava dentro do intervalo inválido.

Recomendações de consenso para definição e aplicação de deficiência

Das três áreas consideradas pela conferência de consenso, a definição de deficiência evocou o menor número
de respostas e sugestões da grande comunidade neuropsicológica da AACN. No entanto, após a própria
conferência de consenso e a publicação de nossas recomendações no listserv da AACN, os participantes da
conferência de consenso revisitaram a definição inicial de deficiência. Diálogo e discussão contínuos resultaram
na seguinte recomendação de consenso para o termo deficiência:

O comprometimento neuropsicológico é uma capacidade neurocognitiva ou neurocomportamental anormal. A


deficiência pode resultar da perda de habilidade previamente adquirida ou resultar de desenvolvimento atípico,
pode ser transitória ou fixa ao longo do tempo e pode ter impacto variável na capacidade funcional e na
incapacidade. Os escores dos testes, por si só, não definem deficiência. Uma combinação de fatores, incluindo
pontuações de testes que desviam das expectativas e outros achados relacionados à capacidade funcional,
identifica o comprometimento neuropsicológico.

Ao aplicar a definição de imparidade em casos individuais, os seguintes fatores, entre outros, devem ser
considerados.

• Variabilidade intra-individual normal e a frequência de pontuações baixas em populações normais


(Binder, Iverson, & Brooks, 2009 ; Donnell, Belanger, & Vanderploeg, 2011 ; Heyanka, Holster, &
Golden, 2013 ; Palmer, Boone, Lesser, & Wohl , 1998 ; Schretlen, Munro, Anthony, &
Pearlson, 2003 ). Este último está relacionado, entre outros fatores, ao número de exames
administrados e ao ponto de corte utilizado para definir a anormalidade.
• A convergência de variância compartilhada versus única entre os testes.

• As características do padrão normativo / de comparação (por exemplo, normas demograficamente


estratificadas versus normas da população geral).
• Validade de desempenho.

• Engajamento de teste.

• Fatores culturais associados a diferentes diversidades (por exemplo, idioma, alfabetização, nível e
qualidade da educação, familiaridade e conforto com a situação do teste, preconceitos do teste,
oportunidades de aprendizagem, concepção de comportamento inteligente e estilo de comunicação).
• Condições emocionais e médicas, medicamentos, fatores físicos (não enfermidades) e cognitivos.

• Pontuações altas ou a falta de pontuações baixas não impedem a determinação de limitações funcionais
ou "comprometimento". Por outro lado, pontuações baixas não indicam necessariamente prejuízo
funcional; consideração do contexto é necessária para fazer tais determinações.
• A relevância funcional do achado no contexto do encaminhamento.

• Exigências ambientais e de tarefas, bem como apoios que melhoram ou mitigam a capacidade
neurocognitiva ou neurocomportamental.
Ao relatar os resultados às fontes de referência, as informações devem ser claras e específicas e transmitir
conclusões interpretativas significativas, como indicar a presença ou ausência de deficiência, ou que as
descobertas são ambíguas. Esse relatório pode ser feito para domínios individuais ou funcionamento geral.

Resumo

A falta de uniformidade na aplicação de rótulos de pontuação de teste de desempenho tem sido um problema
de longa data na neuropsicologia clínica. Esta conferência de consenso é a primeira tentativa formal pela
comunidade neuropsicológica profissional de fazer recomendações para rótulos de pontuação de teste de
desempenho uniformes e para avançar uma definição consistente de deficiência. Nossas recomendações não
são mandatos ou padrões, mas sim representam a opinião consensual de especialistas sobre essas questões
importantes. Esperamos que os médicos incorporem nossas recomendações em suas práticas clínicas para
aumentar a uniformidade dos descritores de pontuação do teste, a forma mais frequente pela qual o
desempenho do teste é comunicado em relatórios clínicos e forenses.O uso de descritores e termos uniformes
reduzirá a confusão e aumentará a compreensão do relatório por parte dos consumidores de nossos relatórios,
bem como de nossos trainees e colegas.

Nossas recomendações não têm a intenção de interferir ou restringir a interpretaçãode pontuação em testes,
que continua a depender exclusivamente do julgamento clínico do profissional. Reconhecemos e aceitamos que
nem todos os neuropsicólogos acharão nossas recomendações adequadas para adoção em suas práticas clínicas
ou concordarão com nossas recomendações de consenso. No entanto, nossas recomendações de consenso são
a primeira tentativa organizada por nossa especialidade para atingir a uniformidade do descritor de teste e,
como tal, podem iniciar um diálogo contínuo em toda a especialidade sobre este assunto crítico. Também
reconhecemos que nossas recomendações não são imutáveis e que a introdução de novos métodos e
tecnologias de avaliação pode exigir modificações futuras para acomodar essas inovações. Consequentemente,
os participantes da conferência de consenso acolhem respeitosamente o diálogo contínuo para desenvolver e
refinar nossa nomenclatura.Também desejamos agradecer o tempo e esforço de todos os membros da
comunidade neuropsicológica da AACN que contribuíram com comentários e sugestões úteis para nos ajudar
neste esforço valioso

Você também pode gostar