Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

Semakula et al. Ensaioshttps://doi.org/

(2020) 21: 187
10.1186/s13063-020-4093-x

PESQUISAR Acesso livre

Efeitos do podcast de Escolhas de Saúde Informadas

sobre a capacidade dos pais de crianças do ensino
fundamental em Uganda para avaliar a confiabilidade
das afirmações sobre os efeitos do tratamento:
acompanhamento de um ano de um ensaio
randomizado
Daniel Semakula1,2, Allen Nsangi1,2, Andrew D. Oxman3 * , Matt Oxman3, Astrid Austvoll-Dahlgren3, Sarah
Rosenbaum3, Angela Morelli4Claire Glenton3, Simon Lewin3,5, Laetitia Nyirazinyoye6, Margaret Kaseje7, Iain
Chalmers8, Atle Fretheim2,3, Christopher J. Rose3 e Nelson K. Sewankambo1

Resumo
Introdução: Anteriormente, projetamos e avaliamos uma intervenção educacional na mídia de massa para melhorar a capacidade das
pessoas de pensar de forma mais crítica e avaliar a confiabilidade das afirmações (afirmações) sobre os benefícios e danos (efeitos) dos
tratamentos. Os objetivos gerais deste estudo de acompanhamento foram avaliar o impacto de nossa intervenção 1 ano após sua
administração e avaliar a retenção de aprendizado e comportamento em relação a alegações sobre tratamentos.

Métodos: Alocamos aleatoriamente os pais que consentiram em ouvir o podcast de Escolhas de Saúde Informadas (intervenção) ou anúncios
de serviço público típicos sobre questões de saúde (controle) durante 7–10 semanas. Cada episódio de intervenção explicou como a
confiabilidade das alegações de tratamento pode ser avaliada usando conceitos-chave relevantes de tomada de decisão baseada em
evidências. Os participantes ouviram dois episódios por semana, ministrados por assistentes de pesquisa. Avaliamos os resultados
imediatamente e um ano após a intervenção. Os resultados primários foram a pontuação média e a proporção com uma pontuação indicando
uma capacidade básica de aplicar os conceitos-chave (> 11 de 18 respostas corretas) em uma ferramenta que mede a capacidade das pessoas
de avaliar criticamente a confiabilidade das alegações de tratamento. Decadência / retenção de habilidades foi estimada calculando a
diferença relativa entre o acompanhamento e os resultados iniciais no grupo de intervenção, ajustando para o acaso. As análises estatísticas
foram realizadas usando R (R Core Team, Viena, Áustria; versão 3.4.3).

Resultados: Após 1 ano, a pontuação média dos pais no grupo de intervenção foi de 58,9% de respostas corretas, em comparação com 52,6%
no controle (diferença média ajustada de 6,7% (IC 95% 3,3% a 10,1%)). No grupo de intervenção, 47,2% dos 267 pais tiveram uma pontuação
que indica uma capacidade básica de avaliar as reivindicações do tratamento em comparação com 39,5% dos 256 pais no controle (diferença
ajustada de 9,8% a mais dos pais (IC 95% 0,9% a 18,9%). Estes representam reduções relativas de 29% nas pontuações médias e 33% na
proporção de pais com uma pontuação que indica uma capacidade básica de avaliar a confiabilidade das afirmações sobre os efeitos do
tratamento.

(Continua na próxima página)

* Correspondência: oxman@online.no
3Centro para Escolhas de Saúde Informadas, Instituto Norueguês de Saúde Pública,
Postboks 222, Skøyen, 0213 Oslo, Noruega
A lista completa de informações do autor está disponível no final do artigo

© O (s) autor (es). 2020Acesso livre Este artigo é distribuído sob os termos da Licença Internacional Creative Commons Atribuição
4.0 (http://creativecommons.org/licenses/by/4.0/), que permite o uso irrestrito, distribuição e reprodução em qualquer meio, desde
que você dê o devido crédito ao (s) autor (es) original (is) e à fonte, forneça um link para a licença Creative Commons e indique se
alterações foram feitas. A renúncia de dedicação de domínio público Creative Commons (http://creativecommons.org/
publicdomain/zero/1.0/) aplica-se aos dados disponibilizados neste artigo, salvo indicação em contrário.
Semakula et al. Ensaios (2020) 21: 187 Página 2 de 18

(Continuação da página anterior)

Conclusões: Embora ouvir o podcast de escolhas de saúde informadas inicialmente tenha levado a uma grande melhoria na capacidade dos pais de
avaliar as alegações sobre os efeitos dos tratamentos, nossos resultados mostram que essas habilidades diminuíram substancialmente ao longo de
1 ano. A prática mais ativa pode resolver a queda substancial de habilidades observada ao longo de 1 ano.

Registro de teste: Registro de Ensaios Clínicos Pan-Africanos (www.pactr.org), PACTR201606001676150. Registrado em 12 de junho de 2016.

Palavras-chave: Podcast, escolhas de saúde, efeitos de tratamento, tomada de decisão baseada em evidências, pensamento crítico, educação em saúde, cuidados de
saúde baseados em evidências, escolhas de saúde informadas, alegações sobre efeitos de tratamento

O que já é conhecido? os tratamentos são especialmente importantes em países de baixa

Em um teste conduzido em 2016, o podcast do Informed Health
Choices foi eficaz em melhorar a capacidade das pessoas de
avaliar criticamente a confiabilidade das alegações sobre os
efeitos do tratamento imediatamente após a intervenção.
Quais são as novas descobertas?
O efeito do podcast de Escolhas de Saúde Informadas sobre a
capacidade das pessoas de avaliar a confiabilidade das afirmações
sobre os efeitos do tratamento reduziu acentuadamente no ano após a
implementação da intervenção, indicando uma diminuição substancial
das habilidades.
O que essas descobertas implicam?
O efeito do podcast de escolhas de saúde informadas sobre a
capacidade das pessoas de pensar criticamente sobre as
alegações sobre os efeitos dos tratamentos provavelmente reduz
significativamente com o tempo, na ausência de intervenção
adicional ou prática regular. Para que a aprendizagem seja
sustentada, devem ser feitas considerações para reforçar as
mensagens do podcast.
renda, que têm poucos recursos para desperdiçar e onde as
repercussões por fazer escolhas ruins de saúde são
provavelmente maiores [30-34] No entanto, existem poucos
recursos para ensinar as pessoas sem um histórico de saúde e / ou
pesquisa a pensar mais criticamente na avaliação de alegações
sobre tratamentos e poucos estudos avaliaram os efeitos das
intervenções para ensinar os pacientes ou o público a pensar
criticamente sobre as escolhas de saúde [35, 36] Como parte do
projeto Escolhas de Saúde Informadas (IHC) [37], desenvolvemos
uma intervenção na mídia de massa (um podcast de educação e
entretenimento) para ajudar a preencher essa lacuna.
Começamos identificando os conceitos-chave que as
pessoas devem entender e aplicar ao avaliar alegações sobre
tratamentos [38, 39] Chamamos isso de conceitos-chave das
escolhas de saúde informadas (IHC). Juntamente com
jornalistas em Uganda, avaliamos quais conceitos-chave são
mais importantes para o público entender [40] Nossa
intervenção na mídia de massa foi desenvolvida para ensinar 9
dos agora 49 conceitos-chave do IHC (Tabela1) para pais de
crianças em escolas primárias [41]

Fundo Descrição da intervenção (podcast de escolhas de saúde

Muitos países e sociedades hoje enfrentam uma superabundância
de alegações (coisas que as pessoas dizem) sobre os efeitos dos
tratamentos e conselhos sobre o que devemos fazer para
melhorar ou manter nossa saúde [1-6] Algumas delas são sobre os
efeitos de intervenções médicas ou cirúrgicas, preventivas ou
paliativas individuais e intervenções de saúde pública. Essas
reivindicações aumentaram em frequência, alcance geográfico e
velocidade de disseminação conforme o acesso à informação, a
Internet e o uso de mídia social aumentam [7-10] Muitas dessas
alegações não são baseadas em evidências confiáveis [11-14] e
representam uma parte do que algumas pessoas chamam de
notícias, conselhos ou histórias "falsas" sobre saúde. Muitas
pessoas não têm a aptidão necessária para avaliar criticamente a
confiabilidade das afirmações sobre os efeitos dos tratamentos e,
muitas vezes, agem sobre elas ao fazer escolhas sobre os
tratamentos [15-24] Escolhas de saúde mal informadas podem
resultar em uso excessivo de tratamentos ineficazes ou
prejudiciais (ações destinadas a manter ou melhorar a saúde de
indivíduos ou comunidades), subutilização de tratamentos
eficazes, desperdício e sofrimento desnecessário [25-29] Fazer
escolhas bem informadas sobre
informadas)
Desenvolvemos mensagens de áudio pré-gravadas
com ensinamentos sobre a avaliação crítica da
confiabilidade das afirmações sobre os efeitos dos
tratamentos. O podcast teve 13 episódios em inglês
e luganda, uma língua local amplamente falada na
área de estudo: uma introdução à série; oito
episódios principais; três episódios de recapitulação
curtos, cada um dos quais resumiu dois dos seis
primeiros episódios principais; e uma conclusão.
Cada um dos oito episódios principais incluiu um
conto com um exemplo de uma afirmação de
tratamento, uma explicação do conceito-chave IHC
aplicado à afirmação e outro exemplo dentro da
mesma história ilustrando o conceito. Os exemplos
de alegações foram identificados a partir da análise
de relatórios recentes da mídia de massa e de
entrevistas com pais.42] O podcast está disponível
online emhttps://www.youtube.com/ watch? v =
_QVdkJIdRA8 & list = PLeMvL6ApG1N0ySWBxP
NEDpD4tf1ZxrBfv.
Semakula et al. Ensaios (2020) 21: 187 Página 3 de 18

tabela 1 Conceitos-chave incluídos na mídia de massa IHC (podcast) e recursos da escola primária
Incluído na mídia de massa do IHC e Incluído apenas nos recursos de mídia de massa do Incluído apenas nos recursos da escola IHC
recursos da escola primária IHC (podcast)

Os tratamentos podem ser prejudiciais. Muitas vezes as

pessoas exageram os benefícios dos tratamentos e ignoram
ou minimizam os danos potenciais. No entanto, poucos
tratamentos eficazes são 100% seguros (incluídos no episódio
1 do podcast)

Experiências pessoais ou anedotas (histórias sobre como

um tratamento ajudou ou prejudicou alguém) não são
uma base confiável para prever os efeitos da maioria dos
tratamentos (incluído no episódio 3 do podcast)

O resultado do tratamento pode estar associado a um

tratamento, mas não pode ser causado pelo tratamento.
O fato de um possível resultado do tratamento (ou seja,
um benefício ou dano potencial) estar associado a um
tratamento não significa que o tratamento causou o
resultado. A associação ou correlação pode ser devido ao
acaso ou algum outro fator subjacente. Por exemplo, as
pessoas que procuram e recebem um tratamento
podem ser mais saudáveis e ter melhores condições de
vida do que aquelas que não procuram e não recebem o
tratamento. Portanto, as pessoas que recebem o
tratamento podem parecer se beneficiar com o
tratamento, mas a diferença nos resultados pode ser
porque são mais saudáveis e têm melhores condições
de vida, e não por causa do tratamento (incluído no
episódio 4 do podcast)

O quão amplamente ou por quanto tempo um tratamento é

usado não é um indicador confiável de quão benéfico ou
seguro ele é. Tratamentos que não foram avaliados
adequadamente, mas são amplamente usados ou têm sido
usados por muito tempo, costumam funcionar. Às vezes, no
entanto, eles podem ser inseguros ou de benefício duvidoso
(incluído no episódio 5 do podcast)

Tratamentos novos, de marca, tecnologicamente

impressionantes ou mais caros podem não ser
melhores do que as alternativas disponíveis

As opiniões de especialistas ou autoridades não fornecem

por si só uma base confiável para decidir sobre os benefícios
e danos dos tratamentos. Médicos, pesquisadores,
organizações de pacientes e outras autoridades
frequentemente discordam sobre os efeitos dos
tratamentos. Isso pode ser porque suas opiniões nem
sempre são baseadas em revisões sistemáticas de
comparações justas de tratamentos (incluído no episódio 6
do podcast)

O conflito de interesses pode resultar em alegações

enganosas sobre os efeitos dos tratamentos. Pessoas
com interesse em promover um tratamento (além de
querer ajudar as pessoas) - por exemplo, para ganhar
dinheiro - podem promover tratamentos exagerando
os benefícios, ignorando potenciais efeitos nocivos,
escolhendo as informações que serão usadas ou
fazendo afirmações falsas. Por outro lado, as pessoas
podem se opor a um tratamento por uma série de
razões, como práticas culturais

Comparações

Avaliar os efeitos dos tratamentos depende

de fazer comparações apropriadas. Se um
tratamento não é comparado a outra coisa,
não é possível saber o que aconteceria sem o
tratamento, por isso é difícil atribuir
resultados ao tratamento (incluído no
episódio 2 do podcast)
Semakula et al. Ensaios (2020) 21: 187
tabela 1 Conceitos-chave incluídos na mídia de massa IHC (podcast) e recursos da escola primária (Contínuo)
Incluído na mídia de massa do IHC e
recursos da escola primária
As comparações de tratamentos devem ser justas. Além
dos tratamentos que estão sendo comparados, os
grupos de comparação precisam ser semelhantes no
início de uma comparação
(ou seja, "semelhante deve ser comparado com
semelhante") (incluído no episódio 7 do podcast)
Os resultados de comparações únicas de tratamentos
(ensaios) podem ser enganosos. Uma única comparação
de tratamentos raramente fornece evidências conclusivas
e os resultados muitas vezes estão disponíveis em outras
comparações dos mesmos tratamentos. Essas outras
comparações podem ter resultados diferentes ou podem
ajudar a fornecer estimativas mais confiáveis e precisas
dos efeitos dos tratamentos (incluídos no episódio 8 do
podcast)
Escolhas
Como os tratamentos podem ter efeitos prejudiciais
e também benéficos, as decisões não devem se
basear na consideração apenas de seus benefícios.
Em vez disso, eles devem ser informados pelo
equilíbrio entre os benefícios e os danos dos
tratamentos. Os custos também precisam ser
considerados (incluídos em todos os episódios)
IHC Opções de saúde informadas
Os conceitos são mostrados aqui conforme descritos na lista de conceitos-chave, [38, 39]
Conforme descrito no artigo que descreve os resultados
da avaliação inicial, os assistentes de pesquisa entregaram
a intervenção aos pais em reprodutores de multimídia nos
locais de trabalho e / ou residências dos pacientes por um
período de 7 a 10 semanas. Eles ouviam dois novos
episódios a cada semana e uma recapitulação dos
episódios anteriores. Após essa escuta observada, eles
receberam o conteúdo do podcast em players portáteis de
multimídia para ouvir por conta própria antes de
concluírem a ferramenta de avaliação [43] Esta informação
foi apresentada antes de [43] Conscientes do autoplágio,
só o apresentamos aqui para facilitar ao leitor, em
Página 4 de 18
Incluído apenas nos recursos de mídia de massa do Incluído apenas nos recursos da escola IHC
IHC (podcast)
Se possível, as pessoas não devem saber qual dos
tratamentos comparados elas estão recebendo. As
pessoas em um grupo de tratamento podem se
comportar de maneira diferente ou experimentar
melhorias ou deterioração como resultado do
conhecimento do tratamento para o qual foram
designadas. Se esse fenômeno estiver associado a uma
melhora nos sintomas, é conhecido como efeito placebo;
se estiver associado a um efeito nocivo, é conhecido
como efeito nocebo. Se
os indivíduos sabem que estão recebendo um
tratamento que acreditam ser melhor ou pior do
que uma alternativa (ou seja, eles não são "cegos"),
alguns ou todos os efeitos aparentes dos
tratamentos podem ser devidos a efeitos de
placebo ou nocebo
Pequenos estudos nos quais ocorrem poucos eventos de
desfecho geralmente não são informativos e os
resultados podem ser enganosos. Quando há poucos
eventos de resultado, as diferenças nas frequências de
resultado entre os grupos de comparação de tratamento
podem facilmente ter ocorrido por acaso e podem ser
erroneamente atribuídas a diferenças nos efeitos dos
tratamentos
caso não seja possível encontrá-lo facilmente em publicações
anteriores.
Em 2016, realizamos um ensaio randomizado para avaliar os
efeitos do podcast IHC sobre a capacidade dos pais em Uganda de
aplicar conceitos-chave de tomada de decisão baseada em
evidências na avaliação da confiabilidade das alegações sobre os
efeitos dos tratamentos. O ensaio mostrou que os pais que
ouviram o podcast IHC tiveram uma grande melhora em sua
capacidade de avaliar os efeitos do tratamento logo após ouvir
todos os episódios [43] Também desenvolvemos recursos de
aprendizagem para ensinar 12 dos conceitos-chave (Tabela1) para
crianças no quinto ano do ensino fundamental
Semakula et al. Ensaios (2020) 21: 187 Página 5 de 18

escola em Uganda. Um ensaio clínico randomizado de impossibilitados de ouvir ou contatáveis por telefone, foram
agrupamento mostrou que a intervenção da escola primária de excluídos pesquisadores da área de saúde e participantes do
IHC também teve um grande efeito na capacidade das crianças de desenvolvimento do podcast. Os pais de crianças que
aplicar esses conceitos-chave de IHC [44] participaram do desenvolvimento dos recursos da escola
O acompanhamento durou 7–10 semanas e após 1 ano. Neste relatório, apresentamos métodos e primária também foram excluídos.
resultados de um estudo de acompanhamento de 1 ano dos efeitos de um podcast educacional. O principal

objetivo do estudo de acompanhamento foi avaliar a capacidade dos pais de avaliar a confiabilidade das
alegações sobre os efeitos dos tratamentos um ano após ouvir o podcast. Isso nos permitiria determinar
quanto das habilidades de avaliação crítica aprendidas foram retidas no geral e para cada conceito-chave de
IHC. Muitos ensaios clínicos têm períodos curtos de acompanhamento e são implementados em ambientes
altamente controlados com resultados altamente seletivos pré-especificados pelos investigadores. Embora os
estudos de acompanhamento possam ser logisticamente desafiadores, eles podem fornecer informações
valiosas sobre os efeitos de longo prazo (benefícios e danos) e custos das intervenções de saúde que os
investigadores não foram capazes de obter durante o período de acompanhamento do ensaio inicial. Também
objetivamos avaliar se e como os pais foram capazes de aplicar seus conceitos-chave recém-aprendidos na
tomada de decisões sobre os tratamentos no ano seguinte à intervenção, e seus comportamentos pretendidos
daqui para frente. Os resultados dos estudos irmãos - o estudo de acompanhamento de 1 ano dos recursos da
escola primária e avaliações do processo para o podcast e os recursos da escola primária - são relatados em
artigos complementares em outros lugares [ Também objetivamos avaliar se e como os pais foram capazes de
aplicar seus conceitos-chave recém-aprendidos na tomada de decisões sobre os tratamentos no ano seguinte
à intervenção, e seus comportamentos pretendidos daqui para frente. Os resultados dos estudos irmãos - o
estudo de acompanhamento de 1 ano dos recursos da escola primária e avaliações do processo para o
podcast e os recursos da escola primária - são relatados em artigos complementares em outros lugares
[ Também objetivamos avaliar se e como os pais foram capazes de aplicar seus conceitos-chave recém-
Participantes
O estudo foi realizado no centro de Uganda. Conforme
relatado anteriormente [43, 48], recrutamos pais e tutores de
crianças no quinto ano da escola primária que estavam
participando do ensaio de intervenção da escola primária da
IHC [44] Os pais foram recrutados em escolas de intervenção e
controle. Recrutamos uma amostra de conveniência de
participantes em reuniões de pais realizadas em 20 escolas de
intervenção e 15 escolas de controle, entre o final de agosto e
o início de novembro de 2016. Dos 675 pais que consentiram e
foram randomizados, 561 (83%) completaram o teste usado
para medir seus capacidade de avaliar as afirmações sobre os
efeitos dos tratamentos logo após ouvir o podcast, em 2016.
Tentamos acompanhar todos os 561 pais 1 ano após a
conclusão do teste. Entramos em contato com aqueles que
ainda estavam disponíveis por telefone e pedimos que
completassem o teste novamente.

aprendidos na tomada de decisões sobre os tratamentos no ano seguinte à intervenção, e seus Randomização e mascaramento
comportamentos pretendidos daqui para frente. Os resultados dos estudos irmãos - o estudo de Estratificamos os pais pelo nível mais alto de educação
acompanhamento de 1 ano dos recursos da escola primária e avaliações do processo para o podcast e os formal alcançado (escola primária, escola secundária ou
recursos da escola primária - são relatados em artigos complementares em outros lugares [45-47] educação terciária) e a alocação da escola de seus filhos no
julgamento dos recursos da escola primária (intervenção
ou controle). Geramos sequências de randomização com
tamanhos de bloco de quatro e seis com proporções de
Métodos
alocação iguais dentro de cada bloco, usando
Esta foi uma avaliação de acompanhamento de um ensaio
www.sealeden velope.com. Um estatístico que não era
randomizado de grupo paralelo comparando o podcast
membro da equipe de pesquisa gerou a sequência de
IHC para ensinar habilidades de avaliação crítica a uma
alocação e, junto com sua equipe, preparou seis listas de
série de gravações projetadas para soar como anúncios de
randomização (uma para cada combinação das duas
serviço público típicos sobre questões de saúde. Detalhes
variáveis de estratificação) com códigos únicos. Eles
sobre os métodos de estudo também podem ser
etiquetaram envelopes opacos com os códigos exclusivos,
encontrados no protocolo do ensaio [48] e o relatório dos
inseriram tiras de papel com o grupo de estudo atribuído a
resultados iniciais [43] Algumas das informações nesta
cada código e os lacraram. Atribuímos grupos de
seção foram apresentadas de alguma forma em nossas
participantes ao final de cada dia de reunião. Ao retornar
publicações anteriores [43, 48] Reutilizamos aqui apenas
ao escritório de gestão do ensaio, o assistente de pesquisa
para fins de dar clareza ao leitor que pode ter dificuldade
responsável pela alocação abriu o próximo envelope
em acessar as informações de nossas publicações
disponível no estrato correspondente ao nível de educação
anteriores, ciente do conceito de autoplágio. Fizemos o
de cada pai e se o filho desse pai foi para uma escola no
nosso melhor para reconhecer e fazer referência de forma
braço de intervenção ou controle dos recursos da escola
adequada.
primária tentativas.
Os assistentes de pesquisa que entregaram o podcast,
Elegibilidade os pesquisadores principais que os supervisionaram (DS e
Os pais no estudo de acompanhamento de 1 ano foram AN), os participantes do estudo e o estatístico analisaram
aqueles que participaram do ensaio randomizado que avaliou os dados, todos sabiam se os participantes receberam o
o impacto do podcast IHC em 2016 [43] Para participar desse podcast do IHC ou os anúncios de serviço público. Para
estudo, os pais deveriam compreender inglês ou luganda e garantir um desempenho uniforme na entrega do podcast
fornecer consentimento por escrito. Pais que eram e dos anúncios de serviço público e na avaliação de
Semakula et al. Ensaios (2020) 21: 187
resultados, toda a equipe do estudo foi treinada antes do início do
ensaio e recebeu treinamento de atualização durante o ensaio.
Procedimentos
Os participantes podiam escolher se queriam ouvir o
podcast ou os anúncios em inglês ou luganda. Os
participantes do grupo de controle ouviram
anúncios de serviço público típicos sobre as mesmas
condições que foram usadas no podcast IHC. O
podcast e os anúncios de serviço público foram
produzidos em colaboração com um produtor e
atores de rádio de Uganda. Assistentes de pesquisa
ajudaram no recrutamento, entrega do podcast,
acompanhamento e administração do teste usado
como medida de resultado. Eles entregaram
episódios do podcast ou anúncios de serviço público
aos participantes durante um período de 7 a 10
semanas. Para garantir que os participantes
ouvissem cada episódio (ou anúncio), os assistentes
de pesquisa visitavam cada participante uma vez por
semana, entregando dois episódios por meio de um
reprodutor de mídia portátil e alto-falante.
O teste incluiu 18 questões de múltipla escolha do banco de
dados Claim Evaluation Tools [49-51] - dois para cada um dos
nove conceitos-chave IHC (arquivo adicional 1) Como muitos
pais não tinham o inglês como primeira língua e muitos
tinham habilidades de leitura ruins, desenvolvemos uma
versão em áudio em Luganda do teste para ser administrado
por um entrevistador [52] Tivemos o cuidado de garantir que
os exemplos usados nas perguntas fossem diferentes dos
usados no podcast e que os participantes pudessem
entender o idioma usado sem ter ouvido o podcast. Para o
acompanhamento de 1 ano, os participantes responderam às
mesmas 18 perguntas que eles responderam inicialmente.
Assistentes de pesquisa visitaram os participantes
individualmente e administraram os testes.
As perguntas tinham entre duas e quatro opções de resposta,
com uma probabilidade geral de acertar 37% das perguntas
apenas por acaso. Usamos um padrão absoluto (referenciado por
critério) para definir um ponto de corte para uma pontuação de
aprovação (11 de 18 questões (61%) respondidas corretamente) e
uma pontuação de domínio (15 de 18 questões (83%) respondidas
corretamente) [53]
Foram incluídas 8 questões adicionais de múltipla escolha,
perfazendo um total de 26 questões. Essas perguntas abordaram
quatro conceitos-chave de IHC não cobertos pelo podcast (Tabela1
) Eles foram incluídos porque o mesmo teste foi usado no ensaio
randomizado vinculado avaliando os recursos da escola primária,
e esses conceitos-chave IHC foram cobertos nos recursos da
escola primária [44] As respostas a essas oito perguntas não
foram incluídas no primário
Página 6 de 18
análises do julgamento do podcast. O teste também incluiu questões
que avaliaram os comportamentos pretendidos e a autoeficácia.
Calculamos a retenção do que foi aprendido pelos pais no grupo
de podcast para ajudar a interpretar os resultados. A retenção é
relatada como as pontuações dos testes no grupo de podcast após
1 ano em relação às pontuações dos testes logo após ouvir o
podcast. A retenção para a pontuação média é ajustada para o
acaso, subtraindo a probabilidade de responder às perguntas
corretamente ao acaso (37%) das médias. Essas análises não
foram especificadas no protocolo, mas decidimos conduzi-las para
ajudar na interpretação dos resultados.
No teste realizado após 1 ano, também coletamos dados sobre
comportamentos autorreferidos. Fizemos as comparações
mostradas nas tabelas2, 3 e 4, com as hipóteses apresentadas na
Tabela 2. Eles também não foram especificados no protocolo
original para o estudo, mas foram planejados antes da coleta dos
dados de acompanhamento de 1 ano.
O ensaio empregou 29 assistentes de pesquisa, cada um dos
quais com até 25 participantes para acompanhar e entregar as
intervenções. Eles foram alocados ou participantes de controle ou
intervenção, mas não ambos. Os assistentes de pesquisa
mantinham registros, incluindo os motivos de abandono, e
registravam quaisquer eventos adversos inesperados. Também
coletamos dados qualitativos detalhados de entrevistas e
discussões de grupos de foco sobre os potenciais efeitos adversos
na avaliação do processo [46]
Os pesquisadores conduziram a avaliação de
acompanhamento, com a ajuda de assistentes de
pesquisa. Dada a natureza da intervenção, não foi possível
cegar os avaliadores de resultados.
Resultados
Os principais resultados foram:
1. Pontuação média (porcentagem de respostas corretas) no
teste feito um ano depois de ouvir todo o podcast
episódios ou todos os anúncios de serviço público
2. Proporção de participantes com uma pontuação que indica uma
compreensão básica e capacidade de aplicar os conceitos-
chave
Os resultados secundários foram:
1. Retenção do que foi aprendido
2. Proporção de participantes com uma pontuação indicando
domínio dos conceitos
3. para cada conceito-chave IHC, a proporção de participantes que
responderam a ambas as perguntas corretamente
4. Comportamentos pretendidos e autoeficácia
5. Comportamentos auto-relatados
6. Pontuações médias para os pais cujos filhos foram incluídos
no braço de intervenção do ensaio dos recursos da escola
primária IHC (para avaliar qualquer efeito
Semakula et al. Ensaios (2020) 21: 187
mesa 2 Comparações relacionadas a comportamentos auto-relatados no acompanhamento de 1 ano
Pergunta
Com que frequência você ouve alegações de tratamento?
[Para a última alegação de tratamento que você ouviu], você
considerou se acredita na base dessa alegação de tratamento?
Você tem certeza de que a alegação de tratamento que ouviu é
verdadeira ou confiável?
Qual é o seu grau de certeza sobre as vantagens e desvantagens do
tratamento [mais recente] que utilizou?
Quem você acha que deve decidir por você se deve usar
um tratamento ou não?
Tendo em vista o que você pensa sobre a base da alegação, o que você decidiu
fazer em relação ao tratamento?
de ter uma criança no braço de intervenção de um ensaio
relacionado, ensinando os mesmos conceitos às crianças)
Análise estatística
Estimamos que 397 participantes foram necessários para detectar
uma melhora de 10% no grupo de podcast com base em um
método descrito por Donner et al. [54], conforme descrito
anteriormente [43] Permitindo uma perda de acompanhamento
de 20%, estimamos que precisaríamos de um tamanho de
amostra de 497 participantes. Os dados dos participantes foram
analisados por seu grupo de alocação (intenção de tratar).
Para os resultados primários e secundários, modelamos
as duas variáveis de estratificação (nível de educação e
Tabela 3 Respostas consistentes (corretas) em relação à certeza sobre as alegações de tratamentouma
Se você ouviu falar de uma solicitação de tratamento, qual foi a sua base?
A experiência pessoal de alguém usando o tratamento O que um
especialista disse sobre isso
Um estudo de pesquisa que comparou o tratamento com outro tratamento
ou nenhum tratamento
Algo mais
Eu não poderia dizer em que a alegação de tratamento foi baseada
umaQuestões 28.5 e 28.6 no arquivo adicional 1
Página 7 de 18
Hipótese e base para a hipótese
As crianças no grupo de intervenção relatarão reivindicações de tratamento auditivo com mais
frequência porque estão mais cientes das reivindicações de tratamento e as identificam quando são
feitas
Uma proporção maior de crianças no grupo de intervenção responderá sim por estarem
mais conscientes de que muitas alegações não têm uma base confiável
Uma proporção menor de crianças no grupo de intervenção responderá "muito certo" ou "Não
sei", e uma proporção maior de crianças no grupo de intervenção responderá a esta pergunta
de forma consistente com sua resposta à pergunta anterior sobre a base de a reclamação
(Tabela 3) porque são mais capazes de avaliar a confiabilidade das reivindicações e sabem que
muitas reivindicações não têm uma base confiável
Uma proporção maior das crianças do grupo intervenção responderá “não tenho muita
certeza porque só conheço as vantagens”. Uma proporção menor responderá “muito certo”,
pois muitas vezes faltam informações sobre as desvantagens dos tratamentos. No entanto,
essa diferença, se houver, provavelmente será pequena, porque as crianças no grupo de
intervenção são mais propensas a considerar e buscar informações sobre as desvantagens
dos tratamentos
Uma proporção maior das crianças no grupo de intervenção responderá que desejam
ser incluídas (A, C, D, F ou G) porque aprenderam como fazer escolhas de saúde
informadas; e que se inclua alguém que conheça muito sobre tratamentos (E, F ou G),
por estar mais ciente da importância de avaliar a confiabilidade das evidências dos
efeitos e as habilidades necessárias para isso. No entanto, essa diferença, se houver,
provavelmente será pequena, porque as crianças no grupo de intervenção são mais
propensas a reconhecer que a opinião de especialistas por si só não é uma base
confiável para uma afirmação sobre os efeitos do tratamento
Uma proporção maior de crianças no grupo de intervenção responderá: "Não tenho muita certeza
porque não havia uma boa razão por trás das alegações sobre as vantagens do tratamento",
porque elas são mais propensas a identificar uma alegação com base não confiável
Uma proporção menor de crianças no grupo de intervenção em relação ao grupo de
controle escolheria usar um tratamento (na questão 29.7), tendo reconhecido que a
base para a alegação não era confiável (na questão 29.6)
alocação de escola da criança no ensaio da escola primária
IHC) como efeitos fixos, usando regressão logística para
resultados dicotômicos e regressão linear para resultados
contínuos. Valores ausentes foram contados como respostas
erradas. Para comportamentos pretendidos e autoeficácia,
dicotomizamos cada resultado combinando categorias, por
exemplo (1) "muito provável" com "provável" e (2) "muito
improvável", "improvável" e "não sei" com falta respostas.
Relatamos a proporção em cada categoria e nas categorias
combinadas (“provável ou muito provável” neste exemplo).
Para comparações da frequência com que os participantes relataram
reivindicações de tratamento auditivo, analisamos o ordinal
Você tem certeza de que a alegação de tratamento que ouviu é verdadeira ou
confiável?
Não tenho muita certeza porque o motivo por trás da reivindicação não era bom.
Não tenho muita certeza porque o motivo por trás da reivindicação não era bom
Não tenho muita certeza porque o motivo por trás da reivindicação não era bom
OU
Muito certo porque o motivo por trás da reclamação era bom
Não tenho muita certeza porque o motivo por trás da reclamação não era bom.
Não tenho muita certeza porque não sei o motivo por trás da reclamação
Semakula et al. Ensaios (2020) 21: 187
Tabela 4 Critérios de exclusão para comportamentos autorreferidos
Opções de resposta para as questões 28.2 e 29.3
28.2 Sobre qual alegação de tratamento você ouviu pela última vez?
29.3 Qual foi o tratamento pelo qual você ou um
adulto tomou a decisão?
Usar um medicamento (por exemplo, tomar um comprimido ou xarope)
Fazer uma operação (por exemplo, remover um dente estragado)
Usar algo para se sentir melhor ou para curar mais
rapidamente (por exemplo, usar um curativo ou óculos)
Outra coisa (comer ou beber algo para se sentir melhor
(por exemplo, ervas ou frutas))
Evitar fazer algo para se sentir melhor (por exemplo, não
beber leite)
Algo mais
dados usando regressão logística ordinal. Também dicotomizamos
as respostas (uma afirmação ou mais na maioria dos dias ou na
maioria das semanas versus na maioria dos meses, quase nunca,
não sei ou faltando), que analisamos por meio de regressão
logística. Dicotomizamos as respostas para as outras comparações
(Tabela2)
Como essas perguntas não foram validadas anteriormente,
usamos perguntas abertas para validar as respostas à pergunta
anterior sobre o tipo de tratamento e para validar que eles
entenderam o que é uma alegação de tratamento. Codificamos as
respostas a essas perguntas como corretas ou incorretas e
excluímos todos os participantes que não identificaram
corretamente o tipo de tratamento (Tabela4) ou que não relatou
uma reclamação de tratamento, a partir das comparações na
Tabela 2. Também excluímos participantes que responderam:
“Nunca ouvi falar de quaisquer alegações de tratamento”. Para as
comparações sobre uma reclamação sobre um tratamento para o
qual eles tomaram uma decisão, excluímos os participantes que
responderam: “Nunca decidi usar ou não usar um tratamento”.
Avaliamos a consistência das respostas combinando as respostas
dos participantes com base na alegação de tratamento, conforme
mostrado na Tabela3. Além disso, desenvolvemos critérios de
exclusão para respostas consistentes em questões relacionadas ao
comportamento, conforme descrito na Tabela4 abaixo.
Para explorar o risco de viés devido ao atrito, que era maior no
grupo de controle do que no grupo de podcast, conduzimos duas
análises de sensibilidade. Primeiro, calculamos os limites do efeito
do tratamento de Lee [55] sobre a diferença média nas
pontuações dos testes, que fornece estimativas de pior e melhor
caso da diferença nas pontuações dos testes sob suposições
extremas sobre o efeito de possível desgaste não aleatório. Para
conseguir isso, calculamos os limites superior e inferior da
diferença média nas pontuações dos testes. Os limites são
construídos aparando o grupo com menos atrito nas caudas
superior e inferior da distribuição do resultado (pontuação do
teste), respectivamente. Nesta análise, a amostra foi cortada no
grupo de podcast (intervenção)
Página 8 de 18
Resposta às perguntas 28.3 e 29.4
28.3 Por favor, escreva a reclamação que você ouviu pela última vez
Qual foi a alegação sobre o tratamento para o qual você ou um adulto tomou a decisão?
Excluir, se a alegação não for sobre um medicamento
Excluir, se a alegação não for sobre uma operação Excluir,
se a alegação não for sobre equipamento
Exclua, se a alegação não for sobre comer / beber algo, por exemplo, ervas ou frutas
Exclua, se a reclamação não for sobre como evitar algo
Exclua, se a reclamação não for sobre um tratamento ("qualquer coisa feita para cuidar de você, para que você
fique bem ou, se estiver doente ou ferido, para que você melhore e não piore")
de forma que a proporção de pais incluídos na análise foi igual
para ambos os grupos. Não ajustamos as covariáveis nesta
análise. Em segundo lugar, reanalisamos os resultados dos
desfechos primários do teste inicial, excluindo os pais que não
completaram o teste de acompanhamento de 1 ano.
Exploramos se havia diferenças nos efeitos do
podcast sobre os pais, dependendo se eles tinham
ensino fundamental, médio ou superior. Também
exploramos se havia diferenças nos efeitos do podcast
sobre os pais que tinham um filho em uma escola que
recebeu os recursos da escola primária do IHC e
aqueles cujos filhos estavam em uma escola de
controle. Essas análises foram ajustadas para saber se
a criança estava em uma escola de intervenção e o nível
de educação formal dos pais, respectivamente, que
eram nossas variáveis de estratificação na
randomização. Os odds ratios das análises de
regressão logística foram convertidos em diferenças de
risco usando os odds do grupo de controle como
referência, multiplicando isso pelo odds ratio para
estimar as odds do grupo de intervenção,
Calculamos a diferença média padronizada ajustada
(Hedges ' g) [56] para comparação com os tamanhos de efeito
relatados em uma meta-análise da eficácia de outras
intervenções para melhorar o pensamento crítico [57] As
análises estatísticas foram realizadas usando R (R Core Team,
Viena, Áustria; versão 3.4.3; usando pacotes MASS, tidyverse,
compute.es, knitr, kableExtra, escalas e digest).
Envolvimento do paciente e do público
Constituímos um painel consultivo composto por membros do
público, que aconselharam sobre a concepção da intervenção (o
podcast IHC). Trabalhamos com o público para refinar os
protótipos do podcast por meio de processos iterativos de design
centrado no ser humano. Membros do público contribuíram com
ideias para esquetes dramáticos, a apresentação e as histórias dos
episódios, explicações e exemplos,
Semakula et al. Ensaios (2020) 21: 187
entre outros. Conduzimos testes de usuário usando
feedback fornecido por membros do público, que usamos
para melhorar o podcast. Alguns participantes ajudaram
no recrutamento ao convidar seus colegas para as
reuniões de recrutamento. Os resultados serão
compartilhados e explicados aos pais.
Resultados
Dos 675 pais que concordaram em participar e puderam ser
contatados por telefone, 334 foram alocados aleatoriamente
para ouvir o podcast e 341 foram alocados para o grupo de
anúncios de serviço público (controle) (Fig. 1) No grupo de
podcast, 288 pais (86,2%) completaram o teste inicialmente e
267 pais (80%) completaram o teste novamente após 1 ano.
No grupo de controle, 273 (80,1%) completaram o teste
inicialmente e 256 pais (75%) completaram o teste novamente
após 1 ano. A educação, sexo, fontes de cuidados de saúde e
fontes de aconselhamento sobre tratamentos foram
semelhantes para os pais nos grupos de podcast e controle
inicialmente e no acompanhamento de 1 ano (Tabela5)
Após 1 ano, mais pais responderam que tinham
treinamento em pesquisa nos grupos de podcast e
controle. Houve um aumento maior no número de
Figura 1 Perfil de teste do podcast do Informed Health Choices (IHC)
Página 9 de 18
pais que relataram participação anterior na pesquisa no grupo
de controle (de 27% a 60%) do que no grupo de podcast (de
25% a 35%). Isso provavelmente reflete a participação neste
estudo e, possivelmente, uma diferença em se eles
perceberam sua participação neste estudo como participação
na pesquisa.
Quase metade dos pais não tinha mais do que educação
primária. Cerca de três quartos eram mulheres. A idade média era
36 anos (25º a 75º percentil, 31-43) no grupo de podcast e 38 anos
(25º a 75º percentil, 32-45) no grupo de controle. Os participantes
relataram que procuravam mais comumente cuidados de saúde
em instituições governamentais ou privadas com fins lucrativos e
eram mais propensos a buscar aconselhamento sobre
tratamentos de profissionais de saúde.
Resultados primários e análises de sensibilidade
Após 1 ano, a pontuação média dos pais no grupo de
podcast caiu de 67,8% inicialmente após ouvir o podcast
para 58,9%, enquanto houve pouca mudança no grupo de
controle, que foi de 52,6% após 1 ano (de 52,4% ) (Mesa 6 e
a Fig. 2) A diferença ajustada nas pontuações médias entre
os grupos de podcast e controle foi de 6,7% (IC 95% 3,3% a
10,1%;p = 0,0001) após 1 ano, em comparação com 15,5%
após ouvir o podcast inicialmente.
Semakula et al. Ensaios (2020) 21: 187 Página 10 de 18

Tabela 5 Características dos participantes

Grupo de controle (n = 341)uma Grupo de podcast (n = 334)uma

Um ano Inicialmente depois de Acompanhamento de um ano Inicialmente depois de

acompanhamento ouvir o podcastg ouvir o podcastg

Testes concluídos 256 (75%) 273 (80%) 267 (80%) 288 (86%)

Educação

Primário 112 (44%) 144 (53%) 123 (46%) 145 (50%)

Secundário 68 (27%) 68 (25%) 85 (32%) 89 (31%)

Terciário 74 (29%) 61 (22%) 58 (22%) 54 (19%)

Treinamento em pesquisab 130 (51%) 84 (31%) 147 (55%) 96 (33%)

Participação prévia em pesquisac 154 (60%) 74 (27%) 94 (35%) 72 (25%)

Sexo
Fêmea 194 (76%) 208 (76%) 201 (75%) 221 (77%)

Masculino 62 (24%) 65 (24%) 66 (25%) 67 (23%)

Era
Mediana (25º a 75º percentil) 38 (32 a 45) 37 (30 a 44) 36 (31 a 43) 35 (30 a 42)

(variação) (19 a 74) (18 a 74) (19 a 79) (18 a 77)

Fontes de saúded
Estabelecimento de saúde público Estabelecimento 177 (69%) 163 (60%) 192 (72%) 177 (61%)

de saúde privado sem fins lucrativos 20 (8%) 25 (9%) 27 (10%) 32 (11%)

Estabelecimento de saúde privado com fins 82 (32%) 107 (39%) 84 (31%) 93 (32%)

lucrativos Profissionais de medicina alternativa 5 (2%) 7 (3%) 9 (3%) 8 (3%)

Conselhos sobre tratamentose

Amigos / parentes 25 (10%) 77 (28%) 20 (7%) 46 (16%)

Trabalhadores de saúde 222 (87%) 183 (67%) 248 (93%) 236 (82%)

Líderes comunitários 6 (2%) 4 (1%) 3 (1%) 6 (2%)

Programas de rádio / TV 24 (9%) 31 (11%) 22 (8%) 19 (7%)

Praticantes de medicina alternativaf 4 (2%) 5 (2%) 5 (2%) 8 (3%)

Internet 3 (1%) 2 (1%) 8 (3%) 3 (1%)

uma Alocado aleatoriamente

b “Você já teve algum treinamento em pesquisa científica (estatística, epidemiologia ou ensaios randomizados)?”
c “Você já participou de um estudo de pesquisa científica?”
d “Se você ou um membro da sua família não estão bem, onde costuma procurar atendimento médico?” (selecione tudo que se aplica)
e “Se você precisa tomar uma decisão sobre quais tratamentos usar, onde você costuma obter conselhos?” (selecione tudo que se aplica)
f Por exemplo, praticantes de fitoterapia
gOs resultados da avaliação inicial foram publicados em outro lugar [43]

No grupo de podcast, 47,2% dos pais tiveram uma
pontuação de aprovação após 1 ano (abaixo de 70,5%), em
comparação com 39,5% no grupo de controle (acima de
37,7%) (Tabela 6) A diferença ajustada (com base no odds ratio
da análise de regressão logística) foi de 9,8% mais pais
aprovados (IC 95% 0,9% a 18,9%;p = 0,03) no grupo de podcast
do que no grupo de controle (em comparação com 34,0% mais
pais inicialmente).
Realizamos duas análises de sensibilidade para avaliar o risco
potencial de viés de atrito - pais que não fizeram o teste de
acompanhamento de 1 ano. Primeiro, calculamos os limites do efeito
do tratamento de Lee para a diferença média nas pontuações dos
testes. Isso resultou em uma diferença média inferior (pior caso) e
superior (melhor caso) de 6,2% e 6,7%, respectivamente (IC de 95%
1,8% a 9,3%) (Tabela7) Isso indica que no
Na pior das hipóteses, espera-se que os pais que ouvem o
podcast obtenham uma pontuação pelo menos 6,2% maior no
teste em comparação com os pais que ouvem anúncios de
serviço público típicos sobre problemas de saúde, e essa
diferença é estatisticamente significativa. Em segundo lugar,
calculamos a diferença média ajustada e a diferença ajustada
na proporção de pais com pontuação para aprovação logo
após ouvir o podcast (teste inicial), excluindo participantes que
perderam o acompanhamento de 1 ano. Houve pouca
diferença entre essas análises e as análises primárias,
novamente indicando que havia pouca tendência de atrito.
Resultados secundários
Retenção de habilidades: houve uma redução relativa de
29% na capacidade média dos pais no grupo de podcast
Semakula et al. Ensaios (2020) 21: 187 Página 11 de 18

Tabela 6 Resultados principais

Grupo de controle Grupo de podcast Odds ajustadas Diferença ajustadauma

Razãouma

Resultado primário

1 ano após ouvir o podcast Pontuação média Pontuação média Diferença média: 6,7%
Pontuação média,% 52,6% 58,9% (IC 95% 3,3% para
(SD 20,4%) (SD 20,6%) 10,1%)
p = 0,0001

Inicialmente depois de ouvir o podcast Pontuação média Pontuação média Diferença média:
Pontuação média (%) 52,4% 67,8% 15,5%
(SD 17,6%) (SD 19,6%) (IC 95% 12,5% a
18,6%)
p < 0,0001

1 ano após ouvir a pontuação de 39,5% dos pais 47,2% dos pais 1,5 9,8% mais pais
aprovação do podcastb (n = 101/256) (n = 126/267) (IC 95% 1,0 a 2,2)p (IC 95% 0,9% para
= 0,03 18,9%)

Inicialmente depois de ouvir o podcast 37,7% dos pais 70,5% dos pais 4,2 34,0% mais pais
Pontuação de aprovação (indicando uma compreensão básica dos (n = 103/273) (n = 203/288) (IC 95% 2,9 a 6,0)p (IC 95% 26,2% a
conceitos-chave)b < 0,0001 40,7%)

Resultados secundários

1 ano após ouvir a pontuação de 10,5% dos pais 19,5% dos pais 2,2 9,8% mais pais
domínio do podcastc (n = 27/256) (n = 52/267) (IC de 95% 1,3 a 3,7) (IC 95% 2,8% para
p = 0,003 19,6%)

Inicialmente, depois de ouvir a pontuação de 6,2% dos pais 31,6% dos pais 7,2 26,0% mais pais
domínio do podcastc (n = 17/273) (n = 91/288) (IC 95% 4,1 a 12,4)p (IC 95% 15,2% a
< 0,0001 38,8%)

uma Os odds ratios são ajustados para as variáveis de estratificação (educação e grupo de estudo da criança no ensaio de escola primária do Informed Health Choices). Os odds ratios
foram convertidos em diferenças usando o grupo de controle como referência
b 11 ou mais respostas corretas em 18 perguntas
c 15 ou mais respostas corretas em 18 perguntas

ao longo do ano após ouvir o podcast (retenção de 71%,
ajustado para o acaso) (Tabela 8) A redução relativa na
proporção de pais com pontuação para aprovação foi de
33% (67% de retenção). Para fins de comparação,
apresentamos os resultados dos pais juntamente com os
de um estudo de irmã envolvendo seus filhos.
No grupo de podcast, 19,5% dos pais tiveram uma pontuação
indicando domínio dos nove conceitos-chave de IHC após 1 ano
(abaixo de 31,6%) em comparação com 10,5% dos pais no grupo
de controle (acima de 6,2%). A diferença ajustada foi de 9,8% a
mais de pais com um escore de domínio (IC 95% 2,8% a 19,6%;p =
0,003) no grupo de podcast do que no grupo de controle (em
comparação com 26,0% inicialmente).
A proporção de pais que responderam a ambas as perguntas
corretamente para cada conceito-chave de IHC abordado no podcast
foi maior no grupo de podcast do que no grupo de controle para oito
dos nove conceitos-chave (arquivo adicional 2: Tabela S1). No entanto,
as diferenças foram pequenas para sete desses conceitos-chave (3,3%
a 9,4%;p 0,03–0,43) em comparação com os resultados iniciais. Não
houve diferença clara para o conceito-chave de que os tratamentos
têm efeitos benéficos e prejudiciais (diferença ajustada de 0,0%; IC de
95% - 8,4% a 9,0%;p = 0,99); enquanto para o conceito-chave
intimamente relacionado de que os tratamentos podem prejudicar,
19,5% mais participantes no grupo de podcast responderam a ambas
as perguntas corretamente (IC 95% 10,4% a 28,6%;p < 0,0001). Em
contraste, a proporção de
os pais que responderam ambas as perguntas corretamente para cada
conceito-chave abordado no podcast foram entre 13% e 35% mais altos
para todos os nove conceitos inicialmente.
Não detectamos nenhuma diferença clara após 1 ano entre o
podcast e os grupos de controle na probabilidade de eles descobrirem
a base de uma alegação sobre os efeitos do tratamento ou se a
alegação foi baseada em pesquisa (arquivo adicional2: Tabela S2). Os
pais do grupo de podcast tiveram 12,6% menos probabilidade do que
os pais do grupo de controle de concordar em participar de pesquisas
sobre uma doença que poderiam contrair (IC 95% - 22,3% a - 4,8%;p =
0,0005), embora inicialmente houvesse pouca ou nenhuma diferença. A
maioria dos pais em ambos os grupos (65–86%) respondeu
positivamente a todas as três perguntas.
Inicialmente, os pais no grupo de podcast eram mais propensos
do que os pais no grupo de controle a responder que eles
acharam fácil ou muito fácil avaliar se uma alegação de
tratamento é baseada em pesquisa; para encontrar informações
baseadas em pesquisas sobre tratamentos; para avaliar o quão
confiantes eles podem estar sobre os resultados da pesquisa; e
avaliar a relevância da pesquisa. Após 1 ano, a proporção de pais
no grupo de podcast que acharam essas tarefas fáceis ou muito
fáceis diminuiu e não houve diferença clara entre os grupos de
podcast e controle (arquivo adicional2: Tabela S3).
Houve pouca diferença na frequência com que os pais nos grupos de
podcast e controle ouviram reivindicações de tratamento (arquivo
adicional 2: Tabela S4). No grupo de podcast 62,2%
Semakula et al. Ensaios (2020) 21: 187
Figura 2 Distribuições de pontuação de teste. Distribuição das pontuações dos participantes no teste realizado imediatamente após a intervenção e aquele
realizado 1 ano depois
dos pais relataram ouvir uma ou mais afirmações na maioria
dos dias ou semanas em comparação com 55,5% no grupo de
controle (diferença ajustada 7,6% a mais no grupo de podcast;
IC 95% - 1,0% a 15,4%; p = 0,08). A proporção de pais que
responderam que pensaram sobre a base da última afirmação
que ouviram foi menor no grupo de podcast do que no grupo
de controle (diferença ajustada 8,2% menor no grupo de
podcast; IC 95% - 17,3% a 0,0%;p =0,05) (arquivo adicional 2:
Tabela S5). No entanto, os pais no grupo de podcast eram
menos propensos a ter muita certeza ou não saber como
avaliar o quão seguros deveriam estar (diferença ajustada
20,9% a menos no grupo de podcast; IC de 95% - 29,9% a -
2,0%;p < 0,0001) (arquivo adicional 2: Tabela S6). Os pais no
grupo de podcast também eram menos propensos a ter
certeza sobre as vantagens e desvantagens do tratamento
mais recente que usaram (diferença ajustada 13,3% a menos
no grupo de podcast; IC de 95% - 19,9% a - 5,5%;p = 0,001)
(arquivo adicional 2: Tabela S7).
Não houve diferença clara na proporção de pais
cuja avaliação da confiabilidade da última afirmação
que ouviram foi consistente com o que eles
Página 12 de 18
identificada como base para a afirmação (diferença ajustada
3,8% a mais no grupo de podcast; IC 95% - 2,8% a 12,3%;p =
0,30). Também houve pouca ou nenhuma diferença na
proporção de pais que responderam que não tinham certeza
porque não sabiam sobre as desvantagens.
A diferença média padronizada (Hedges ' g) foi de 0,32 (IC 95%
0,15 a 0,50). Nenhum dos pais ou assistentes de pesquisa que
entregaram os podcasts relatou quaisquer efeitos adversos.
Análises de subgrupo
O podcast foi eficaz para pais com diferentes níveis de
educação (arquivo adicional 2: Tabela S8). No entanto,
houve uma interação entre a educação dos pais e o
tamanho do efeito do podcast. O efeito foi maior para
pais com ensino superior e menor para pais com
ensino médio. Também houve uma interação entre ter
um filho em uma escola que usava os recursos da
escola primária do IHC e o tamanho do efeito (arquivo
adicional2: Tabela S9). O efeito do podcast foi menor
em pais que tiveram um filho em uma escola de
intervenção. Nenhuma dessas interações foi
Semakula et al. Ensaios (2020) 21: 187 Página 13 de 18

Tabela 7 Análises de sensibilidade

Grupo de controle Grupo de podcast Razão de probabilidade ajustadauma Diferença ajustadauma

Um ano depois de ouvir o podcast

Pontuação média

Análise primária Pontuação média 52,6% Pontuação média 58,9% Diferença média: 6,7%
(SD 20,4%) (SD 20,6%) (IC 95% 3,3% a 10,1%)p
< 0,0001

Lee salta 6,2% a 6,7%

(IC 95% 1,8% a 9,3%)

Inicialmente depois de ouvir o podcast

Pontuação média

Análise primária Pontuação média 52,4% Pontuação média 67,8% Diferença média: 15,5%
(SD 17,6%) (SD 19,6%) (IC 95% 12,5% a 18,6%)

Excluindo participantes perdidos para acompanhamento de 1 ano Pontuação média 53,0% Pontuação média de 67,6% Diferença média: 14,9%
(SD 17,9%) (SD 19,7%) (IC 95% 11,7% a 18,1%)

Pontuação de aprovação

Análise primária 37,7% dos pais 70,5% dos pais 4,2 (IC 95% 2,9 a 6,0)p 34,0% mais pais
(n = 103/273) (n = 203/288) < 0,0001 (IC 95% 26,2% a 40,7%)

Excluindo participantes perdidos para acompanhamento de 1 ano 39,6% dos pais 69,8% dos pais 3,8 (IC 95% 2,6 a 5,5)p 31,5% mais pais
(n = 101/255) (n = 187/268) < 0,0001 (IC 95% 23,4% a 38,6%)
uma Ajustado para as variáveis de estratificação (educação e grupo de estudo da criança no ensaio da escola primária Informed Health Choices). Os odds ratios das regressões logísticas
para passar as pontuações foram convertidos em diferenças com base nas proporções da escola de intervenção e os odds ratios calculados usando as escolas de intervenção como
referência (o inverso dos odds ratios mostrados aqui)

consistente com o que havíamos hipotetizado, e não
detectamos interações para nenhum desses fatores nos
resultados iniciais [44]
No geral, a pontuação média (porcentagem de respostas
corretas) para pais com um filho em uma escola de intervenção foi
4,2% maior do que para pais com um filho em uma escola de
controle (IC 95% 0,7% a 7,7; p = 0,02) e 11,9% mais pais tiveram
uma pontuação de aprovação (IC 95% 2,8% para
21,2%; p = 0,01) após 1 ano (arquivo adicional 2: Tabela S10).
Isso contrasta com os resultados iniciais, quando não
encontramos uma associação entre ter um filho em uma
escola que usava recursos da escola primária e as pontuações
dos pais nos testes.
Discussão
O tamanho do efeito do podcast IHC diminuiu
substancialmente em 1 ano, principalmente porque os pais
não retiveram o que aprenderam. Em contraste, as crianças
que estavam em escolas que usaram os recursos da escola
primária da IHC retiveram o que aprenderam [44] Além disso,
após 1 ano, os pais que ouviram o podcast tinham menos
probabilidade do que os pais do grupo de controle de ter
pensado sobre a base para a última afirmação que ouviram e
menos probabilidade de concordar em participar da pesquisa;
e sua capacidade subjetiva de avaliar a confiabilidade das
reivindicações havia diminuído. Por outro lado, eles eram
menos propensos a ter muita certeza ou não saber como
avaliar o quão seguros eles deveriam estar sobre a última
alegação de tratamento que ouviram.
Existem várias explicações possíveis para essas descobertas. A
diminuição nas pontuações no grupo de podcast pode ser devido
aos pais não usarem regularmente o que aprenderam 1 ano
antes. Os resultados de outros estudos sobre retenção de
habilidades e decadência de habilidades identificaram perda
substancial de habilidades com a não prática [58, 59]
Houve uma diminuição relativa de 33% na proporção de pais
que tiveram uma pontuação de aprovação em comparação com
um aumento relativo de 16% para as crianças nas escolas de
intervenção no ensaio da escola primária da IHC [44] As diferenças
entre as intervenções e as diferenças entre adultos e crianças
podem explicar essa diferença na retenção.
Esperávamos um efeito maior para as crianças, porque a
intervenção na escola primária era multifacetada, envolvia
ativamente as crianças e envolvia mais tempo (cerca de 12 h em 10
a 12 semanas em comparação com cerca de 1,5 h em 7–10
semanas). A aprendizagem ativa e colaborativa é geralmente mais
eficaz do que a aprendizagem passiva e pode melhorar a retenção
[60] A prática espaçada, com intervalos entre as sessões de
aprendizagem, melhora a retenção de longo prazo [59, 61] Ouvir o
podcast não incluía nenhuma prática, a não ser encorajar os pais a
pensar com cuidado ao ouvir uma reclamação. Os alunos precisam
de prática imediata para mover as informações da memória de
trabalho para a memória de longo prazo [62] Apenas ver ou ouvir
novos conceitos pode não ser suficiente para o aprendizado. A
mente precisa trabalhar com novas informações antes que sejam
armazenadas de forma confiável na memória.
Outra diferença potencialmente importante entre o
podcast e as intervenções na escola primária é que
Semakula et al. Ensaios (2020) 21: 187 Página 14 de 18

Tabela 8 Retenção de habilidades de pais e filhos

Resultadosuma Criançasb Paisb
Acompanhamento Ao controle Intervençãoc Retenção no Ao controle Intervençãoc Retenção no
grupo de intervençãod grupo de intervençãod

Pontuação média Inicialmente 43% 63% 127% 52% 68% 71%

Diferença: 20% maior Diferença: 16% maior
(IC 95% 17% a 23% maior) (IC de 95% 13% a 19% maior)

Depois de 1 ano 53% 69% 53% 59%

Diferença: 17% maior Diferença: 7% maior
(IC 95% 14% a 20% maior) (IC 95% 3% a 10% maior)

Pontuação de aprovação Inicialmente 27 69 116% 38 71 67%

por 100 por 100 por 100 por 100

Diferença: mais 50 Diferença: mais 34

por 100 por 100
(IC 95% 44 a 55 mais) (IC 95% 26 a 41 mais)

Depois de 1 ano 52 80 40 47
por 100 por 100 por 100 por 100

Diferença: mais 40 Diferença: mais 10

por 100 por 100
(IC 95% 30 a 48 mais) (IC 95% 1 a 19 mais)

Pontuação de maestria Inicialmente 1 19 155% 6 32 62%

por 100 por 100 por 100 por 100

Diferença: mais 18 Diferença: mais 26

por 100 por 100
(95% CI 18 a 18 mais) (IC 95% 15 a 39 mais)
Depois de 1 ano 5 30 11 20
por 100 por 100 por 100 por 100

Diferença: mais 25 Diferença: mais 10

por 100 por 100
(95% CI 23 a 27 mais) (IC 95% 3 a 20 mais)
uma A pontuação de aprovação para as crianças foi de 13 ou mais respostas corretas em 24 questões, e uma pontuação de domínio foi de 20 ou mais respostas corretas em 24 questões. A
pontuação de aprovação para os pais foi de 11 ou mais respostas corretas em 18 questões, e uma pontuação de domínio foi de 15 ou mais respostas corretas em 18 questões
b10.183 crianças completaram o primeiro teste no final do semestre, quando as lições foram ministradas no ensaio da escola primária do Informed Health Choices (IHC) [

44], e 6787 completaram o segundo teste após 1 ano [45] 561 pais completaram o primeiro teste no teste de podcast IHC depois de ouvir o podcast e 523 completaram o
segundo teste após 1 ano
cA intervenção no ensaio da escola primária do IHC incluiu um workshop para os professores, um livro-texto, um livro de exercícios, um guia do professor e nove aulas de 80 minutos com leitura,
exercícios e atividades em sala de aula. As diferenças são ajustadas para variáveis de estratificação em ambos os estudos. As diferenças para as pontuações de aprovação e aprovação são baseadas
nos odds ratios ajustados, usando os grupos de controle como referência
dAs pontuações do teste no grupo de intervenção após 1 ano em relação às pontuações do teste logo após a intervenção no grupo de intervenção. A retenção para a pontuação média é
ajustada ao acaso. Houve uma probabilidade de as crianças responderem 39% das questões corretamente ao acaso e os pais responderem 37% das questões corretamente ao acaso.

os pais ouviram o podcast sozinhos. As pessoas aprendem
umas com as outras [63] Os assistentes de pesquisa que
entregaram os episódios do podcast não discutiram o podcast
com os pais. Embora alguns pais tenham compartilhado o
podcast com outros [47], não encorajamos ativamente a
discussão do podcast. Em contraste, a intervenção da escola
primária ocorreu em salas de aula com discussão, modelagem
e oportunidades para observação e imitação. Além disso, os
professores puderam fazer ajustes para ajudar a garantir a
compreensão das crianças, fazendo perguntas, usando
exemplos adicionais, fornecendo explicações adicionais,
trabalhando através de atividades e revisando exercícios em
conjunto.
Além das diferenças entre as intervenções, existem
enquanto os adultos têm outras responsabilidades. Os adultos
também são mais propensos a ter rotinas bem estabelecidas,
podem esperar que o aprendizado ocorra sem esforço e podem
ser menos capazes do que as crianças de aprender habilidades
cognitivas [62] Pode levar tempo e muitas demonstrações para
convencer os alunos adultos da superioridade das novas rotinas
sobre as antigas. Eles têm seus conceitos errôneos há mais tempo
do que as crianças e podem não reconhecê-los ou vê-los como
disfuncionais. Por exemplo, alguns pais que participaram da
avaliação do processo tinham fortes crenças anteriores e
permaneceram firmes nessas crenças depois de ouvir o podcast,
mesmo quando essas crenças estavam em conflito com uma
mensagem de podcast [46]
Os adultos podem esperar que o aprendizado aconteça sem esforço,

diferenças na aprendizagem entre crianças e adultos. esquecendo-se de como funcionavam quando crianças para aprender novos

Espera-se que as crianças estejam aprendendo na escola, conceitos. Quando novas habilidades cognitivas são aprendidas, pode demorar
Semakula et al. Ensaios (2020) 21: 187
muito pensamento e esforço, porque inicialmente eles são
armazenados em memória declarativa (factual) ao invés de
memória procedural [63] Alguns aspectos da memória, raciocínio,
resolução de problemas e tarefas intelectuais podem começar a se
deteriorar na faixa etária de 30 anos [64, 65] A idade média dos
participantes no grupo de podcast era de 35 anos (25º a 75º
percentil, 31-43).
As descobertas para cada conceito-chave foram
amplamente consistentes com os resultados gerais e com o
que encontramos inicialmente depois de ouvir o podcast. As
pontuações diminuíram para todos os conceitos. Tanto o teste
inicial quanto o teste após 1 ano mostraram o maior efeito
para o conceito de que os tratamentos podem ser prejudiciais,
e o menor efeito (nenhum efeito claro neste estudo) para o
conceito de que os tratamentos geralmente têm efeitos
benéficos e prejudiciais. Esses dois conceitos estão
intimamente relacionados, mas essas descobertas apóiam sua
consideração separadamente e sugerem que o primeiro pode
ser mais problemático do que o segundo. As pessoas
frequentemente exageram os benefícios dos tratamentos,
ignoram ou minimizam os danos potenciais, superestimam os
benefícios e subestimam os danos [23] Por outro lado, as
pessoas geralmente estão cientes de que é importante
considerar o equilíbrio entre benefícios e danos ao tomar uma
decisão. Também é possível que a diferença que encontramos
entre esses dois conceitos-chave foi influenciada pela natureza
e dificuldade das perguntas que foram usadas.
Sabemos pela avaliação do processo que pelo menos
alguns pais compartilharam o podcast IHC com os vizinhos
[46], mas não sabemos até que ponto os pais do grupo de
podcast compartilharam o podcast com os pais do grupo
de controle. No entanto, dado que houve pouca mudança
nas pontuações do grupo de controle do primeiro para o
segundo teste, se houve contaminação, é improvável que
tenha tido um efeito substancial nas pontuações dos pais
no grupo de controle após 1 ano .
Até onde sabemos, este é o primeiro teste randomizado do uso
de um podcast para educação não formal ou educação em saúde,
além de um podcast para ajudar na perda de peso [6, 7, 27, 37-49]
Algumas outras intervenções para melhorar a capacidade de não
profissionais da saúde de pensar criticamente sobre os
tratamentos foram avaliadas [35, 36] Uma revisão sistemática de
estratégias para ensinar as pessoas a pensar criticamente de
forma mais ampla, que incluiu 308 estudos, encontrou um
tamanho de efeito médio (Hedges 'g) de 0,33 [57] O tamanho
médio do efeito para intervenções direcionadas a estudantes de
pós-graduação e adultos foi de 0,21, assim como o tamanho
médio do efeito para intervenções em saúde ou educação médica.
O tamanho do efeito para nossa intervenção logo após ouvir o
podcast (0,83) foi grande em comparação. O tamanho do efeito
após 1 ano foi de 0,32, que está mais próximo do tamanho médio
do efeito para intervenções direcionadas a adultos. No entanto,
comparações como essas devem ser feitas com cautela devido às
diferenças nas intervenções
Página 15 de 18
comparados nestes estudos, as medidas de resultados e os
métodos que foram usados.
Forças
É improvável que os principais achados deste estudo possam
ser explicados por erros aleatórios. Também acreditamos que
há um baixo risco de erros sistemáticos (viés). Os grupos de
comparação eram semelhantes no início do estudo, foram
administrados de forma semelhante à parte da intervenção e
os resultados foram medidos da mesma forma em ambos os
grupos. Houve mais perda de acompanhamento no grupo de
controle do que no grupo de podcast (25% versus 20%), mas
não houve diferenças claras entre aqueles que completaram
os testes e aqueles que desistiram. Embora a perda de
acompanhamento tenha afetado a precisão de nossas
estimativas e possa ter introduzido algum viés, parece
improvável que tenha tido um impacto importante nos
principais achados do estudo.
Limitações
A aplicabilidade de nossos resultados é limitada pela natureza da
intervenção e a medida de resultado que usamos. O podcast foi
adaptado para um público-alvo específico - pais de crianças em
escolas primárias em Uganda. Para que um podcast seja eficaz em
outro público, ele precisa ser adaptado para esse público [66]
Embora tenhamos tido o cuidado de garantir a confiabilidade e a
validade de nossa medida de resultado principal, ela foi projetada
para medir a capacidade de aplicar os conceitos que o podcast foi
projetado para ensinar (“tratamento inerente”). As medidas de
resultados inerentes ao tratamento estão associadas a tamanhos
de efeito maiores do que as medidas independentes [57, 67] Além
disso, não podemos ter certeza sobre até que ponto esse
resultado reflete como as pessoas aplicam os conceitos-chave da
IHC quando ouvem alegações de saúde em suas vidas diárias.
Nossas conclusões sobre a avaliação de sinistros reais e
comportamentos de tomada de decisão são baseados em
autorrelato, são inconsistentes e podem não ser confiáveis. Além
disso, os pais no teste de podcast se ofereceram para participar.
Consequentemente, as estimativas de efeito deste ensaio indicam
os efeitos potenciais do podcast entre os pais que optam por ouvi-
los, não o efeito de simplesmente oferecer o podcast a um grupo
de pais.
Implicações dessas descobertas
Atualmente, muitas intervenções para equipar as pessoas com as
habilidades para pensar mais criticamente sobre os tratamentos estão
focadas em estudantes de saúde, profissionais de saúde e pesquisadores.
No geral, as descobertas de nosso estudo inicial sugerem que o
desenvolvimento de programas de mídia de massa para melhorar a
capacidade das pessoas de pensar mais criticamente sobre os tratamentos
pode ser um investimento benéfico. No entanto, conforme demonstrado
pela decadência demonstrada no presente estudo, para que este
investimento produza uma aprendizagem sustentável
Semakula et al. Ensaios (2020) 21: 187
resultados, tais intervenções não precisam ser pontuais e talvez
não sejam passivas. Nossa avaliação é que a disseminação passiva
de intervenções na mídia provavelmente não será tão eficaz
quanto o que descobrimos ser nossa intervenção inicialmente
após a intervenção ter sido realizada e certamente não será eficaz
um ano depois. Pesquisas futuras podem incluir o
desenvolvimento de um currículo em espiral para ensinar os
conceitos-chave da IHC para adultos, como envolver as partes
interessadas para apoiar o ensino do pensamento crítico sobre
tratamentos para adultos, desenvolver medidas de resultados
para pesquisas sobre como tomar decisões sobre tratamentos e
revisões sistemáticas de ferramentas de avaliação de resultados,
frameworks e estratégias de ensino para pensamento crítico sobre
tratamentos, entre outros.
Conclusões
A literacia crítica em saúde é essencial para escolhas de saúde
informadas. No entanto, apesar do reconhecimento mundial da
necessidade de melhorar a alfabetização em saúde, até agora
houve apenas um punhado de avaliações de intervenções para
melhorar a alfabetização em saúde nas populações da
comunidade [43] Mostramos que é possível para adultos em um
país de baixa renda, a maioria com não mais do que educação
primária, melhorar sua capacidade de avaliar a curto prazo as
alegações sobre os efeitos do tratamento ouvindo um podcast. No
entanto, estratégias de aprendizagem colaborativas mais ativas
com prática espaçada provavelmente serão necessárias para lidar
com a queda substancial que encontramos nessas habilidades e
na autoeficácia ao longo de 1 ano. Em contraste com essa queda
nas habilidades, encontramos um aumento nas mesmas
habilidades entre as crianças no grupo de intervenção do ensaio
da escola primária da IHC [44] Tomados em conjunto, esses
resultados fornecem mais suporte para a importância de começar
a ensinar essas habilidades em uma idade jovem.
Informação suplementar
Informação suplementar acompanha este artigo em https://doi.org/10. 1186 /
s13063-020-4093-x.
Arquivo adicional 1. As ferramentas de avaliação de reivindicações.
Arquivo adicional 2: Tabela S1. Resultados para cada conceito um ano após ouvir o
podcast. Tabela S2. Comportamentos pretendidos. Tabela S3. Auto-eficácia. Tabela
S4. Comportamento auto-relatado - conhecimento das alegações de tratamento.
Tabela S5. Comportamento auto-relatado - avaliação da base das alegações de
tratamento. Tabela S6. Comportamento auto-relatado - avaliação da confiabilidade
das alegações de tratamento. Tabela S7. Comportamento autorreferido - avaliação
das vantagens e desvantagens dos tratamentos. Tabela S8.Análise de subgrupo -
educação. Tabela S9. Análise de subgrupo - criança na escola que usou recursos da
escola primária da IHC. Tabela S10. Efeito dos recursos da escola primária do IHC
sobre os pais.
Reconhecimentos
Somos gratos ao Conselho de Pesquisa da Noruega por apoiar o projeto, ao
Instituto Nacional Inglês para Pesquisa em Saúde por apoiar Iain Chalmers e a
Iniciativa James Lind e ao Wellcome Trust e DELTAS Africa Initiative doar #
DEL-15-011 para THRiVE- 2 (o Treinamento de Pesquisadores em Saúde em
Excelência Profissional na África Oriental) por apoiar Neslon Sewankambo e
Daniel Semakula. Este trabalho também foi parcialmente apoiado
Página 16 de 18
por um Prêmio de Desenvolvimento de Carreira da concessão da DELTAS Africa Initiative # DEL-15-011 para THRiVE-2. A Iniciativa DELTAS África é um esquema de
financiamento independente da Aliança para Acelerar a Excelência em Ciência na África (AESA) da Academia Africana de Ciências (AAS) e apoiado pela Agência de
Coordenação e Planejamento do Desenvolvimento de Nova Parceria (Agência NEPAD) com financiamento da Concessão da Wellcome Trust nº 107742 / Z / 15 / Z e do
governo do Reino Unido. As opiniões expressas nesta publicação são do (s) autor (es) e não necessariamente da AAS, NEPAD Agency, Wellcome Trust ou do governo
do Reino Unido. Jan Odgaard-Jensen ajudou a planejar as análises estatísticas. Øystein Guttersrud ajudou no desenvolvimento da medida de resultado. Alun Davies,
Martha Gerrity, Lena Nordheim, Peter Okebukola, Newton Opiyo, Jonathan Sharples, Helen Wilson, e Charles Wysonge determinou as pontuações de corte para
aprovação e domínio. Queremos agradecer a Margaret Nabatanzi, Martin Mutyaba, Esther Nakyejwe e Solomon Segawa por sua ajuda com o gerenciamento de
dados e todos os assistentes de pesquisa que ajudaram no recrutamento, entrega do podcast, coleta de dados e entrada. Gostaríamos também de agradecer aos
produtores e músicos que ajudaram na produção da música tema do Informed Health Choices e do podcast, especialmente Abraham Jjuko e Christopher Kiwanuka.
Agradecemos também ao grupo consultivo do Informed Health Choices. Somos especialmente gratos a todos os pais e jornalistas que ajudaram no desenvolvimento
do podcast de Opções de Saúde Informadas e àqueles que participaram deste ensaio. Esther Nakyejwe e Solomon Segawa por sua ajuda com o gerenciamento de
dados e todos os assistentes de pesquisa que ajudaram no recrutamento, entrega do podcast, coleta e entrada de dados. Gostaríamos também de agradecer aos
produtores e músicos que ajudaram na produção da música tema do Informed Health Choices e do podcast, especialmente Abraham Jjuko e Christopher Kiwanuka.
Agradecemos também ao grupo consultivo do Informed Health Choices. Somos especialmente gratos a todos os pais e jornalistas que ajudaram no desenvolvimento
do podcast de Opções de Saúde Informadas e àqueles que participaram deste ensaio. Esther Nakyejwe e Solomon Segawa por sua ajuda com o gerenciamento de
dados e todos os assistentes de pesquisa que ajudaram no recrutamento, entrega do podcast, coleta e entrada de dados. Gostaríamos também de agradecer aos
produtores e músicos que ajudaram na produção da música tema do Informed Health Choices e do podcast, especialmente Abraham Jjuko e Christopher Kiwanuka.
Agradecemos também ao grupo consultivo do Informed Health Choices. Somos especialmente gratos a todos os pais e jornalistas que ajudaram no desenvolvimento
do podcast de Opções de Saúde Informadas e àqueles que participaram deste ensaio. Gostaríamos também de agradecer aos produtores e músicos que ajudaram na
produção da música tema do Informed Health Choices e do podcast, especialmente Abraham Jjuko e Christopher Kiwanuka. Agradecemos também ao grupo
consultivo do Informed Health Choices. Somos especialmente gratos a todos os pais e jornalistas que ajudaram no desenvolvimento do podcast de Opções de Saúde
Informadas e àqueles que participaram deste ensaio. Gostaríamos também de agradecer aos produtores e músicos que ajudaram na produção da música tema do Informed Health Choices e do podcast, esp
Contribuições dos autores
DS e AN são os investigadores principais. Eles redigiram o protocolo com a ajuda
de outros investigadores e foram responsáveis pelo gerenciamento diário do
estudo. NS e AO tinham a responsabilidade primária de supervisionar o
julgamento. Todos os investigadores, exceto CR, revisaram o protocolo,
forneceram informações e concordaram com esta versão. MO juntamente com o
DS tiveram a responsabilidade primária de desenvolver o podcast. Todos os
investigadores contribuíram para o desenvolvimento. AA-D tinha a
responsabilidade primária de desenvolver e validar a medida de resultado. DS e AN
foram os principais responsáveis pela coleta de dados. AO, SR, AA-D e IC foram os
membros principais do grupo coordenador do estudo e, junto com NS e os
investigadores principais, atuaram como o comitê gestor do estudo. Eles eram
responsáveis pelas decisões finais sobre o protocolo e relato dos resultados.
Todos os autores leram e aprovaram o manuscrito final.
Financiamento
Este ensaio foi financiado pelo Conselho de Pesquisa da Noruega, Projeto número
220603 / H10. O financiador não teve nenhum papel no desenho do estudo, coleta de
dados, análise de dados, interpretação de dados ou redação do relatório. O estudo de
acompanhamento de 1 ano foi parcialmente financiado por um Prêmio de
Desenvolvimento de Carreira da THRiVE-2 - um bolsista da Iniciativa DELTAS na África #
DEL-15-011. O investigador principal teve acesso total a todos os dados do estudo e foi o
responsável final pela decisão de envio para publicação.
Disponibilidade de dados e materiais
Os arquivos de dados para o acompanhamento de 1 ano estão disponíveis no Centro
Norueguês de Dados de Pesquisa (http://www.nsd.uib.no/nsd/english/index.html)
Aprovação ética e consentimento para participar
A aprovação ética foi obtida do conselho de revisão institucional da Escola de Medicina do
Makerere University College of Health Sciences e do Conselho Nacional de Ciência e
Tecnologia de Uganda no início do estudo e foi solicitada a renovação da aprovação para
o estudo de acompanhamento. Os participantes consentiram tanto na avaliação inicial
quanto no acompanhamento de 1 ano no início do estudo. Apenas participantes com
consentimento foram incluídos. Durante o estudo de acompanhamento, os participantes
foram incluídos apenas se estivessem dispostos a continuar. Os participantes não
puderam ser identificados pelas informações que forneceram.
Consentimento para publicação
O consentimento para publicar foi obtido no início do estudo, juntamente com o
consentimento para participar conforme descrito acima.
Interesses competitivos
Os autores declaram não ter interesses conflitantes.
Semakula et al. Ensaios (2020) 21: 187
Detalhes do autor
1Faculdade de Ciências da Saúde, Universidade Makerere, Kampala, Uganda.
2Universidade de Oslo, Oslo, Noruega. 3Centro para Escolhas de Saúde Informadas,
Instituto Norueguês de Saúde Pública, Postboks 222, Skøyen, 0213 Oslo, Noruega. 4
Infodesignlab, Oslo, Noruega. 5Unidade de Pesquisa de Sistemas de Saúde, Conselho de
Pesquisa Médica da África do Sul, Cidade do Cabo, África do Sul. 6Escola de Saúde Pública,
Faculdade de Medicina e Ciências da Saúde, Universidade de Ruanda, Kigali, Ruanda. 7
Instituto Tropical de Saúde Comunitária, Kisumu, Quênia.
8Iniciativa James Lind, Oxford, Reino Unido.
Recebido: 23 de julho de 2019 Aceito: 18 de janeiro de 2020
Referências
1. Mugyenyi P. Genocídio por negação. Como lucrar com o HIV / AIDS matou
milhões. Kampala: Editores de fontes; 2008
2. Blumenkrantz, David In The new vision 11 de novembro de 1989. Trinta toneladas de solo: a
panacéia divina de Nanyonga. 1989. Disponível em:http://
davidblumenkrantz.squarespace.com/new-page-3/. Citado em 23 de novembro de 2018.
3. Kunihira NR, Nuwaha F, Mayanja R, Peterson S. Barreiras ao uso de medicamentos anti-
retrovirais no distrito de Rakai em Uganda. Afr Health Sci. 2010; 10: 120–9 Makerere Medical
School.
4. Casiday R, Cresswell T, Wilson D, Panter-Brick C. Uma pesquisa sobre as atitudes dos pais no
Reino Unido em relação à vacina MMR e a confiança na autoridade médica. Vacina. 2006;
24: 177–84.
5. Hadjikoumi I, Niekerk KV, Scott C. MMR catch up campaign: razões para a recusa
de consentimento [3]. Arch Dis Child. 2006; 91: 621–2.
6. Mills E, Jadad AR, Ross C, Wilson K. A revisão sistemática de estudos qualitativos que
exploram as crenças e atitudes dos pais em relação à vacinação infantil identifica
barreiras comuns à vacinação. J Clin Epidemiol. 2005; 58: 1081–8.
7. Del Vicario M, Bessi A, Zollo F, Petroni F, Scala A, Caldarelli G, et al. A
disseminação de desinformação online. Proc Natl Acad Sei. 2016; 113:
554–9 National Academy of Sciences.
8. McMullan M. Pacientes que usam a Internet para obter informações sobre saúde:
como isso afeta a relação paciente-profissional de saúde. Paciente Educ Couns.
2006; 63 (1-2): 24–8.https://doi.org/10.1016/j.pec.2005.10.006.
9. Ullrich PF Jr, Vaccaro AR. Educação do paciente na internet: oportunidades e
armadilhas. Spine (Phila Pa 1976). 2002; 27 (7): E185 – E188.https://doi.org/10.
1097 / 00007632-200204010-00019.
10. Wald HS, Dube CE, Anthony DC. Desemaranhando a Web - o impacto do uso da
Internet nos cuidados de saúde e na relação médico-paciente. Paciente Educ
Couns. 2007; 68 (3): 218–24.https://doi.org/10.1016/j.pec.2007.05.016.
11. Schwitzer G. Um guia para ler histórias de notícias sobre saúde. JAMA Intern Med.
2014; 174 (7): 1183–6.https://doi.org/10.1001/jamainternmed.2014.1359.
12. Bonevski B, Wilson A, Henry DA. Uma análise da cobertura da mídia de
medicina complementar e alternativa. PLoS One. 2008; 3: e2406 Public
Library of Science.
13. Motosko CC, Ault AK, Kimberly LL, Zakhem GA, Gothard MD, Ho RS, et al. Análise de
spin no relato de estudos de tratamentos tópicos de pele fotoenvelhecida. J Am
Acad Dermatol. 2019; 80 (2): 516-522.e12.https: // doi. org / 10.1016 /
j.jaad.2018.04.034.
14. Haneef R, Lazarus C, Ravaud P, Yavchitz A, Boutron I. Interpretação dos resultados dos
estudos de avaliação de uma intervenção destacada no Google Health News: um
estudo transversal de notícias. PLoS One. 2015; 10: 1–15 Biblioteca Pública de
Ciência.
15. Woloshin S, Schwartz LM, Moncur M, Gabriel S, Tosteson ANA. Avaliando valores
para a saúde: a matemática é importante. Med Decis Mak. 2001; 21: 382–90.
16. Sillence E, Briggs P, Harris PR, Fishwick L. Como os pacientes avaliam e fazem uso
das informações de saúde online? Soc Sci Med. 2007; 64: 1853–62.
17. Schwartz LM, Woloshin S, Black WC, Welch HG. O papel da matemática na
compreensão dos benefícios da mamografia de rastreamento. Ann Intern Med.
1997; 127: 966–72.
18. Lokker N., Sanders L., Perrin EM, Kumar D., Finkle J, Franco V, et al. Interpretações equivocadas
dos pais de rótulos de medicamentos para resfriado e tosse pediátricos sem prescrição
médica. Pediatria. 2009; 123: 1464–71.
19. Rothman RL, Housam R, Weiss H, Davis D, Gregory R, Gebretsadik T, et al. Compreensão do
paciente sobre rótulos de alimentos: o papel da alfabetização e da matemática. Sou
J Prev Med. 2006; 31: 391–8.
20. Eysenbach G, Köhler C. Como os consumidores buscam e avaliam informações sobre saúde na
rede mundial de computadores? Estudo qualitativo usando grupos de foco,
Página 17 de 18
testes de usabilidade e entrevistas em profundidade. BMJ. 2002; 324 (7337): 573–7.https: //
doi.org/10.1136/bmj.324.7337.573.
21. Glenton C, Nilsen ES, Carlsen B. Lay percepções de informações baseadas em evidências -
uma avaliação qualitativa de um site para quem sofre de dores nas costas. BMC Health
Serv Res. 2006; 6: 34.
22. Oxman AD, Austvoll-Dahlgren A, Garratt A, Rosenbaum S. Compreensão dos conceitos-chave
relevantes para avaliar as alegações sobre os efeitos do tratamento: uma pesquisa com
adultos noruegueses. IHC Working Paper 2017. ISBN 978-82-8082-819-4.
Disponível online em https://www.informedhealthchoices.org/wp-content/ uploads /
2016/08 / CURE-survey-report-2017-03-01.pdf. Acessado em 29 de janeiro de 2020.
23. Hoffmann TC, Del Mar C. As expectativas dos pacientes sobre os benefícios e malefícios dos
tratamentos, triagem e testes: uma revisão sistemática. JAMA Intern Med. 2015; 175: 274–
86.
24. Hoffmann TC, Del Mar C. As expectativas dos médicos sobre os benefícios e danos
dos tratamentos, triagem e testes: uma revisão sistemática. JAMA Intern Med. 2017;
177: 407–19.
25. Brownlee S, Chalkidou K, Doust J, Elshaug AG, Glasziou P, Heath I, et al. Provas de
uso excessivo de serviços médicos em todo o mundo. Lanceta. 2017; 390: 156–
68.
26. Frass M, Strassl RP, Friehs H, Müllner M, Kundi M, Kaye AD. Uso e
aceitação da medicina complementar e alternativa entre a população
em geral e o pessoal médico: uma revisão sistemática, vol. 12. Nova
Orleans: a Divisão Acadêmica da Ochsner Clinic Foundation; 2012. p.
45–56.
27. Glasziou P., Straus S., Brownlee S., Trevena L., Dans L., Guyatt G, et al. Evidência de
subutilização de serviços médicos eficazes em todo o mundo. Lanceta. 2017; 390:
169–77.
28. Jones G, Steketee RW, Black RE, Bhutta ZA, Morris SS. Quantas mortes de
crianças podemos prevenir neste ano? Lanceta. 2003; 362: 65–71.
29. Pierce H, Gibby AL, Forste R. Caregiver Decision-making: Home Response to
Child Disease in Sub-Saharan Africa. Popul Res Policy Rev. 2016; 35: 581.
30. OMS (Organização Mundial da Saúde). 10 fatos sobre as iniquidades em saúde e suas causas.
2017. Disponível em:https://www.who.int/features/factfiles/health_ inequities / en /. Citado
em 15 de novembro de 2019.
31. Lynch J, Smith GD, Harper S, Hillemeier M, Ross N., Kaplan GA, et al. A desigualdade de renda é
um fator determinante da saúde da população? Parte 1. Uma revisão sistemática. Milbank
Q. 2004; 82: 5–99.
32. Lynch J, Smith GD, Harper S, Hillemeier M. A desigualdade de renda é um determinante da
saúde da população? Parte 2. Tendências nacionais e regionais dos EUA na desigualdade de
renda e mortalidade por idade e causas específicas. Milbank Q. 2004; 82: 355–400.
33. Cutler D, Deaton A, Lleras-Muney A. Os determinantes da mortalidade. J Econ
Perspect. 2006; 20: 97–120.
34. Messias E. Desigualdade de renda, índice de analfabetismo e expectativa de vida no Brasil. Am J
Public Health. 2003; 93: 1294–6.
35. Castle JC, Chalmers I, Atkinson P, Badenoch D, Oxman AD, Austvoll-Dahlgren
A, et al. Estabelecer uma biblioteca de recursos para ajudar as pessoas a compreender os
conceitos-chave na avaliação das alegações de tratamento - a “Biblioteca de Recursos de
Pensamento Crítico e Avaliação” (CARL). PLoS One. 2017; 12: e0178666.
36. Cusack L, Del Mar CB, Chalmers I, Gibson E, Hoffmann TC. Intervenções educacionais
para melhorar a compreensão das pessoas sobre os conceitos-chave na avaliação
dos efeitos das intervenções de saúde: uma revisão sistemática. Syst
Rev. 2018; 7: 68.
37. O Grupo de Escolhas de Saúde Informadas. O projeto de escolhas de saúde informadas:
usando evidências para mudar o mundo. 2017. Disponível em:www.
informadohealthchoices.org. Citado em 20 de junho de 2017.
38. Austvoll-Dahlgren A, Oxman AD, Chalmers I, Nsangi A, Glenton C, Lewin S, et al. Conceitos-
chave que as pessoas precisam entender para avaliar as alegações sobre os efeitos do
tratamento. J Evid Based Med. 2015; 8: 112–25.
39. Chalmers I, Oxman AD, Austvoll-Dahlgren A, Ryan-Vig S, Pannell S, Sewankambo N., et al.
Conceitos-chave para Escolhas de Saúde Informadas: uma estrutura para ajudar as
pessoas a aprender como avaliar as alegações de tratamento e fazer escolhas
informadas. BMJ Evid Based Med. 2018; 23: 29–33.
40. Semakula D, Nsangi A, Oxman AD, Sewankambo NK. Definição de prioridades de
recursos para melhorar a compreensão das informações sobre as alegações de
efeitos do tratamento na mídia de massa. J Evid Based Med. 2015; 8: 84–90.
41. Semakula D, Nsangi A, Oxman M, Rosenbaum S, Oxman A, Austvoll-Dahlgren A, et
al. Desenvolvimento de recursos de mídia de massa para melhorar a capacidade
dos pais de crianças do ensino fundamental em Uganda para avaliar a
confiabilidade das alegações sobre os benefícios e danos dos tratamentos. In:
IHC Working Paper; 2018. Relatório No: ISBN: 978-82-8082-903-0.
Semakula et al. Ensaios (2020) 21: 187 Página 18 de 18

42. O Grupo de Escolhas de Saúde Informadas. Recursos de aprendizagem. 2017. Disponível em:
http://www.informedhealthchoices.org/learning-resources/. Citado em 28 de junho de
2017.
43. Semakula D, Nsangi A, Oxman AD, Oxman M, Austvoll-Dahlgren A, Rosenbaum
S, et al. Efeitos do podcast de Escolhas de Saúde Informadas sobre a capacidade dos pais de crianças
do ensino fundamental em Uganda para avaliar as alegações sobre os efeitos do tratamento: um
61. Ritter F, Baxter G, Kim JW, Srinivasmurthy S. Aprendizagem e retenção. In: Lee
JD, Kirlik A, Dainoff MJ, editores. O manual Oxford de engenharia cognitiva.
Oxford: Oxford University Press; 2013
62. Cromley J. Aprendendo a pensar, aprendendo a aprender: o que a ciência do pensamento e da
aprendizagem tem a oferecer à educação de adultos. Washington, DC: Nacional
Instituto de Alfabetização; 2000.

ensaio clínico randomizado. Lanceta. 2017; 390: 389–98 Elsevier.
44. Nsangi A, Semakula D, Oxman AD, Austvoll-Dahlgren A, Oxman M, Rosenbaum S, et al. Efeitos
da intervenção na escola primária do Informado Health Choices sobre a capacidade das
crianças em Uganda de avaliar a confiabilidade das alegações sobre os efeitos do
tratamento: um ensaio clínico controlado randomizado por grupo. Lanceta. 2017; 390: 374–
88 Elsevier.
45. Nsangi A, Semakula D, Oxman AD, Austvoll-Dahlgren A, Oxman M, Rosenbaum S, et al. Efeitos
da intervenção na escola primária do Informado Health Choices sobre a capacidade das
crianças em Uganda de avaliar a confiabilidade das alegações sobre os efeitos do
tratamento, acompanhamento de 1 ano: um ensaio clínico randomizado por agrupamento.
Ensaios. 2020; 21: 27.https://doi.org/10.1186/s13063-019-3960-9.
63. David L. Teoria da aprendizagem social (Bandura). In: Teorias de aprendizagem; 2015.
Disponível em:https://www.learning-theories.com/social-learning-theorybandura.html.
Citado em 15 de abril de 2018.
64. Smith J, Baltes P. A perspectiva do tempo de vida sobre o pensamento e a resolução de
problemas. In: Schwebel M, Maher CA, Fagley NS, editores. Promover o crescimento
cognitivo ao longo da vida. Hillsdale: Lawrence Erlbaum Associates; 1990.
65. Hartshorne JK, Germine LT. Quando o funcionamento cognitivo atinge o pico? A
ascensão e queda assíncronas de diferentes habilidades cognitivas ao longo da vida.
Psychol Sci. 2015; 26: 433–43.
66. O Grupo de Escolhas de Saúde Informadas. Guia para traduzir e adaptar o podcast de escolhas
de saúde informadas (IHC). In: Documento de trabalho de escolhas de saúde informadas.

46. Semakula D, Nsangi A, Oxman AD, Glenton C, Lewin S, Rosenbaum S, et al. Intervenção da Oslo; 2017. Disponível em:http://www.informedhealthchoices.org/ wp-content / uploads /

mídia de Escolhas de Saúde Informadas para melhorar a capacidade das pessoas de avaliar 2016/08 / GUIA-para-tradução-e-adaptação-o-IHC-Podcast.pdf. Citado em 15 de abril de

criticamente a confiabilidade das afirmações sobre os efeitos do tratamento: uma avaliação 2018.

do processo de métodos mistos de um ensaio randomizado em Uganda. BMJ 67. Slavin R, Madden NA. Medidas inerentes aos tratamentos nas análises de
Abra 2019; 9: e031510. https://doi.org/10.1136/bmjopen-2019-031510. eficácia do programa. J Res Educ Eff. 2011; 1: 370–80.
47. Nsangi A, Semakula D, Oxman AD, Glenton C, Lewin S, Rosenbaum S, et al. Intervenção sobre
escolhas de saúde informadas para ensinar crianças do ensino fundamental em países de
baixa renda a avaliar alegações sobre os efeitos do tratamento: avaliação do processo. BMJ
Nota do editor
A Springer Nature permanece neutra em relação a reivindicações jurisdicionais
Open. 2019; 9 (9): e030787. Publicado em 11 de setembro de 2019.https: // doi. org /
em mapas publicados e afiliações institucionais.
10.1136 / bmjopen-2019-030787.
48. Semakula D, Nsangi A, Oxman M, Austvoll-Dahlgren A, Rosenbaum S, Kaseje
M, et al. Um podcast educacional pode melhorar a capacidade dos pais de crianças do
ensino fundamental de avaliar a confiabilidade das afirmações feitas sobre os benefícios
e danos dos tratamentos: protocolo de estudo para um ensaio clínico randomizado.
Ensaios. 2017; 18: 31.
49. Austvoll-Dahlgren A, Semakula D, Nsangi A; O Grupo IHC, et al. Capacidade de medição para
avaliar reivindicações sobre os efeitos do tratamento: o desenvolvimento das 'Ferramentas
de avaliação de reivindicações'BMJ Open 2017; 7: e013184.https://doi.org/10.1136/
bmjopen-2016-013184.
50. Austvoll-Dahlgren A, Guttersrud Ø, Nsangi A, Semakula D, Oxman AD. Capacidade de medição para
avaliar reivindicações sobre os efeitos do tratamento: uma análise de traços latentes de itens do
banco de dados 'Ferramentas de avaliação de reivindicações' usando modelagem Rasch. BMJ Open.
2017; 7 (5): e013185. Publicado em 25 de maio de 2017.https: // doi.org/10.1136/
bmjopen-2016-013185.

51. O Grupo de Escolhas de Saúde Informadas. As ferramentas de avaliação de sinistros. 2018.

52. Semakula D, Nsangi A, Guttersrud Ø, Oxman AD, Sewankambo NK, Austvoll-Dhalgren

A. Medindo a capacidade de avaliar alegações sobre os efeitos do tratamento em
Inglês e Luganda: avaliação de questões de múltipla escolha do banco de dados
"Claim Evaluation Tools" usando Modelagem Rasch. Trabalho IHC
Papel. 2017. Disponível em:http://www.informedhealthchoices.org/wpcontent/
uploads/2016/08/Claim-2nd-Rasch-analysis-in-Uganda-2017-03-17. pdf. Citado em
15 de abril de 2018.
53. Davies A, Gerrity M, Nordheim L, Peter O, Opiyo N, Sharples J, et al. Capacidade de medição
para avaliar afirmações sobre os efeitos do tratamento: estabelecimento de um padrão para
aprovação e domínio. Documento de trabalho do IHC. 2017. Disponível em:http://
www.informedhealthchoices.org/wp-content/uploads/2016/08/ Claim-cut-off-IHC-Working-
Paper-2017-01-09.pdf. Citado em 15 de abril de 2018.
54. Donner A. Requisitos de tamanho de amostra para projetos de randomização por agrupamento
estratificado. Stat Med. 1992; 11: 743–50.

55. Lee DS. Treinamento, salários e seleção de amostra: estimando limites precisos nos
efeitos do tratamento. Rev Econ Stud. 2009; 76: 1071–102.
56. White IR, Thomas J. Diferenças médias padronizadas em ensaios randomizados
individualmente e randomizados por cluster, com aplicações para meta-análise.
Ensaios clínicos. 2005; 2: 141–51.
57. Abrami PC, Bernard RM, Borokhovski E, Waddington DI, Wade CA, Persson T. Estratégias para
ensinar os alunos a pensar criticamente: uma meta-análise. Rev Educ
Res. 2015; 85: 275–314.
58. Arthur W Jr, Bennett W Jr, Stanush PL, McNelly TL. Fatores que influenciam a diminuição e
retenção de habilidades: uma revisão e análise quantitativa. Hum Perform. 1998; 11: 57–
101.
59. Custers EJFM. Retenção de longo prazo do conhecimento científico básico: um estudo de
revisão. Adv Heal Sci Educ. 2010; 15: 109–28.
60. Prince M. O aprendizado ativo funciona? Uma revisão da Pesquisa. J Eng Educ. 2004;
93: 223–31.