17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

J Educ Eval Saúde Prof. 2021; 18:11. PMCID: PMC8212027

Publicado online em 1º de junho de 2021. doi: 10.3352/jeehp.2021.18.11 PMID: 34058802

Métodos de avaliação e a validade e confiabilidade de ferramentas de medição em

exames clínicos estruturados objetivos online: uma revisão sistemática de escopo
Jonathan Zachary Felthun , 1 Silas Taylor , 2 Boaz Shulruf , 2, 3 e Digby Wigram Allen 1, *

Sun Huh, Editor

Abstrato

A pandemia da doença de coronavírus 2019 (COVID-19) exigiu que os educadores adaptassem

o exame clínico estruturado objetivo presencial (OSCE) à s configuraçõ es on-line para que ele
permanecesse um componente crítico da avaliaçã o multifacetada da competê ncia de um aluno.
Esta revisã o sistemá tica de escopo teve como objetivo resumir os mé todos de avaliaçã o e a val‐
idade e confiabilidade das ferramentas de mediçã o usadas nas abordagens atuais do OSCE on-
line (doravante, denominadas teleOSCE). Uma revisã o abrangente da literatura foi realizada
seguindo as diretrizes Preferred Reporting Items for Systematic Reviews and Meta-Analyses
for Scoping Reviews. Foram elegíveis artigos que relatassem qualquer forma de avaliaçã o de
desempenho, em qualquer á rea da saú de, entregue em formato online. Dois revisores
avaliaram independentemente os resultados e analisaram estudos relevantes. Onze artigos
foram incluídos na aná lise. Vídeos pré -gravados foram usados ​em 3 estudos, enquanto
observaçõ es por examinadores remotos por meio de uma plataforma online foram usadas em
7 estudos. A aceitabilidade percebida pelos alunos foi relatada em 2 estudos. Esta revisã o
sistemá tica de escopo identificou vá rios insights obtidos com a implementaçã o de teleOSCEs,
os componentes transferíveis da telemedicina e a necessidade de pesquisa sistê mica para esta‐
belecer a estrutura ideal do teleOSCE. Os TeleOSCEs podem melhorar a acessibilidade e a re‐
produtibilidade das avaliaçõ es clínicas e equipar os alunos com as habilidades necessá rias
para praticar efetivamente a telemedicina no futuro. A aceitabilidade percebida pelos alunos
foi relatada em 2 estudos. Esta revisã o sistemá tica de escopo identificou vá rios insights obti‐
dos com a implementaçã o de teleOSCEs, os componentes transferíveis da telemedicina e a ne‐
cessidade de pesquisa sistê mica para estabelecer a estrutura ideal do teleOSCE. Os TeleOSCEs
podem melhorar a acessibilidade e a reprodutibilidade das avaliaçõ es clínicas e equipar os
alunos com as habilidades necessá rias para praticar efetivamente a telemedicina no futuro. A
aceitabilidade percebida pelos alunos foi relatada em 2 estudos. Esta revisã o sistemá tica de es‐
copo identificou vá rios insights obtidos com a implementaçã o de teleOSCEs, os componentes
transferíveis da telemedicina e a necessidade de pesquisa sistê mica para estabelecer a estru‐
tura ideal do teleOSCE. Os TeleOSCEs podem melhorar a acessibilidade e a reprodutibilidade
das avaliaçõ es clínicas e equipar os alunos com as habilidades necessá rias para praticar efeti‐
vamente a telemedicina no futuro.

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 1/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

Palavras-chave: Austrá lia, COVID-19, Exame clínico objetivo estruturado, Avaliaçã o online,
Tecnologia educacional

Introduçã o

Justificativa

O exame clínico estruturado objetivo (OSCE) serve como um componente de um processo de

avaliaçã o multimodal mais amplo que, em ú ltima aná lise, se esforça para determinar se um es‐
tudante das profissõ es de saú de pode fornecer cuidados centrados no paciente de forma se‐
gura e eficaz .]. Recentemente, a pandemia da doença de coronavírus 2019 (COVID-19) impô s
restriçõ es à s interaçõ es físicas entre alunos e pacientes devido ao distanciamento social e exi‐
giu adaptaçõ es metodoló gicas na entrega e avaliaçã o da educaçã o. Embora os educadores es‐
tejam amplamente familiarizados com a mudança para plataformas de entrega educacional on-
line, a tecnologia de videoconferê ncia em particular deve ser destacada como uma forma de
alcançar a objetividade e a estrutura desejadas da OSCE, respeitando as demandas contempo‐
râ neas de reduçã o de risco de infecçã o e acessibilidade aprimorada, com um imposiçã o orça‐
mental neutra.

Apesar da abundâ ncia de literatura abordando o OSCE presencial, há uma escassez de infor‐
maçõ es sobre sua contraparte online, que chamamos de teleOSCE. No entanto, a adoçã o de
plataformas online para telemedicina apresenta semelhanças marcantes com a transiçã o da
OSCE presencial para a teleOSCE; portanto, a telemedicina é um recurso inestimável quando se
considera o formato e o design do teleOSCE. Assim como pode ser desafiador estabelecer di‐
agnó sticos que exijam avaliaçã o tá til ou manobras diagnó sticas usando uma plataforma de te‐
lemedicina [ 2], a avaliaçã o de exames físicos pode ser problemá tica em uma interface tele‐
OSCE e requer modalidades alternativas de avaliaçã o. Uma possível maneira de resolver esse
dilema pode ser que, com a transiçã o para a plataforma teleOSCE, a avaliaçã o de habilidades
prá ticas possa mudar para estraté gias de testes complementares, como avaliaçõ es clínicas no
local de trabalho. O teleOSCE nã o é um reflexo perfeito da “visita virtual” da telemedicina –
como tal, felizmente, algumas das limitaçõ es da telemedicina sã o superáveis. As estaçõ es de
exame podem ser enriquecidas pelo fornecimento de informaçõ es fictícias adicionais. Alé m
disso, os problemas de avaliaçã o de exames físicos podem ser superados usando uma configu‐
raçã o de avaliaçã o em que o examinado e o paciente simulado ocupam a mesma sala, com o
examinador situado remotamente. Em um contexto mais amplo,3 ]. Embora os teleOSCEs pos‐
sam teoricamente ter muitos benefícios, eles devem ser prá ticos antes de serem amplamente
adotados.

Objetivos

Este artigo teve como objetivo resumir os vá rios mé todos de entrega e avaliaçã o do teleOSCE
na literatura publicada, com foco particular em determinar sua validade, confiabilidade e, final‐
mente, sua utilidade. Com base nas descobertas, os principais atributos do teleOSCE sã o desta‐
cados e sugestõ es sã o fornecidas para futuros empreendimentos no design do teleOSCE.

Métodos

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 2/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

Declaração de ética

Este foi um estudo baseado na literatura; portanto, nem a aprovaçã o do conselho de revisã o
institucional nem o consentimento informado foram necessá rios.

Design de estudo

Esta foi uma revisã o sistemá tica de escopo, descrita de acordo com as diretrizes Preferred Re‐
porting Items for Systematic Reviews and Meta-Analyses for Scoping Reviews (PRISMA-ScR) [ 4
].

Protocolo e registro

Um protocolo de revisã o interna foi desenvolvido, mas nã o foi registrado nem publicado.

Critérios de elegibilidade

Esta revisã o incluiu estudos de qualquer forma de avaliaçã o de desempenho, em qualquer

á rea da saú de, entregues em formato online. Os estudos foram limitados aos publicados nos
10 anos anteriores, em um esforço para focar no uso da tecnologia online contemporâ nea. Os
artigos foram excluídos se seu foco fosse o uso de tecnologia online para ensino ou aprendiza‐
gem e se nã o estivessem em inglê s. Um formato online foi definido como qualquer uso de tec‐
nologia que permitisse ao aluno realizar a avaliaçã o em um local remoto do paciente ou do
examinador (por exemplo, gravaçõ es de vídeo de pacientes ou tecnologia de
telecomunicaçõ es).

Fontes de informação

PubMed (de 2010 a julho de 2020), Scopus (de 2010 a julho de 2020) e PROSPERO (até maio
de 2021) foram pesquisados.

Procurar

Dois revisores (JZF, DWA) conduziram de forma independente uma busca sistemá tica de estu‐
dos que examinassem avaliaçõ es de desempenho em saú de entregues em formato online. Pub‐
Med (de 2010 a julho de 2020) foi pesquisado usando os termos (explodido, todos os subtítu‐
los) da seguinte forma:

((online[Título/Resumo]) OU (vídeo[Título/Resumo]) OU (remoto[Título/Resumo]) OU

(web[Título/Resumo])) E ((OSCE[Título/Resumo]) OU (longo case[Título/Resumo]) OU
(caso curto[Título/Resumo]) OU ("avaliaçã o de desempenho") OU ("exame de
desempenho")) NÃ O (ensino[Título/Resumo]) NOT (aprendizagem[Título/Resumo])

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 3/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

Nossa busca foi limitada a estudos em humanos em inglê s e foi complementada pela busca ma‐
nual nas listas de referê ncias dos artigos identificados. O Scopus foi utilizado para buscar arti‐
gos recentes citando artigos seminais sem usar uma estraté gia formal de busca. O banco de
dados PROSPERO foi pesquisado usando a estraté gia descrita acima (parte do título/resumo
redigida) para confirmar que nenhum estudo de escopo sistemá tico recente ou em andamento
havia sido concluído sobre o tó pico.

Seleção de fontes de evidência

Dois autores (JZF, DWA) selecionaram os títulos e resumos dos estudos identificados com base
nos crité rios de inclusã o e exclusã o [ 5 ] (Figura 1). Os textos completos dos estudos selecio‐
nados foram analisados ​e avaliados independentemente para elegibilidade pelos mesmos 2 au‐
tores (JZF, DWA). Nos casos de incerteza (n=3), os outros 2 autores (ST e BS) foram consulta‐
dos para tomar uma decisã o por consenso.

Figura 1.

Extensão de itens de relató rio preferidos para revisõ es sistemáticas e meta-análises para o diagrama de fluxo
de revisõ es de escopo demonstrando o processo de seleção de artigos [ 5 ].

Processo de gráficos de dados

Os seguintes dados foram extraídos e inseridos em um formulá rio padronizado: autores da

publicaçã o, ano, desenho do estudo e configuraçã o do OSCE online ( Suplemento 1 ).

Itens de dados

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 4/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

Foram incluídos artigos que apresentassem alguma variável relacionada ao mé todo de entrega
e mé todo de avaliaçã o. Confiabilidade, validade e aceitabilidade foram variáveis ​de particular
interesse.

Avaliação crítica de fontes individuais de evidência

Nã o realizado.

Síntese de resultados

Os investigadores principais realizaram uma aná lise para derivar temas-chave representados
na saída da estraté gia de busca. Os temas incluíram a configuraçã o do teleOSCE, os objetivos e
o foco do estudo, os resultados primá rios e as conclusõ es subsequentes.

Resultados

Seleção de fontes de evidência

A estraté gia de busca rendeu 363 artigos publicados, e 5 artigos adicionais foram encontrados
ao selecionar as seçõ es de referê ncia dos artigos apropriados. Apó s a remoçã o das duplicatas,
365 artigos foram selecionados. A triagem inicial do título e, em seguida, do resumo excluiu
349 artigos, restando 16 artigos para aná lise de texto completo. Destes, 3 tinham informaçõ es
insuficientes sobre a aná lise do componente online do OSCE do exame, 1 usou gravaçõ es de
vídeo para avaliar os recursos do OSCE tradicional, em oposiçã o à avaliaçã o da plataforma on‐
line, e 1 concentrou-se na avaliaçã o das habilidades de telemedicina em vez de usar um plata‐
forma online para avaliaçã o. A exclusã o desses 5 estudos deixou 11 artigos para serem incluí‐
dos na síntese qualitativa para o estudo de escopo (Figura 1).

Características das fontes de evidência

Os artigos incluídos sã o originá rios de vá rios países (Reino Unido [ 6 ], Canadá [ 7 ], Irlanda
do Norte [ 8 ], Estados Unidos da Amé rica [ 9 , 10 ], Bahrain [ 11 ], Qatar [ 12 ], Alemanha [ 13
], Filipinas [ 14 ] e Taiwan [ 15 ]) e focou em participantes com diferentes níveis de experiê ncia
(estudantes de medicina [ 7 , 8 , 10 - 15 ], residentes de medicina de emergê ncia [ 16 ], estagiá ‐
rios de pediatria [ 6 ], residentes de anestesiologia [ 9], residentes cirú rgicos e cirurgiõ es qua‐
lificados [ 13 ]).

Avaliação crítica dentro das fontes de evidência

Nã o realizado.

Resultados de fontes individuais de evidência

Os dados relevantes dos estudos incluídos que abordam as questõ es da revisã o estã o resumi‐
dos no Suplemento 2 .

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 5/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

Síntese de resultados

Métodos de avaliaçã o e entrega do teleOSCE Trê s estudos utilizaram vídeos pré -gravados de pa‐
cientes ou encontros mé dico-paciente no lugar de pacientes simulados pessoalmente entre as
estaçõ es OSCE tradicionais [ 6 , 8 , 12 ]. Outro usou o consenso entre a avaliaçã o de um exami‐
nador especialista de encontros mé dico-paciente pré -gravados e de um aluno examinado, para
avaliar o conhecimento do aluno sobre habilidades de comunicaçã o [ 11 ]. Os 7 estudos res‐
tantes avaliaram até que ponto era viável realizar avaliaçõ es em que examinadores remotos
observavam os alunos por meio de uma plataforma online. Dois desses estudos utilizaram fe‐
eds de vídeo ao vivo de encontros examinando-pacientes [ 7 , 15]. Quatro estudos apoiaram o
uso de examinadores remotos por meio de imagens gravadas do encontro examinado-paci‐
ente, muitas vezes usando um examinador no local em tempo real para comparaçã o [ 9 , 13 ,
14 , 16 ]. Um estudo colocou o aluno, examinador e paciente em salas separadas [ 10 ].

Medidas de resultado Os estudos foram muito variados nas medidas de resultados que foram
relatadas, todas descritas no Suplemento 2. No entanto, todos obtiveram sucesso em pelo me‐
nos um dos fatores de confiabilidade, validade e aceitabilidade. Quatro estudos comentaram a
confiabilidade, sendo 2 com foco na consistê ncia interna [ 8 , 13 ], 1 na correlaçã o entre itens [
6 ] e 1 na confiabilidade interobservador [ 14 ]. Dez estudos comentaram sobre a validade, to‐
dos avaliaram a validade de crité rio comparando seu mé todo teleOSCE com um formato pre‐
sencial [ 6 - 10 , 12 - 16 ]. Dois estudos usaram validade de construto; 1 estudo avaliou sua
pontuaçã o como um indicador de crescimento do conhecimento [11 ], enquanto o outro com‐
parou estudantes a residentes e especialistas [ 13 ].

Discussã o

Resumo das evidências

Alé m das liçõ es aprendidas com a telemedicina, esta revisã o de escopo revela um corpo de li‐
teratura em desenvolvimento descrevendo tentativas de implementaçã o de teleOSCEs. Dadas
as diferenças inerentes à aplicaçã o da telemedicina e consultas da OSCE, os achados deste es‐
tudo sã o imperativos para entender como uma plataforma online pode afetar o processo de
avaliaçã o e os resultados. Todos os estudos recuperados da busca na literatura relataram re‐
sultados desejáveis ​para validade, confiabilidade e/ou aceitabilidade em relaçã o à s inovaçõ es
tecnoló gicas analisadas em seus mé todos. Embora essa tendê ncia possa refletir o vié s de pu‐
blicaçã o até certo ponto, já que poucos estudos sugeriram possíveis melhorias em seus mé to‐
dos, esses achados, no entanto, demonstram que, com uma consideraçã o cuidadosa, junta‐
mente com a adaptaçã o adequada ao cená rio individual, Os teleOSCEs podem alcançar os mes‐
mos valores que suas contrapartes presenciais pretendem alcançar. No entanto, a validade das
OSCEs pode variar de acordo com o contexto em que sã o realizadas.17 ]. Insights mais signifi‐
cativos para estudos futuros podem ser obtidos avaliando o processo de avaliaçã o online, em
vez de medir os resultados psicomé tricos, com foco em como a plataforma online afeta o de‐
sempenho dos alunos e os julgamentos dos examinadores.

Por exemplo, é fundamental entender se a substituiçã o de um examinador por uma câ mera

tem impacto no desempenho dos alunos. O efeito da audiê ncia é um componente da teoria da
facilitaçã o social que tenta explicar as mudanças de desempenho na presença, ou presença

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 6/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

percebida, de outros [ 15 ]. Simplificando, o desempenho de um indivíduo em tarefas desco‐

nhecidas e complexas é prejudicado na presença de outros, enquanto a presença de outros
melhora o desempenho de tarefas que foram dominadas [ 15 ]. Hamilton e Lind [ 18] sugeri‐
ram que a realizaçã o de um exame gravado pode replicar o pú blico presente ao se apresentar
na frente de um examinador pró ximo. Para otimizar o processo de pré -exame OSCE, avanços
tecnoló gicos, incluindo mó dulos de orientaçã o de e-learning e vídeos de treinamento enrique‐
cidos com rastreamento ocular, foram utilizados para melhorar a preparaçã o de examinadores
e examinandos para OSCEs, respectivamente [ 19 , 20 ]. No entanto, como mostrado por esta
revisã o, houve investigaçõ es prá ticas mínimas dessas tecnologias em exames de alto risco.

Alé m disso, a revisã o revelou pouco sobre se os examinadores extraem informaçõ es diferen‐
tes sobre o desempenho dos alunos de teleOSCEs e avaliaçõ es presenciais. Tradicionalmente, 1
ou mais examinadores pró ximos, alé m de um paciente e um examinado, ocupam a sala, e as
observaçõ es dos examinadores geralmente compõ em a maior parte da avaliaçã o [ 15 ]. Os
examinadores geralmente sã o livres para se movimentar pela sala, alterando sua perspectiva e
interaçõ es com o examinando. Essa possibilidade é mais limitada e depende dos recursos dis‐
poníveis em um teleOSCE. Por exemplo, Chen et al. [ 15] implementou uma câ mera que pode
fazer panorâ mica de 360°, teoricamente permitindo que os examinadores obtenham mais in‐
formaçõ es do que é possível usando uma câ mera estacioná ria. Alé m disso, o uso de 2 câ meras
pode permitir que um examinador isolado avalie mú ltiplas perspectivas simultaneamente, o
que nã o pode ser replicado para um examinador presencial. Com relaçã o à tarefa de avaliaçã o
do conjunto, Chan et al. [ 7 ] sugeriram que uma ú nica câ mera é adequada para estaçõ es base‐
adas em histó rico, enquanto estaçõ es baseadas em exame físico requerem uma segunda câ ‐
mera. Esta revisã o de escopo demonstrou uma correlaçã o consistentemente boa entre a avali‐
açã o de estaçõ es OSCE gravadas e exames presenciais ao vivo, mas falta orientaçã o sobre
como uma câ mera pode limitar - ou expandir - a capacidade dos examinadores de observar os
alunos enquanto eles realizam o exame. exames.

A influê ncia de uma plataforma online na derivaçã o de informaçõ es emocionais e perceptivas

por pacientes, examinadores e examinandos simulados é de grande interesse e pouco explo‐
rada nos estudos aqui analisados. As teorias cognitivas afirmam que tais percepçõ es sã o o
composto de pistas inter-relacionadas de uma variedade de fontes, incluindo expressõ es faci‐
ais, linguagem corporal e informaçõ es contextuais, todas integradas atravé s da construçã o do
conhecimento, crenças, preconceitos, gê nero, etnia, nível de experiê ncia de um indivíduo. , e
estado emocional [ 21 - 23]. Assim, restringir a entrada ao que pode ser obtido de uma tela
pode impedir a capacidade dos examinadores de fazer esses julgamentos. Por exemplo, se um
close-up restringe o quadro ao rosto de um examinado, um examinador pode perder a inquie‐
taçã o das mã os ou o bater dos pé s, o que pode representar informaçõ es importantes para
avaliar a confiança, o equilíbrio e a capacidade de um indivíduo. Isso pode explicar por que
Chan et al. [ 7 ] e Chen et al. [ 15 ] demonstraram diferenças nos resultados entre os examina‐
dores presenciais e remotos, mas apenas ao usar a escala de classificaçã o global mais subje‐
tiva. Por outro lado, a pesquisa sugere que os humanos sã o extraordinariamente bem adapta‐
dos para perceber estados emocionais, com a capacidade de tirar conclusõ es sobre emoçõ es
complexas a partir de fotografias de rostos humanos em apenas 1 segundo.24 ]. A capacidade
de um indivíduo de exercer essa habilidade cognitiva em vá rios domínios clínicos, como avalia‐
çõ es de saú de mental e transmissã o de má s notícias, é um componente vital para operar como
um profissional competente. Como tal, é importante considerar como a configuraçã o de um te‐

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 7/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

leOSCE pode influenciar esse processo e se vá rios â ngulos de câ mera sã o necessá rios para
capturar dados contextuais detalhados ou se informaçõ es suficientes podem ser obtidas de
uma abordagem mais minimalista.

Limitaçõ es

Uma limitaçã o importante deste artigo é que ele explorou mé todos de entrega e avaliaçã o do
teleOSCE na literatura publicada. É possível que os provedores de educaçã o estejam condu‐
zindo teleOSCEs sem publicar suas descobertas; assim, as conclusõ es desta aná lise podem ter
sido influenciadas pelo vié s de publicaçã o positivo. Alé m disso, apenas manuscritos publicados
em inglê s foram revisados ​e os resultados dos custos nã o foram relatados. Por fim, a quali‐
dade metodoló gica de vá rios estudos poderia ter sido aprimorada com a inclusã o de um
grupo de controle OSCE presencial para comparaçã o.

Sugestão

A abordagem heterogê nea da estrutura do teleOSCE e as inconsistê ncias na avaliaçã o dos as‐
pectos psicomé tricos das avaliaçõ es online contribuíram para a falta de consenso em torno de
uma configuraçã o adequada do teleOSCE. Isso se deve em grande parte ao pequeno tamanho
da amostra de estudos publicados que podem fornecer a base para avaliar a entrega e avalia‐
çã o do teleOSCE. Como tal, pesquisas empíricas futuras sã o necessá rias para estabelecer o for‐
mato ideal para as avaliaçõ es do teleOSCE. Sugerimos que estudos futuros tenham como obje‐
tivo comparar avaliaçõ es presenciais com teleOSCEs usando coortes pareadas e empregar me‐
didas estabelecidas de confiabilidade e validade para apresentar seus resultados. Alé m disso,
pesquisas adicionais e – sem dú vida mais importante – ideias cada vez mais inovadoras sã o ne‐
cessá rias para adaptar as avaliaçõ es de exames físicos à s plataformas online.

Conclusã o

Existem muitos exemplos de entrega e avaliaçã o bem-sucedidas do teleOSCE que alcançaram

resultados favoráveis ​em termos de confiabilidade, validade e aceitabilidade para estudantes e
examinadores. A interface de vídeo é mais adequada para cená rios clínicos que dependem de
habilidades de comunicaçã o e observaçõ es em oposiçã o a exames físicos. Para tarefas de ob‐
servaçã o mais complexas, pode ser ú til empregar vá rias câ meras e informaçõ es clínicas fabri‐
cadas que vã o alé m do que é possível avaliar usando a tecnologia atual, como o fornecimento
de sinais vitais, achados de exame físico ou resultados de investigaçã o. Juntamente com essas
orientaçõ es e insights que serã o obtidos em estudos futuros, será possível a adoçã o mais am‐
pla de teleOSCEs.

Agradecimentos

Nenhum.

Notas de rodapé

Contribuições dos autores

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 8/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

Conceituação: JZF, DWA. Curadoria de dados: JZF, DWA. Análise formal: JZF, DWA. Aquisição de financiamento:
não aplicável. Metodologia: ST, BS. Administração do projeto: DWA. Redação – rascunho original: JZF, DWA. Re-
dação–revisão e edição: JZF, DWA, ST, BS.

Conflito de interesses

Boaz Shulruf é editor associado do Journal of Educational Evaluation for Health Professions desde 2017, mas não
teve nenhum papel na decisão de publicar esta revisão. Nenhum outro conflito de interesse potencial relevante
para este artigo foi relatado.

Financiamento

Nenhum.

Disponibilidade de dados

Nenhum.

Materiais complementares

Arquivos suplementares estã o disponíveis no Harvard Dataverse: https://doi-

org.ez8.periodicos.capes.gov.br/10.7910/DVN/28ZNMI

Suplemento 1. Formulário de extração de dados.

Click here to view.(10K, xlsx)

Supplement 2. Characteristics of key findings of included studies.

Click here to view.(13K, xlsx)

Supplement 3. Audio recording of the abstract.

Click here to view.(1.5M, avi)

References

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 9/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

1. Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR; ICBME Collaborators. Core
principles of assessment in competency-based medical education. Med Teach. 2017;39:609–616.
doi: 10.1080/0142159X.2017.1315082. [PubMed] [CrossRef] [Google Scholar]

2. Romanick-Schmiedl S, Raghu G. Telemedicine: maintaining quality during times of transition. Nat Rev Dis Primers.
2020;6:45. doi: 10.1038/s41572-020-0185-x. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

3. Quinlin L, Clark Graham M, Nikolai C, Teall AM. Development and implementation of an e-visit objective structured
clinical examination to evaluate student ability to provide care by telehealth. J Am Assoc Nurse Pract. 2020;33:359–365.
doi: 10.1097/JXX.0000000000000409. [PubMed] [CrossRef] [Google Scholar]

4. Tricco AC, Lillie E, Zarin W, O’Brien KK, Colquhoun H, Levac D, Moher D, Peters MDJ, Horsley T, Weeks L, Hempel S,
Akl EA, Chang C, McGowan J, Stewart L, Hartling L, Aldcroft A, Wilson MG, Garritty C, Lewin S, Godfrey CM, Macdonald
MT, Langlois EV, Soares-Weiser K, Moriarty J, Clifford T, Tunçalp O, Straus SE. PRISMA Extension for Scoping Reviews
(PRISMA-ScR): checklist and explanation. Ann Intern Med. 2018;169:467–473. doi: 10.7326/M18-0850. [PubMed]
[CrossRef] [Google Scholar]

5. Webb EA, Davis L, Muir G, Lissauer T, Nanduri V, Newell SJ. Improving postgraduate clinical assessment tools: the
introduction of video recordings to assess decision making. Med Teach. 2012;34:404–410.
doi: 10.3109/0142159X.2012.668242. [PubMed] [CrossRef] [Google Scholar]

6. Chan J, Humphrey-Murto S, Pugh DM, Su C, Wood T. The objective structured clinical examination: can physician-
examiners participate from a distance? Med Educ. 2014;48:441–450. doi: 10.1111/medu.12326. [PubMed] [CrossRef]
[Google Scholar]

7. Watson P, Stevenson M, Hawkins S. Neurology assessment by objective structured video examination. Clin Teach.
2016;13:348–351. doi: 10.1111/tct.12443. [PubMed] [CrossRef] [Google Scholar]

8. Isaak R, Stiegler M, Hobbs G, Martinelli SM, Zvara D, Arora H, Chen F. Comparing real-time versus delayed video
assessments for evaluating ACGME sub-competency milestones in simulated patient care environments. Cureus.
2018;10:e2267. doi: 10.7759/cureus.2267. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

9. Lara S, Foster CW, Hawks M, Montgomery M. Remote assessment of clinical skills during COVID-19: a virtual, high-
stakes, summative pediatric objective structured clinical examination. Acad Pediatr. 2020;20:760–761.
doi: 10.1016/j.acap.2020.05.029. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

10. Shehata MH, Kumar AP, Arekat MR, Alsenbesy M, Mohammed Al Ansari A, Atwa H, Ahmed SA, Deifalla A. A toolbox
for conducting an online OSCE. Clin Teach. 2021;18:236–242. doi: 10.1111/tct.13285. [PubMed] [CrossRef] [Google
Scholar]

11. Baribeau DA, Mukovozov I, Sabljic T, Eva KW, deLottinville CB. Using an objective structured video exam to identify
differential understanding of aspects of communication skills. Med Teach. 2012;34:e242–e250.
doi: 10.3109/0142159X.2012.660213. [PubMed] [CrossRef] [Google Scholar]

12. Nickel F, Hendrie JD, Stock C, Salama M, Preukschas AA, Senft JD, Kowalewski KF, Wagner M, Kenngott HG, Linke
GR, Fischer L, Muller-Stich BP. Direct observation versus endoscopic video recording-based rating with the objective
structured assessment of technical skills for training of laparoscopic cholecystectomy. Eur Surg Res. 2016;57:1–9.
doi: 10.1159/000444449. [PubMed] [CrossRef] [Google Scholar]

13. Bautista JM, Manalastas RE. Using video recording in evaluating students’ clinical skills. Med Sci Educ.
2017;27:645–650. doi: 10.1007/s40670-017-0446-9. [CrossRef] [Google Scholar]

14. Chen TC, Lin MC, Chiang YC, Monrouxe L, Chien SJ. Remote and onsite scoring of OSCEs using generalisability
theory: a three-year cohort study. Med Teach. 2019;41:578–583. doi: 10.1080/0142159X.2018.1508828. [PubMed]
[CrossRef] [Google Scholar]

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 10/11
17/07/2022 14:29 Métodos de avaliação e validade e confiabilidade de instrumentos de mensuração em exames clínicos estruturados objetivo…

15. House JB, Dooley-Hash S, Kowalenko T, Sikavitsas A, Seeyave DM, Younger JG, Hamstra SJ, Nypaver MM.
Prospective comparison of live evaluation and video review in the evaluation of operator performance in a pediatric
emergency airway simulation. J Grad Med Educ. 2012;4:312–316. doi: 10.4300/JGME-D-11-00123.1. [PMC free article]
[PubMed] [CrossRef] [Google Scholar]

16. St-Onge C, Young M, Eva KW, Hodges B. Validity: one word with a plurality of meanings. Adv Health Sci Educ Theory
Pract. 2017;22:853–867. doi: 10.1007/s10459-016-9716-3. [PubMed] [CrossRef] [Google Scholar]

17. Hamilton AFC, Lind F. Audience effects: what can they tell us about social neuroscience, theory of mind and autism?
Cult Brain. 2016;4:159–177. doi: 10.1007/s40167-016-0044-5. [PMC free article] [PubMed] [CrossRef] [Google
Scholar]

18. Khamisa K, Halman S, Desjardins I, Jean MS, Pugh D. The implementation and evaluation of an e-Learning training
module for objective structured clinical examination raters in Canada. J Educ Eval Health Prof. 2018;15:18.
doi: 10.3352/jeehp.2018.15.18. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

19. Sanchez-Ferrer F, Ramos-Rincon JM, Grima-Murcia MD, Luisa Sanchez-Ferrer M, Sanchez-Del Campo F, Compan-
Rosique AF, Fernandez-Jover E. Utility of eye-tracking technology for preparing medical students in Spain for the
summative objective structured clinical examination. J Educ Eval Health Prof. 2017;14:27.
doi: 10.3352/jeehp.2017.14.27. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

20. Chong L, Taylor S, Haywood M, Adelstein BA, Shulruf B. The sights and insights of examiners in objective structured
clinical examinations. J Educ Eval Health Prof. 2017;14:34. doi: 10.3352/jeehp.2017.14.34. [PMC free article] [PubMed]
[CrossRef] [Google Scholar]

21. Zaki J. Cue integration: a common framework for social cognition and physical perception. Perspect Psychol Sci.
2013;8:296–312. doi: 10.1177/1745691613475454. [PubMed] [CrossRef] [Google Scholar]

22. Chong L, Taylor S, Haywood M, Adelstein BA, Shulruf B. Examiner seniority and experience are associated with bias
when scoring communication, but not examination, skills in objective structured clinical examinations in Australia. J
Educ Eval Health Prof. 2018;15:17. doi: 10.3352/jeehp.2018.15.17. [PMC free article] [PubMed] [CrossRef] [Google
Scholar]

23. Wilhelm O, Hildebrandt A, Manske K, Schacht A, Sommer W. Test battery for measuring the perception and
recognition of facial expressions of emotion. Front Psychol. 2014;5:404. doi: 10.3389/fpsyg.2014.00404. [PMC free
article] [PubMed] [CrossRef] [Google Scholar]

24. Moher D, Liberati A, Tetzlaff J, Altman DG, PRISMA Group Itens de relató rio preferidos para revisõ es sistemáticas e
meta-análises: a declaração PRISMA. PLoS Med. 2009; 6 :e1000097. doi: 10.1371/journal.pmed.1000097. [ PMC free
article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8212027/ 11/11