17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

J Educ Eval Saúde Prof. 2021; 18: 23. PMCID: PMC8616724

Publicado online em 23 de setembro de 2021. doi: 10.3352/jeehp.2021.18.23 PMID: 34551510

Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação

presencial na Austrália
Jonathan Zachary Felthun , 1 Silas Taylor , 2 Boaz Shulruf , 2 , 3 e Digby Wigram Allen 1 , *

Sun Huh, Editor

Abstrato

Propó sito

Objetivou-se comparar o uso do exame clínico estruturado teleobjetivo (teleOSCE) com a

avaliaçã o presencial no exame clínico de alto risco para determinar o impacto do teleOSCE na
avaliaçã o realizada. Segue-se a discussã o sobre quais habilidades e domínios podem ser efeti‐
vamente avaliados em um teleOSCE.

Métodos

Este estudo é uma aná lise observacional retrospectiva. Compara os resultados alcançados por
estudantes de medicina do ú ltimo ano em seu exame clínico, avaliados pelo teleOSCE em 2020
(n=285), com aqueles que foram examinados no formato presencial tradicional em 2019
(n=280). O estudo foi realizado na Universidade de New South Wales, Austrá lia.

Resultados

No domínio do exame físico, os alunos de 2020 pontuaram 0,277 pontos a mais do que os de
2019 (diferença mé dia=–0,277, P<0,001, tamanho do efeito=0,332). Em todos os outros
domínios, nã o houve diferença significativa nas pontuaçõ es mé dias entre 2019 e 2020.

Conclusão

O teleOSCE nã o impacta negativamente a avaliaçã o no exame clínico em todos os domínios, ex‐

ceto no exame físico. Se o teleOSCE for o futuro do exame de habilidades clínicas, a avaliaçã o
do exame físico exigirá uma avaliaçã o concomitante no local de trabalho.

Palavras-chave: Tecnologia educacional, Exame clínico objetivo estruturado, Avaliaçã o online,

Medicina remota, Telemedicina, Austrá lia

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 1/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

Introduçã o

Antecedentes/racional

A pandemia da doença de coronavírus 2019 (COVID-19) forçou a educaçã o em saú de em todo

o mundo a se adaptar ao cená rio ú nico e desafiador de facilitar exames baseados em desem‐
penho sob rigorosos requisitos de distanciamento social. Muitos “viraram” para plataformas
online com orientaçã o mínima da literatura, para implementar essas avaliaçõ es [ 1 - 3]. Teori‐
camente, os princípios de objetividade e estrutura que sustentam o exame devem ser replicá ‐
veis ​no formato online e consistentemente alcançados ao transmitir os mesmos pacientes para
todos os alunos em diferentes locais. No entanto, a avaliaçã o do desempenho das habilidades
evoluiu para alé m do desenho inicial do exame clínico objetivo estruturado (OSCE), tornando-
se mais intrincado e matizado, e implementado em contextos acadê micos e de trabalho [ 4 , 5 ].
A incorporaçã o da subjetividade por meio das escalas globais de classificaçã o repopularizadas
tem permitido avaliar prá ticas difíceis de quantificar com um esquema de marcaçã o biná ria,
como construir rapport ou demonstrar empatia [ 6 , 7]. A implementaçã o de um formato on‐
line sinaliza um afastamento adicional de seu design histó rico. Esforços recentes para entregar
o exame clínico estruturado teleobjetivo (teleOSCE) e orientaçã o on-line OSCE tê m sido aceitá ‐
veis ​para estudantes e examinadores, respectivamente [ 8 , 9 ]. Uma revisã o sistemá tica resu‐
miu as vá rias tentativas na literatura de incorporar um elemento on-line e descobriu que, em‐
bora geralmente haja boa validade e confiabilidade, há uma necessidade de pesquisa sistê mica
para orientar o formato ideal de teleOSCE [ 10 ].]. Até agora, nenhum estudo tentou definir e
discutir o impacto no resultado da avaliaçã o de separar alunos, pacientes e avaliadores em di‐
ferentes locais e realizar exames online. Isso é de suma preocupaçã o no contexto dos requisi‐
tos atuais (e contínuos) de distanciamento social, alé m de fornecer informaçõ es ú teis para me‐
lhorar a acessibilidade dos exames à s partes interessadas relevantes.

O desafiador ano de 2020 ofereceu uma oportunidade sem precedentes e valiosa para a coleta
de dados sobre o processo de avaliaçã o online. A Universidade de Nova Gales do Sul em
Sydney, Austrá lia, é uma das muitas escolas de medicina que foram forçadas a usar um OSCE
“eletrô nico” on-line (teleOSCE) com orientaçã o mínima. Os alunos do ú ltimo ano passaram por
suas avaliaçõ es somativas da OSCE usando este formato on-line para cumprir as restriçõ es do
COVID-19.

Objetivos

O estudo a seguir visa estabelecer se o uso do teleOSCE impactou os resultados da avaliaçã o.

Em ú ltima aná lise, o estudo visa facilitar a discussã o sobre quais habilidades e domínios po‐
dem ser efetivamente avaliados em um teleOSCE para orientar o desenvolvimento futuro e o
uso de exames clínicos online.

Métodos

Declaração de ética

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 2/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

A pesquisa foi conduzida sob a aprovaçã o é tica concedida pelo Comitê de É tica em Pesquisa
em Seres Humanos da Universidade de New South Wales (referê ncia nº, HC15421, HREAPG:
Health, Medical, Community and Social). Cumprindo com a aprovaçã o é tica, usamos dados de
avaliaçã o administrativa mantidos pela Universidade de New South Wales, que nã o exigiam
consentimento dos participantes.

Design de estudo

Este estudo é um estudo observacional que compara os resultados alcançados pelos alunos
examinados em 2020 via teleOSCE, com aqueles que foram examinados no formato OSCE tradi‐
cional em 2019.

Contexto

Os OSCEs clínicos presenciais sã o executados há muitos anos e os funcioná rios estã o familiari‐
zados com os requisitos para implementaçã o. A conversã o deste para um formato online exi‐
giu vá rias etapas. O principal entre eles foi o aspecto da tecnologia (para todos os participan‐
tes) que era inteiramente novo neste cená rio. A partir daí, foi necessá ria a adaptaçã o da emis‐
sora, ou seja, para se adequar a um formato online. Em conjunto, foram necessá rias mudanças
de pessoal e de procedimentos, antes de vá rias etapas de testes. As estaçõ es clínicas estã o des‐
critas a seguir, com os aspectos tecnoló gicos, de pessoal, processuais, de testes e treinamento
descritos no Suplemento 1 .

A OSCE tradicional presencial, realizada em 2019, era composta por 9 estaçõ es de 7 disciplinas
(medicina, cirurgia, atençã o primá ria, medicina de emergê ncia, psiquiatria, pediatria e obstetrí‐
cia e ginecologia) com duraçã o de 12 minutos. Para cada estaçã o, os alunos recebem um breve
resumo de um cená rio clínico, a partir do qual se espera que eles obtenham uma breve histó ‐
ria direcionada e realizem um exame físico, antes de tentar diagnosticar o paciente, sugerir in‐
vestigaçõ es e gerenciamento relevantes e responder a perguntas de o examinador. Cada esta‐
çã o é precedida por um tempo de leitura de 2 minutos e seguido por um curto período para
permitir a transiçã o para a estaçã o subsequente. Dentro das estaçõ es, os alunos sã o avaliados
em suas habilidades clínicas em relaçã o ao conteú do específico da estaçã o, mas també m em
aspectos gené ricos, como habilidades de comunicaçã o e exame físico. Para garantir a compara‐
bilidade entre o teleOSCE e o OSCE presencial, os principais recursos deste ú ltimo foram man‐
tidos na versã o online sempre que possível. Na maioria das vezes, isso era relativamente sim‐
ples, pois o início da consulta com o paciente, a coleta do histó rico, a interpretaçã o das infor‐
maçõ es clínicas e a sumarizaçã o do caso pelo aluno podiam ser facilmente alcançadas no for‐
mato online (Suplemento 2 ). No entanto, para os componentes de exame físico e/ou habilida‐
des processuais, esses aspectos precisavam ser adaptados em uma atividade que pudesse ser
preenchida e avaliada online. Aqui, a tarefa agora exigia que o aluno descrevesse a abordagem
e o processo de examinar o paciente de qualquer maneira que eles sentissem que a pergunta
da estaçã o e a informaçã o eliciada sugerissem (tabela 1). Essas mudanças també m exigiram a
modificaçã o das rubricas de avaliaçã o. Para este fim, cada estaçã o OSCE adaptada foi revisada
por uma equipe familiarizada com a avaliaçã o clínica e com as recomendaçõ es feitas aos auto‐
res das estaçõ es, caso sejam necessá rias alteraçõ es adicionais para se adequar ao formato on-
line.

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 3/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

Tabela 1.

Comparação de componentes do exame físico nos 2 formatos de avaliação diferentes

Método do
Em pessoa TeleOSCE
exame

Planejando um Formulado de acordo com os requisitos da Formulado de acordo com os requisitos da

exame físico estação, as informaçõ es coletadas do estação, as informaçõ es coletadas do
relevante histó rico e características observáveis ​do histó rico e características observáveis ​do
paciente paciente
Realização do Realizado no paciente Etapas listadas para o examinador
exame físico

Extraindo Interpretado a partir de etapas do exame As informaçõ es clínicas são fornecidas

informaçõ es clínico pelo examinador ao aluno mediante
clínicas solicitação

Formulando um Extrapolado a partir das informaçõ es Extrapolado a partir das informaçõ es

diagnó stico clínicas obtidas nas etapas anteriores clínicas obtidas nas etapas anteriores

TeleOSCE, exame clínico estruturado teleobjetivo.

Participantes

Para o teleOSCE em 2020, 285 alunos do ú ltimo ano participaram da avaliaçã o; enquanto, para
a avaliaçã o tradicional do formato presencial da OSCE em 2019, participaram 280 alunos do
ú ltimo ano. Todos os alunos-alvo participaram dos exames.

Variáveis

Pontuaçõ es do exame teleOSCE e da OSCE presencial tradicional.

Fonte de dados/medição

Os resultados do teleOSCE e da OSCE presencial tradicional por 2 anos. Os dados utilizados

nesta aná lise foram os escores brutos dados pelos examinadores antes das modificaçõ es feitas
pelo processo de padronizaçã o pó s-exame implementado pelo programa de medicina [ 11 , 12
]. Esse processo foi essencial para permitir a aná lise com foco nos resultados da avaliaçã o dos
examinadores, em vez dos resultados gerais para os alunos que poderiam ser impactados pelo
mé todo de estabelecimento de padrõ es.

Tendência

Nã o houve vié s de amostragem, pois todos os alunos-alvo participaram do OSCE e todos os da‐
dos foram incluídos no estudo.

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 4/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

Tamanho do estudo

O tamanho da amostra deste estudo foi determinado pela disponibilidade de participantes, to‐
dos incluídos no estudo (N=565; coortes combinadas de 280 e 285 cada). Como o estudo utili‐
zou todos os dados disponíveis e o estudo nã o teve impacto sobre os participantes, nã o foi ne‐
cessá rio limitar o nú mero de participantes do estudo nem realizar a priori tamanho da amos‐
tra e cá lculo de poder [ 13 ]. Os resultados apresentam o tamanho do efeito que é a medida
apropriada para estimar o significado das diferenças entre as 2 coortes [ 14 ]. Nenhum tama‐
nho de amostra post-hoc e cá lculo de poder foram realizados porque estes nã o sã o estatistica‐
mente apropriados [ 15 ].

Métodos estatísticos

A aná lise independente do teste t foi usada para comparar as pontuaçõ es mé dias dos resulta‐
dos da avaliaçã o dos alunos entre 2019 (OSCE presencial) e 2020 (teleOSCE). A comparaçã o
foi feita por disciplinas (todos os domínios de avaliaçã o combinados) e separadamente por do‐
mínios (todas as disciplinas combinadas). Essa aná lise foi escolhida para identificar o impacto
do modo de avaliaçã o em diferentes disciplinas mé dicas e domínios de avaliaçã o, respectiva‐
mente. A correçã o de Bonferroni foi realizada para corrigir a inflaçã o alfa.

Resultados

Dados descritivos dos participantes

Em 2019, 280 alunos realizaram os exames presenciais, enquanto em 2020, havia 285 exami‐
nandos no teleOSCE. Todos os alunos completaram a totalidade de seus exames e todas as
suas pontuaçõ es brutas nã o identificadas foram elegíveis para uso neste estudo. Os dados de‐
mográ ficos nã o estavam disponíveis para inclusã o neste estudo.

Resultados principais

No domínio do exame físico, os alunos de 2020 pontuaram 0,277 pontos a mais do que os de
2019 (diferença mé dia=–0,277, P<0,001, tamanho do efeito=0,332). Em todos os outros domí‐
nios, nã o houve diferença significativa nas pontuaçõ es mé dias entre 2019 e 2020. Esses resul‐
tados sã o ilustrados emmesa 2e Conjunto de dados 1 .

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 5/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

Mesa 2.

Comparação dos resultados dos alunos de 2019 e 2020 por diferentes domínios da rubrica de marcação

N Significa SD SEM Variaç

Domínio valor t igual
2019 2020 2019 2020 2019 2020 2019 2020 assum

Comunicação 280 285 7.618 7.569 0,621 0,571 0,0371 0,0338 0,971 Sim

Histó ria 280 285 7.090 7.147 0,866 0,691 0,0518 0,0409 -0,864 Não
clínica e
antecedentes

Conhecimento 280 285 7.186 7.122 0,887 0,908 0,0530 0,0538 0,848 Sim
médico

Exame físico 280 285 7.104 7.381 0,847 0,822 0,0506 0,0487 -3,947 Sim

Interpretação 280 285 7.058 7.156 0,822 0,796 0,0491 0,0472 -1,445 Sim

Diagnó stico e 280 285 7.292 7.394 0,786 0,819 0,047 0,0485 -1,514 Sim
gerenciamento

SD, desvio padrão; SEM, erro padrão da média; df, graus de liberdade; Sig., significância; IC, intervalo de
confiança.
a)
Significativo em P<0,001 apó s correção para inflação alfa (correção de Bonferroni).

Ao analisar os resultados por disciplina, em comparaçã o com os alunos de 2019 (presencial),

os alunos de 2020 (teleOSCE) pontuaram 0,216 pontos a mais em medicina (diferença
mé dia=–0,216, P<0,05, tamanho do efeito=0,257) e 0,390 pontos a mais em medicina de emer‐
gê ncia (diferença mé dia = -0,390, P <0,01, tamanho do efeito = 0,363), respectivamente. Em to‐
das as outras disciplinas, nã o houve diferença significativa entre as pontuaçõ es mé dias em
2019 em comparaçã o com 2020. Esses resultados sã o descritos emTabela 3e Conjunto de dados 1 .

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 6/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

Tabela 3.

Comparação dos resultados dos alunos de 2019 e 2020 nas diferentes subespecialidades

N Significa SD SEM Variaçã

Disciplina valor t igual
2019 2020 2019 2020 2019 2020 2019 2020 assumi

Medicamento 280 285 7.275 7.492 0,768 0,921 0,0459 0,0546 -3,036 Não

Cirurgia 280 285 7.376 7.354 0,851 0,934 0,0509 0,0553 0,298 Sim

Psiquiatria 280 285 7.344 7.227 0,921 0,925 0,0550 0,0548 1,505 Sim

Medicamento 280 285 7.032 7.422 1.172 0,975 0,0701 0,0578 -4.304 Sim
de
emergência

Obstetrícia & 280 285 7.440 7.521 1.056 1.012 0,0631 0,0600 -0,934 Sim
ginecologia

Atenção 280 285 6.936 6.985 1.125 0,951 0,0672 0,0564 -0,565 Não
primária

Pediatria 280 285 7.501 7.438 0,958 0,793 0,0573 0,0470 0,858 Não

SD, desvio padrão; SEM, erro padrão da média; df, graus de liberdade; Sig., significância; IC, intervalo de
confiança.
a)
Significativo em P<0,05 apó s correção para alfa inflação (correção de Bonferroni).
b)
Significativo em P<0,01 apó s correção para inflação alfa (correção de Bonferroni).

Discussã o

Principais resultados

As coortes neste estudo foram de tamanho comparável (280 versus 285) e nenhuma diferença
significativa foi observada nos resultados de quase todos os domínios (comunicaçã o, histó ria
clínica e antecedentes, conhecimento mé dico, interpretaçã o, diagnó stico e gestã o) e disciplinas.
Isto sugere que a mudança para uma plataforma online nã o influenciou o desempenho dos
alunos, nem a informaçã o disponibilizada aos avaliadores nestas á reas. No entanto, observam-
se diferenças significativas nas disciplinas de medicina e medicina de emergê ncia e no domínio
do exame físico.

Interpretação

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 7/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

O mé todo de avaliaçã o de desempenho utilizado em 2019 está em prá tica na Universidade de

New South Wales há muitos anos e pequenas adaptaçõ es na metodologia já foram bem descri‐
tas na literatura [ 11]. Existem vá rias explicaçõ es potenciais para as pontuaçõ es mé dias mais
altas em medicina (diferença mé dia=–0,216, P<0,05) e emergê ncia (diferença mé dia=–0,390,
P<0,01) entre as 2 coortes. Mais notavelmente, o OSCE presencial na Universidade de New
South Wales foi o produto de sucessivas revisõ es anuais e moderaçã o informada por dados
locais e pesquisas educacionais. Por outro lado, o teleOSCE foi o culminar de 6 meses de de‐
sign e inovaçã o direcionados com uma escassez de orientaçã o da literatura. Dessa forma, isso
pode ter limitado a complexidade do caso ou da tarefa incorporada em vá rias das estaçõ es te‐
leOSCE e isso pode ter contribuído para a melhoria nos resultados das avaliaçõ es observadas
nas estaçõ es de medicina e emergê ncia. Por exemplo, a adaptaçã o de vá rias tarefas processu‐
ais realizadas no posto de medicina de emergê ncia exigia maior consideraçã o do que, por
exemplo, em um posto de psiquiatria, em que a histó ria do paciente e o exame do estado men‐
tal eram traduzidos de forma bastante direta para o formato teleOSCE. Alé m disso, existem vá ‐
rias variáveis ​específicas do examinador estabelecidas que podem ter influenciado ainda mais
a diferença observada. Por exemplo, foi demonstrado que o treinamento do examinador dimi‐
nui a variaçã o de marcaçã o.16 ]. A experiê ncia do examinador pode estar inversamente corre‐
lacionada com pontuaçõ es gené ricas em comunicaçã o, enquanto a antiguidade pode estar as‐
sociada a pontuaçõ es mais baixas em geral [ 17 ]. Com o rá pido desenvolvimento e implemen‐
taçã o do teleOSCE, a experiê ncia, o treinamento e as questõ es relacionadas à antiguidade dos
examinadores eram menos pertinentes em uma plataforma totalmente nova. Isso previsivel‐
mente poderia impactar as disciplinas de forma desigual, dada a variada adequaçã o de cada
disciplina à plataforma teleOSCE (por exemplo, medicina de emergê ncia versus psiquiatria).

Explorar os ajustes feitos no mé todo de exame fornece insights sobre por que os resultados
do domínio do exame físico podem ter mudado (tabela 1). Tanto no formato presencial quanto
no online, os alunos sã o obrigados a planejar o exame físico que gostariam de realizar e no te‐
leOSCE esse plano deve ser claramente articulado ao examinador. Neste ú ltimo, os achados fí‐
sicos foram fornecidos mediante solicitaçã o específica do aluno. Em contraste, os alunos que
realizavam a iteraçã o presencial eram obrigados a coletar essas informaçõ es usando suas ha‐
bilidades de exame físico. Em ambos os formatos, os alunos usaram seu raciocínio clínico para
construir uma lista apropriada de diagnó sticos diferenciais. Dessa forma, o baixo desempenho
no exame físico pode ter dificultado a coleta de informaçõ es para os alunos que realizam a
avaliaçã o presencial, enquanto o formato online anulou essa deficiê ncia ao fornecer ao aluno
as informaçõ es clínicas necessá rias, mediante solicitaçã o, para formular seu diagnó stico.

Alé m disso, a informaçã o disponível para o examinador é menor no teleOSCE. Anteriormente,

o formato presencial permitia ao examinador uma ú nica observaçã o do aluno, com mú ltiplas
facetas, incluindo testemunhar os alunos realizando as etapas de um exame. Ao remover esse
ponto de dados específico, os examinadores simplesmente tê m menos informaçõ es para fazer
um julgamento, um obstá culo bem estabelecido à validade [ 18 .]. A observaçã o do exame fí‐
sico tem sido a pedra angular do exame de desempenho no formato OSCE por dé cadas, e esse
resultado desafia o valor da avaliaçã o do exame físico no teleOSCE em seu formato atual. A al‐
teraçã o da configuraçã o do teleOSCE para permitir o desempenho adequado das habilidades
do exame físico representa uma alternativa potencial. Por exemplo, isso pode ser alcançado
colocando o aluno junto com o paciente em uma ú nica sala, deixando apenas o avaliador em
um local remoto. Isso foi estudado anteriormente, com resultados positivos em termos de acei‐
tabilidade dos participantes e informaçõ es coletadas pelos examinadores [ 19]. No entanto,
com os requisitos de distanciamento físico em vigor durante a pandemia de COVID-19, isso
https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 8/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

nã o seria possível neste estudo. Alé m disso, esse mé todo nega a acessibilidade aprimorada aos
pacientes, um dos principais benefícios da plataforma online. Em vez disso, o exame físico na
plataforma online pode se concentrar em sinais transferíveis por meio de uma tela. Há evidê n‐
cias atravé s das aplicaçõ es da telessaú de que os exames físicos que dependem fortemente da
observaçã o, como a dermatologia, sã o altamente adequados para esse propó sito [ 20 ]. Na
verdade, um exame deve representar o contexto que pretende simular [ 21], e o teleOSCE re‐
presenta muito bem os desafios da teleconsulta. É fá cil ver sua utilidade no treinamento de fu‐
turos mé dicos para os quais a telessaú de pode se tornar muito mais prevalente. Mas para seu
propó sito atual, que é avaliar estudantes de medicina do ú ltimo ano em vá rios domínios, nã o
resta soluçã o atual para uma amostra totalmente representativa de habilidades de exame fí‐
sico no teleOSCE, como o formato presencial pode ter feito.

Olhando mais amplamente para o exame de desempenho, a observaçã o do desempenho de

uma ú nica habilidade em um ú nico ambiente durante uma avaliaçã o tem pouca generalizaçã o
devido à especificidade do caso [ 16 ]. Por exemplo, se um aluno pode ouvir adequadamente o
precó rdio em um paciente simulado em forma jovem, ele pode nã o ser capaz de reproduzir o
mesmo desempenho em um paciente doente, com sobrepeso e/ou idoso. Inegavelmente, a
ú nica maneira de abordar a validade na avaliaçã o de um ú nico domínio-alvo, como competê n‐
cia no exame físico, requer uma infinidade de observaçõ es em contextos variados [ 18]. Para
navegar pelas deficiê ncias do teleOSCE no julgamento do exame físico, outros componentes de
um mé todo de avaliaçã o multimodal precisarã o ser mais enfatizados. Sugerimos que a avalia‐
çã o clínica estruturada e cíclica dos exames físicos no local de trabalho seja altamente ade‐
quada para esse propó sito. A repetiçã o de avaliaçõ es clínicas observadas e a utilizaçã o de um
sistema de feedback estruturado (por exemplo, exercício de avaliaçã o miniclínica) demonstrou
fornecer aos alunos meios para aplicar, avaliar e refinar suas habilidades clínicas [ 22 ], ao
mesmo tempo em que permite que os teleOSCEs sejam utilizados para avaliaçã o dos outros
domínios de competê ncias que demonstrá mos nã o serem afectados pelo formato online.

Limitaçõ es

Utilizar as notas dos alunos para comparar o impacto do presencial e do teleOSCE tem suas li‐
mitaçõ es, pois mais do que simplesmente o desempenho do aluno e a modalidade de avaliaçã o
contribuirã o para esse resultado. Esses fatores de confusã o nã o foram controlados neste es‐
tudo observacional. Alé m disso, o presencial e o teleOSCE avaliam diferentes aspectos da com‐
petê ncia no domínio do exame físico e isso pode limitar o escopo de comparaçã o neste domí‐
nio. É importante notar que o OSCE presencial exige que um aluno obtenha resultados por
exame físico, enquanto o teleOSCE exige que um aluno descreva esse processo (em estaçõ es
que exigem mais informaçõ es do que podem ser obtidas apenas pela observaçã o). O teleOSCE
avalia o impacto da competê ncia do exame físico; Contudo,

Conclusão

A pesquisa sobre teleOSCE ainda está em sua infâ ncia. A avaliaçã o do mé todo usado pela Uni‐
versidade de New South Wales para o exame de desempenho em 2020 demonstrou que a
transiçã o da avaliaçã o de desempenho presencial para uma plataforma teleOSCE foi muito
bem-sucedida. Bar exame físico, comparando os resultados tradicionais do OSCE presencial
com os do teleOSCE nã o mostra mudanças significativas nos vá rios domínios. Como tal, esses
exames somativos on-line podem continuar a desempenhar um papel no sistema de avaliaçã o
https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 9/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

multimodal mais amplo, fornecendo dados valiosos aos examinadores ao fazer um julgamento
preciso sobre a competê ncia de um aluno nesses domínios. No entanto, este estudo també m
revelou a necessidade de uma consideraçã o cuidadosa da maneira como avaliamos o exame
físico usando o teleOSCE. Os alunos nã o podem mais executar as açõ es de um exame físico em
um paciente e, como tal, os examinadores tê m menos informaçõ es para fazer uma avaliaçã o e
isso pode ser responsável por um aumento nos escores neste domínio. Com a maior probabili‐
dade de utilizar o teleOSCE com mais frequê ncia no futuro, precisamos identificar as habilida‐
des de exame físico que nã o podem ser avaliadas com precisã o via teleOSCE e garantir que es‐
sas habilidades sejam avaliadas por meio de ferramentas de avaliaçã o baseadas no local de
trabalho.

Agradecimentos

Nenhum.

Notas de rodapé

Contribuições dos autores

Conceituação: JZF, DWA, ST, BS. Curadoria de dados: BS. Análise formal: BS. Aquisição de financiamento: não
aplicável. Metodologia: JZF, DWA, ST, BS. Administração do projeto: DWA. Redação – rascunho original: JZF,
DWA, ST, BS. Redação–revisão e edição: JZF, DWA, ST, BS.

Conflito de interesses

Boaz Shulruf é editor associado do Journal of Educational Evaluation for Health Professions desde 2017, mas não
teve nenhum papel na decisão de publicar esta revisão. Nenhum outro conflito de interesse potencial relevante
para este artigo foi relatado.

Financiamento

Nenhum.

Disponibilidade de dados

Os arquivos de dados estão disponíveis no Harvard Dataverse: https://doi-

org.ez8.periodicos.capes.gov.br/10.7910/DVN/0XDXKS

Conjunto de dados 1. Resultados de 2 exames de exame clínico estruturado objetivo (OCSE) de estudantes de
medicina da Universidade de New South Wales, Austrália, em 2019 e 2020.

Clique aqui para ver. (94K, xlsx)

Materiais complementares

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 10/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

Os arquivos de dados estã o disponíveis no Harvard Dataverse: https://doi-

org.ez8.periodicos.capes.gov.br/10.7910/DVN/0XDXKS

Suplemento 1. Aspectos tecnoló gicos, de pessoal, processuais, de teste e de treinamento do exame clínico es‐
truturado teleobjetivo.

Clique aqui para ver. (20K, docx)

Suplemento 2. Vídeo da interação do exame clínico estruturado teleobjetivo (teleOSCE).

Clique aqui para ver. (143M, mp4)

Suplemento 3. Gravação de áudio do resumo.

Clique aqui para ver. (2,1M, avi)

Referências

1. Craig C, Kasana N, Modi A. Virtual OSCE delivery: the way of the future? Med Educ. 2020;54:1185–1186.
doi: 10.1111/medu.14286. [PubMed] [CrossRef] [Google Scholar]

2. Kakadia R, Chen E, Ohyama H. Implementing an online OSCE during the COVID-19 pandemic. J Dent Educ. 2020 Jul
15; doi: 10.1002/jdd.12323. [Epub]. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

3. Rampton S, Tea C, Miesi K, Hamilton C. PG30 How to do a remote OSCE successfully: converting face to face
simulation into a virtual E-consult in the pandemic crisis. BMJ Simul Technol Enhanc Learn. 2020;6(Suppl_1):A45–A46.
doi: 10.1136/bmjstel-2020-aspihconf.78. [CrossRef] [Google Scholar]

4. Taylor S, Haywood M, Shulruf B. Comparison of effect between simulated patient clinical skill training and student
role play on objective structured clinical examination performance outcomes for medical students in Australia. J Educ
Eval Health Prof. 2019;16:3. doi: 10.3352/jeehp.2019.16.3. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

5. Nagoshi Y, Cooper LA, Meyer L, Cherabuddi K, Close J, Dow J, Markham MJ, Stalvey C. Application of an objective
structured clinical examination to evaluate and monitor intern’s proficiency of hand hygiene and personal protective
equipment use in the United States. J Educ Eval Health Prof. 2019;16:31. doi: 10.3352/jeehp.2019.16.31. [PMC free
article] [PubMed] [CrossRef] [Google Scholar]

6. Ilgen JS, Ma IW, Hatala R, Cook DA. A systematic review of validity evidence for checklists versus global rating scales
in simulation-based assessment. Med Educ. 2015;49:161–173. doi: 10.1111/medu.12621. [PubMed] [CrossRef]
[Google Scholar]

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 11/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

7. Daniels VJ, Pugh D. Twelve tips for developing an OSCE that measures what you want. Med Teach. 2018;40:1208–
1213. doi: 10.1080/0142159X.2017.1390214. [PubMed] [CrossRef] [Google Scholar]

8. Elnaem MH, Akkawi ME, Nazar NI, Ab Rahman NS, Mohamed MH. Malaysian pharmacy students’ perspectives on the
virtual objective structured clinical examination during the coronavirus disease 2019 pandemic. J Educ Eval Health
Prof. 2021;18:6. doi: 10.3352/jeehp.2021.18.6. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

9. Khamisa K, Halman S, Desjardins I, Jean MS, Pugh D. The implementation and evaluation of an e-Learning training
module for objective structured clinical examination raters in Canada. J Educ Eval Health Prof. 2018;15:18.
doi: 10.3352/jeehp.2018.15.18. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

10. Felthun JZ, Taylor S, Shulruf B, Allen DW. Assessment methods and the validity and reliability of measurement
tools in online objective structured clinical examinations: a systematic scoping review. J Educ Eval Health Prof.
2021;18:11. doi: 10.3352/jeehp.2021.18.11. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

11. Shulruf B, Damodaran A, Jones P, Kennedy S, Mangos G, O’Sullivan AJ, Rhee J, Taylor S, Velan G, Harris P. Enhancing
the defensibility of examiners’ marks in high stake OSCEs. BMC Med Educ. 2018;18:10. doi: 10.1186/s12909-017-1112-
z. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

12. Klein Nulend R, Harris P, Shulruf B. Predictive validity of a tool to resolve borderline grades in OSCEs. GMS J Med
Educ. 2020;37:Doc31. doi: 10.3205/zma001324. [PMC free article] [PubMed] [CrossRef] [Google Scholar]

13. Kadam P, Bhalerao S. Sample size calculation. Int J Ayurveda Res. 2010;1:55–57. doi: 10.4103/0974-7788.59946.
[PMC free article] [PubMed] [CrossRef] [Google Scholar]

14. Ellis PD. The essential guide to effect sizes: statistical power, meta-analysis, and the interpretation of research results.
Cambridge: Cambridge University Press; 2010. [Google Scholar]

15. Walters SJ. Consultants’ forum: should post hoc sample size calculations be done? Pharm Stat. 2009;8:163–169.
doi: 10.1002/pst.334. [PubMed] [CrossRef] [Google Scholar]

16. Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The objective structured clinical examination (OSCE): AMEE guide
no. 81. Part I: an historical and theoretical perspective. Med Teach. 2013;35:e1437–e1446.
doi: 10.3109/0142159X.2013.818634. [PubMed] [CrossRef] [Google Scholar]

17. Chong L, Taylor S, Haywood M, Adelstein BA, Shulruf B. Examiner seniority and experience are associated with bias
when scoring communication, but not examination, skills in objective structured clinical examinations in Australia. J
Educ Eval Health Prof. 2018;15:17. doi: 10.3352/jeehp.2018.15.17. [PMC free article] [PubMed] [CrossRef] [Google
Scholar]

18. Schuwirth LW, van der Vleuten CP. Programmatic assessment and Kane’s validity perspective. Med Educ.
2012;46:38–48. doi: 10.1111/j.1365-2923.2011.04098.x. [PubMed] [CrossRef] [Google Scholar]

19. Chen TC, Lin MC, Chiang YC, Monrouxe L, Chien SJ. Remote and onsite scoring of OSCEs using generalisability
theory: a three-year cohort study. Med Teach. 2019;41:578–583. doi: 10.1080/0142159X.2018.1508828. [PubMed]
[CrossRef] [Google Scholar]

20. Bashshur RL, Shannon GW, Tejasvi T, Kvedar JC, Gates M. The empirical foundations of teledermatology: a review of
the research evidence. Telemed J E Health. 2015;21:953–979. doi: 10.1089/tmj.2015.0146. [PMC free article] [PubMed]
[CrossRef] [Google Scholar]

21. Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment: AMEE guide no. 57. Med
Teach. 2011;33:783–797. doi: 10.3109/0142159X.2011.611022. [PubMed] [CrossRef] [Google Scholar]

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 12/13
17/07/2022 13:37 Análise empírica comparando o exame clínico estruturado teleobjetivo e a avaliação presencial na Austrália - PMC

22. Mortaz Hejri S, Jalili M, Masoomi R, Shirazi M, Nedjat S, Norcini J. A utilidade do exercício de avaliação mini-clínica
na educação médica de graduação e pó s-graduação: uma revisão BEME: guia BEME no. 59. Ensino Médio. 2020; 42 :125-
142. doi: 10.1080/0142159X.2019.1652732. [ PubMed ] [ CrossRef ] [ Google Scholar ]

https://www-ncbi-nlm-nih.ez8.periodicos.capes.gov.br/pmc/articles/PMC8616724/ 13/13