Traduzido do Inglês para o Português - www.onlinedoctranslator.

com

Endoscopia Cirúrgica (2020) 34:2947–2953 e outras técnicas intervencionistas

https://doi.org/10.1007/s00464-019-07077-2

Ferramenta de avaliação de competência para sutura laparoscópica: desenvolvimento e

avaliação de confiabilidade

Wouter M. IJgosse1,7· Erik Leijte1· Sandeep Ganni2,3,4· Jan‑Maarten Luursema1· Nader K. Francis5· Jack J.
Jakimowicz2,3· Sanne MBI Botden6

Recebido: 7 de março de 2019 / Aceito: 19 de agosto de 2019 / Publicado online: 26 de agosto de 2019 © O(s)
Autor(es) 2019

Abstrato
FundoA sutura laparoscópica pode ser tecnicamente desafiadora e requer treinamento extensivo para atingir competência. Até o momento, não está
disponível nenhum método de avaliação específico e objetivo para sutura laparoscópica e nó que possa orientar o treinamento e monitorar o
desempenho nessas habilidades cirúrgicas complexas. Neste estudo, nosso objetivo foi desenvolver uma ferramenta de avaliação de competência de
sutura laparoscópica (LS-CAT) e avaliar sua confiabilidade interobservador.
MétodosDesenvolvemos uma ferramenta CAT personalizada para sutura laparoscópica por meio de uma abordagem de
metodologia mista e estruturada, supervisionada por um comitê diretor com experiência no desenvolvimento de ferramentas de
avaliação cirúrgica. Uma ampla consulta Delphi com mais de doze especialistas em cirurgia laparoscópica orientou as etapas de
desenvolvimento da ferramenta. Em seguida, foram incluídos indivíduos com diferentes níveis de experiência em laparoscopia para
avaliar esta ferramenta, utilizando uma tarefa simulada de sutura laparoscópica que envolveu a colocação de dois nós cirúrgicos.
Um vídeo assistente de pesquisa gravou e anonimizou cada performance. Dois cirurgiões especialistas cegos avaliaram os vídeos
anonimizados usando o LS-CAT desenvolvido. Os escores do LS-CAT dos dois especialistas foram comparados para avaliar a
confiabilidade interobservadores. Por último,
ResultadosEste estudo avaliou uma nova ferramenta de desempenho LS-CAT, composta por quatro tarefas. Foram analisados e avaliados 36 vídeos
completos com o LS-CAT, cujos escores demonstraram excelente confiabilidade interobservadores. A análise Kappa de Cohen revelou níveis de
concordância bons a excelentes para quase todas as tarefas de manuseio de instrumentos e manipulação de tecidos (0,87; 0,77; 0,75; 0,86; 0,85, todos
comp<0,001). Os participantes tiveram um desempenho significativamente melhor no final da curva de aprendizagem em comparação com a primeira
tentativa para todos os itens do LS-CAT (todos comp<0,001).
ConclusõesDesenvolvemos o LS-CAT, que é uma matriz de classificação de sutura laparoscópica, com excelente confiabilidade entre avaliadores e
para discriminar níveis de experiência. Este LS-CAT tem potencial para uso mais amplo para avaliar objetivamente as habilidades de sutura
laparoscópica.

Palavras-chaveTreinamento · Avaliação · Sutura laparoscópica · Avaliação objetiva · Simulação

4
* Wouter M. IJgosse Departamento de Cirurgia, GSL Medical College, Rajahmundry, Índia
Wouter.IJgosse@radboudumc.nl
5
* Sanne MBI Botden Departamento de Cirurgia, Yeovil District Hospital NHS
Sanne.Botden@radboudumc.nl Foundation Trust, Yeovil, Reino Unido
6
1 Divisão de Cirurgia Pediátrica, Departamento de
Departamento de Cirurgia, Radboud University Medical
Cirurgia, Radboudumc - Amalia Children's Hospital,
Center, Geert Grooteplein zuid 10, 6525 GA Nijmegen,
Nijmegen, Holanda
Gelderland, Holanda
7
2 Centro Médico da Universidade Radboud, PO Box 9101
Pesquisa e Educação, Hospital Catharina,
(960), 6500 HB Nijmegen, Holanda
Michelangelolaan 2, 5653 EJ Eindhoven, Holanda
3
Universidade de Tecnologia de Delft, Engenharia de
Design Industrial, Medising, Delft, Holanda

Vol.:(0123456789)
2948
Nas últimas duas décadas, a Cirurgia Mínima Invasiva (MIS)
expandiu-se rapidamente, com operações cirúrgicas mais
avançadas agora sendo realizadas por laparoscopia. Isso
geralmente envolve a realização de procedimentos reconstrutivos
que requerem habilidades para realizar suturas laparoscópicas.1,2].
O treinamento para sutura laparoscópica é parte integrante do
currículo cirúrgico laparoscópico [3] e mudou da sala de cirurgia
para um laboratório de habilidades [4]. Habilidades cirúrgicas
complexas, como sutura laparoscópica e atamento de nós, são
desafiadoras devido às limitações inerentes do MIS, como
percepção de profundidade alterada, visão bidimensional, questões
ergonômicas e o pequeno campo de trabalho.5,6].
Portanto, é necessário treinamento extensivo para superar essas
limitações e alcançar competência e é muitas vezes baseado no princípio
de modelagem, prática repetitiva e feedback formativo.7]. Atualmente,
os residentes cirúrgicos estão cada vez mais restritos em seu horário de
trabalho clínico, reduzindo suas oportunidades de adquirir experiência
cirúrgica prática. Portanto, a avaliação do desempenho é necessária não
apenas para garantir a competência, mas também para orientar e
aumentar a eficiência da aprendizagem [8]. A avaliação da sutura
laparoscópica é tradicionalmente dependente da avaliação subjetiva
pelos treinadores, uma vez que a avaliação objetiva ainda não foi
estabelecida.
Várias tentativas de avaliar objetivamente a sutura laparoscópica
foram relatadas na literatura, incluindo o uso de simulação de realidade
virtual (VR), sistemas de rastreamento de movimento ou listas de
verificação. A aplicação da RV para avaliar objetivamente as habilidades
de sutura laparoscópica pode ser desafiadora [3]. Os simuladores de RV
são capazes de avaliar completamente os participantes, mas não
possuem o importante feedback tátil necessário para a sutura
laparoscópica.8]. Existem vários estudos que aplicaram um sistema de
rastreamento de movimento ao desempenho em tempo real [6,9] para
avaliar objetivamente o desempenho operacional desta tarefa complexa,
mas este método é de generalização limitada e validade externa.
Existem várias outras ferramentas de medição disponíveis, mas elas
variam em sua objetividade, validade e confiabilidade.10]. Mandel et al.
mencionou a importância do feedback imediato e específico durante o
treinamento e sugere o uso de listas de verificação globais e específicas
para tarefas, tanto para aprendizagem quanto para autoavaliação [11].
Uma ferramenta de avaliação de competências (CAT) é um
método para avaliar o desempenho laparoscópico, descrevendo
etapas específicas no processo da tarefa específica e avalia tanto o
processo de desempenho (uso do instrumento, manuseio de
tecidos e erros cometidos) quanto a qualidade do produto final. . A
ferramenta CAT foi aplicada com sucesso para aprovar a qualidade
do treinamento no Programa Nacional Inglês de Treinamento para
cirurgia colorretal laparoscópica [12]. Considerando a importância
da sutura laparoscópica e sua ampla aplicação na prática de MIS, há
uma clara necessidade de uma ferramenta de avaliação objetiva
que possa avaliar de forma confiável o desempenho operatório de
uma técnica tão complexa. Pretendemos, portanto, desenvolver
uma solução personalizada
13
Endoscopia Cirúrgica (2020) 34:2947–2953
CAT para sutura laparoscópica e avaliar a confiabilidade da
ferramenta avaliando a confiabilidade interobservador.
Materiais e métodos
Desenvolvimento de ferramenta de avaliação de competências
O desenvolvimento do CAT de sutura laparoscópica (LS-CAT) foi
realizado com uma abordagem de metodologia mista
estruturada e supervisionado por um comitê diretor com
experiência no desenvolvimento de ferramentas de avaliação
cirúrgica e avaliação objetiva da cirurgia retal laparoscópica.
Uma ampla consulta Delphi com mais de doze especialistas
internacionais em sutura laparoscópica orientou as etapas de
desenvolvimento da ferramenta. As etapas foram padronizadas
e acordadas primeiro, antes de definir as áreas de tarefas para
avaliação com a ferramenta. Com base no consenso de
especialistas, desconstruímos o procedimento em uma série de
etapas constituintes. O modelo final do LS-CAT foi adaptado do
CAT original para avaliação de cirurgia colorretal [12].
Em seguida, utilizamos uma estrutura de entrevista semiestruturada
que permite aos especialistas liberdade para expressar seus
pensamentos e explorar ideias, ao mesmo tempo que permite ao
entrevistador garantir que as informações necessárias sejam cobertas [
13]. Perguntas abertas foram utilizadas para determinar quais
indicadores de desempenho o especialista procuraria para avaliar o
desempenho técnico da sutura laparoscópica. Além disso, para cada
área de tarefa foram elaborados dois videoclipes para o especialista
refletir sobre o desempenho técnico apresentado. Um assistente de
pesquisa transcreveu as entrevistas literalmente e as analisou usando
métodos qualitativos. Após codificação e agrupamento dos depoimentos
e até atingir a saturação temática, foi realizada a análise temática.
Reunimos descritores de desempenho insatisfatório e proficiente a
partir das transcrições e os triangulamos nas tarefas processuais
específicas às quais eles se aplicaram para gerar as métricas de
avaliação para a ferramenta preliminar.
A versão preliminar do LS-CAT consistia em quatro áreas de
tarefas acordadas, refletindo as etapas do procedimento descrito
no consenso de especialistas. Com base nas entrevistas e na análise
de erros, desenvolvemos descritores objetivos para cada tarefa e
refinamo-los através de discussões entre o grupo diretor. Para
descrever a qualidade do desempenho técnico para cada domínio
(quatro) para cada área de tarefa (dois) foi utilizada uma escala
ordinal de quatro pontos, onde uma pontuação mais baixa indica
um desempenho técnico mais proficiente e uma pontuação alta
(quatro) um desempenho ruim. Uma pontuação total de oito no LS-
CAT indica um desempenho perfeito e proficiente, pois foi obtido
um ponto em ambos os itens em cada tarefa, sem erros durante o
desempenho.
Endoscopia Cirúrgica (2020) 34:2947–2953 2949

Teste de ferramenta Equipamento

Configuração de treinamento O simulador laparoscópico de realidade aumentada eoSim da

O treinamento ocorreu no Radboud University Medical Center,
Nijmegen. Durante a primeira sessão de treinamento, um assistente de
pesquisa estava disponível para instruir os participantes antes da
realização das tarefas de sutura laparoscópica. O vídeo do assistente de
pesquisa gravou e anonimizou cada performance, mas não esteve
envolvido no processo de pontuação do LS-CAT. Cada participante
executou as tarefas de sutura várias vezes para treinar ao longo de uma
curva de aprendizado.
O LS-CAT foi avaliado utilizando a seguinte tarefa de
sutura:
– Uma tarefa de sutura padrão. O participante teve que colocar dois
nós cirúrgicos em uma almofada de sutura em um plano
horizontal (volta dupla seguida de duas voltas simples para criar
um nó seguro do cirurgião) com comprimento padrão de fio de
20 cm. Se o fio de uma sutura fosse muito curto para ser
reutilizado após ser cortado pelo assistente de pesquisa, uma
nova sutura seria colocada na almofada de sutura.
Disciplinas de treinamento
Os indivíduos foram divididos em três grupos com base em sua
experiência laparoscópica autorreferida: (1) novatos eram
indivíduos sem experiência clínica, mas com compreensão do
conceito de laparoscopia, como internos médicos e residentes do
primeiro ano, (2) intermediários com mais de dez procedimentos
laparoscópicos básicos realizados, mas menos de vinte
procedimentos laparoscópicos avançados e (3) especialistas com
mais de vinte procedimentos laparoscópicos avançados realizados,
consistindo, portanto, de cirurgiões residenciais na equipe. Como
os novatos estavam treinando em sua curva de aprendizado, os
vídeos do final da curva de aprendizado foram utilizados como
quarto grupo.
eoSurgical Ltd., Edimburgo, Escócia, Reino Unido, foi utilizado neste
estudo, em uma configuração padrão (Fig.1). Esta configuração
consistia no estojo laparoscópico eoSim com uma câmera de alta
definição montada internamente e equipamento padrão fornecido
que consiste em instrumentos laparoscópicos, porta-agulhas, uma
almofada de sutura, uma plataforma de transferência de fio e uma
caixa com equipamento de exercício padrão, combinado com um
15 Laptop de 2,5 polegadas com as especificações exigidas
conforme recomendado pela eoSurgical e o software eoSurgical
SurgTrac instalado. A câmera de rastreamento, montada no case,
foi conectada ao laptop via USB 2.0 e utilizada para registrar cada
atuação do participante. Para cada participante, a altura da tela do
laptop foi ajustada para a altura adequada, com a caixa
laparoscópica sendo colocada em uma mesa de altura padrão. Os
participantes usaram uma sutura com fio trançado com agulha
curva de 30 mm para realizar a tarefa.
Análise estatística
Todas as análises estatísticas foram realizadas com o pacote SPSS
Statistics v.25 da IBM. Primeiramente foram calculadas as pontuações
totais para manuseio de instrumentos, manuseio de tecidos e
quantidade de erros. A seguir, a confiabilidade interobservador foi
avaliada por meio da análise Kappa de Cohen para os escores das
tarefas de manuseio de instrumentos e manipulação de tecidos. A

Protocolo

Todos os participantes assinaram um consentimento informado para a

gravação em vídeo do desempenho de suas tarefas antes do início do
treinamento. Quando todos os participantes terminaram o treinamento,
analisamos 36 vídeos da maior parte das performances de todos os
participantes, após os quais dois cirurgiões especialistas cegos
completaram o LS-CAT independentemente um do outro. Ambos os
especialistas tinham experiência no uso da ferramenta CAT original [14],
mas ainda não havia utilizado a versão adaptada para sutura
laparoscópica. A participação foi voluntária e os sujeitos não receberam
remuneração. Nenhuma aprovação do IRB foi necessária para este
estudo. Figura 1 A interface do simulador laparoscópico de realidade aumentada eoSim

13
2950
κ > 0,75 foi considerado uma concordância excelente [15]. A
confiabilidade interobservador para os escores totais calculados
entre os dois observadores foi avaliada por meio da correlação de
Pearson, em um nível de significância bicaudal dep<0,01. Um R≥ 0,8
foi considerada uma correlação alta [16]. Por fim, as pontuações de
desempenho no início e no final da curva de aprendizagem do
grupo novato foram comparadas usando o teste de Mann-Whitney.
vocêteste. Este processo foi conduzido por três pesquisadores
independentes que não estiveram envolvidos no processo de
pontuação utilizando os formulários LS-CAT preenchidos pelos
observadores (EL calculou as pontuações totais, SMBI conduziu as
análises estatísticas, WMIJ repetiu ambos os processos como
verificação final).
Resultados
Desenvolvimento de ferramenta de avaliação de competências
O LS-CAT final é apresentado na Fig.2. Duas colunas verticais
representam áreas de tarefas e quatro linhas horizontais representam
os domínios de desempenho: dando um total de oito itens separados
que são pontuados em uma escala de 1 a 4, onde uma pontuação mais
baixa indica um desempenho técnico mais proficiente e uma pontuação
total de oito indica um perfeito e proficiente
Figura 2O formulário CAT para sutura laparoscópica
13
Endoscopia Cirúrgica (2020) 34:2947–2953
desempenho. A terceira coluna representa a quantidade de erros
que é pontuada em quatro domínios para cada tarefa, resultando
em 16 itens separados.
Quatro tarefas foram acordadas e definidas a partir do documento
de consenso para avaliação com a ferramenta: (1) pegar a agulha na
orientação correta para fazer a mordida; (2) passar a agulha através de
duas bordas do tecido com colocação de mordida e manuseio do tecido
adequados; (3) criar o primeiro enrolamento/lançamento duplo do nó e
apertar corretamente e (4) amarrar o nó.
Confiabilidade
Todos os participantes conseguiram finalizar a tarefa de sutura. No total,
36 vídeos de dezoito participantes foram coletados aleatoriamente e
pontuados de forma independente pelos dois observadores objetivos
(observador A e B). Desses participantes, dezessete eram novatos e um
era especialista. As pontuações médias para cada item separado são
apresentadas na Tabela1. A análise Kappa de Cohen revelou pontuações
de concordância entre avaliadores boas a excelentes para quase todas
as tarefas de manuseio de instrumentos e manipulação de tecidos (0,87;
0,77; 0,75; 0,86; 0,85, todas com p<0,001, Tabela2). As pontuações totais
do LS-CAT demonstraram excelente confiabilidade interobservador para
manuseio de instrumentos (R=0,98,p<0,001), manipulação de tecidos (R=
0,86,p<0,001), erros (R=0,99,p<0,001) e a nota total da avaliação
Endoscopia Cirúrgica (2020) 34:2947–2953 2951

tabela 1Pontuações dos itens

Manuseio de instrumentos Manuseio de tecidos Erros
separados do LS-CAT. Os
valores são expressos em A B A B A B
médias e desvios padrão
Pegue a agulha na orientação correta 2,7 (0,8) 2,6 (0,8) 2,4 (0,6) 2,3 (0,7) 0,9 (2,0) 0,9 (2,3)
Passe a agulha pelas bordas do tecido 2,5 (0,7) 2,5 (0,8) 2,3 (0,7) 2,3 (0,8) 0,5 (0,9) 0,5 (0,8)
Crie o primeiro lance duplo 2,3 (0,8) 2,4 (0,9) 2,3 (0,7) 2,3 (0,6) 0,2 (0,4) 0,1 (0,3)
Amarração de nó 2,5 (0,9) 2,4 (0,8) 2,4 (0,7) 2,3 (0,7) 0,5 (0,6) 0,4 (0,5)
Pontuação total 10,0 (2,8) 9,9 (3,0) 9,4 (2,3) 9,1 (2,4) 2.1 (3.2) 1,9 (3,2)

Aobservador A,Bobservador B

mesa 2Concordância interavaliadores para as variáveis categóricas calculadas pelo (R=0,98,p<0,001). Uma visão geral com mais detalhes é
Kappa de Cohen apresentada na Tabela3.
Instrumentos Tecido
manuseio brincando
Pontuações de desempenho

κ p κ p
Dentro do grupo novato, os indivíduos tiveram um desempenho
Agulha coletora na orientação correta 0,87 <0,001 0,86 <0,001 Passar a
significativamente melhor no final da curva de aprendizagem em
agulha pelas bordas do tecido 0,77 <0,001 0,51 <0,001 Criar o primeiro
comparação com a primeira tentativa para todos os itens do LS-CAT
lançamento duplo 0,73 <0,001 0,85 <0,001 0,75
avaliados por ambos os observadores. As pontuações gerais são
Amarração de nó <0,001 0,73 <0,001
significativas para todas as tarefas: manuseio de instrumentos (p<0,001);
manipulação de tecidos (p<0,001); agulha de coleta na orientação
correta (p<0,001); passe a agulha pelas bordas do tecido (p<0,001); crie o
Tabela 3 Correlações entre as pontuações totais dos itens primeiro lance duplo (p<0,001); amarração de nó (p<0,001); quantidade

Observador A Observador B R p total de erros (p<0,001) e a pontuação total da avaliação (p<0,001). Uma
visão geral completa das pontuações médias e estatísticas dos sujeitos
Manuseio de instrumentos 10,0 (2,8) 9,9 (3,0) 0,98 <0,001
pelos observadores A e B é apresentada na Tabela4.
Manuseio de tecidos 9,4 (2,3) 9,1 (2,4) 0,86 <0,001
Pontuação total 19,4 (4,9) 19,0 (5,2) 0,96 <0,001
Erros totais 2.1 (3.2) 1,9 (3,2) 0,99 <0,001
Pontuação total da avaliação 21,4 (7,1) 20,9 (7,5) 0,98 <0,001
Discussão

Isso é calculado com correlação de Pearson, em um nível de significância A sutura laparoscópica é considerada uma habilidade essencial exigida
bicaudal dep<0,01
em técnicas avançadas de MIS. Atualmente, não existem ferramentas
confiáveis e amplamente utilizadas para avaliar objetivamente

Tabela 4Comparações de pontuação da primeira tentativa e da última tentativa dos itens separados do LS-CAT, conforme avaliado pelo Mann-Whitneyvocêteste

Observador A Observador B

Classificação ruim Classificação ruim

Primeira tentativa Última tentativa você p Primeira tentativa Última tentativa você p

Manuseio de instrumentos 27.06 9,94 8,00 <0,001 27.19 9,81 5,50 <0,001
Manuseio de tecidos 26,97 10.03 9,50 <0,001 26.17 10,83 24h00 <0,001
Pegue a agulha na orientação correta 27h31 9,69 3,50 <0,001 27h00 10h00 9h00 <0,001
Passe a agulha pelas bordas do tecido 25,64 11h36 33,50 <0,001 25,58 11.42 34,50 <0,001
Crie o primeiro lance duplo 25,94 11.06 28h00 <0,001 26.06 10,94 26,00 <0,001
Amarração de nó 26.17 10,83 24h00 <0,001 25,53 11h47 35,50 <0,001
Erros totais 25,94 11.06 28h00 <0,001 25.19 11.81 41,50 <0,001
Pontuação total 27h31 9,69 3,50 <0,001 27.17 9,83 6,00 <0,001

13
2952
desempenho nesta técnica avançada. Isto é necessário para
influenciar e promover a formação e determinar a
competência. Mandel et al. já sugeriu a incorporação do
checklist específico da tarefa, que foi incorporado ao método
CAT com sucesso [11]. A incorporação desta lista de verificação
foi precisa até para autoavaliação [14], o que é uma descoberta
importante, pois a usabilidade para autoavaliação reduz custos
e carga de trabalho para instrutores especialistas [14,17].
O conceito original de CAT provou ser bem-sucedido na avaliação
confiável do desempenho técnico [12]. Com base no método utilizado
para o desenvolvimento original do CAT, desenvolvemos uma
ferramenta personalizada de avaliação de competência de sutura
laparoscópica (LS-CAT) que descreve e avalia etapas específicas
acordadas na sutura laparoscópica. Avalia tanto o processo de
desempenho (uso do instrumento, manuseio de tecidos e erros
cometidos) quanto a qualidade do produto final. Antes de utilizar esta
nova ferramenta no treinamento cirúrgico, vários critérios devem ser
atendidos, incluindo evidências de confiabilidade [4,18,19]. Este estudo
demonstrou excelente confiabilidade interobservador para todas as
variáveis do formulário CAT adaptado para sutura laparoscópica. Além
disso, foi encontrada uma diferença significativa no desempenho para
as pontuações dos sujeitos no início e no final da sua curva de
aprendizagem, indicando a capacidade do LS-CAT para discriminar entre
os níveis de experiência dentro da curva de aprendizagem.
No ambiente clínico, as habilidades são frequentemente
avaliadas por especialistas usando o formulário de Avaliação
Estruturada Objetiva de Habilidades Técnicas (OSATS) com base no
desempenho geral [14, 20,21]. Contudo, o OSATS não parece
fornecer qualquer informação formativa sobre as competências
individuais que ainda precisam de ser melhoradas ou que já são
suficientes, o que o formulário CAT faz. Também não há uma
correlação clara e demonstrada entre a pontuação OSATS e o
resultado do procedimento específico que o residente ou cirurgião
realizou [22], além disso, o formando não sabe quais competências
específicas devem ser melhoradas. A pontuação de ferramentas
como OSATS e seus derivados, como a Avaliação Avaliativa Global
de Habilidades Robóticas (GEARS) ou a Avaliação Operativa Global
genérica de Habilidades Laparoscópicas (GOALS), não são
projetadas especificamente para fornecer informações sobre as
habilidades separadas que estão sendo treinadas.
Outros instrumentos, como a Escala Geral de Avaliação (GRS), são
considerados uma ferramenta de medição justa, devido à adição de alguns
parâmetros de avaliação qualitativa mais específicos (classificados numa
escala de cinco pontos). Ao utilizar performances gravadas em vídeo, isso
poderia aumentar a objetividade nas classificações tanto do OSATS quanto do
GRS; no entanto, estes ainda não são tão específicos para cada tarefa como o
formulário CAT. Outro método de avaliação frequentemente utilizado para o
treinamento de habilidades cirúrgicas (fora do ambiente clínico) é o
rastreamento de movimento, que é uma ferramenta de medição altamente
objetiva usada em realidade virtual e aumentada, e sua validade foi
comprovada para vários sistemas.19,23]. No entanto, a qualidade do
desempenho global da tarefa pode não ser suficientemente avaliada, porque
os parâmetros utilizados são
13
Endoscopia Cirúrgica (2020) 34:2947–2953
muitas vezes abstrato e não traduzido para o desempenho real do
procedimento. Parâmetros como 'comprimento do caminho' ou
'economia de movimento' e 'tempo' são usados, que não são
informativos sobre o resultado da tarefa [24]. Estes parâmetros
podem dar uma ideia do nível de especialização do formando, mas
não fornecem informações sobre a precisão da tarefa ou do
produto final para indicar competência. Além disso, um sistema de
motiontracking parece estar limitado a centros de investigação com
recursos disponíveis, o que limita a sua utilização mais ampla. As
deficiências mencionadas destes métodos de avaliação não estão
presentes no LS-CAT e requerem muito poucos recursos e podem
ser generalizáveis na avaliação e treino de competências de sutura
laparoscópica. Portanto, acreditamos que tem potencial como uma
avaliação objetiva de desempenho para sutura laparoscópica.
Outro método de avaliação segundo este modelo é a Avaliação
Crowd-Sourced de Habilidades Técnicas (C-SATS), que é um tipo de
avaliação de vídeo realizada por um grande número de avaliadores on-
line anônimos [10]. Esses avaliadores são autosselecionados em amplos
setores do público, portanto, nem todos os avaliadores podem ter
formação médica. Vários estudos demonstraram que a confiabilidade
interobservador de um grande grupo de observadores não especialistas
foi ainda melhor do que um grupo menor de observadores especialistas
para a avaliação do desempenho cirúrgico [25–27] que sugerem que
este método poderia ser utilizado como ferramenta de avaliação no
ensino de habilidades técnicas cirúrgicas. A combinação do C-SATS com
o método CAT poderia ser uma combinação poderosa em termos de
gestão de tempo e rentabilidade. Tanto o potencial do C-SATS quanto a
usabilidade para autoavaliação do formulário (LS-) CAT precisam ser
pesquisados em estudos futuros, para compreender completamente
seus benefícios potenciais para fornecer uma avaliação diretiva e focada
para sutura laparoscópica.
Uma limitação deste estudo é que a ferramenta foi
projetada para facilitar a avaliação qualitativa categórica de
áreas de habilidade dentro de uma série de tarefas. Embora
isto o torne um complemento eficaz para detalhar a tarefa
de fornecimento de feedback construtivo sobre o
desempenho, existem certos pressupostos que podem ter
impacto na sua utilização para avaliação sumativa. Existe
uma suposição de que o desempenho em cada domínio de
habilidade e cada tarefa tem igual importância (peso) para
o desempenho geral do procedimento. Além disso, as
métricas de avaliação utilizadas para a ferramenta foram
definidas pelos autores em discussão com especialistas; no
entanto, pode haver aspectos de desempenho que não
foram identificados e, portanto, não são avaliados na
ferramenta atual. Portanto,
Conclusão
Desenvolvemos o LS-CAT, que é uma matriz de classificação de sutura
laparoscópica para avaliar objetivamente o desempenho técnico da
sutura laparoscópica, com excelente avaliação interavaliadores.
Endoscopia Cirúrgica (2020) 34:2947–2953 2953

confiabilidade e a capacidade de discriminar entre níveis de 10. Atesok K, Satava RM, Marsh JL, Hurwitz SR (2017) Medição de habilidades
cirúrgicas em treinamento baseado em simulação. J Am Acad Ortop Surg
experiência dentro da curva de aprendizado. Embora o LS-CAT
25:665–672
satisfaça muitos dos requisitos de uma ferramenta de avaliação útil
11. Mandel LS, Goff BA, Lentz GM (2005) Autoavaliação das
com potencial aplicação para avaliação sumativa e oriente o habilidades cirúrgicas dos residentes: é viável? Sou J Obstet
treinamento nesta tarefa, são necessários mais estudos de Gynecol 193:1817–1822
12. Miskovic D, Ni M, Wyles SM, Kennedy RH, Francis NK, Parvaiz A,
validação.
Cunningham C, Rockall TA, Gudgeon AM, Coleman MG, Hanna GB,
Programa Nacional de Treinamento em Cirurgia Colorretal
ReconhecimentosGostaríamos de agradecer à eoSurgical por fornecer seus
Laparoscópica em E (2013) É avaliação de competência no nível de
simuladores para este estudo.
especialista alcançável? Um estudo para o programa nacional de
treinamento em cirurgia colorretal laparoscópica na Inglaterra. Ann
FinanciamentoEsta pesquisa não recebeu nenhum subsídio específico de agências Surg 257:476–482
de financiamento do setor público, comercial ou sem fins lucrativos. 13. Britten N (1995) Entrevistas qualitativas em pesquisa médica. BMJ
311:251–253
14. Ganni S, Chmarra MK, Goossens RHM, Jakimowicz JJ (2017) Autoavaliação
Conformidade com padrões éticos
no treinamento de habilidades cirúrgicas laparoscópicas: é confiável?
Surg Endosc 31:2451–2456
DivulgaçõesWM IJgosse, E. Leijte, S. Ganni, NK Francis, J.-M.
15. Fleiss JL (1981) Métodos estatísticos para taxas e proporções, 2ª ed.
Luursema, JJ Jakimowicz e SMBI Botden não têm conflitos de
Wiley, Nova York
interesse ou vínculos financeiros com a eoSurgical Ltd. Não houve
16. Cooper C (1998) Diferenças individuais. Arnold, Londres
apoio financeiro para este estudo.
17. Nagendran M, Gurusamy KS, Aggarwal R, Loizidou M, Davidson BR (2013)
Treinamento em realidade virtual para estagiários cirúrgicos em cirurgia
laparoscópica. Sistema de banco de dados Cochrane Rev 1:CD006575
Acesso livreEste artigo é distribuído sob os termos da Licença
18. Moorthy K, Munz Y, Sarker SK, Darzi A (2003) Avaliação objetiva de
Internacional Creative Commons Atribuição 4.0 (http://
habilidades técnicas em cirurgia. BMJ 327:1032–1037
creativecommons.org/licenses/by/4.0/), que permite uso, distribuição e
19. van Hove PD, Tuijthof GJ, Verdaasdonk EG, Stassen LP, Dankelman J
reprodução irrestritos em qualquer meio, desde que você dê o devido
(2010) Avaliação objetiva de habilidades técnicas cirúrgicas. irmão
crédito ao(s) autor(es) original(ais) e à fonte, forneça um link para a
licença Creative Commons e indique se foram feitas alterações.
J Surg 97:972–987
20. Eriksen JR, Grantcharov T (2005) Avaliação objetiva das habilidades
laparoscópicas usando um estimulador de realidade virtual. Surg Endosc
19:1216–1219
Referências 21. Aggarwal R, Moorthy K, Darzi A (2004) Treinamento e avaliação de
habilidades laparoscópicas. Ir J Surg 91:1549–1558
22. Anderson DD, Long S, Thomas GW, Putnam MD, Bechtold JE, Karam
1. Aggarwal R, Hance J, Undre S, Ratnasothy J, Moorthy K, Chang A,
MD (2016) Avaliações Estruturadas Objetivas de Habilidades
Darzi A (2006) O treinamento de residentes operacionais juniores
Técnicas (OSATS) não avaliam a qualidade do resultado cirúrgico de
em habilidades de sutura laparoscópica é viável e eficaz. Cirurgia
forma eficaz. Clin Orthop Relat Res 474:874–881
139:729–734
23. Botden SM, Berlage JT, Schijven MP, Jakimowicz JJ (2008) Estudo de
2. Champion JK, Hunter J, Trus T, Laycock W (1996) Ensino de habilidades
validade facial do simulador de sutura laparoscópica de realidade
básicas de vídeo como auxílio na sutura laparoscópica. Surg Endosc
aumentada ProMIS. Surg Technol Int 17:26–32
10:23–25
24. Porte MC, Xeroulis G, Reznick RK, Dubrowski A (2007) O feedback verbal de um
3. Nguyen NT, Mayer KL, Bold RJ, Larson M, Foster S, Ho HS, Wolfe
especialista é mais eficaz do que o feedback auto-acessado sobre a eficiência
BM (2000) Avaliação de sutura laparoscópica entre residentes
do movimento no aprendizado de novas habilidades cirúrgicas. Sou
cirúrgicos. J Surg Res 93:133–136
4. Ahmed K, Miskovic D, Darzi A, Athanasiou T, Hanna GB (2011) Ferramentas
J Surg 193:105–110
25. Holst D, Kowalewski TM, White LW, Brand TC, Harper JD, Sorenson
observacionais para avaliação de habilidades processuais: uma revisão
MD, Kirsch S, Lendvay TS (2015) Avaliação coletiva de habilidades
sistemática. Sou J Surg 202(469–480):e466
técnicas: um complemento ao treinamento de simulação cirúrgica
5. Gurusamy K, Aggarwal R, Palanivelu L, Davidson BR (2008) Revisão
para residentes de urologia. J Endorol 29:604–609
sistemática de ensaios clínicos randomizados sobre a eficácia do
treinamento em realidade virtual para cirurgia laparoscópica. Ir J Surg
26. Deal SB, Lendvay TS, Haque MI, Brand T, Comstock B, Warren
J, Alseidi A (2016) Avaliação coletiva de habilidades técnicas: uma
95:1088–1097
oportunidade de melhoria na avaliação de habilidades cirúrgicas
6. Moorthy K, Munz Y, Dosis A, Bello F, Chang A, Darzi A (2004) Avaliação
laparoscópicas. Sou J Surg 211:398–404
bimodal de habilidades de sutura laparoscópica: construção e
27. Holst D, Kowalewski TM, White LW, Brand TC, Harper JD, Sorensen MD,
validade concorrente. Surg Endosc 18:1608–1612
Truong M, Simpson K, Tanaka A, Smith R, Lendvay TS (2015) Avaliação
7. Kroeze SG, Mayer EK, Chopra S, Aggarwal R, Darzi A, Patel A (2009)
coletiva de habilidades técnicas: diferenciando habilidades cirúrgicas
Avaliação das habilidades de sutura laparoscópica de residentes de
animadas por meio de a sabedoria das multidões.
urologia: um estudo pan-europeu. Eur Urol 56:865–872
8. Botden SM, de Hingh IH, Jakimowicz JJ (2009) Método de avaliação
J Endorol 29:1183–1188
significativo para treinamento de sutura laparoscópica em
realidade aumentada. Surg Endosc 23:2221–2228 Nota do editorA Springer Nature permanece neutra em relação a

9. Yamaguchi S, Yoshida D, Kenmotsu H, Yasunaga T, Konishi K, Ieiri S, reivindicações jurisdicionais em mapas publicados e afiliações institucionais.

Nakashima H, Tanoue K, Hashizume M (2011) Avaliação objetiva das

habilidades de sutura laparoscópica usando um sistema de
rastreamento de movimento. Surg Endosc 25:771–775

13