Blog

May 13, 2024

video

Scientific Reports volume 13, Numero articolo: 1038 (2023) Cita questo articolo 1400 Accessi 1 Dettagli metriche altmetriche Per garantire risultati clinici soddisfacenti, la valutazione delle abilità chirurgiche deve essere

Rapporti scientifici volume 13, numero articolo: 1038 (2023) Citare questo articolo

1400 accessi

1 Altmetrico

Dettagli sulle metriche

Per garantire risultati clinici soddisfacenti, la valutazione delle abilità chirurgiche deve essere obiettiva, efficiente in termini di tempo e preferibilmente automatizzata, nessuna delle quali è attualmente realizzabile. La valutazione basata su video (VBA) viene utilizzata in contesti intraoperatori e di simulazione per valutare l'esecuzione delle competenze tecniche. Tuttavia, la VBA è manuale, richiede molto tempo ed è soggetta a interpretazioni soggettive e a una scarsa affidabilità tra valutatori. Qui, proponiamo un modello di deep learning (DL) in grado di fornire automaticamente e oggettivamente una valutazione sommativa ad alto rischio dell'esecuzione delle abilità chirurgiche basata su feed video e una valutazione formativa a bassa posta in gioco per guidare l'acquisizione delle abilità chirurgiche. La valutazione formativa viene generata utilizzando mappe di calore delle caratteristiche visive correlate alla prestazione chirurgica. Pertanto, il modello DL apre la strada alla valutazione quantitativa e riproducibile delle attività chirurgiche da video con il potenziale per un'ampia diffusione nella formazione, nella certificazione e nelle credenziali chirurgiche.

L'abilità del chirurgo è il fattore determinante più importante per il successo di un intervento chirurgico1. La valutazione delle abilità chirurgiche può essere formativa o sommativa. La valutazione formativa ha una posta in gioco bassa. Gli esperti in genere lo forniscono come guida durante l’intervento chirurgico. D'altro canto, la valutazione sommativa viene utilizzata nelle certificazioni o nelle credenziali ad alto rischio ed è solitamente associata a un punteggio quantitativo calcolato dai supervisori. Sebbene l'osservazione diretta dei chirurghi in sala operatoria o su un simulatore rimanga l'attuale standard di riferimento per la valutazione delle abilità chirurgiche, la valutazione basata su video (VBA) sta ricevendo crescente attenzione2,3,4. L'American Board of Surgery (ABS) sta esplorando la VBA come componente del programma di certificazione continua per i chirurghi generali e le specialità correlate5. Tuttavia, essendo una procedura post-hoc, la VBA è dispendiosa in termini di tempo e di mano, soggettiva e soggetta a una scarsa affidabilità tra valutatori2,3. Inoltre, le metodologie VBA spesso comportano la modifica dei video in frammenti per ridurre il carico di lavoro3, promuovendo la soggettività a causa dei pregiudizi dell'editor2,3. Inoltre, numerosi studi hanno riportato prove di validità inferiori e una previsione del punteggio gonfiata tramite video modificati rispetto ai video completi3. Un'altra limitazione è che la VBA è quasi esclusivamente formativa, cioè a bassa posta in gioco, e c'è una notevole lacuna nella letteratura riguardo all'utilizzo della VBA per valutazioni sommative, cioè ad alta posta in gioco3, come i Fondamenti di chirurgia laparoscopica (FLS). Pertanto, è necessario sviluppare un approccio obiettivo, efficiente e automatizzato per VBA.

Sono stati sviluppati diversi modelli di deep learning (DL) per la valutazione automatizzata e obiettiva delle competenze6, la maggior parte dei quali si basa sull’ottenimento di dati cinematici basati su sensori da parte dei chirurghi. Questo richiede molto tempo e lavoro e può interferire con l’attività chirurgica. Al contrario, i video vengono raccolti regolarmente come parte della maggior parte delle procedure chirurgiche2, rendendo possibile la raccolta di dati su larga scala. I modelli DL esistenti basati su video utilizzano l'editing per semplificare il problema7,8. Inoltre, questi modelli utilizzano snippet che preservano l'etichetta in cui ogni snippet condivide l'etichetta del video completo. Ciò è problematico poiché le etichette dell'intero video potrebbero non essere applicabili ai singoli snippet. Infine, gli attuali modelli DL non forniscono strumenti per valutare le caratteristiche salienti che caratterizzano la performance. Le tecniche di intelligenza artificiale spiegabile (XAI)9,10, come le mappe di attivazione delle classi (CAM)11, possono risolvere questo problema10,12. Tuttavia, non è stato dimostrato che forniscano una valutazione formativa affidabile.

Per affrontare queste limitazioni, proponiamo un modello DL, il Video-Based Assessment Network (VBA-Net), che può utilizzare sequenze video chirurgiche complete per fornire punteggi chirurgici sommativi e generare feedback formativo basato sulla prestazione chirurgica. La Figura 1 illustra la panoramica dello studio. Per sviluppare VBA-Net sono stati utilizzati due set di dati che coinvolgevano il taglio del modello chirurgico (PC) (Fig. 1a). Inoltre, per chiarire la generalizzabilità del nostro modello, lo abbiamo confrontato con il set di dati pubblici più comunemente utilizzato, JIGSAWS6,13. Infine, abbiamo fornito feedback formativo tramite CAM e presentato uno strumento statistico indipendente dal modello per convalidare la loro salienza.