Educational Value of Surgical Videos on YouTube: Quality Assessment of Laparoscopic Appendectomy Videos by Senior Surgeons vs. Novice Trainee
de'Angelis N, Gavriilidis P, Martínez-Pérez A, et al. World Journal of Emergency Surgery. 2019;14:22. PMID: 31086560.
Abstrak
Latar Belakang: Untuk persiapan operasi, ahli bedah sering menonton video bedah di bermacam situs. YouTube dilaporkan menjadi sumber video pilihan yang ditonton oleh ahli bedah. Studi ini bertujuan untuk membandingkan evaluasi yang dilakukan oleh tiga ahli bedah senior dan tiga trainee bedah terhadap 25 video laparoskopi appendectomy yang paling banyak ditonton di YouTube.
Selain itu, studi ini juga menilai kesesuaian video dengan pedoman yang ada tentang video operasi laparoskopi untuk pendidikan atau laparoscopic surgery video educational guidelines (LAP-VEGaS).
Metode: Sebanyak 25 video laparoskopi appendectomy yang diunggah di YouTube antara tahun 2010–2018 dan memiliki jumlah tontonan terbanyak dipilih untuk studi. Video dievaluasi berdasarkan kinerja teknis pembedahan dengan skor global operative assessment of laparoscopic skills (GOALS), pandangan kritis keselamatan atau critical view of safety (CVS), serta kualitas dan utilitas video secara keseluruhan. Selain itu, kesesuaian video dengan pedoman LAP-VEGaS juga dinilai.
Hasil: Dari total 25 video, didapatkan kualitas gambar yang buruk pada 9 (36%) video, kualitas gambar yang baik pada 9 (36%) video, dan kualitas gambar yang berdefinisi tinggi pada 7 (28%) video. Konten pendidikan seperti audio atau komentar tertulis pada video jarang ditemukan.
Tanpa melihat tingkat kesulitan secara umum, konsistensi yang buruk ditemukan pada evaluasi GOALS antara ahli bedah senior dan trainee bedah. Sebanyak 15 video (60%) menunjukkan skor CVS yang memuaskan (≥5). Dalam evaluasi kualitas video secara keseluruhan, kesepakatan antar ahli bedah senior lebih tinggi (Cronbach's alpha 0,897) daripada antar trainee bedah (Cronbach's alpha 0,731).
Rata-rata utilitas video secara keseluruhan (dinilai dengan skala Likert 1–5) adalah 1,92 (SD 0,88) antar ahli bedah senior dan 3,24 (SD 1,02) antar trainee bedah. Aspek kesesuaian video dengan LAP-VEGaS dinilai lemah, yakni dengan nilai median 8,1% atau berkisar antara 5,4–18,9%.
Kesimpulan: Video laparoskopi merupakan alat pendidikan yang berguna tetapi belum memiliki proses tinjauan yang memadai untuk memperoleh kualitas yang terstandar. Upaya global perlu dilakukan untuk meningkatkan nilai pendidikan dari video bedah yang diunggah, dimulai dari penerapan pedoman LAP-VEGaS yang saat ini tersedia.
Ulasan Alomedika
Selama beberapa dekade terakhir, pembedahan secara laparoskopi lebih banyak dipilih daripada pembedahan terbuka karena dinilai memiliki banyak manfaat. Contoh manfaat laparoskopi adalah nyeri pascaoperasi yang lebih ringan, risiko infeksi yang lebih rendah, serta durasi perawatan yang lebih singkat.
Di dunia pendidikan, laparoskopi appendectomy dianggap sebagai laparoskopi dasar untuk pembelajaran teknik laparoskopi. Oleh karena itu, studi ini mempelajari kualitas video laparoskopi appendectomy yang diunggah di YouTube, yang merupakan situs pilihan para ahli bedah ketika mencari video operasi sebagai rujukan.
Studi ini dilakukan karena kualitas video bedah yang tersedia di YouTube baru-baru ini dipertanyakan. Sebagian besar video tersebut diunggah tanpa tinjauan atau penilaian kualitas, sehingga konten video mungkin menampilkan teknik bedah yang buruk atau pelanggaran keamanan yang kritis.
Ulasan Metode Penelitian
Sebanyak 25 video dengan tontonan terbanyak dipilih berdasarkan kriteria: 1) diunggah antara tahun 2010–2018; (2) operasi langsung direkam dengan kamera laparoskopi; (3) laparoskopi berupa appendectomy multiport intraabdominal; (4) hanya satu prosedur laparoskopi appendectomy; (5) video dibuat oleh tenaga profesional untuk profesional; (6) pasien berusia >12 tahun; dan (7) video menggunakan bahasa Inggris.
Tiga trainee bedah umum/digestif dan tiga ahli bedah yang senior dalam bidang bedah digestif minimal invasif dan darurat (telah melakukan laparoskopi appendectomy >100 kali) melakukan evaluasi secara independen dan blind pada 25 video yang dipilih.
Untuk evaluasi kinerja laparoskopi, evaluator menerapkan instrumen penilaian GOALS yang terdiri dari 6 aspek, yaitu persepsi kedalaman, ketangkasan bimanual, efisiensi, kontrol jaringan, otonomi, dan tingkat kesulitan secara keseluruhan. Untuk evaluasi keselamatan pada laparoskopi, evaluator menilai tiga aspek dari CVS, yaitu paparan apendiks, transeksi mesoapendiks, dan pemotongan apendiks.
Untuk evaluasi kualitas video secara umum, evaluator menerapkan kriteria penilaian baik, sedang, atau buruk. Keseluruhan utilitas video sebagai alat pendidikan dinilai dengan skala Likert 5 poin (skala 1 tidak berguna hingga skala 5 sangat berguna). Sebagai tambahan, satu penguji independen menilai kesesuaian tiap video dengan 37 item yang ada dalam pedoman LAP-VEGaS.
Studi ini tidak menyebutkan tingkat pendidikan evaluator, khususnya evaluator yang merupakan trainee bedah. Trainee bedah yang berada dalam tahap awal pendidikan sering kali memiliki tingkat pengetahuan teknik laparoskopi yang kurang dibandingkan trainee bedah tingkat lanjut. Hal ini berisiko untuk menghasilkan bias.
Selain itu, trainee bedah umum dan bedah digestif digabungkan dalam satu kelompok. Trainee seharusnya dipisahkan menjadi dua kelompok yang berbeda karena tingkat keahlian peserta didik bedah umum dan digestif mungkin berbeda. Video yang dipilih untuk evaluasi juga tidak dibedakan berdasarkan jumlah multiport, padahal operasi 2-port dan 3-port mungkin berbeda tingkat kesulitannya.
Kriteria operator yang melakukan laparoskopi appendectomy dalam video juga tidak ditetapkan, sehingga rentang keahlian operator dalam video sangat variatif. Selain itu, video juga tidak dipilih berdasarkan kesamaan kasus yang ada, sehingga ada kasus appendicitis yang sederhana hingga yang kompleks. Hal ini dapat menyebabkan bias.
Ulasan Hasil Penelitian
Kualitas gambar dinilai buruk pada 9 (36%) video, baik pada 9 (36%) video, dan sangat baik pada 7 (28%) video. Evaluasi konten pendidikan menunjukkan bahwa audio dan komentar tertulis hanya ada pada 28% video. Deskripsi kasus terperinci dengan data praoperasi juga hanya ada pada 20% video.
Untuk hasil evaluasi dengan GOALS, didapatkan Cronbach's alpha yang buruk hingga sedang untuk aspek persepsi kedalaman, ketangkasan bimanual, efisiensi, kontrol jaringan, dan otonomi. Sebaliknya, hasil yang sangat baik ditemukan untuk evaluasi tingkat kesulitan secara keseluruhan. Konsistensi internal berkisar antara 0,508–0,958 untuk ahli bedah senior dan berkisar antara 0,331–0,961 untuk trainee.
Untuk hasil evaluasi keselamatan operasi, total skor CVS median adalah 5 untuk ahli bedah senior dan trainee bedah. Sebanyak 15 video (60%) menunjukkan skor CVS yang memuaskan (≥5) yang dinilai oleh ahli bedah senior atau trainee bedah dengan tingkat kesesuaian 52%.
Untuk hasil penilaian kualitas video secara keseluruhan, kesepakatan 100% ditemukan hanya untuk 4 video (1 dinilai baik, 1 dinilai sedang, dan 2 dinilai berkualitas buruk). Kesepakatan antar ahli bedah senior lebih tinggi (68% video mendapat skor yang sama persis dari ketiga evaluator) daripada antar trainee bedah (32% video mendapat skor yang sama persis oleh ketiga evaluator).
Rata-rata utilitas video secara keseluruhan adalah 1,92 (SD 0,88) untuk ahli bedah senior dan 3,24 (SD 1,02) untuk trainee bedah. Konsistensi dilaporkan sangat baik untuk ahli bedah senior (Cronbach's alpha 0.915) dan dapat diterima untuk trainee bedah (Cronbach's alpha 0.740). Kesesuaian dengan pedoman LAP-VEGaS sangat lemah, dengan nilai median 8,1% (kisaran 5,4–18,9%).
Studi ini sudah melakukan penilaian luaran yang cukup baik karena pendidikan bedah perlu menekankan pada luaran kinerja pembedahan dan keselamatan operasi. Untuk dapat digunakan dalam pendidikan bedah, luaran yang diteliti juga sudah sesuai, yaitu kesesuaian dengan pedoman LAP-VEGaS yang sudah ada saat ini.
Kelebihan Penelitian
Kelebihan penelitian ini adalah luaran yang diteliti. Luaran penting untuk pendidikan bedah adalah kinerja dan keselamatan operasi, yang keduanya telah diteliti pada studi ini. Selain itu, penilaian telah menggunakan parameter yang dapat diukur dengan cukup baik secara semi-kuantitatif, yaitu dengan GOALS dan CVS.
Luaran lain berupa kualitas dan utilitas video secara keseluruhan juga merupakan parameter yang penting dinilai untuk mengetahui kelayakan video bedah di YouTube bila digunakan sebagai penunjang dunia pendidikan. Selain itu, kelebihan lain dari penelitian ini adalah evaluator melakukan evaluasi independen dan blind pada 25 video yang dipilih.
Limitasi Penelitian
Studi ini hanya meneliti video yang diunggah di YouTube. Video laparoskopi di platform sosial media lain mungkin perlu dievaluasi juga. Selain itu, meskipun telah melakukan penelusuran menyeluruh dan berfokus pada satu prosedur, hal ini mungkin tidak dapat direplikasi dengan mudah karena video di YouTube terus diunggah dan dihapus.
Video YouTube yang dipelajari dalam studi ini juga berasal dari tahun 2010–2018, yang berarti bahwa video-video tersebut telah berusia 3–11 tahun. Teknologi untuk merekam video laparoskopi 10 tahun lalu tentunya tidak secanggih saat ini. Bila studi dilakukan dengan video yang lebih baru, hasil mungkin akan berbeda karena kualitas video saat ini sudah lebih tinggi.
Studi ini juga mengambil video secara acak dari YouTube tanpa klasifikasi. Hasil studi mungkin akan lebih akurat bila video dikategorikan menjadi tiga, yaitu: (1) video dari sumber rumah sakit pendidikan dan klinik terpercaya; (2) video dari organisasi bedah profesional; dan (3) video dari sumber lain. Kedua kategori pertama mungkin memberi hasil video yang lebih berkualitas daripada sumber ketiga.
Aplikasi Hasil Penelitian di Indonesia
Hasil penelitian ini cukup relevan untuk diterapkan di Indonesia karena penggunaan internet (khususnya YouTube) sudah sangat luas di dunia pendidikan bedah. Bagi residen bedah, video operasi sering menjadi penunjang pembelajaran langkah-langkah operasi yang akan dilakukan. Bagi ahli bedah senior, video operasi dapat digunakan untuk membandingkan teknik operasi dengan sejawat lain dari luar negeri dengan kasus yang sama.
Meskipun hasil studi ini menunjukkan bahwa kualitas video bedah di YouTube masih kurang adekuat, video-video ini tetap memiliki peranan penting dalam edukasi dokter di Indonesia karena mayoritas residen dan dokter bedah yang muda masih memiliki akses terbatas terhadap praktik klinis yang dapat meningkatkan kurva pembelajaran. Cara mengatasi dilema ini adalah dengan bersikap lebih selektif dan kritis ketika memilih video pembelajaran, misalnya dengan hanya memilih video dari sumber terpercaya.