تیمی از محققان دانشگاه فنی مونیخ و دانشگاه آلبرتا به طور سیستماتیک این حوزه را نقشهبرداری کرده و این «شکاف داده» قابل توجه را آشکار ساختهاند. مسئله این است که تحقیقات متمرکز بر نمای داخلی جراحی (آنچه جراح در داخل بدن بیمار میبیند) تقریباً به طور انحصاری به ویدئوهای ۲بعدی از دنیای واقعی متکی است. در مقابل، تحقیقات بر روی نمای خارجی (محیط گستردهتر اتاق عمل) عمدتاً از دادههای شبیهسازی شده ۴بعدی (فضای سهبعدی به علاوه زمان) استفاده میکند. این شکاف بین دادههای واقعی و شبیهسازی شده، انتقال یافتهها از یک حوزه به حوزه دیگر را دشوار میسازد و مانع توسعه سیستمهای جراحی هوشمند و یکپارچه میشود.
گرافهای صحنه چگونه جراحی را تغییر میدهند
خب، گرافهای صحنه دقیقاً چه هستند؟ آنها را به عنوان یک نقشه دقیق از محیط جراحی تصور کنید. این گرافها فقط اشیائی مانند ابزارها و بافتها را شناسایی نمیکنند؛ بلکه روابط پیچیده بین آنها را نیز درک میکنند. این ویژگی به یک هوش مصنوعی اجازه میدهد تا زمینه یک عمل جراحی را درک کند و کاربردهای قدرتمندی را ممکن سازد، از جمله:
- تشخیص گردش کار: درک توالی مراحل در یک عمل جراحی.
- نظارت بر ایمنی: شناسایی خطاهای بالقوه یا موقعیتهای بحرانی به صورت لحظهای.
- ارزیابی مهارت: ارزیابی عینی عملکرد یک جراح.
- شبیهسازی پیشرفته: ایجاد محیطهای آموزشی بسیار واقعگرایانه و تعاملی.
محققان از مجموعه دادههای غنی مانند CholecT45 و CholecT50 استفاده میکنند و مدلهای هوش مصنوعی پیشرفتهای مانند شبکههای کانولوشنال گراف، ترنسفورمرها و حتی مدلهای زبان بزرگ را برای پردازش این اطلاعات به کار میگیرند. هدف، ساخت سیستمهایی است که بتوانند راهنمایی لحظهای ارائه دهند و تمام جنبههای اتاق عمل را، از تعاملات ابزار و بافت گرفته تا محیط وسیعتر اتاق عمل که توسط دوربینهای چندنما ثبت شده، تحلیل کنند.
پر کردن شکاف داده با مدلهای پیشرفته
این مطالعه روند جذابی را در روششناسی نشان میدهد. این حوزه از شبکههای عصبی گراف پایه فراتر رفته و به مدلهای پایه بسیار تخصصی روی آورده است. ثابت شده که این مدلهای سفارشی در زمینه منحصر به فرد جراحی، به طور قابل توجهی مؤثرتر از مدلهای زبان-بینایی بزرگ و عمومی هستند. آنها در درک تفاوتهای ظریف و خاص روشهای جراحی بهتر عمل میکنند.
پیچیدگی خود دادهها نیز در حال تحول است. در حالی که ویدئوهای ۲بعدی استاندارد از اندوسکوپها هنوز رایج است، استفاده از دادههای RGB-D که اطلاعات عمق را اضافه میکنند، رو به افزایش است. این امر امکان ایجاد گرافهای صحنه واقعی ۴بعدی را فراهم میکند که میتوانند روابط فضایی پویا را در طول زمان ردیابی کنند. پیشرفتهترین تحقیقات اکنون چندین جریان داده – مانند ویدئو، صدا، متن مکالمات و گزارشهای سیستم رباتیک – را در یک چارچوب واحد و چندوجهی ادغام میکنند. این رویکرد جامع که در مجموعه دادههایی مانند MM-OR دیده میشود، درک بسیار غنیتر و قویتری از کل صحنه جراحی ارائه میدهد.
آینده: به سوی جراحی هوشمندتر و ایمنتر
این بررسی جامع، گرافهای صحنه را به عنوان یک فناوری بنیادی برای آینده جراحی معرفی میکند. در حالی که چالشهایی مانند کمبود داده و نیاز به عملکرد لحظهای همچنان باقی است، محققان به طور فعال در حال توسعه راهحلهایی از طریق تکنیکهایی مانند یادگیری انتقال و تقطیر مدل هستند.
مسیر پیش رو شامل پر کردن شکاف داده و ایجاد سیستمهای عملی و حلقه-بسته است. هدف نهایی، فراتر رفتن از تحلیل ساده و توسعه هوش مصنوعی است که بتواند به طور فعال در اتاق عمل کمک کند. کارهای آینده بر روی ادغام دادههای خاص بیمار برای راهنمایی شخصیسازی شده، کاوش در استدلال علی برای درک نه تنها «چه» اتفاقی میافتد بلکه «چرا»، و ایجاد چارچوبهای قوی برای اعتبارسنجی بالینی متمرکز خواهد بود. با ایجاد این محیطهای تعاملی و هوشمند، میتوانیم ایمنی، کارایی و کیفیت آموزش جراحی را برای نسل بعدی جراحان به طور قابل توجهی افزایش دهیم.
👈 برای اطلاعات عمیقتر، میتوانید مقاله پژوهشی را مطالعه کنید: رمزگشایی از صحنه جراحی: مروری بر گرافهای صحنه در جراحی