A téma leírása nagy vonalakban:
A modern műtéti környezetekben egyre nagyobb szerepet kapnak az olyan intelligens asszisztens rendszerek, amelyek támogatják a műtői folyamatok előkészítését, nyomon követését és dokumentálását. A műtéti eszközök automatikus felismerése és az eszköztálcák hiánytalanságának ellenőrzése fontos lépés lehet a műtői workflow objektív elemzése, a betegbiztonság növelése és a sebészeti adattudományi alkalmazások fejlesztése felé.
A jelölt feladata egy gépi látás alapú rendszer fejlesztése az Óbudai Egyetem MedTech Innovációs és Oktató Központjának szimulált műtői környezetében rendelkezésre álló műtéti kézieszközök felismerésére és az eszköztálcák automatikus ellenőrzésére. A munka része saját képi adatbázis létrehozása különböző eszközelrendezések, kameraállások, megvilágítási viszonyok és részleges takarások mellett, az adatok annotálása, majd gépi tanulási módszerek alkalmazása az eszközök detektálására és kategorizálására. A fejlesztett rendszer célja annak meghatározása, hogy egy adott eszköztálca tartalmazza-e az előre definiált eszközkészletet, illetve képes-e jelezni a hiányzó vagy nem megfelelő helyen található eszközöket.
A feladat részletezése:
- A műtéti eszközfelismerés, objektumdetektálás és műtői workflow-elemzés szakirodalmának áttekintése;
- A MedTech Innovációs és Oktató Központ műtői egységének, eszközkészletének és releváns műtői elrendezéseinek megismerése;
- Képi adatgyűjtési protokoll kidolgozása különböző eszköztálca-konfigurációkra, kameraállásokra és megvilágítási viszonyokra;
- Saját képi adatbázis létrehozása és annotálása;
- Objektumdetektáló vagy képszegmentáló MI-modell tanítása és kiértékelése;
- Eszközkészlet-ellenőrző logika fejlesztése a hiányzó vagy rossz helyen található eszközök azonosítására;
- A fejlesztett rendszer tesztelése szimulált műtői környezetben, az eredmények kiértékelése.
A feladat során a Hallgatónak lehetősége lesz megismerkedni az Óbudai Egyetem MedTech Innovációs és Oktató Központ és a Bejczy Antal iRobottechnikai Központ kutatási infrastruktúrájával, valamint bekapcsolódni az ott folyó kutatási és fejlesztési feladatokba.