A téma leírása nagy vonalakban:
A sebészeti beavatkozások során végzett kézmozgások, eszközhasználati minták és munkafolyamatok objektív elemzése fontos szerepet játszhat a sebészeti készségek értékelésében, a műtői workflow-k vizsgálatában és az intelligens műtői asszisztens rendszerek fejlesztésében. A kameraképek alapján végzett kéz- és eszközkövetés lehetőséget ad olyan jellemzők automatikus kinyerésére, mint a mozgáspálya, a mozgásmennyiség, a sebesség, az inaktív idő, a kéz–eszköz interakciók, valamint a sebészeti részfeladatok egymásutánisága.
A jelölt feladata egy gépi látás alapú rendszer fejlesztése az Óbudai Egyetem MedTech Innovációs és Oktató Központjának szimulált műtői környezetében végzett kézi sebészeti gyakorlófeladatok elemzésére. A munka része megfelelő kameraelrendezés kialakítása, saját videóadatbázis létrehozása előre definiált sebészeti részfeladatok végrehajtása közben, majd MI-alapú kézdetektálási, eszközkövetési és workflow-elemzési módszerek alkalmazása. A fejlesztett rendszer célja a sebészeti mozgásminták kvantitatív jellemzése, valamint a gyakorlófeladatok főbb lépéseinek automatikus felismerése vagy szegmentálása.
A feladat részletezése:
- A sebészeti mozgásminták elemzése, kézdetektálás, objektumkövetés, workflow-elemzés és sebészeti készségértékelés szakirodalmának áttekintése;
- A MedTech Innovációs és Oktató Központ műtői egységének, eszközkészletének és releváns kézi sebészeti gyakorlófeladatainak megismerése;
- Kameraelrendezés és videóadat-gyűjtési protokoll kidolgozása szimulált műtői környezetben;
- Saját videóadatbázis létrehozása különböző sebészeti részfeladatok, eszközhasználati módok és felhasználói végrehajtások alapján;
- A videóadatok annotálása kézmozgások, eszközhasználati események és workflow-lépések szerint;
- Kézdetektáló, eszközkövető és eseményfelismerő algoritmusok alkalmazása, szükség esetén tanítása vagy finomhangolása;
- Mozgáspályák, sebesség, mozgásmennyiség, inaktív idő és kéz–eszköz interakciók becslése;
- Sebészeti részfeladatok vagy workflow-fázisok automatikus felismerésére alkalmas módszer kidolgozása;
- A kinyert jellemzők kiértékelése és azok alkalmazhatóságának vizsgálata sebészeti workflow-elemzés vagy készségértékelés céljára;
- A fejlesztett rendszer tesztelése szimulált műtői környezetben, az eredmények kiértékelése.
A feladat során a Hallgatónak lehetősége lesz megismerkedni az Óbudai Egyetem MedTech Innovációs és Oktató Központ és a Bejczy Antal iRobottechnikai Központ kutatási infrastruktúrájával, valamint bekapcsolódni az ott folyó kutatási és fejlesztési feladatokba.