A téma leírása nagy vonalakban:
A modern műtői környezetekben egyre nagyobb szerepet kapnak azok az intelligens megfigyelő és elemző rendszerek, amelyek képesek a műtőben zajló tevékenységek automatikus követésére és dokumentálására. A többkamerás adatgyűjtés lehetőséget ad a teljes műtői tér megfigyelésére, a személyek, eszközök és főbb tevékenységek azonosítására, valamint a műtői workflow objektív elemzésére. Az ilyen rendszerek hosszabb távon támogathatják a műtői folyamatok optimalizálását, a képzést, a betegbiztonság növelését és az intelligens műtői asszisztens rendszerek fejlesztését.
A jelölt feladata egy többkamerás gépi látás alapú rendszer fejlesztése az Óbudai Egyetem MedTech Innovációs és Oktató Központjának szimulált műtői környezetében végzett műtői tevékenységek felismerésére. A munka része a megfelelő kameraelrendezés kialakítása, a kameraképek szinkronizált rögzítése, saját videóadatbázis létrehozása előre definiált műtői jelenetek és tevékenységek alapján, majd gépi tanulási módszerek alkalmazása személyek, eszközök, aktivitások és események felismerésére. A fejlesztett rendszer célja a műtői folyamatok magasabb szintű, térbeli és időbeli elemzése több nézőpontból származó videóadatok alapján.
A feladat részletezése:
- A műtői tevékenységfelismerés, többkamerás gépi látás, objektumkövetés és workflow-elemzés szakirodalmának áttekintése;
- A MedTech Innovációs és Oktató Központ műtői egységének, eszközkészletének és releváns műtői elrendezéseinek megismerése;
- Többkamerás adatgyűjtési rendszer és kameraelrendezés megtervezése szimulált műtői környezetben;
- Videóadat-gyűjtési protokoll kidolgozása előre definiált műtői jelenetekre, szereplőkre és tevékenységekre;
- Saját többkamerás videóadatbázis létrehozása és annotálása;
- Személy-, eszköz- és aktivitásfelismerő algoritmusok alkalmazása, szükség esetén tanítása vagy finomhangolása;
- Több nézőpontból származó információk összevetése és azonos műtői események időbeli követése;
- Műtői tevékenységek vagy események automatikus felismerésére alkalmas módszer kidolgozása;
- A fejlesztett rendszer tesztelése szimulált műtői környezetben, az eredmények kiértékelése.
A feladat során a Hallgatónak lehetősége lesz megismerkedni az Óbudai Egyetem MedTech Innovációs és Oktató Központ és a Bejczy Antal iRobottechnikai Központ kutatási infrastruktúrájával, valamint bekapcsolódni az ott folyó kutatási és fejlesztési feladatokba.