A téma leírása nagy vonalakban:
A modern műtői környezetekben egyre nagyobb szerepet kapnak azok az intelligens asszisztens rendszerek, amelyek érintésmentes módon képesek támogatni a műtői folyamatok irányítását, dokumentálását vagy a különböző eszközök kezelését. A hang- és gesztusvezérlés különösen fontos lehet olyan környezetekben, ahol a sterilitás, a gyors hozzáférés és a felhasználó figyelmének megőrzése kiemelt szempont. Az ilyen rendszerek hozzájárulhatnak a műtői workflow hatékonyabb támogatásához, a dokumentáció egyszerűsítéséhez és az intelligens műtői asszisztens rendszerek fejlesztéséhez.
A jelölt feladata egy hang- vagy gesztusvezérelt műtői asszisztens prototípusának fejlesztése az Óbudai Egyetem MedTech Innovációs és Oktató Központjának szimulált műtői környezetében. A munka része egy releváns műtői parancskészlet és felhasználási forgatókönyv meghatározása, például műtéti checklist léptetése, események jelölése adatgyűjtés közben, eszközlista lekérdezése, vagy egyszerű műtői berendezések állapotának megjelenítése. A fejlesztés során a hallgató beszédfelismerési, természetesnyelv-feldolgozási, gesztusfelismerési vagy multimodális HMI módszereket alkalmazhat, majd a prototípust szimulált műtői környezetben teszteli.
A feladat részletezése:
- A műtői ember-gép interfészek, hangvezérlés, gesztusvezérlés és intelligens asszisztens rendszerek szakirodalmának áttekintése;
- A MedTech Innovációs és Oktató Központ műtői egységének, eszközkészletének és releváns műtői workflow-inak megismerése;
- Műtői környezetben alkalmazható parancskészlet és felhasználási forgatókönyvek meghatározása;
- Hangalapú, gesztusalapú vagy kombinált vezérlési koncepció kidolgozása;
- Beszédfelismerési, természetesnyelv-feldolgozási, képfeldolgozási vagy gesztusfelismerési módszerek alkalmazása, szükség esetén tanítása vagy finomhangolása;
- A műtői asszisztens prototípusának implementálása felhasználói felülettel vagy egyszerű dashboarddal kiegészítve;
- A rendszer tesztelése különböző zaj-, megvilágítási és felhasználói helyzetek mellett;
- A felismerési pontosság, válaszidő, használhatóság és műtői alkalmazhatóság kiértékelése;
- A fejlesztett rendszer továbbfejlesztési lehetőségeinek vizsgálata intelligens műtői asszisztens rendszerek irányába.
A feladat során a Hallgatónak lehetősége lesz megismerkedni az Óbudai Egyetem MedTech Innovációs és Oktató Központ és a Bejczy Antal iRobottechnikai Központ kutatási infrastruktúrájával, valamint bekapcsolódni az ott folyó kutatási és fejlesztési feladatokba.