Az információbiztonsági szakemberek számára jelentős terhelést okoz a különböző gyártói és független forrásokból nyilvánosságra hozott sérülékenységi és fenyegetettségi információk közti eligazodás.
A rendkívül sok formátumban, gyakran Szabad szöveges szerkezetben (strukturálatlanul) elérhető adatok webes forrásokból történő begyűjtése (scraping), illetve egységes szerkezetbe foglalása (mapping), emellett az adatok tisztítása és gazdagítása jelentős tervezési és implementációs erőfeszítéssel valósítható meg.
A dolgozat során részletesebb elemzésre kiválasztott adatforrások lehetnek például: Twitter (REST API), Reddit (REST API), gyártói vagy független hírportálok (RSS/ATOM), automatizált webbányászat (web spider/crawler/bot)
A dolgozatnak tartalmaznia kell:
- az adatgyűjtés, adatleképzés, adattísztítás és adatgazdagítás szakirodalmi hátterét,
- a strukturált fenyegetettségi és sérülékenységi információk szintaktikai és szemantikai jellemzőit bemutató irodalomkutatás eredményeit
- az előállítani kívánt adathalmazzal kapcsolatban fennálló minőségi elvárásokat és ezek mérési módszerét,
- legalább három független formátumú strukturálatlan sérülékenységi vagy fenyegetettségi adatforrás inkrementális gyűjtésének és elemzésének kiviteli terveit,
- a kidolgozott szempontok alapján elkészített adatgyűjtő rendszer tervezési és implementációs dokumentációját,
- a begyűjtött adathalmaz minőségének értékelését az előzetesen meghatározott kritériumok alapján,
- a feladat megvalósításának értékelését, valamint az esetleges továbbfejlesztési lehetőségek kifejtését