Big data algoritmusok és programozás

Oktatási cél: A tárgy keretében a hallgatók megismerkednek a Big Data fogalomkörhöz kapcsolódó fogalmakkal, technológiákkal, paradigmákkal, komponensekkel, alkalmazási területekkel.

Tematika: Bevezetés a Big Data világába, Hadoop alapok(HDFS, YARN), Big Data adattárolási módszerek(ORC, Arrow, Avro, Parquet), Adatbegyűjtési módszerek(Kafka), Adatfeldolgozás(MapReduce, Spark), Stream feldolgozás(Spark Stream), Feldolgozási folyamatok(Oozie vagy Airflow, Apache Nifi), Klaszter menedzsment és biztonság(Zookeeper, HCatalog, Ranger, LDAP / AD), Adathozzáférés(Impala, Hue, Tableau), Analitikai eszközök(Mahout, Spark Mlib), Felhő alapú megoldások(Iaas vs. Paas Big Data használata Azure környezetben), Big Data esettanulmányok. Azure Databricks platform használata.

 

Big data algoritmusok és programozás