Procesiranje podataka na Hadoopu

diplomski rad

• Naslov (engleski): Spark and In-memory data processing in Hadoop
• Autor: Jurica Potočnjak
• Mentor: Dijana Oreški (mentor); MBZ: 318615
• Član povjerenstva: Kornelije Rabuzin; MBZ: 246472
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet organizacije i informatike; (Katedra za razvoj informacijskih sustava); Varaždin
• Datum i država obrane: 2016-09-23, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: DRUŠTVENE ZNANOSTI; Informacijske i komunikacijske znanosti; Organizacija i informatika

Sažetak

U teorijskom djelu rada je opisan Apache Hadoop, tehnologija za pohranu i obradu velikih količina podataka. Prikazan je Hadoop te njegov ekosistem preko Clouderine distiribucije Hadoopa. Rad se temelji na prikazu obrade, streaminga, spremanja podataka u realnom vremenu na Hadoop preko servisa Hadoop-ovog ekosistema kao štu su Spark, Flume, Kafka, Solr. Prikazani su primjeri real time streaminga podataka pomoću Flume alata na HDFS, Kafke na Vertica bazu podataka. U praktičnom djelu rada je prikazana vizualizacija u realnom vremenu kroz Solr pomoću Flume servisa te Morphline parsera. Na kraju je prikazan primjer streaminga IPTV JSON logova u realnom vremenu kroz FLume, Spark streaming, Spark SQL u Hive bazu podataka na Hadoopu.

• Ključne riječi: skladištenje podataka; obrada podataka; hadoop; veliki podaci
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:211:172233
• Studijski program: Naziv: Baze podataka i baze znanja; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra informatike (mag.inf.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Pristup korisnicima matične ustanove
• Datum i vrijeme pohrane: 2017-01-26 13:52:35