Implementing a Lakehouse with Microsoft Fabric

Microsoft Fabric er en spritny platform fra Microsoft. Det er en software as a service (SaaS) løsning som tilbyder end-to-end data analyse. Det vil sig, det er et samlet værtøj som favner alle roller i BI afdelingen i form af data engineers, data scientists, data analysts og data warehouse folk.

Data er ikke længere kun SQL og pænt struktureret information i databaser. Vi har brug for andre måder at opbevare og analysere data på. Fabric tilbyder både det traditionelle SQL datawarehouse (Synapse Data Warehouse) og et moderne lakehouse, hvor vi i notebooks i Apache Spark kan kombinere SQL og programmeringssprogene Python/Scala. Det giver en meget større fleksibilitet i håndteringen, klargøring og processeringen af data, og det åbner for nye muligheder i form af data analyse med komplekse algoritmer.

På kurset opretter vi et lakehouse og kigger på, hvorfor tabeller i et lakehouse med stor fordel kan gemmes i delta formatet. Fabrics værktøj til ETL (extract,transform,load) processen hedder Dataflows Gen2, og det består af Power Query online. Det nye er, at en forespørgsel(query) har en data destination.

Data Factory er værktøjet i skyen, som kan få alle tjenesterne til at tale sammen ved at udføre opgaver. Det foregår i en pipeline som f.eks. kan eksekvere et dataflow, lande data i et lakehouse og dernæst køre en python notebook.

På kurset kommer vi omkring alle ovenstående områder og giver dig det forkromede overblik, så dig og din organisation er bedre rustet til at anvende Microsoft Fabric.