SuperUsers billede
Kursus
SU-252

Databricks Data Engineer

Kurset gennemgår de centrale elementer i Databricks, så du får styr på Unity Catalog, notebooks, clusters, Spark, Delta Lake, medal architecture, workflows og Delta live tables.

 

Beskrivelse

På kurset starter vi med at oprette et Databricks Workspace i Azure og konfigurere Unity Catalog. Dernæst dykker vi ned i de essentielle dele, man skal kende til som Data Engineer, når man arbejder med Databricks. Muligheden for at køre serverless har f.eks. gjort det endnu mere attraktivt at anvende Databricks, fordi der er mindre ventetid på at et cluster starter op og er klar.

I dag er data ikke længere kun pænt struktureret information i databaser, som vi kan tilgå med SQL. Vi har brug for andre måder at opbevare og analysere data på, for data kan være lyd, video, billeder og f.eks. json med hierarkisk data.

Databricks opfandt det moderne Lakehouse, som giver os det bedste fra to verdener, for det er simpelthen et mix af en datalake og et datawarehouse. Vi kan gemme og opbevare data som filer, og via notebooks med Python/Scala kode, kan vi transformere og klargøre data, så vi får mere struktureret data, der egner sig til et datawarehouse og data analyse.

Tabeller i et Lakehouse gemmes via Delta Lake i parquet filer, og hver tabel har en tilhørende transaktionslog. Det betyder vi har syrereglen (ACID), som vi genkender fra database verdenen.

Kurset giver en grundig introduktion til Databricks, og hvad et moderne Lakehouse er. Du får en dybere forståelse af Delta Lake og laver transformationer med en Spark dataframe. Vi tilrettelægger batch load af data, og konfigurerer det som et workflow med en schedule. Dernæst kigger vi på mulighederne for realtids data i Databricks. Structured streaming i kombination med Delta Live Tables er et stærkt værktøj til at håndtere data som f.eks. løbende ankommer som events/filer i blob storage.

Til slut kigger vi på hvilke muligheder Databricks tilbyder i form af et Datawarehouse, sql queries og dashboards med visualiseringer.

Moduloversigt

  • Modul 1
    Introduction and key concepts and features
      • Introduction   
      • Data lake vs Lakehouse
      • What is Databricks?
      • What is Spark?
      • Cloud Provider (Microsoft Azure, AWS, Google Cloud)
  • Modul 2
    Get started with Azure Databricks
      • Deployment of Azure Databricks workspace
      • Creating a Databricks cluster
      • Serverless clusters
  • Modul 3
    Notebooks in Databricks
      • Creating and using notebooks
      • Mix SQL, Scala and Python in your code cells
      • Load and explore data
  • Modul 4
    Data Governance and Unity Catalog
      • Understanding Data Governance
      • Unity catalog
      • Securable objects and privileges
      • Lakehouse Federation
      • Catalog Explorer/browsing Unity Catalog
      • Data lineage
      • Entity relationships
  • Modul 5
    Delta Lake
      • ACID, Databases, table level transactions and data in files
      • What is Delta lake?
      • Data versioning and time travel in Delta Lake
      • VACUUM
      • OPTIMIZE
      • Liquid Clustering
      • Predictive Optimization
  • Modul 6
    Apache Spark with focus on PySpark
      • Spark
      • Data transformation with a Spark dataframe
  • Modul 7
    Data ingestion
      • CTAS, COPY INTO
      • Schemas, Schema Enforcement
      • Schema Evolution
      • Fetching data from various sources (e.g. Azure Data lake, AWS etc)
      • Connecting to a database (Azure SQL or other)
  • Modul 8
    Use SQL warehouses in Azure Databricks
      • Get started with SQL warehouses in Databricks
      • Create a SQL warehouse/cluster
      • Serverless SQL warehouses
      • Create schemas and tables
      • Visualize data   
      • Create queries and dashboards
      • Connect Databricks with external tools e.g. Power BI
  • Modul 9
    Workflows and jobs
      • Orchestrate and schedule workflows in Databricks
      • Tasks
      • Job clusters/serverless compute
      • Schedule
      • Notifications
      • Monitor in the job UI
  • Modul 10
    Streaming data in Databricks and Delta live tables (DLT)
      • Structured streaming in Databricks
      • Ingest data with structured streaming
      • Autoloader
      • Handle late data and out-of-order events in incremental processing
      • What is DLT?
      • Streaming tables, materialized views, views
      • Medaillon architecture
      • Check constraints, Quality constraints, warn, drop, fail
      • Pipeline SQL syntax
      • Pipeline Python syntax
      • Monitor DLT, Eventlog

Jeg kan ikke give andet end 5 stjerner for det hele. Enten er I helt i særklasse, eller også er jeg bare kommet de forkerte kursussteder tidligere. Fantastisk sted og atmosfære.... når først man har lært at finde rundt :-)

— Mikael Ejberg Pedersen
Cobham SATCOM

Nok det bedste kursus jeg har været på og den bedste instruktør jeg har haft!! Rigtig god dybde og uddybende forklaringer, og derudover fantastisk mad!!!

— Michael Hasløv
Lån & Spar Bank

Lækker mad, hyggelige lokaler, god struktur og stemning. Kommer igen når jeg kan.

— Ea Stenberg
Oticon A/S

Absolut det bedste kursus jeg har deltaget i!

— Esben Salling
JN Data A/S

Kursusstedet er så indbydende og velkomne, at det har været en fornøjelse at være her. Rent, pænt og fuld af charme. Jeg deltog på et kursus, hvor alle enkelte dele gik op i en højere enhed, som knap kan beskrives.

— Bo Peter Jensen
Kyndryl Danmark ApS

Jeg fik meget ud af kurset, det har åbnet øjnene for muligheder, jeg ikke var klar over eksisterede. Jeg er sikker på det ikke er sidste gang, vi er i kontakt med SuperUsers.

— Christian Larsen
Siemens Gamesa Renewable Energy A/S

Jeg havde ikke i min vildeste fantasi troet, at et kursussted kunne være så flot. Ved ikke om det er rigtigt, men jeg har en idé om, at omgivelserne smitter af på dem som arbejder her, så alle virker utrolig glade.

Der er en rigtig god stemning. Lige fra hende som sidder i receptionen, til dem som arbejder i køkkenet.

— Jannik Berg Møller
Metro Service

Underviseren har i meget høj grad tilpasset kurset til mit niveau og været fleksibel. Jeg havde meget høje forventninger, og de blev overgået.

Stor præcision, gode øvelser, godt tempo, god stemning og max på læring.

— Luka Dalum
Semler

Instruktøren var meget behagelig og øvelserne var enormt gode. Blev virkelig meget klogere omkring emnerne, kurset handlede om.

Derudover virkelig gode, rolige og grønne omgivelser med god forplejning - specielt god mad. Her vil jeg gerne tage mine kurser næste gang igen.

— Arif Mikkelsen Yüce
Københavns Kommune

Det var en ren fornøjelse at være på kursus hos SuperUsers. Den uge vi har været på kursus var pengene værd og gør, at vi nu kan spare mange konsulenttimer. Det er altid rart at have viden in-house.

Der er en afslappende atmosfære i kursuslokalet, skønne omgivelser i selve bygningen samt dygtige instruktører, som gør det rigtig godt.

Jeg kom i gang med at bruge al den viden, jeg sugede til mig på kurset næsten med de samme, og nu er vi i fuld gang med udvikling af vores fremtidige cloud løsning.

Der er ingen tvivl om, hvem skal vi henvende os, hvis der er behov for andre kurser.

— Maksym Bilyk
KVM A/S

Det er første gang jeg har været hos SuperUsers. Dette har været en rigtig god oplevelse. Instruktøren virker til at være meget erfaren og kompetent.

Instruktørens stærke tekniske baggrund gør oplevelsen og uddybelsen af spørgsmål til en god oplevelse.

— Thomas Gram
Nic. Christiansen Gruppen A/S

Rigtig fint kurussted i fine omgivelser, som sætter gode omgivelser til fordybning. Instruktøren fremstår velforberedt med stor viden omkring de relevante emner.

Instruktøren udviste også god evne til at svare på eventuelle spørgsmål, som måtte opstå undervejs i forløbet.

— Simon Schmidt Eriksen
Norlys

Jeg kommer igen næste gang jeg skal på kursus, det er et dejligt sted, fantastisk god mad og instruktøren har stor viden og deler gerne ud af den!

— Jan Christiansen
TV2 Danmark A/S

Den tekniske dybde på kurset var virkelig god, instruktøren havde meget dybere viden, end pensum nødvendigvis kræver.

Man kunne smide diverse curveballs efter instruktøren, og han havde styr på det hele - han gjorde desuden indholdet spændende.

— Nicolai Bæklund
Danish Crown

Så fik vi gennemført kurser i Microsoft 365 for samlet 5 personer her i afdelingen. Alle siger samstemmende, at det har været et fremragende kursus med en dygtig underviser og kommunkator, som kunne drøfte og informere på rette niveau, men samtidig med effektivitet og humor.

Det har været en rigtig god oplevelse.

— Henrik Dyrhøj
Nyborg Kommune

Der er fred og ro på SuperUsers landsted. God atmosfære og forplejning. Der er kigget til et sundhedsaspekt mht til mad og kage så det ikke tager fuldstændig overhånd.

Instruktøren er velvidende på emnerne og perspektivere gerne bredt til andre relevante områder. Det er givende, at dette også er muligt og giver en selv tanker til videre fordybelse.

Derudover var instruktøren engageret og underholdende at have til at præsenterere indhold for sig.

— Kenneth Middelboe Carlson
Svend Hoyer A/S

Det var som altid en go' oplevelse, og man lærer en masse på kort tid af nogle meget dygtige undervisere.

Jeg arbejder i Azure stort set hver dag, og begge kurser har været rigtige gode til at hjælpe mig med at forstå Azure bedre.

— Marthin Lundquist
DEAS A/S

Instruktøren er meget præsentationsorienteret og inddrager én i undervisningen og materialet. Han er god til at variere undervisningen, så det ikke bliver trivielt.

Det er tydeligt, at instruktøren både har hands-on experience og ikke kun teorien, med mange gode eksempler som refererede til real-world udfordringer, vi måtte opleve.

Gode faciliteter og god forplejning, uden at at man drukner i usunde vaner.

— Kenneth Middelboe Carlson
Svend Hoyer A/S

Very good course, the instructor was the best. I've been here at SuperUsers before, now I'm here again, and hopefully coming back another time.

— Mads From
Sampension Administrationsselskab A/S

Instruktøren virkede meget kompetent og har meget viden om sit fagområde. Han var god til at forklare på en forståelig og humoristisk måde. Derudover var der simple øvelser, som gav god forståelse. 

— Jeppe Hvelplund
Vattenfall Vindkraft A/S

Instruktøren var rigtig god til at gå i dybden, men samtidig være sikker på at folk var med. Virkelig flot sted, lokale og lækker mad.

Der var ingen tvivl om at instruktøren vidste præcis, hvad han snakkede om, og selv de mest simple spørgsmål blev besvaret med glæde, og uden at nogen skulle føle sig dumme.

— Jesper Nederby
Rudersdal Kommune

Dejligt hyggeligt sted, hvor receptionist, køkkenet, undervisere får en til at føle hjemme. Gode rammer skaber god læring. Rigtig god mad, der er med til at give en helhed i oplevelsen af at være på kursus hos SuperUsers.

— Henrik Valentin Eltang
Privatperson

Super tilfreds med stedet og opholdet over i hestestalden. Vil se om jeg ikke kan komme her over igen, til næste kursus jeg skal på. Rigtig flot bygning og fedt at opleve sådan et sted. Kanon sted at holde kursus.

— Mads-Ejnar Kehlet
Herningsholm IT-center

Er du i tvivl?

Det ligger os meget på sinde, at du finder det kursusforløb, der skaber størst værdi for dig og din arbejdsplads. Tag fat i vores kursusrådgivere, de sidder klar til at hjælpe dig!

SuperUsers
Har du spørgsmål? Kontakt os