SuperUsers billede
Kursus
DP-203

Data Engineering on Microsoft Azure

Lær hvordan du designer en effektiv og robust dataløsning i Azure, samt implementering af forskellige løsninger for data storage og dataanalyse. Kurset lægger vægt på bl.a. Azure Synapse Analytics.

 

Beskrivelse

Vi gennemgår praktisk implementering af data storage muligheder i Azure og har fokus på ETL (extract, transform, load) processen, og at det i dag ofte giver mening at T og L bytter plads til ELT.

Samtidig går vi i dybden med sikkerhed og værktøjet Azure Data Factory, som kan få alle tjenesterne til at tale sammen ved at migrere og transformere data igennem en pipeline.

Følgende Azure storage services og analyseværktøjer er indeholdt i kurset:

  • Til filbaseret/ustruktureret data er Azure Storage account et godt valgt i form af blob storage/datalake.
  • Azure Synapse Analytics (tidligere SQL DW) er et Parallelt DW i skyen, men som navnet antyder, er analyse-delen nu dybt integreret i produktet i form af Spark pools.
  • Via Azure Databricks (Apache Spark baseret analyse platform) sætter du et Spark cluster op og ser, hvordan man kan analysere data fra datakilderne via Python i en notebook.
  • Live data kan sendes direkte til Azure Event Hub og analyseres med window funktioner i Stream Analytics.
  • Azure Data Factory er værktøjet som kan få alle tjenesterne til at tale sammen ved at migrere og transformere data igennem en pipeline.
  • Azure Synapse link er forbindelsen mellem Synapse Analytics og CosmosDB Analytical Store

Certificeringspakker

Listepris 27.400 DKK
Din pris 25.800 DKK
(Eksl. moms)

Moduloversigt

  • Modul 1
    Explore compute and storage options for data engineering workloads
    • This module provides an overview of the Azure compute and storage technology options that are available to data engineers building analytical workloads. This module teaches ways to structure the data lake, and to optimize the files for exploration, streaming, and batch workloads. The student will learn how to organize the data lake into levels of data refinement as they transform files through batch and stream processing. Then they will learn how to create indexes on their datasets, such as CSV, JSON, and Parquet files, and use them for potential query and workload acceleration.

      Lessons

      Introduction to Azure Synapse Analytics

      Describe Azure Databricks

      Introduction to Azure Data Lake storage

      Describe Delta Lake architecture

      Work with data streams by using Azure Stream Analytics

      Lab : Explore compute and storage options for data engineering workloads

      Combine streaming and batch processing with a single pipeline

      Organize the data lake into levels of file transformation

      Index data lake storage for query and workload acceleration

  • Modul 2
    Run interactive queries using Azure Synapse Analytics serverless SQL pools
    • In this module, students will learn how to work with files stored in the data lake and external file sources, through T-SQL statements executed by a serverless SQL pool in Azure Synapse Analytics. Students will query Parquet files stored in a data lake, as well as CSV files stored in an external data store. Next, they will create Azure Active Directory security groups and enforce access to files in the data lake through Role-Based Access Control (RBAC) and Access Control Lists (ACLs).

      Lessons

      Explore Azure Synapse serverless SQL pools capabilities

      Query data in the lake using Azure Synapse serverless SQL pools

      Create metadata objects in Azure Synapse serverless SQL pools

      Secure data and manage users in Azure Synapse serverless SQL pools

      Lab : Run interactive queries using serverless SQL pools

      Query Parquet data with serverless SQL pools

      Create external tables for Parquet and CSV files

      Create views with serverless SQL pools

      Secure access to data in a data lake when using serverless SQL pools

      Configure data lake security using Role-Based Access Control (RBAC) and Access Control List

  • Modul 3
    Data exploration and transformation in Azure Databricks
    • This module teaches how to use various Apache Spark DataFrame methods to explore and transform data in Azure Databricks. The student will learn how to perform standard DataFrame methods to explore and transform data. They will also learn how to perform more advanced tasks, such as removing duplicate data, manipulate date/time values, rename columns, and aggregate data.

      Lessons

      Describe Azure Databricks

      Read and write data in Azure Databricks

      Work with DataFrames in Azure Databricks

      Work with DataFrames advanced methods in Azure Databricks

      Lab : Data Exploration and Transformation in Azure Databricks

      Use DataFrames in Azure Databricks to explore and filter data

      Cache a DataFrame for faster subsequent queries

      Remove duplicate data

      Manipulate date/time values

      Remove and rename DataFrame columns

      Aggregate data stored in a DataFrame

  • Modul 4
    Explore, transform, and load data into the Data Warehouse using Apache Spark
    • This module teaches how to explore data stored in a data lake, transform the data, and load data into a relational data store. The student will explore Parquet and JSON files and use techniques to query and transform JSON files with hierarchical structures. Then the student will use Apache Spark to load data into the data warehouse and join Parquet data in the data lake with data in the dedicated SQL pool.

      Lessons

      Understand big data engineering with Apache Spark in Azure Synapse Analytics

      Ingest data with Apache Spark notebooks in Azure Synapse Analytics

      Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics

      Integrate SQL and Apache Spark pools in Azure Synapse Analytics

      Lab : Explore, transform, and load data into the Data Warehouse using Apache Spark

      Perform Data Exploration in Synapse Studio

      Ingest data with Spark notebooks in Azure Synapse Analytics

      Transform data with DataFrames in Spark pools in Azure Synapse Analytics

      Integrate SQL and Spark pools in Azure Synapse Analytics

  • Modul 5
    Ingest and load data into the data warehouse
    • This module teaches students how to ingest data into the data warehouse through T-SQL scripts and Synapse Analytics integration pipelines. The student will learn how to load data into Synapse dedicated SQL pools with PolyBase and COPY using T-SQL. The student will also learn how to use workload management along with a Copy activity in a Azure Synapse pipeline for petabyte-scale data ingestion.

      Lessons

      Use data loading best practices in Azure Synapse Analytics

      Petabyte-scale ingestion with Azure Data Factory

      Lab : Ingest and load Data into the Data Warehouse

      Perform petabyte-scale ingestion with Azure Synapse Pipelines

      Import data with PolyBase and COPY using T-SQL

      Use data loading best practices in Azure Synapse Analytics

  • Modul 6
    Transform data with Azure Data Factory or Azure Synapse Pipelines
    • This module teaches students how to build data integration pipelines to ingest from multiple data sources, transform data using mapping data flowss, and perform data movement into one or more data sinks.

      Lessons

      Data integration with Azure Data Factory or Azure Synapse Pipelines

      Code-free transformation at scale with Azure Data Factory or Azure Synapse Pipelines

      Lab : Transform Data with Azure Data Factory or Azure Synapse Pipelines

      Execute code-free transformations at scale with Azure Synapse Pipelines

      Create data pipeline to import poorly formatted CSV files

      Create Mapping Data Flows

  • Modul 7
    Orchestrate data movement and transformation in Azure Synapse Pipelines
    • In this module, you will learn how to create linked services, and orchestrate data movement and transformation using notebooks in Azure Synapse Pipelines.

      Lessons

      Orchestrate data movement and transformation in Azure Data Factory

      Lab : Orchestrate data movement and transformation in Azure Synapse Pipelines

      Integrate Data from Notebooks with Azure Data Factory or Azure Synapse Pipelines

  • Modul 8
    End-to-end security with Azure Synapse Analytics
    • In this module, students will learn how to secure a Synapse Analytics workspace and its supporting infrastructure. The student will observe the SQL Active Directory Admin, manage IP firewall rules, manage secrets with Azure Key Vault and access those secrets through a Key Vault linked service and pipeline activities. The student will understand how to implement column-level security, row-level security, and dynamic data masking when using dedicated SQL pools.

      Lessons

      Secure a data warehouse in Azure Synapse Analytics

      Configure and manage secrets in Azure Key Vault

      Implement compliance controls for sensitive data

      Lab : End-to-end security with Azure Synapse Analytics

      Secure Azure Synapse Analytics supporting infrastructure

      Secure the Azure Synapse Analytics workspace and managed services

      Secure Azure Synapse Analytics workspace data

  • Modul 9
    Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link
    • In this module, students will learn how Azure Synapse Link enables seamless connectivity of an Azure Cosmos DB account to a Synapse workspace. The student will understand how to enable and configure Synapse link, then how to query the Azure Cosmos DB analytical store using Apache Spark and SQL serverless.

      Lessons

      Design hybrid transactional and analytical processing using Azure Synapse Analytics

      Configure Azure Synapse Link with Azure Cosmos DB

      Query Azure Cosmos DB with Apache Spark pools

      Query Azure Cosmos DB with serverless SQL pools

      Lab : Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link

      Configure Azure Synapse Link with Azure Cosmos DB

      Query Azure Cosmos DB with Apache Spark for Synapse Analytics

      Query Azure Cosmos DB with serverless SQL pool for Azure Synapse Analytics

  • Modul 10
    Real-time Stream Processing with Stream Analytics
    • In this module, students will learn how to process streaming data with Azure Stream Analytics. The student will ingest vehicle telemetry data into Event Hubs, then process that data in real time, using various windowing functions in Azure Stream Analytics. They will output the data to Azure Synapse Analytics. Finally, the student will learn how to scale the Stream Analytics job to increase throughput.

      Lessons

      Enable reliable messaging for Big Data applications using Azure Event Hubs

      Work with data streams by using Azure Stream Analytics

      Ingest data streams with Azure Stream Analytics

      Lab : Real-time Stream Processing with Stream Analytics

      Use Stream Analytics to process real-time data from Event Hubs

      Use Stream Analytics windowing functions to build aggregates and output to Synapse Analytics

      Scale the Azure Stream Analytics job to increase throughput through partitioning

      Repartition the stream input to optimize parallelization

  • Modul 11
    Create a Stream Processing Solution with Event Hubs and Azure Databricks
    • In this module, students will learn how to ingest and process streaming data at scale with Event Hubs and Spark Structured Streaming in Azure Databricks. The student will learn the key features and uses of Structured Streaming. The student will implement sliding windows to aggregate over chunks of data and apply watermarking to remove stale data. Finally, the student will connect to Event Hubs to read and write streams.

      Lessons

      Process streaming data with Azure Databricks structured streaming

      Lab : Create a Stream Processing Solution with Event Hubs and Azure Databricks

      Explore key features and uses of Structured Streaming

      Stream data from a file and write it out to a distributed file system

      Use sliding windows to aggregate over chunks of data rather than all data

      Apply watermarking to remove stale data

      Connect to Event Hubs read and write streams

Instruktøren var meget behagelig og øvelserne var enormt gode. Blev virkelig meget klogere omkring emnerne, kurset handlede om.

Derudover virkelig gode, rolige og grønne omgivelser med god forplejning - specielt god mad. Her vil jeg gerne tage mine kurser næste gang igen.

— Arif Mikkelsen Yüce
Københavns Kommune

Jeg kan ikke give andet end 5 stjerner for det hele. Enten er I helt i særklasse, eller også er jeg bare kommet de forkerte kursussteder tidligere. Fantastisk sted og atmosfære.... når først man har lært at finde rundt :-)

— Mikael Ejberg Pedersen
Cobham SATCOM

Lækker mad, hyggelige lokaler, god struktur og stemning. Kommer igen når jeg kan.

— Ea Stenberg
Oticon A/S

Kursusstedet er så indbydende og velkomne, at det har været en fornøjelse at være her. Rent, pænt og fuld af charme. Jeg deltog på et kursus, hvor alle enkelte dele gik op i en højere enhed, som knap kan beskrives.

— Bo Peter Jensen
Kyndryl Danmark ApS

Jeg fik meget ud af kurset, det har åbnet øjnene for muligheder, jeg ikke var klar over eksisterede. Jeg er sikker på det ikke er sidste gang, vi er i kontakt med SuperUsers.

— Christian Larsen
Siemens Gamesa Renewable Energy A/S

Nok det bedste kursus jeg har været på og den bedste instruktør jeg har haft!! Rigtig god dybde og uddybende forklaringer, og derudover fantastisk mad!!!

— Michael Hasløv
Lån & Spar Bank

Jeg havde ikke i min vildeste fantasi troet, at et kursussted kunne være så flot. Ved ikke om det er rigtigt, men jeg har en idé om, at omgivelserne smitter af på dem som arbejder her, så alle virker utrolig glade.

Der er en rigtig god stemning. Lige fra hende som sidder i receptionen, til dem som arbejder i køkkenet.

— Jannik Berg Møller
Metro Service

Underviseren har i meget høj grad tilpasset kurset til mit niveau og været fleksibel. Jeg havde meget høje forventninger, og de blev overgået.

Stor præcision, gode øvelser, godt tempo, god stemning og max på læring.

— Luka Dalum
Semler

Absolut det bedste kursus jeg har deltaget i!

— Esben Salling
JN Data A/S

Det var en ren fornøjelse at være på kursus hos SuperUsers. Den uge vi har været på kursus var pengene værd og gør, at vi nu kan spare mange konsulenttimer. Det er altid rart at have viden in-house.

Der er en afslappende atmosfære i kursuslokalet, skønne omgivelser i selve bygningen samt dygtige instruktører, som gør det rigtig godt.

Jeg kom i gang med at bruge al den viden, jeg sugede til mig på kurset næsten med de samme, og nu er vi i fuld gang med udvikling af vores fremtidige cloud løsning.

Der er ingen tvivl om, hvem skal vi henvende os, hvis der er behov for andre kurser.

— Maksym Bilyk
KVM A/S

Det er første gang jeg har været hos SuperUsers. Dette har været en rigtig god oplevelse. Instruktøren virker til at være meget erfaren og kompetent.

Instruktørens stærke tekniske baggrund gør oplevelsen og uddybelsen af spørgsmål til en god oplevelse.

— Thomas Gram
Nic. Christiansen Gruppen A/S

Rigtig fint kurussted i fine omgivelser, som sætter gode omgivelser til fordybning. Instruktøren fremstår velforberedt med stor viden omkring de relevante emner.

Instruktøren udviste også god evne til at svare på eventuelle spørgsmål, som måtte opstå undervejs i forløbet.

— Simon Schmidt Eriksen
Norlys

Jeg kommer igen næste gang jeg skal på kursus, det er et dejligt sted, fantastisk god mad og instruktøren har stor viden og deler gerne ud af den!

— Jan Christiansen
TV2 Danmark A/S

Den tekniske dybde på kurset var virkelig god, instruktøren havde meget dybere viden, end pensum nødvendigvis kræver.

Man kunne smide diverse curveballs efter instruktøren, og han havde styr på det hele - han gjorde desuden indholdet spændende.

— Nicolai Bæklund
Danish Crown

Så fik vi gennemført kurser i Microsoft 365 for samlet 5 personer her i afdelingen. Alle siger samstemmende, at det har været et fremragende kursus med en dygtig underviser og kommunkator, som kunne drøfte og informere på rette niveau, men samtidig med effektivitet og humor.

Det har været en rigtig god oplevelse.

— Henrik Dyrhøj
Nyborg Kommune

Der er fred og ro på SuperUsers landsted. God atmosfære og forplejning. Der er kigget til et sundhedsaspekt mht til mad og kage så det ikke tager fuldstændig overhånd.

Instruktøren er velvidende på emnerne og perspektivere gerne bredt til andre relevante områder. Det er givende, at dette også er muligt og giver en selv tanker til videre fordybelse.

Derudover var instruktøren engageret og underholdende at have til at præsenterere indhold for sig.

— Kenneth Middelboe Carlson
Svend Hoyer A/S

Det var som altid en go' oplevelse, og man lærer en masse på kort tid af nogle meget dygtige undervisere.

Jeg arbejder i Azure stort set hver dag, og begge kurser har været rigtige gode til at hjælpe mig med at forstå Azure bedre.

— Marthin Lundquist
DEAS A/S

Instruktøren er meget præsentationsorienteret og inddrager én i undervisningen og materialet. Han er god til at variere undervisningen, så det ikke bliver trivielt.

Det er tydeligt, at instruktøren både har hands-on experience og ikke kun teorien, med mange gode eksempler som refererede til real-world udfordringer, vi måtte opleve.

Gode faciliteter og god forplejning, uden at at man drukner i usunde vaner.

— Kenneth Middelboe Carlson
Svend Hoyer A/S

Very good course, the instructor was the best. I've been here at SuperUsers before, now I'm here again, and hopefully coming back another time.

— Mads From
Sampension Administrationsselskab A/S

Instruktøren virkede meget kompetent og har meget viden om sit fagområde. Han var god til at forklare på en forståelig og humoristisk måde. Derudover var der simple øvelser, som gav god forståelse. 

— Jeppe Hvelplund
Vattenfall Vindkraft A/S

Instruktøren var rigtig god til at gå i dybden, men samtidig være sikker på at folk var med. Virkelig flot sted, lokale og lækker mad.

Der var ingen tvivl om at instruktøren vidste præcis, hvad han snakkede om, og selv de mest simple spørgsmål blev besvaret med glæde, og uden at nogen skulle føle sig dumme.

— Jesper Nederby
Rudersdal Kommune

Dejligt hyggeligt sted, hvor receptionist, køkkenet, undervisere får en til at føle hjemme. Gode rammer skaber god læring. Rigtig god mad, der er med til at give en helhed i oplevelsen af at være på kursus hos SuperUsers.

— Henrik Valentin Eltang
Privatperson

Super tilfreds med stedet og opholdet over i hestestalden. Vil se om jeg ikke kan komme her over igen, til næste kursus jeg skal på. Rigtig flot bygning og fedt at opleve sådan et sted. Kanon sted at holde kursus.

— Mads-Ejnar Kehlet
Herningsholm IT-center

Er du i tvivl?

Det ligger os meget på sinde, at du finder det kursusforløb, der skaber størst værdi for dig og din arbejdsplads. Tag fat i vores kursusrådgivere, de sidder klar til at hjælpe dig!

SuperUsers
Har du spørgsmål? Kontakt os