Data Engineering on Microsoft Azure Kursus

Lær hvordan du designer en effektiv og robust dataløsning i Azure, samt implementering af forskellige løsninger for data storage og dataanalyse. Kurset lægger vægt på bl.a. Azure Synapse Analytics.

Datoerne er startdatoer

De angivne datoer i kalenderen er startdatoer for kurset.

Afholdelsesgaranti

Afholdelsesdatoer markeret med et grønt checkmark har afholdelsesgaranti. Det er din garanti for, at kurset afholdes som planlagt, uanset antal tilmeldte.

Datoerne er startdatoer

De angivne datoer i kalenderen er startdatoer for kurset.

Afholdelsesgaranti

Afholdelsesdatoer markeret med et grønt checkmark har afholdelsesgaranti. Det er din garanti for, at kurset afholdes som planlagt, uanset antal tilmeldte.

Beskrivelse

Vi gennemgår praktisk implementering af data storage muligheder i Azure og har fokus på ETL (extract, transform, load) processen, og at det i dag ofte giver mening at T og L bytter plads til ELT.

Samtidig går vi i dybden med sikkerhed og værktøjet Azure Data Factory, som kan få alle tjenesterne til at tale sammen ved at migrere og transformere data igennem en pipeline.

Følgende Azure storage services og analyseværktøjer er indeholdt i kurset:

Til filbaseret/ustruktureret data er Azure Storage account et godt valgt i form af blob storage/datalake.
Azure Synapse Analytics (tidligere SQL DW) er et Parallelt DW i skyen, men som navnet antyder, er analyse-delen nu dybt integreret i produktet i form af Spark pools.
Via Azure Databricks (Apache Spark baseret analyse platform) sætter du et Spark cluster op og ser, hvordan man kan analysere data fra datakilderne via Python i en notebook.
Live data kan sendes direkte til Azure Event Hub og analyseres med window funktioner i Stream Analytics.
Azure Data Factory er værktøjet som kan få alle tjenesterne til at tale sammen ved at migrere og transformere data igennem en pipeline.
Azure Synapse link er forbindelsen mellem Synapse Analytics og CosmosDB Analytical Store

Certificeringspakker

Azure Data Engineer Associate

Listepris 27.400 DKK

Din pris 25.800 DKK

(Eksl. moms)

Modul 1

Explore compute and storage options for data engineering workloads
- This module provides an overview of the Azure compute and storage technology options that are available to data engineers building analytical workloads. This module teaches ways to structure the data lake, and to optimize the files for exploration, streaming, and batch workloads. The student will learn how to organize the data lake into levels of data refinement as they transform files through batch and stream processing. Then they will learn how to create indexes on their datasets, such as CSV, JSON, and Parquet files, and use them for potential query and workload acceleration.
  Lessons
  Introduction to Azure Synapse Analytics
  Describe Azure Databricks
  Introduction to Azure Data Lake storage
  Describe Delta Lake architecture
  Work with data streams by using Azure Stream Analytics
  Lab : Explore compute and storage options for data engineering workloads
  Combine streaming and batch processing with a single pipeline
  Organize the data lake into levels of file transformation
  Index data lake storage for query and workload acceleration
Modul 2

Run interactive queries using Azure Synapse Analytics serverless SQL pools
- In this module, students will learn how to work with files stored in the data lake and external file sources, through T-SQL statements executed by a serverless SQL pool in Azure Synapse Analytics. Students will query Parquet files stored in a data lake, as well as CSV files stored in an external data store. Next, they will create Azure Active Directory security groups and enforce access to files in the data lake through Role-Based Access Control (RBAC) and Access Control Lists (ACLs).
  Lessons
  Explore Azure Synapse serverless SQL pools capabilities
  Query data in the lake using Azure Synapse serverless SQL pools
  Create metadata objects in Azure Synapse serverless SQL pools
  Secure data and manage users in Azure Synapse serverless SQL pools
  Lab : Run interactive queries using serverless SQL pools
  Query Parquet data with serverless SQL pools
  Create external tables for Parquet and CSV files
  Create views with serverless SQL pools
  Secure access to data in a data lake when using serverless SQL pools
  Configure data lake security using Role-Based Access Control (RBAC) and Access Control List
Modul 3

Data exploration and transformation in Azure Databricks
- This module teaches how to use various Apache Spark DataFrame methods to explore and transform data in Azure Databricks. The student will learn how to perform standard DataFrame methods to explore and transform data. They will also learn how to perform more advanced tasks, such as removing duplicate data, manipulate date/time values, rename columns, and aggregate data.
  Lessons
  Describe Azure Databricks
  Read and write data in Azure Databricks
  Work with DataFrames in Azure Databricks
  Work with DataFrames advanced methods in Azure Databricks
  Lab : Data Exploration and Transformation in Azure Databricks
  Use DataFrames in Azure Databricks to explore and filter data
  Cache a DataFrame for faster subsequent queries
  Remove duplicate data
  Manipulate date/time values
  Remove and rename DataFrame columns
  Aggregate data stored in a DataFrame
Modul 4

Explore, transform, and load data into the Data Warehouse using Apache Spark
- This module teaches how to explore data stored in a data lake, transform the data, and load data into a relational data store. The student will explore Parquet and JSON files and use techniques to query and transform JSON files with hierarchical structures. Then the student will use Apache Spark to load data into the data warehouse and join Parquet data in the data lake with data in the dedicated SQL pool.
  Lessons
  Understand big data engineering with Apache Spark in Azure Synapse Analytics
  Ingest data with Apache Spark notebooks in Azure Synapse Analytics
  Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics
  Integrate SQL and Apache Spark pools in Azure Synapse Analytics
  Lab : Explore, transform, and load data into the Data Warehouse using Apache Spark
  Perform Data Exploration in Synapse Studio
  Ingest data with Spark notebooks in Azure Synapse Analytics
  Transform data with DataFrames in Spark pools in Azure Synapse Analytics
  Integrate SQL and Spark pools in Azure Synapse Analytics
Modul 5

Ingest and load data into the data warehouse
- This module teaches students how to ingest data into the data warehouse through T-SQL scripts and Synapse Analytics integration pipelines. The student will learn how to load data into Synapse dedicated SQL pools with PolyBase and COPY using T-SQL. The student will also learn how to use workload management along with a Copy activity in a Azure Synapse pipeline for petabyte-scale data ingestion.
  Lessons
  Use data loading best practices in Azure Synapse Analytics
  Petabyte-scale ingestion with Azure Data Factory
  Lab : Ingest and load Data into the Data Warehouse
  Perform petabyte-scale ingestion with Azure Synapse Pipelines
  Import data with PolyBase and COPY using T-SQL
  Use data loading best practices in Azure Synapse Analytics
Modul 6

Transform data with Azure Data Factory or Azure Synapse Pipelines
- This module teaches students how to build data integration pipelines to ingest from multiple data sources, transform data using mapping data flowss, and perform data movement into one or more data sinks.
  Lessons
  Data integration with Azure Data Factory or Azure Synapse Pipelines
  Code-free transformation at scale with Azure Data Factory or Azure Synapse Pipelines
  Lab : Transform Data with Azure Data Factory or Azure Synapse Pipelines
  Execute code-free transformations at scale with Azure Synapse Pipelines
  Create data pipeline to import poorly formatted CSV files
  Create Mapping Data Flows
Modul 7

Orchestrate data movement and transformation in Azure Synapse Pipelines
- In this module, you will learn how to create linked services, and orchestrate data movement and transformation using notebooks in Azure Synapse Pipelines.
  Lessons
  Orchestrate data movement and transformation in Azure Data Factory
  Lab : Orchestrate data movement and transformation in Azure Synapse Pipelines
  Integrate Data from Notebooks with Azure Data Factory or Azure Synapse Pipelines
Modul 8

End-to-end security with Azure Synapse Analytics
- In this module, students will learn how to secure a Synapse Analytics workspace and its supporting infrastructure. The student will observe the SQL Active Directory Admin, manage IP firewall rules, manage secrets with Azure Key Vault and access those secrets through a Key Vault linked service and pipeline activities. The student will understand how to implement column-level security, row-level security, and dynamic data masking when using dedicated SQL pools.
  Lessons
  Secure a data warehouse in Azure Synapse Analytics
  Configure and manage secrets in Azure Key Vault
  Implement compliance controls for sensitive data
  Lab : End-to-end security with Azure Synapse Analytics
  Secure Azure Synapse Analytics supporting infrastructure
  Secure the Azure Synapse Analytics workspace and managed services
  Secure Azure Synapse Analytics workspace data
Modul 9

Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link
- In this module, students will learn how Azure Synapse Link enables seamless connectivity of an Azure Cosmos DB account to a Synapse workspace. The student will understand how to enable and configure Synapse link, then how to query the Azure Cosmos DB analytical store using Apache Spark and SQL serverless.
  Lessons
  Design hybrid transactional and analytical processing using Azure Synapse Analytics
  Configure Azure Synapse Link with Azure Cosmos DB
  Query Azure Cosmos DB with Apache Spark pools
  Query Azure Cosmos DB with serverless SQL pools
  Lab : Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link
  Configure Azure Synapse Link with Azure Cosmos DB
  Query Azure Cosmos DB with Apache Spark for Synapse Analytics
  Query Azure Cosmos DB with serverless SQL pool for Azure Synapse Analytics
Modul 10

Real-time Stream Processing with Stream Analytics
- In this module, students will learn how to process streaming data with Azure Stream Analytics. The student will ingest vehicle telemetry data into Event Hubs, then process that data in real time, using various windowing functions in Azure Stream Analytics. They will output the data to Azure Synapse Analytics. Finally, the student will learn how to scale the Stream Analytics job to increase throughput.
  Lessons
  Enable reliable messaging for Big Data applications using Azure Event Hubs
  Work with data streams by using Azure Stream Analytics
  Ingest data streams with Azure Stream Analytics
  Lab : Real-time Stream Processing with Stream Analytics
  Use Stream Analytics to process real-time data from Event Hubs
  Use Stream Analytics windowing functions to build aggregates and output to Synapse Analytics
  Scale the Azure Stream Analytics job to increase throughput through partitioning
  Repartition the stream input to optimize parallelization
Modul 11

Create a Stream Processing Solution with Event Hubs and Azure Databricks
- In this module, students will learn how to ingest and process streaming data at scale with Event Hubs and Spark Structured Streaming in Azure Databricks. The student will learn the key features and uses of Structured Streaming. The student will implement sliding windows to aggregate over chunks of data and apply watermarking to remove stale data. Finally, the student will connect to Event Hubs to read and write streams.
  Lessons
  Process streaming data with Azure Databricks structured streaming
  Lab : Create a Stream Processing Solution with Event Hubs and Azure Databricks
  Explore key features and uses of Structured Streaming
  Stream data from a file and write it out to a distributed file system
  Use sliding windows to aggregate over chunks of data rather than all data
  Apply watermarking to remove stale data
  Connect to Event Hubs read and write streams

Fleksibel afholdelse

Fuld forplejning

Gratis taxa-ordning

Materialer inkluderet

Mulighed for overnatning

Undervisning kl. 09-16

Jeg kan ikke give andet end 5 stjerner for det hele. Enten er I helt i særklasse, eller også er jeg bare kommet de forkerte kursussteder tidligere. Fantastisk sted og atmosfære.... når først man har lært at finde rundt :-)

— Mikael Ejberg Pedersen

Cobham SATCOM

Nok det bedste kursus jeg har været på og den bedste instruktør jeg har haft!! Rigtig god dybde og uddybende forklaringer, og derudover fantastisk mad!!!

— Michael Hasløv

Lån & Spar Bank

Lækker mad, hyggelige lokaler, god struktur og stemning. Kommer igen når jeg kan.

— Ea Stenberg

Oticon A/S

Absolut det bedste kursus jeg har deltaget i!

— Esben Salling

JN Data A/S

Kursusstedet er så indbydende og velkomne, at det har været en fornøjelse at være her. Rent, pænt og fuld af charme. Jeg deltog på et kursus, hvor alle enkelte dele gik op i en højere enhed, som knap kan beskrives.

— Bo Peter Jensen

Kyndryl Danmark ApS

Jeg fik meget ud af kurset, det har åbnet øjnene for muligheder, jeg ikke var klar over eksisterede. Jeg er sikker på det ikke er sidste gang, vi er i kontakt med SuperUsers.

— Christian Larsen

Siemens Gamesa Renewable Energy A/S

Jeg havde ikke i min vildeste fantasi troet, at et kursussted kunne være så flot. Ved ikke om det er rigtigt, men jeg har en idé om, at omgivelserne smitter af på dem som arbejder her, så alle virker utrolig glade.

Der er en rigtig god stemning. Lige fra hende som sidder i receptionen, til dem som arbejder i køkkenet.

— Jannik Berg Møller

Metro Service

Underviseren har i meget høj grad tilpasset kurset til mit niveau og været fleksibel. Jeg havde meget høje forventninger, og de blev overgået.

Stor præcision, gode øvelser, godt tempo, god stemning og max på læring.

— Luka Dalum

Semler

Instruktøren var meget behagelig og øvelserne var enormt gode. Blev virkelig meget klogere omkring emnerne, kurset handlede om.

Derudover virkelig gode, rolige og grønne omgivelser med god forplejning - specielt god mad. Her vil jeg gerne tage mine kurser næste gang igen.

— Arif Mikkelsen Yüce

Københavns Kommune

Det var en ren fornøjelse at være på kursus hos SuperUsers. Den uge vi har været på kursus var pengene værd og gør, at vi nu kan spare mange konsulenttimer. Det er altid rart at have viden in-house.

Der er en afslappende atmosfære i kursuslokalet, skønne omgivelser i selve bygningen samt dygtige instruktører, som gør det rigtig godt.

Jeg kom i gang med at bruge al den viden, jeg sugede til mig på kurset næsten med de samme, og nu er vi i fuld gang med udvikling af vores fremtidige cloud løsning.

Der er ingen tvivl om, hvem skal vi henvende os, hvis der er behov for andre kurser.

— Maksym Bilyk

KVM A/S

Det er første gang jeg har været hos SuperUsers. Dette har været en rigtig god oplevelse. Instruktøren virker til at være meget erfaren og kompetent.

Instruktørens stærke tekniske baggrund gør oplevelsen og uddybelsen af spørgsmål til en god oplevelse.

— Thomas Gram

Nic. Christiansen Gruppen A/S

Rigtig fint kurussted i fine omgivelser, som sætter gode omgivelser til fordybning. Instruktøren fremstår velforberedt med stor viden omkring de relevante emner.

Instruktøren udviste også god evne til at svare på eventuelle spørgsmål, som måtte opstå undervejs i forløbet.

— Simon Schmidt Eriksen

Norlys

Jeg kommer igen næste gang jeg skal på kursus, det er et dejligt sted, fantastisk god mad og instruktøren har stor viden og deler gerne ud af den!

— Jan Christiansen

TV2 Danmark A/S

Den tekniske dybde på kurset var virkelig god, instruktøren havde meget dybere viden, end pensum nødvendigvis kræver.

Man kunne smide diverse curveballs efter instruktøren, og han havde styr på det hele - han gjorde desuden indholdet spændende.

— Nicolai Bæklund

Danish Crown

Så fik vi gennemført kurser i Microsoft 365 for samlet 5 personer her i afdelingen. Alle siger samstemmende, at det har været et fremragende kursus med en dygtig underviser og kommunkator, som kunne drøfte og informere på rette niveau, men samtidig med effektivitet og humor.

Det har været en rigtig god oplevelse.

— Henrik Dyrhøj

Nyborg Kommune

Der er fred og ro på SuperUsers landsted. God atmosfære og forplejning. Der er kigget til et sundhedsaspekt mht til mad og kage så det ikke tager fuldstændig overhånd.

Instruktøren er velvidende på emnerne og perspektivere gerne bredt til andre relevante områder. Det er givende, at dette også er muligt og giver en selv tanker til videre fordybelse.

Derudover var instruktøren engageret og underholdende at have til at præsenterere indhold for sig.

— Kenneth Middelboe Carlson

Svend Hoyer A/S

Det var som altid en go' oplevelse, og man lærer en masse på kort tid af nogle meget dygtige undervisere.

Jeg arbejder i Azure stort set hver dag, og begge kurser har været rigtige gode til at hjælpe mig med at forstå Azure bedre.

— Marthin Lundquist

DEAS A/S

Instruktøren er meget præsentationsorienteret og inddrager én i undervisningen og materialet. Han er god til at variere undervisningen, så det ikke bliver trivielt.

Det er tydeligt, at instruktøren både har hands-on experience og ikke kun teorien, med mange gode eksempler som refererede til real-world udfordringer, vi måtte opleve.

Gode faciliteter og god forplejning, uden at at man drukner i usunde vaner.

— Kenneth Middelboe Carlson

Svend Hoyer A/S

Very good course, the instructor was the best. I've been here at SuperUsers before, now I'm here again, and hopefully coming back another time.

— Mads From

Sampension Administrationsselskab A/S

Instruktøren virkede meget kompetent og har meget viden om sit fagområde. Han var god til at forklare på en forståelig og humoristisk måde. Derudover var der simple øvelser, som gav god forståelse.

— Jeppe Hvelplund

Vattenfall Vindkraft A/S

Instruktøren var rigtig god til at gå i dybden, men samtidig være sikker på at folk var med. Virkelig flot sted, lokale og lækker mad.

Der var ingen tvivl om at instruktøren vidste præcis, hvad han snakkede om, og selv de mest simple spørgsmål blev besvaret med glæde, og uden at nogen skulle føle sig dumme.

— Jesper Nederby

Rudersdal Kommune

Dejligt hyggeligt sted, hvor receptionist, køkkenet, undervisere får en til at føle hjemme. Gode rammer skaber god læring. Rigtig god mad, der er med til at give en helhed i oplevelsen af at være på kursus hos SuperUsers.

— Henrik Valentin Eltang

Privatperson

Super tilfreds med stedet og opholdet over i hestestalden. Vil se om jeg ikke kan komme her over igen, til næste kursus jeg skal på. Rigtig flot bygning og fedt at opleve sådan et sted. Kanon sted at holde kursus.

— Mads-Ejnar Kehlet

Herningsholm IT-center

Er du i tvivl?

Det ligger os meget på sinde, at du finder det kursusforløb, der skaber størst værdi for dig og din arbejdsplads. Tag fat i vores kursusrådgivere, de sidder klar til at hjælpe dig!

super@superusers.dk

+45 4828 0706