Azure & AI

Et Lake House er en sammensmeltning af ordene Data Lake og Data Warehouse. Ideen er at få det bedste fra de to verdener, og det får man ved at anvende delta tabeller. Det vil sige data er gemt i filer, men vi har en transaktionslog knyttet til filerne, så ændringer kan håndteres problemfrit.

Loggen giver også mulighed for timetravel, så man nemt kan genskabe tidligere versioner af en tabel. Databricks og Synapse Anlytics er to eksempler på et moderne Lake House.

I sommeren 2023 lancerede Microsoft en hel portefølje af produkter og services i en samlet platform med navnet Fabric. Ideen er at forenkle adgangen og arbejdet med data i hele processen fra rå data til det visualiseres i Power BI.

Fabric indeholder en Data Factory til ETL/ELT processer. Data kan dernæst gemmes direkte som filer i OneLake eller man kan bygge et data warehouse eller et Lake House ovenpå.

Vi har i mange år været forvænt med automatisk at tænke SQL i kombination med dataanalyse. Verden har ændret sig. Det er ikke længere nok at nøjes med SQL.

Mængden af data og typen af data gør det ikke altid muligt at organisere data i pæne tabeller i en database. Derfor er der en voksende interesse for de nye muligheder, som Databricks og Synapse Analytics tilbyder.

Begge produkter kan opbevare data i delta tabeller (delta tables), og der er sprogfrihed til at arbejde med data i notebooks via Python eller SQL. Med Python har man dermed et helt programmeringssprog til rådighed og kan køre komplekse analyser, machine learning modeller og algoritmer på sit data.

Azure rummer adskillige muligheder, når man skal vælge en data warehouse løsning. Den simple og billigste løsning er en Azure SQL database. 

Til store mængder af data der skal processeres effektivt indenfor en rimelig tid, er Synapse Analytics det oplagte valg. Det er et parallelt data warehouse, hvor man kan skalere, hvor meget ”compute” kraft man har til rådighed.

Synapse Analytics findes som en selvstændig ressource i Azure, og så er det også tilgængeligt i en ny udgave via Microsoft Fabric.

Data Factory er "integration services" i skyen - dvs erstatningen for SSIS (SQL Server Integration Services). Via pipelines kan data loades, kopieres, transformeres og analyseres, inden det sendes videre til et data warehouse.

Data Factory findes som en selvstændig ressource i Azure, og en lignende funktionalitet er også tilgængelig under navnet pipelines i Synapse Analytics. Microsoft Fabric indeholder også en ny og moderne Data Factory.

Databricks er det førende produkt indenfor data science til analyse og machine learning. Det er en Apache Spark baseret analyse platform.

Python kode skrives i en notebook og udføres på et Spark cluster.