BlueTrail
Senior Data Engineer - Microsoft Fabric & Azure
Zuid-Holland 36 uuru p/w 6 maanden HBO
Functieomschrijving
Over de opdracht
RET zoekt een ervaren Senior Data Engineer voor het Data Office, onderdeel van de afdeling IT Services. Binnen dit team wordt gewerkt aan het ontsluiten, verwerken en beschikbaar stellen van data uit uiteenlopende databronnen. Daarnaast is het Data Office verantwoordelijk voor de ontwikkeling en het beheer van CREDO, het centrale data- en analyticsplatform van RET.
CREDO is gebaseerd op een lakehouse-architectuur binnen Microsoft Azure, met een medallion-structuur en Delta Lake. Momenteel werkt RET aan de migratie naar Microsoft Fabric. Tegelijkertijd staan performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing centraal.
Als Senior Data Engineer lever je een belangrijke bijdrage aan de verdere ontwikkeling van dit platform. Je bouwt schaalbare datapipelines, ontwikkelt datamodellen en helpt de organisatie om data op een veilige, efficiënte en betrouwbare manier beschikbaar te stellen.
Je werkt samen met andere Data Engineers, de Lead Data Platform Engineer, Solution Architect, Data Analisten en stakeholders uit verschillende bedrijfsonderdelen. Daarbij draag je actief bij aan het verbeteren van technische standaarden, architectuur en kennisdeling binnen het team.
Wat ga je doen?
Je werkzaamheden bestaan onder andere uit:
- Doorontwikkelen van het CREDO-dataplatform en realiseren van onderdelen van de technische roadmap. - Migreren van bestaande pipelines, notebooks en datamodellen van Azure Synapse naar Microsoft Fabric. - Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de bronze-, silver- en gold-lagen van de medallion-architectuur. - Ontwerpen en implementeren van dimensionele datamodellen voor gestructureerde en ongestructureerde databronnen. - Implementeren van data quality frameworks, controles en data cleansing-processen binnen E...
Senior Data Engineer - Microsoft Fabric & Azure
Zuid-Holland 36 uuru p/w 6 maanden HBO
Functieomschrijving
Over de opdracht
RET zoekt een ervaren Senior Data Engineer voor het Data Office, onderdeel van de afdeling IT Services. Binnen dit team wordt gewerkt aan het ontsluiten, verwerken en beschikbaar stellen van data uit uiteenlopende databronnen. Daarnaast is het Data Office verantwoordelijk voor de ontwikkeling en het beheer van CREDO, het centrale data- en analyticsplatform van RET.
CREDO is gebaseerd op een lakehouse-architectuur binnen Microsoft Azure, met een medallion-structuur en Delta Lake. Momenteel werkt RET aan de migratie naar Microsoft Fabric. Tegelijkertijd staan performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing centraal.
Als Senior Data Engineer lever je een belangrijke bijdrage aan de verdere ontwikkeling van dit platform. Je bouwt schaalbare datapipelines, ontwikkelt datamodellen en helpt de organisatie om data op een veilige, efficiënte en betrouwbare manier beschikbaar te stellen.
Je werkt samen met andere Data Engineers, de Lead Data Platform Engineer, Solution Architect, Data Analisten en stakeholders uit verschillende bedrijfsonderdelen. Daarbij draag je actief bij aan het verbeteren van technische standaarden, architectuur en kennisdeling binnen het team.
Wat ga je doen?
Je werkzaamheden bestaan onder andere uit:
- Doorontwikkelen van het CREDO-dataplatform en realiseren van onderdelen van de technische roadmap. - Migreren van bestaande pipelines, notebooks en datamodellen van Azure Synapse naar Microsoft Fabric. - Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de bronze-, silver- en gold-lagen van de medallion-architectuur. - Ontwerpen en implementeren van dimensionele datamodellen voor gestructureerde en ongestructureerde databronnen. - Implementeren van data quality frameworks, controles en data cleansing-processen binnen E...