Data engineer migratie (warme stoel)

Het Datalab van VWS is de omgeving waarin de directies van VWS hun data-initiatieven kunnen onderbrengen. Het platform is gebouwd op Microsoft Azure met Databricks als centrale component. Voor het onderhoud van de bestaande omgeving en voor een aantal aanstaande ontwikkelingen, waaronder de migratie naar een vernieuwd platform en het via API ontsluiten van bronsystemen, zoeken wij een ervaren data engineer. De data engineer is binnen het team de technische ruggengraat voor de complexere datavraagstukken.

Je ontwerpt en implementeert ETL/ELT-processen die data van bron tot productielaag in het data lake brengen met Python en PySpark, en je ontwerpt en onderhoudt de centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten en er stabiele Power BI-rapportages op gebouwd kunnen worden. Je onderhoudt het Azure dataplatform samen met de beheerpartij van de cloudomgeving en bent daarvoor het aanspreekpunt. Je bent binnen het team het aanspreekpunt voor de moeilijkste datatransformaties en schema-updates, denkt mee over de aanpak van de doorontwikkeling en nieuwe initiatieven, en verkent actief hoe AI kan bijdragen aan het verlagen van de werklast bij de operationele teams.

Eisen: De kandidaat beschikt over minimaal HBO werk- en denkniveau (aantoonbaar via afgeronde HBO opleiding en/of werkervaring van minimaal 3 jaar op HBO niveau); over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure; over aantoonbare kennis van en ervaring met Databricks, Python en PySpark; over aantoonbaar minimaal 3 jaar kennis van en ervaring met datamodellering, ETL-processen en het bouwen van pipelines; en is minimaal 32 uur per week beschikbaar voor de duur van de opdracht.

Wensen: Ervaring met werken in agile teams; kennis van het Azure dataplatform (Databricks, Delta Lake, Unity Catalog, Azure Data Factory, ADLS) en ervaring met platformmigraties; kennis van datamodellering en semantische modellen, het opzetten van ETL/ELT-processen en het bouwen van pipelines met Python en PySpark, inclusief API-integraties; relevante certificeringen vanuit de DP reeks en aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform); en de gevraagde competenties en vaardigheden (toetsbaar in CV, motivatie en/of gesprek).