Senior Data Engineer

De kandidaat draait mee in het DACC en realiseert hands-on een centrale, herbruikbare en beheersbare inrichting op het Cloud Data Platform voor het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor intern hergebruik binnen SZW/NLA. De kandidaat bouwt hiervoor de benodigde data-ingestie- en transformatiepipelines, helpt de technische basis neer te zetten voor volgende databronnen en afnemers, en draagt bij aan keuzes rond kwaliteit, beheer en schaalbaarheid. In grote lijnen gaat het om:

- het inventariseren van relevante publieke databronnen, hun technische ontsluitingsmogelijkheden en de behoeften van afnemende teams en applicaties;

- het ontwerpen en realiseren van robuuste data-ingestie voor publieke bronnen naar het Cloud Data Platform, onder meer voor API-gebaseerde en andere open databronnen;

- het opschonen, transformeren, verrijken en structureren van data, zodat deze bruikbaar en consistent beschikbaar komt voor hergebruik;

- het inrichten van herhaalbare data-pipelines in Azure/Databricks, inclusief foutafhandeling, logging, monitoring en herstelbaarheid;

- het beschikbaar maken van datasets voor afnemers in een vorm die past bij verschillende gebruiksscenario’s, zoals analyses, dashboards, AI-toepassingen en verdere dataverwerking;

- het bijdragen aan afspraken over datamodellering, metadata, documentatie, kwaliteit en beheer, zodat volgende databronnen sneller en consistenter aangesloten kunnen worden;

- het afstemmen met betrokken stakeholders, zoals het DACC, data-afnemers, architectuur, platformbeheer en andere betrokken teams binnen CIV en daarbuiten;

- het mede bepalen van technische keuzes en richting binnen het team, en het overdragen van kennis aan teamleden.

Afbakening: de opdracht richt zich op het centraal ontsluiten en van publieke databronnen binnen het Cloud Data Platform voor intern hergebruik binnen SZW. De exacte invulling en prioritering wordt per sprint of iteratie gezamenlijk met het team bepaald.

Kennis, ervaring, competenties en vaardigheden

- Minimaal WO-werk- en denkniveau, bij voorkeur in een relevante richting zoals informatica, data engineering of software engineering

- Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol

- Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure

- Ervaring met Databricks, Spark, Python en SQL

- Ervaring met het ontsluiten en verwerken van data uit externe bronnen, zoals REST API’s, open datasets en bestanden in verschillende formaten

- Ervaring met het opschonen, transformeren en modelleren van data voor hergebruik door verschillende afnemers

- Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie

- Kennis van data-architectuur, datamodellering en datakwaliteit

- Ervaring met werken in een Agile/sprintteam

- In staat om zelfstandig technische vraagstukken op te pakken en tegelijk goed samen te werken met collega’s uit verschillende disciplines

- Goede communicatieve vaardigheden en in staat om technische keuzes helder toe te lichten aan teamleden en stakeholders

Pré’s

- Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage, en Data Factory

- Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor dataopwerking

- Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl, parlementaire data of andere open data-voorzieningen

- Ervaring met metadata, lineage en documentatie van datasets

- Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid

Direct solliciteren Werken bij LINKIT

Solliciteer voor 29 september

Uren per week