Data Engineer (Senior 4-7 Years)

De opdracht is voor een Senior Data Engineer (4-7 jaar ervaring) bij een klant van Magnit, op locatie in Amsterdam (hybride). Het betreft het Grundlig dataproduct, dat sales- en betalingsdata van meerdere bronsystemen consolideert en harmoniseert. De consultant wordt onderdeel van het Grundlig-team en draagt bij aan het ontwerp, de ontwikkeling en het beheer van dit fundamentele dataproduct. De opdracht omvat het bouwen van betrouwbare batch-, streaming- en near-real-time datapijplijnen; het ontwikkelen van herbruikbare datamodellen; het verbeteren van datakwaliteit, monitoring en veerkracht; en het ondersteunen van de beveiligde en toegankelijke levering van betrouwbare data aan analisten en andere consumenten.

Als senior teamlid helpt de consultant bij architectuurbeslissingen en versterkt hij/zij de engineeringpraktijken. De consultant brengt praktische Databricks- en lakehouse-expertise mee—waaronder Apache Spark, Delta Lake, Unity Catalog en structured streaming—en werkt met de huidige GCP-technologiestack. Dagelijkse taken omvatten onder meer: het ontwerpen, bouwen, testen en beheren van batch-, streaming- en near-real-time datapijplijnen; het opnemen en harmoniseren van sales-, betalings-, order- en giftcard-data uit meerdere bronsystemen; het ontwikkelen van transformaties en productie-datamodellen met SQL, Python, BigQuery en dbt; het toepassen van Databricks- en Spark-ervaring voor schaalbare verwerking, streaming, governance en lakehouse-gerelateerde ontwerpkeuzes; het implementeren van validatie, reconciliatie, monitoring en geautomatiseerde datakwaliteitscontroles; het bouwen van veerkrachtige verwerking met foutafhandeling, herstelmechanismen en dead-letter queues; het monitoren van datafreshness, pijplijnbetrouwbaarheid, prestaties en afgesproken serviceniveaus; het beschermen van gevoelige en persoonlijk identificeerbare informatie via beveiligde datamodellering en toegangscontroles; het bijdragen aan geautomatiseerd testen, CI/CD, code reviews en infrastructuurautomatisering; het verbeteren van metadata, lineage, documentatie en de ervaring van dataconsumenten; en het mentoren van collega's en samenwerken met bronsystemen, analisten, productcollega's, privacy-specialisten en security-stakeholders.

Vereiste kennis en ervaring (verplicht): senior-level ervaring met het ontwerpen, bouwen en beheren van productie-datplatformen en bedrijfskritische dataproducten; sterke hands-on Databricks-ervaring, waaronder Apache Spark, Delta Lake, Unity Catalog, structured streaming, Databricks Workflows en lakehouse-architectuur; sterke Python- en gevorderde SQL-vaardigheden; ervaring met gedistribueerde dataverwerking en schaalbare batch- en streamingpijplijnen; sterke datamodelleringsvaardigheden en ervaring met het ontwikkelen van betrouwbare, herbruikbare productie-datamodellen; ervaring met datakwaliteitsvalidatie, reconciliatie, monitoring en alerting; kennis van event-driven architectuur, change data capture, schema-evolutie en veerkrachtige foutafhandelingspatronen; ervaring met Git, geautomatiseerd testen, CI/CD en moderne software-engineeringpraktijken; kennis van databeveiliging, IAM, privacy, PII-afhandeling, metadata en data lineage; sterke communicatievaardigheden en het vermogen om architectuurbeslissingen te begeleiden, collega's te mentoren en samen te werken met technische en zakelijke stakeholders.

Gewenst (pré): ervaring met GCP, met name BigQuery, Dataflow, Pub/Sub, Cloud Run en Cloud Storage; ervaring met dbt, Apache Beam, Terraform en GitHub Actions; ervaring met sales-, betalings-, order- of andere hoog-volume transactiedata; begrip van data-mesh-principes, domeineigenaarschap en federated governance; ervaring in een productgerichte Agile- of DevOps-omgeving.

De drie belangrijkste punten: uitgebreide hands-on Databricks-expertise, met name Apache Spark, Delta Lake, Unity Catalog, structured streaming en lakehouse-architectuur; senior-level ervaring met het ontwerpen en beheren van betrouwbare, schaalbare batch- en streamingdatapijplijnen voor bedrijfskritische transactiedata; sterke technische leiderschap, waaronder architectuurbeslissingen, mentoring en heldere samenwerking met technische en zakelijke stakeholders.

Verder geldt: er wordt gevraagd om alleen 'employed consultants' aan te bieden; het indienen van onderaannemers wordt niet geaccepteerd (zie voorwaarden). Er is hybride werken mogelijk, reizen alleen voor een teammeeting en mogelijk een keer extra. De opdracht start op 15 december 2026 en duurt tot 30 mei 2027. Er wordt ongeveer 40 uur per week gevraagd. Kandidaten moeten Senior Level zijn en Engels spreken. Achtergrondcheck is niet verplicht.