Medior AI Engineer - LLMOps & AI Agents and RAG (Azure / Kubernetes)

Voor een openbaarvervoerorganisatie in Brussel bouwt een AI Centre of Excellence diverse AI-services voor medewerkers en klanten. Dit omvat retrieval-based assistenten en AI-agents die namens gebruikers tools en bedrijfssystemen aanroepen. De services draaien op een dedicated AI-platform. De eerste services gaan naar verwachting live vanaf december 2026, met verdere services gepland voor 2027.

Als Medior AI Engineer neem je de verantwoordelijkheid voor de Run-fase van AI-services in productie. Je neemt elke service over van de senior engineers die deze hebben gebouwd en houdt deze betrouwbaar, meetbaar, veilig en kostenefficiënt in de loop van de tijd. Je werkt samen met een AI-platformarchitect, twee senior AI-engineers die verantwoordelijk zijn voor de Build-fase, de business- en contenteigenaren van elke service, en de IT-operatieteams.

Het platform volgt een hybride operationeel model. Het combineert beheerde Azure-services via Microsoft Foundry en Azure OpenAI Service voor LLM's en embeddings, Azure AI Search, Azure API Management en Azure AI Content Safety met self-hosted open-source componenten op Azure Kubernetes Service (AKS). Deze componenten omvatten op Python gebaseerde agent-orchestratie met LangChain en een ingestiepijplijn. MLflow op Databricks wordt gebruikt voor evaluatie en tracing met OpenTelemetry. Infrastructure-as-Code voor applicatie-specifieke Azure-resources wordt beheerd met Terraform en Azure DevOps-pipelines.

Je activiteiten variëren per service.

Typische verantwoordelijkheden omvatten: het opereren van AI-services in productie door het monitoren van beschikbaarheid, latentie en fouten, het afhandelen van incidenten en serviceverzoeken, het analyseren van root causes en het oplossen of escaleren van problemen. Het onderhouden van antwoordkwaliteit door evaluatie-sets (golden sets) uit te voeren met business contenteigenaren, het bijhouden van antwoordkwaliteit, non-answer rates en gebruikersfeedback, en het onderzoeken van kwaliteitsregressies.

Het opereren van ingestiepijplijnen, inclusief incrementele verversingen, mislukte documenten, indexgezondheid en het onboarden van nieuwe contentbronnen of bedrijfsdomeinen binnen bestaande connectoren. Het monitoren van agentintegraties met bedrijfssystemen, het afhandelen van fouten en time-outs, en het beoordelen van actielogs en uitzonderingen voor agents die namens gebruikers handelen. Het veilig beheren van wijzigingen, inclusief modelversie-upgrades en -retirements, prompt- en configuratiewijzigingen, dependency-updates en beveiligingsupdates.

Het valideren van elke wijziging tegen de evaluatie-sets vóór release. Het bijhouden van tokenverbruik en de kosten per service, het instellen van alerts voor kostendrift en het voorstellen van optimalisaties. Het onderhouden van Terraform, Helm en Azure DevOps-artefacten en het consistent houden van DEV, TST, ACC en PROD-omgevingen. Het toepassen van databeschermingsregels voor traceretentie, -verwijdering en toegangsbeperkingen zoals gedefinieerd in de databeschermingsimpactbeoordeling van elke service.

Het onderhouden van runbooks en documentatie en het regelmatig rapporteren van servicegezondheid aan service-eigenaren en het AI Centre of Excellence. Het leveren van kleine verbeteringen en fixes. Structurele wijzigingen en nieuwe functies blijven bij het Build-team.

Je hebt ervaring als Medior Artificial Intelligence (AI) Engineer en bent bekend met het opereren van AI-services in productie.

Vaardigheden: Azure DevOps, Azure Kubernetes Service (AKS), Azure OpenAI Service, LangChain, LLM / Large Language Models, Python, RAG (Retrieval-Augmented Generation), Terraform, Vector databases.

Talen: Nederlands of Frans, Engels.

Je wordt onderdeel van een groeiend Belgisch MKB waar initiatief en persoonlijke ontwikkeling worden aangemoedigd. We bieden een prettige werkomgeving met leuke collega's. We stellen een carrièreplan op met aandacht en budget voor extra opleiding/certificering. Je kunt rekenen op een aantrekkelijk salaris, aangevuld met extralegale voordelen, waaronder een bedrijfswagen. (Freelance is ook mogelijk)