De moeilijkste vraag in dit werk is niet of het werkt op de dag dat u oplevert. Het is of het een maand later nog werkt, als de modelaanbieder iets heeft veranderd, de data van de klant is verschoven en niemand al weken naar een trace heeft gekeken.
Deze rol is eigenaar van die vraag. U bouwt de evaluatie- en observability-laag die onze betrouwbaarheidsclaims omzet in iets wat we echt kunnen bewijzen, aan onszelf en aan klanten.
Wat u gaat doen
- Evaluatieharnassen en golden datasets bouwen voor klantsystemen, inclusief de subjectieve criteria die een LLM als beoordelaar nodig hebben en de kalibratie om die te vertrouwen
- Eigenaar zijn van tracing van prompt tot output: elke retrieval, tool call en uitkomst goed genoeg vastgelegd om er een incident mee te debuggen
- Regressies opsporen voordat klanten dat doen, over modelupgrades, promptwijzigingen en dataverschuiving heen
- Waarborgen en menselijke controlepunten ontwerpen voor beslissingen met te grote gevolgen om volledig te automatiseren
- Terugkerende faalscenario's omzetten in standaarden waar het hele deliveryteam mee werkt
Wat we zoeken
- Sterk in Python en een echt empirisch instinct: u grijpt eerder naar een meting dan naar een mening
- Ervaring met het evalueren van LLM-systemen, inclusief het punt waarop offline metrics het productiegedrag niet meer voorspellen
- Achtergrond in observability en monitoring, vanuit ML of vanuit klassieke gedistribueerde systemen
- Genoeg statistisch inzicht om te weten wanneer een verschil tussen twee runs niets betekent
- Bereidheid om degene te zijn die zegt dat een systeem nog niet klaar is
Mooi meegenomen
- U heeft een LLM-als-beoordelaar gebouwd en gevalideerd tegen menselijke labels
- Ervaring in gereguleerde of veiligheidskritische omgevingen
- Data-engineeringvaardigheden voor de pipelines achter evaluatiesets
Uw eerste zes maanden
- Maand 1: een lopend traject instrumenteren van prompt tot output en iets vinden waarvan niemand wist dat het kapot was
- Maand 3: elk actief traject heeft een evaluatiesuite die ertegen draait
- Maand 6: regressies worden gevangen door onze tooling in plaats van door een e-mail van de klant