Forward Deployed Engineers liefern in Kundenumgebungen. Sie verantworten, womit sie liefern: Orchestrierung, Zustand und Memory, Tool-Schnittstellen, Kostenkontrollen sowie die Evaluation und das Tracing, die aus unseren Aussagen zur Zuverlässigkeit Belege machen.
Die schwierigste Frage in dieser Arbeit ist nicht, ob ein System am Tag der Auslieferung funktioniert. Sondern ob es einen Monat später noch funktioniert, wenn der Modellanbieter etwas geändert hat, die Daten des Kunden gedriftet sind und seit Wochen niemand einen Trace gelesen hat. Diese Rolle verantwortet diese Frage und die Architektur, die sie beantwortbar macht.
Es ist eine tiefe Engineering-Stelle mit kurzer Feedbackschleife. Was Sie entwerfen, läuft innerhalb von Wochen im Produktivbetrieb eines Kunden, und Sie hören direkt von dem Engineer, der es um Mitternacht debuggen musste.
Was Sie tun werden
- Die Architektur unserer agentischen Schicht festlegen: Orchestrierung und Delegation zwischen spezialisierten Agenten, saubere Fehlersemantik und Zustand, der einen Neustart übersteht
- Tool- und Integrationsschnittstellen verantworten, einschließlich MCP-Servern für die Systeme, die unsere Kunden betreiben
- Die Evaluations-Harnesse und Golden Datasets bauen, gegen die jedes Kundensystem freigegeben wird, einschließlich LLM-Richtern, die gegen menschliche Labels kalibriert sind
- Tracing vom Prompt bis zur Ausgabe verantworten und Regressionen über Modell-Upgrades, Prompt-Änderungen und Datendrift hinweg erkennen, bevor ein Kunde es tut
- Kostenleitplanken, Rate Limits und die Freigabepunkte für Entscheidungen entwerfen, die zu folgenreich sind, um sie komplett zu automatisieren
- Muster, die einmal funktioniert haben, in Komponenten und Standards verwandeln, nach denen das ganze Delivery-Team arbeitet
Was wir suchen
- 8+ Jahre Software Engineering, davon mehrere Jahre im Entwurf von APIs und Abstraktionen, auf die andere Engineers angewiesen sind
- Exzellentes Python und tiefe praktische Arbeit mit LLM-Orchestrierung, ob auf einem Framework oder selbst gebaut
- Instinkt für verteilte Systeme: Idempotenz, Retries, Backpressure und Teilausfälle
- Erfahrung in der Evaluation von LLM-Systemen im Produktivbetrieb, einschließlich des Punkts, an dem Offline-Metriken das tatsächliche Verhalten nicht mehr vorhersagen
- Genug Statistikkenntnisse, um zu wissen, wann ein Unterschied zwischen zwei Läufen nichts bedeutet
- Feste Ansichten zu Zuverlässigkeit, die sich mit Belegen ändern, und die Bereitschaft zu sagen, dass ein System noch nicht bereit ist
Schön, wenn Sie das mitbringen
- Open-Source-Beiträge zu Agenten-, Evaluations- oder LLM-Werkzeugen
- Sie haben einen MCP-Server gegen ein echtes Produktivsystem gebaut und betrieben
- Erfahrung in regulierten oder sicherheitskritischen Umgebungen
Ihre ersten sechs Monate
- Monat 1: ein laufendes Projekt vom Prompt bis zur Ausgabe instrumentieren und etwas finden, von dem niemand wusste, dass es kaputt ist
- Monat 3: die Orchestrierungs- und Evaluationsschicht verantworten, mit einer Suite, die gegen jedes aktive Projekt läuft
- Monat 6: Regressionen werden von unseren Werkzeugen gefangen, nicht von einer Kunden-E-Mail, und die Architektur spiegelt Entscheidungen wider, die Sie verteidigen können