Blog
Notities uit de praktijk
Onze engineeringteams over systemen in productie: wat standhield, wat we veranderden en waarom.
De CIO-test voor AI-governance
Strategie5 min
Een AI-beleid zegt wat agents horen te doen. Hun accounts en tools bepalen wat ze kunnen doen. Een test met drie vragen voor elke regel van het beleid laat een CIO zien welke delen van AI-governance standhouden en welke alleen op papier bestaan.
Lees het artikel- De kaart is de architectuurDe proceskaart uit de eerste week, elke overdracht tussen een mens, een systeem en een document, wordt meestal opgeborgen en vergeten. Wij bouwen eruit: elke overdracht wordt een schriftelijke afspraak, elke stap is gemarkeerd als lezen, controleren of beslissen, en het draaiende systeem leest de kaart. Daardoor voegt een bedrijf in weken een markt toe, in elke sector, en ligt vast waar AI thuishoort.Subash Natarajan5 min
- Waar ERP-agents ophoudenDe AI-agents die Microsoft nu in Dynamics 365 en Business Central levert, zijn nuttig en bewust begrensd. Ze bereiden voor en doen aanbevelingen binnen één bedrijfssysteem. Boeken, dus een transactie definitief in de administratie vastleggen, goedkeuren en alles wat systemen overstijgt, blijft bij u. Hoe u ze inzet, en wat nog steeds de moeite waard is om te bouwen.Kris Payne5 min
- Eigenaarschap begint als de bouwers vertrekkenBij de meeste overdrachten gaan er documenten over. Eigenaarschap betekent dat het team van de klant het systeem veilig kan aanpassen zonder de bouwers te bellen. De kwaliteit van een overdracht blijkt uit de kleinste wijziging die het team niet aandurft.Alexandru Bene5 min
- Capaciteit, geen personeelsreductieEen stuurgroep vroeg hoeveel voltijdbanen een automatisering van de orderdesk zou besparen. De betere vraag was hoeveel vraag de desk liet liggen. Waarom personeel schrappen groei begrenst, waarom kennis en oordeelsvermogen meer waard worden naarmate antwoorden goedkoper worden, en wat dat betekent voor wat we automatiseren, meten en afwijzen.Subash Natarajan5 min
- Ontworpen voor de afsluitweekAutomatisering in finance wordt ingericht op een gemiddelde maand, maar beoordeeld aan het eind van de maand, als volume, deadlines en controle tegelijk pieken. Waarom de afsluitkalender bepaalt hoeveel capaciteit er nodig is, hoe de planning eruitziet, welke regels gelden voor late documenten, wanneer er niets mag veranderen en hoe de eerste maand naast de oude werkwijze draait.Kris Payne5 min
- Menselijke goedkeuring van AI in finance begint bij het goedkeuringsverzoekVijfenvijftig goedkeuringen in vier minuten zijn een handtekening, geen controle. Hoe we het goedkeuringsverzoek ontwerpen dat een treasurer ziet als een AI-systeem een geval aan een mens voorlegt, wanneer gevallen samen mogen worden goedgekeurd en hoe we meten of er echt wordt beoordeeld.Alexandru Bene5 min
- Elk model wordt uitgefaseerd: uw lock-in zit in uw testsetElk AI-model waarop een werkproces draait, wordt ooit door de aanbieder uitgefaseerd. De opvolger is gemiddeld beter en anders in de gevallen die ertoe doen. Hoe vast u zit, hangt af van de vraag of u de echte gevallen bezit waarmee een opvolger te testen is. Hoe we de versie vastzetten, een opvolger beoordelen op wat hij nieuw fout doet, en de uitweg al bij de overdracht regelen.Subash Natarajan5 min
- Hoe goede systemen het vertrouwen van hun gebruikers winnenDrie weken na de livegang controleerde de meest ervaren magazijnleider nog elke levering die het systeem had bevestigd, met de hand op een uitgeprinte lijst. Of een team een systeem echt gebruikt, hangt af van vertrouwen, en dat vertrouwen volgt vooral één cijfer: hoe snel het systeem verandert als een expert het corrigeert.Alexandru Bene5 min
- Uitzonderingen inprijzenHet automatiseringspercentage is het cijfer op de sheet voor de stuurgroep. De kosten, het risico en het meeste vakmanschap zitten in de rest, en groei zorgt sneller voor nieuwe soorten uitzonderingen dan voor extra volume. Over het uitzonderingsregister dat we voor elke workflow bijhouden en de terugverdienregel voor nieuwe automatisering.Kris Payne5 min
- Waar een AI-agent zijn toestand moet bewarenEen AI-agent werkt met drie soorten informatie: de kernsystemen van het bedrijf, het dossier van het werk en wat het model voor de huidige stap voor zich heeft. De meeste fouten die wij onderzoeken, ontstaan doordat die derde wordt behandeld als een van de eerste twee, en door plannen die verouderen terwijl de agent aan het werk is.Subash Natarajan5 min
- Tools bepalen wat een AI-agent in het ERP kan doenDe instructies zeggen wat een AI-agent moet doen. Zijn tools, de handelingen die hij mag uitvoeren, bepalen wat hij kan doen. Wij bouwen die handelingen als smalle zakelijke stappen met controles, niet als open toegang tot een systeem, en publiceren ze als een lijst die een IT lead en een auditor kunnen lezen.Alexandru Bene5 min
- Gereguleerde AI is een operationeel vraagstukWaar data verwerkt mag worden, wat elke stap mag zien, hoe wijzigingen worden goedgekeurd en welk bewijs er achteraf is, bepalen of AI in een gereguleerde organisatie mag draaien. Ze veranderen het ontwerp zelf, niet alleen de documentatie, en twee ervan trekken in tegengestelde richtingen.Subash Natarajan5 min
- Een agent verdient autonomie per type beslissingSponsors willen weten wanneer de goedkeuringen eraf kunnen. Maar autonomie is geen instelling van een AI-agent. Het werkt als een kredietlimiet per type beslissing: toegekend op basis van bewijs, afgedwongen via wat het systeem de agent toestaat, en volgens vaste regels weer teruggeschroefd.Subash Natarajan5 min
- AI die in het grootboek boekt, heeft een vast protocol nodigHet matchen van bankregels krijgt de aandacht. Of elke boeking in de administratie nog te verklaren is, hangt af van hoe het systeem schrijft. Een vaste sleutel per boeking, een controle op de boekingsmaand, één vaste ingang en de regel dat automatisering nooit haar eigen boekingen corrigeert.Kris Payne5 min
- Wachttijd, handelingstijd en herstelwerk: meten wat AI in de operatie verandertBespaarde uren zijn meestal het minst betrouwbare getal in een businesscase voor AI, omdat wachten als werk wordt geteld. Zo bouwen we een waardeverklaring die een CFO een jaar later nog kan verdedigen: wachttijd, handelingstijd en herstelwerk apart gemeten, een stapsgewijze start als vergelijking, en geen omzetclaim zonder gemeten verband.Alexandru Bene5 min
- Datacontracten voor ERP-exportsEen AI-model leest een gewijzigd databestand zonder morren in, en juist daarom mag het nooit degene zijn die data uit een ander systeem controleert. De schriftelijke afspraak waartegen we elke levering controleren: vorm, betekenis, volledigheid, timing en eigenaar. Een afwijkende levering wordt in zijn geheel tegengehouden in plaats van gerepareerd, en de afspraak wordt later de basis voor de vervanging van het systeem.Subash Natarajan5 min
- Een confidencescore is geen kans dat het antwoord kloptHet getal dat een model naast zijn antwoord zet, is niet de kans dat dat antwoord klopt. En juist bij de soorten gevallen waar het model het betrouwbaarst lijkt, zitten de ergste fouten verstopt. Wij hebben confidencedrempels vervangen door een toestemming per soort geval, die wordt verdiend met gecontroleerde gevallen en automatisch vervalt.David Grayhurst5 min
- Intelligentie wordt goedkoop. Verantwoording niet.De prijs van een AI-antwoord daalt sneller dan een bedrijf kan plannen. De kosten om achter dat antwoord te staan dalen helemaal niet. Waar de blijvende waarde van AI in een bedrijf komt te liggen, en wat dat betekent voor de businesscase, de opzet en het leverancierscontract.Anubhai Mehta5 min
- Organiseer AI rond de eigenaren van workflowsHet AI-expertisecentrum werd opgezet rond de schaarse kennis van 2023: weten hoe modellen werken. Die kennis wordt goedkoop. Schaars blijven een eigenaar die verantwoordelijk is voor de resultaten van een workflow, en engineers die AI kunnen koppelen aan de systemen waarop die workflow draait. Hoe u de organisatie aanpast voordat de lijst met pilots nog langer wordt.Anubhai Mehta5 min
