Hoe u controleert of een agent iets verzint
Een agent geeft een antwoord. Het klinkt correct, de toon klopt, de opmaak is netjes. Maar klopt de inhoud ook? Verzinnen is het lastigst zichtbare probleem bij AI, en tegelijk het meest beheersbaar als u weet waar u op let.
Uw medewerker stuurt een klant een antwoord over de levertijd van een artikel. De agent heeft dat concept opgesteld. De levertijd die erin staat, is vier werkdagen. Maar in uw systeem staat zeven. Niemand heeft het gecontroleerd. De klant rekent erop. Dit is geen theoretisch risico. Het gebeurt, en het is precies het soort fout dat uw reputatie beschadigt zonder dat u het direct ziet.
Het goede nieuws is dat dit te beheersen valt. Niet door de agent kleiner te maken, maar door te begrijpen waar verzinnen vandaan komt en welke maatregelen er daadwerkelijk bij helpen. Dat is wat dit artikel behandelt.
Verzinnen is geen willekeurig gedrag, het heeft een patroon
Een taalmodel verzint niet omdat het lui is of de intentie heeft te misleiden. Het verzint omdat het altijd een antwoord produceert, ook als de informatie ontbreekt. Het model vult de leegte op met wat plausibel klinkt gegeven de context. Dat is hoe het is gebouwd. Die eigenschap is nuttig bij creatief werk, maar gevaarlijk bij feitelijke bedrijfsinformatie.
Het patroon is voorspelbaar. Verzinnen treedt vaker op als de agent een vraag krijgt die buiten zijn kennisbasis valt, als de context schaars is, of als de vraag op zichzelf al vaag is. Een agent die goed omgaat met een standaard leveranciersbevestiging kan struikelen op een afwijkende situatie waarvoor de instructies niets zeggen.
Wat helpt om dat patroon te herkennen: kijk niet alleen naar de gevallen die goed gingen, maar leg de aandacht bewust op de randgevallen. Welke vragen bereiken de agent die net buiten het normale bereik vallen? Dat is waar de fouten zich ophopen.
Bronvermelding is het eerste en meest directe controlemiddel
Als de agent een uitspraak doet, moet hij kunnen aangeven waar die vandaan komt. Niet als sluitstuk, maar als onderdeel van het antwoord zelf. "Levertijd vier werkdagen, op basis van artikel 8471 in uw ERP, bijgewerkt op 2 september" is controleerbaar. "Levertijd vier werkdagen" is dat niet.
Bij interne kennis ontsluiten werkt dit met een techniek die RAG heet: de agent zoekt eerst in uw eigen documenten of systemen, en baseert zijn antwoord op wat hij daar vindt. Het antwoord bevat dan een verwijzing naar de bron. Uw medewerker kan die bron in één klik openen en controleren of het klopt.
Dit verandert de controle van "vertrouw ik de agent?" naar "klopt wat de agent zegt overeen met wat er in het systeem staat?". De tweede vraag is een stuk eenvoudiger te beantwoorden. U hoeft de agent niet te vertrouwen op zijn woord. U kunt het nakijken.
Een agent zonder bron mag geen feit beweren
Dit is een beleidsregel die u expliciet moet instellen, en die u kunt handhaven. Als de agent geen bronvermelding kan geven, moet het antwoord dat kenbaar maken. Niet met een vage disclaimer onderaan, maar als onderdeel van de reactie zelf. "Ik heb hierover geen informatie in uw systemen gevonden. Wilt u dit door een medewerker laten beantwoorden?"
In het artikel over guardrails als beleidsinstrument beschrijven we hoe dit soort regels werken: ze zijn instelbaar, aanpasbaar en zichtbaar. Een agent die terugvalt op een formulering als "dit weet ik niet" is veiliger dan één die iets invult wat plausibel klinkt maar nergens op gebaseerd is.
Dat klinkt voor de hand liggend, maar in de praktijk stellen de meeste mensen dit niet standaard in. Ze vertrouwen op de agent om zelf aan te geven wanneer hij twijfelt. Dat werkt onvoldoende. Twijfel is geen ingebouwd mechanisme. U moet het afdwingen via de instructies.
Sampling en steekproeven: controle is structureel werk
Zelfs een goed ingestelde agent met bronvermelding produceert af en toe een fout. Dat is geen reden om niet te starten, maar het is wel een reden om structureel te controleren. Niet bij elk antwoord, maar via een steekproef. Kies elke week een handvol outputs willekeurig en laat die nakijken door iemand die het onderwerp kent.
Wat u zoekt in die controles: uitspraken zonder bron, getallen die niet overeenkomen met wat in het systeem staat, antwoorden die de vraag ontwijken in plaats van beantwoorden, en formuleringen die te zeker klinken voor een situatie die eigenlijk onzeker is. Die vier patronen dekken het grootste deel van de fouten die wij in productie-agents tegenkomen.
Leg de bevindingen ergens vast. Niet voor de rapportage, maar voor uzelf. Als u na drie weken steekproeven ziet dat een bepaald type vraag structureel misgaat, kunt u de instructies aanpassen voordat het een probleem wordt. Dat is het verschil tussen reactief en structureel beheer.
Uitgaande berichten gaan altijd langs een mens
Er is één maatregel die alle andere maatregelen ondersteunt: de agent verstuurt niets zelf. Hij bereidt voor, uw medewerker keurt goed en verstuurt. Dat geldt voor klantemails, offerteconcepten, herinneringen en alles wat naar buiten gaat.
Bij klantenservice automatiseren werkt dit zo: de agent zoekt de informatie op, stelt een antwoord op en zet dat klaar in de werkbak. Uw medewerker opent het concept, leest het door en verstuurt. Dat kost tien seconden per bericht in plaats van vijf minuten. Maar die tien seconden zitten er bewust in. Ze zijn de maatregel.
Veel ondernemers vragen of het ook volledig automatisch kan. Dat kan technisch. Maar voor uitgaand klantcontact adviseer ik dat niet als eerste stap. Pas als u in uw steekproeven heeft gezien dat de agent consistent goed presteert op een bepaald type bericht, kunt u overwegen om die categorie te laten doorstromen zonder goedkeuringsstap. Begin niet met die uitzondering.
Testen vóór productie vermindert verassingen achteraf
Voordat een agent live gaat, kunt u hem systematisch uitdagen op de situaties waar verzinnen het meest voorkomt. Stel vragen over artikelen die niet in uw systeem staan. Vraag naar leveringen in periodes waarvoor geen data beschikbaar is. Geef hem een klantvraag die twee interpretaties toelaat. Kijk wat hij doet.
De antwoorden op die testvragen vertellen u meer dan honderd antwoorden op normale vragen. U ziet waar de instructies te vaag zijn, waar de agent informatie zoekt die hij niet kan vinden, en waar hij terugvalt op gokken. Die bevindingen vertaalt u naar aanscherpingen in de instructies, vóór u naar buiten gaat.
Dit is geen eenmalig moment. Het hoort bij elke aanpassing die u later doet. Als u de agent uitbreidt met een nieuwe categorie vragen, of aansluit op een nieuw systeem, test u opnieuw. Dezelfde vier patronen, dezelfde steekproefsgewijze controle. De agent is geen product dat u eenmaal aflevert en dan vergeet.
Een concrete eerste stap die u deze week kunt zetten
Neem vijf willekeurige outputs van uw huidige agent, of van een chatgesprek dat uw medewerkers voeren. Zoek voor elk antwoord de bron op in uw eigen systemen. Klopt het? Ontbreekt er een bron? Staat er iets dat nergens op gebaseerd kan zijn? Die vijf checks geven u al een goed beeld van waar u staat. Schrijf op wat u tegenkomt. Dat is het beginpunt van uw controleproces.
Over dit onderwerp
Hoe weet ik of een AI-agent iets verzint?
Controleer of het antwoord een concrete bron vermeldt die u kunt opzoeken in uw eigen systemen. Ontbreekt die bron, of klopt de informatie niet met wat erin staat, dan is er een probleem. Structurele steekproeven, waarbij u wekelijks een handvol outputs nakijkt, geven u een betrouwbaar beeld zonder dat u elk antwoord hoeft te lezen.
Kan ik een AI-agent zo instellen dat hij nooit informatie verzint?
Volledig uitsluiten is niet mogelijk, maar het is wel sterk te beperken. Verplicht de agent om altijd een bron te noemen. Instrueer hem expliciet om "ik heb hierover geen informatie gevonden" te zeggen als er geen bron beschikbaar is. Combineer dat met een goedkeuringsstap voor uitgaande berichten. Dan vangt u de meeste fouten voor ze de klant bereiken.
Wat is het verschil tussen een AI-agent met RAG en een gewone chatbot?
Een agent met RAG zoekt eerst in uw eigen documenten of systemen en baseert zijn antwoord op wat hij daar aantreft. Een gewone chatbot werkt alleen vanuit wat er tijdens de training in het model zit. Voor bedrijfsinformatie, zoals prijzen, levertijden of contractafspraken, is RAG daarom veiliger: de bron is controleerbaar en actueel.
Hoe vaak moet ik de outputs van een agent controleren?
In de eerste weken na livegang: dagelijks een kleine steekproef. Daarna wekelijks, als de foutpatronen stabiel zijn. Bij elke aanpassing van de agent of nieuwe koppeling begint u opnieuw met dagelijkse steekproeven. Er is geen moment waarop u volledig kunt stoppen met controleren, maar de inspanning neemt sterk af naarmate de agent bewezen gedrag laat zien.