In november 2022 vroeg Jake Moffatt de chatbot op de website van Air Canada hoe het zat met de korting voor reizen na een overlijden in de familie. De chatbot zei dat hij die korting achteraf kon aanvragen. Op een andere pagina van dezelfde website stond dat dat niet kon. Toen Air Canada weigerde te betalen, verdedigde de maatschappij zich met het argument dat de chatbot zelf verantwoordelijk was voor zijn antwoorden. Het Civil Resolution Tribunal van British Columbia noemde dat verweer in februari 2024 opmerkelijk en veroordeelde Air Canada tot een vergoeding. Het bedrag was klein, de les is groot: als jouw assistent iets zegt, zeg jij het. En als twee van je eigen bronnen elkaar tegenspreken, kiest de assistent er een, met precies dezelfde stelligheid.
Een assistent die antwoord geeft op basis van je eigen documenten, staat bij veel organisaties bovenaan het lijstje. Denk aan een HR-assistent die vragen over verlof en declaraties beantwoordt, een kennisbank waarin adviseurs eerdere adviezen terugvinden of een assistent die offertes voorbereidt op basis van eerdere offertes. Hoe de techniek daarachter werkt, lees je in Wat is RAG?. Dit artikel gaat over het deel dat in de meeste projecten de doorslag geeft en het vaakst wordt onderschat: de staat van de documenten eronder.
Waarom de assistent niet beter wordt dan je bronnen
Een assistent op eigen bronnen zoekt bij elke vraag de passages die erbij lijken te passen en bouwt daar een antwoord van. Staan er drie versies van het verlofreglement in de map, dan citeert hij misschien uit de verouderde. Spreken twee documenten elkaar tegen, dan kiest hij er een. En staat een uitzondering alleen in het hoofd van een ervaren collega, dan bestaat die uitzondering voor de assistent niet. Dat is geen fout van het model. Een nieuwe collega die alleen de map krijgt, geeft dezelfde verkeerde antwoorden. Het verschil is dat een nieuwe collega gaat twijfelen en het navraagt, terwijl een assistent dat alleen doet als je het hem expliciet hebt geleerd.
Hoe dat op grote schaal uitpakt, liet New York zien. De stad lanceerde in oktober 2023 de MyCity-chatbot voor ondernemers. Journalisten van The Markup testten de chatbot in maart 2024 en kregen antwoorden die tegen de wet ingingen: werkgevers zouden een deel van de fooien van hun personeel mogen houden, en verhuurders zouden huurders met een huurvoucher mogen weigeren. Een huisvestingsexpert noemde de antwoorden onvolledig en in het ergste geval gevaarlijk onjuist. De stad hield de chatbot toch online, tot de nieuwe burgemeester in januari 2026 aankondigde dat hij hem stopzet.
Stap 1: bepaal welke documenten meetellen
Begin niet met bouwen, maar met een inventaris. Welke documenten mag de assistent gebruiken, en welke juist niet? Haal oude versies, concepten en dubbele bestanden weg, of zet ze in een archief waar de assistent niet bij kan. Wijs per bron een eigenaar aan die hem actueel houdt, en spreek af wat er gebeurt als een regeling verandert: wie vervangt het document, en wanneer. Dit is vaak het meeste werk van het hele project, en het levert ook zonder AI direct iets op. Een HR-afdeling die haar regelingen op één plek heeft staan, met één geldige versie per regeling, beantwoordt ook zelf sneller vragen.
Kijk daarbij ook naar rechten. Microsoft Copilot volgt de rechten die je organisatie al heeft ingesteld, schrijft Microsoft. Dat is goed nieuws en een risico tegelijk. Staat een map met salarisgegevens of verzuimdossiers per ongeluk open voor de hele afdeling, dan kan de assistent daar ook uit putten. Wat jarenlang onopgemerkt bleef omdat niemand die map vond, is met een assistent opeens met één vraag te vinden. Loop dus vóór de start na wie welke mappen kan zien.
Stap 2: leg de kennis vast die nog niet op papier staat
Bij veel processen zit de echte kennis in de uitzonderingen. Wanneer wijk je af van het standaardtarief? Welke klant krijgt altijd een extra controle? Bij welke vraag bel je eerst de jurist? Een assistent kan alleen met die uitzonderingen werken als ze ergens staan. Een eenvoudige beslisboom of een lijst met vaste afwegingen maakt het verschil tussen een assistent die het meestal goed heeft en een assistent die je kunt vertrouwen. Haal die kennis op met de mensen die het werk nu doen: laat ze een stapel lastige vragen uit de afgelopen maand doorlopen en noteer bij elke vraag waarom ze kozen wat ze kozen.
Stichting DEN stond voor dezelfde vraag in de cultuursector. Kennis over regelingen, toolkits en websites stond verspreid over veel verschillende plekken. NewWorks bouwde voor DEN een webapp met meerdere assistenten, elk met een eigen rol, toon en afbakening, die allemaal putten uit één centraal beheerde kennisbank. Het belangrijkste ontwerpbesluit zat niet in de techniek, maar in het beheer: DEN vult en actualiseert die kennisbank zelf, zonder ontwikkelaar. Zo blijven de antwoorden kloppen als de regelingen veranderen.
Stap 3: test met echte vragen voordat je live gaat
Verzamel vooraf vragen die medewerkers echt stellen, met het juiste antwoord en de bron erbij. Haal ze uit de mailbox van HR, uit het ticketsysteem of uit wat nieuwe collega's in hun eerste weken vragen. Laat de assistent die vragen beantwoorden voordat hij live gaat, en beoordeel elk antwoord op drie punten: klopt het, noemt hij de juiste bron, en zegt hij eerlijk dat hij het niet weet als het antwoord niet in de documenten staat? Zo zie je precies waar hij de mist in gaat. Bewaar die set. Na elke aanpassing aan de documenten of de instructies draai je hem opnieuw, en zie je of het beter of slechter wordt.
Neem ook vragen op waar de assistent geen antwoord op hoort te geven. Een HR-assistent die een vraag krijgt over de ziekmelding van een collega, moet doorverwijzen in plaats van te gokken. Juist die vragen laten zien of de grenzen die je hebt ingesteld ook werken.
Stap 4: bouw een vangnet in
Leg vast bij welke vragen de assistent doorverwijst naar een mens, wat hij zegt als het antwoord niet in de bronnen staat en wie welke documenten mag zien. Laat hem bij elk antwoord de bron noemen, met het fragment uit het document. Bij Bouwend Nederland is dat het hart van de oplossing: de tool vraagt tientallen documenten tegelijk uit op dezelfde vragen en zet bij elk antwoord de passage waarop het is gebaseerd, zodat medewerkers zelf kunnen nagaan of de interpretatie klopt. Een gebruiker die de bron ziet, vangt fouten zelf op. Een gebruiker die alleen een stellig antwoord krijgt, moet blind vertrouwen.
Kies ook bewust waar de assistent stopt. Een assistent die een concept klaarzet dat een medewerker controleert en aanvult, past bij de meeste processen beter dan een assistent die zelf naar klanten antwoordt. Air Canada had die keuze andersom gemaakt. Pas als je testset laat zien dat de antwoorden kloppen, schuif je de grens op.
Hoe NewWorks dit aanpakt
Elk traject begint bij NewWorks met een validatiefase: welk probleem lossen we op, welke data is beschikbaar, wie is intern eigenaar en hoe meten we succes? Bij een assistent op eigen documenten betekent dat: eerst de bronnen, de eigenaar en de testvragen, dan pas de bouw. In een AI Build Sprint staat in vier tot acht weken één werkende oplossing in productie, gebouwd met je eigen team, zodat iemand binnen je organisatie hem kan beheren als wij weg zijn. Waarom die voorbereiding zo bepalend is, lees je ook in Waarom je AI-pilot niet in productie komt.
Wil je deze week al een stap zetten? Kies één vraag die collega's elkaar vaak stellen, zoek op in welke documenten het antwoord staat en tel hoeveel versies je tegenkomt. Dat zegt meer over hoe klaar je bent voor een assistent dan welke demo ook.
Benieuwd hoe dit voor jou werkt?
Plan een kennismaking
