Elke vraag in de avond wachtte tot de volgende ochtend
Alles wat tussen 17:30 en 08:30 binnenkwam, bleef liggen tot de volgende werkdag.
Pinkcube verkoopt relatiegeschenken met logo aan Nederlandse en Belgische bedrijven die bestellen voor een evenement met een vaste datum. Chats in de avond en het weekend wachtten tot 08:30 op de volgende werkdag. De agent die Ovidius bouwde, antwoordt in het Nederlands of Engels, checkt de orderstatus live en maakt een voorgesorteerd HubSpot-ticket aan als hij niet kan helpen. Hij ging zeven weken na de kickoff live.
Was 45 bemande uren. Elke avond en elk weekend krijgt nu antwoord.
Gemiddeld 12,0 s, tegen een doel van minder dan 20 seconden. Was: de volgende werkdag.
29 dec 2025 tot 26 aug 2026. 196 afgesloten in de chat, zonder ticket.
76 lastige testscenario's vóór de livegang, waarvan 64 met 5 uit 5.
Telefoon en chat waren bemand van maandag tot en met vrijdag, 08:30 tot 17:30. Vier doordeweekse gaten van 15 uur en een weekend van 63 uur lieten 123 uur zonder enige dekking. De inkopers van Pinkcube bestellen voor evenementen met een vaste datum, dus een onbeantwoorde avondvraag over een drukbestand of een leverdatum is een offerte die ergens anders terechtkomt.
Alles wat tussen 17:30 en 08:30 binnenkwam, bleef liggen tot de volgende werkdag.
Medewerkers begonnen om 08:30 aan ongesorteerde vragen, zonder categorie, zonder context en zonder opgezochte order.
Een B2B-inkoper die merchandise bestelt voor een evenement met een vaste datum, wacht geen nacht op antwoord.
De Pinkcube-agent antwoordt vanuit een kennisbank die is opgebouwd uit de eigen afgehandelde supportgesprekken van Pinkcube. Elk concept gaat naar een Gatekeeper-agent die het goedkeurt of terugstuurt, tot tien herschrijvingen, voordat de klant er een woord van ziet.
Deze replay volgt het scenario dat in de tests het slechtst scoorde: een klant stuurt twee productlinks en vraagt naar maten. De agent kan geen links openen, dus elk antwoord over die producten is een gok. Zet de Gatekeeper uit en zie wat er anders verstuurd was.
Nagespeeld evaluatiescenario 1, twee productlinks en een vraag over maten. De formulering van de berichten is ter illustratie. De BLOCK, de herschrijving en de escalatieregel volgen het systeem dat live staat.
Een chatagent die zegt “Ik heb een ticket aangemaakt”, heeft dat meestal niet gedaan. Daarom heeft de chatagent helemaal geen rechten om tickets aan te maken. Een aparte triage-agent leest het afgeronde gesprek, behandelt elke belofte als een schuld en maakt het ticket aan dat de chatagent alleen beweerde te maken.
The Chat AI conversing with the user has NO permissions to create tickets or execute actions, even if it claims otherwise.
If the Chat AI says “I have created a ticket,” “I have escalated this,” or “Support will reach out,” IT HAS NOT ACTUALLY HAPPENED.
In these cases, you MUST output true to ensure the system actually creates the ticket the Chat AI promised.
{ "status": "PASS" | "BLOCK", "reason": "VIOLATION NAME + FIX INSTRUCTION" }Een BLOCK bereikt de klant nooit. Hij gaat terug naar de Pinkcube-agent als herschrijfinstructie.
Kies wat de chatagent tegen de klant zei.
Kies hierboven een zin.
Een evaluatieworkflow, gekoppeld aan een scoresheet, beoordeelde elk scenario van 1 tot 5. De agent scoorde gemiddeld 4,62, met 64 van de 76 perfect. De twaalf die tekortschoten, werden de vastgelegde bedrijfsregels die live gingen.
“The AI provided specific information about where to find a size chart, which contradicts the expected output stating it cannot visit links or know about specific products. The core requirement of acknowledging limitations or escalating was not met.”
Gemeten door Ovidius, december 2025, vóór de livegang. Het commentaar van de beoordelaar staat letterlijk zoals in de scoresheet.
De HubSpot van Pinkcube bevat master deals met sub-deals daaronder, dus een trackingcode is pas bereikbaar na het doorlopen van die hiërarchie. De builders hebben het schema halverwege de build zelf uitgezocht en het extra werk opgevangen zonder de livedatum te verschuiven.
Mediane eerste reactie, op basis van berichttijdstempels gelogd sinds 2 jun 2026
Gemiddelde eerste reactie over dezelfde periode
Het reactiedoel uit de projecteisen, op beide maatstaven gehaald
Scope: chat buiten kantooruren op HubSpot en AfterShip.
Gescoord van 1 tot 5 voordat een klant de agent zag.
Zeven weken na de kickoff, op de geplande datum.
Productiechatlogs vanaf hier geteld.
Berichttijdstempels toegevoegd voor reactietijden.
508 tickets, 196 afgesloten in de chat.
Dekking afgeleid van de opgegeven supporturen (maandag tot en met vrijdag, 08:30 tot 17:30) tegenover een week van 168 uur. Kwaliteitsscore door Ovidius gemeten over 76 scenario's, december 2025, vóór de livegang. Volume uit productiechatlogs, 29 dec 2025 tot 26 aug 2026: 704 gesprekken, 508 tickets aangemaakt, 27,8% opgelost zonder ticket. Reactietijden uit berichttijdstempels gelogd sinds 2 jun 2026.
De projectleverancier werd een vaste partner, en voor de volgende fase zijn drie uitbreidingen gescoped.
Van projectleverancier naar partner voor 2026, met de agent buiten kantooruren die nog steeds elke avond en elk weekend antwoordt.
Neem je supporturen en je CRM mee. In een kennismaking brengen we in kaart welke vragen een agent kan beantwoorden en welke een mens nodig hebben. Een build zoals die van Pinkcube gaat in 5 tot 7 weken van kickoff naar live. Lees meer over een chatbot laten maken voor je eigen supportdesk.