Hoe kies je het juiste AI-model voor een agent?
Kies het taalmodel per taak en per rol: een snelle sprinter voor eenvoudig werk, een werkpaard voor het dagelijkse werk en een Einstein voor het zware denkwerk. Evals laten zien welk model goed genoeg is op nauwkeurigheid, kosten en snelheid.
Uitleg
Eén agent gebruikt vaak alle drie: de sprinter doet de intake, het werkpaard het gewone werk, en alleen de lastige gevallen gaan naar de Einstein. Dat houdt de kosten laag zonder kwaliteit te verliezen.
Wanneer de inferentiefactuur oploopt, wordt modelkeuze een afweging tussen nauwkeurigheid, kosten en snelheid. Evals helpen bepalen wanneer je optimaliseert, overstapt op een ander model of een eigen model traint.
Een eval is een test met echte gevallen waarvan je het juiste antwoord kent: de gouden set. Draai je die bij elke wijziging, dan zie je direct of een goedkoper of nieuwer model het werk aankan.
Ook herkomst telt mee. Open-weight modellen uit de VS, China en Europa zijn vrij te downloaden en zelf te draaien. Dat geeft controle over data en kosten, en maakt de herkomst van een model tegelijk een securityvraag: wie heeft het getraind, onder welke licentie, en waar draait het? Die gegevens horen in het agentpaspoort.
Zo ziet het eruit in de praktijk
Een klantenservice-agent sorteert berichten met een sprinter, beantwoordt standaardvragen met een werkpaard en stuurt klachten met juridische lading naar een Einstein, waarna een medewerker meekijkt.
