Tokens zijn de kleine stukjes tekst waarin een taalmodel leest en schrijft, en ze vormen de rekeneenheid voor kosten en limieten.
Een taalmodel leest en schrijft geen letters en geen hele woorden, maar tokens. Een token is een stukje tekst, vaak een paar letters of een kort woord. In het Nederlands komt een woord ruwweg neer op anderhalf token.
Tokens zijn de rekeneenheid. Aanbieders van taalmodellen rekenen per duizend tokens, en apart voor tekst die erin gaat en tekst die eruit komt. Alles telt mee: de vraag van de klant, de instructies aan het model, de stukken uit je kennisbank die je meestuurt en het antwoord zelf.
Daarnaast bepaalt het aantal tokens hoeveel context een model tegelijk aankan. Dat contextvenster is de reden dat je niet zomaar je hele documentatie bij elke vraag meestuurt, en daarmee de reden dat RAG bestaat. Je stuurt alleen de fragmenten mee die er echt toe doen.
Een gemiddeld klantgesprek kost een paar duizend tokens. Dat is bij de huidige tarieven een fractie van een cent. De kosten van het model zijn zelden het knelpunt. De koppelingen en het onderhoud van je kennisbank bepalen het budget.