AI tokens meaning: hvad en token er, og hvorfor den står på din regning

Har du nogensinde læst en prisside for ChatGPT, Claude eller Gemini, er du stødt på ordet "token". Priserne er per million tokens. Kontekstvinduer måles i tokens. Fejlbeskeder fortæller dig, at du har brugt for mange. Her får du AI tokens meaning uden fagsprog, og hvad det betyder for folk, der bruger AI i deres arbejde hver dag.

En token er et stykke af et ord

Sprogmodeller læser hverken bogstaver eller hele ord. Før din prompt når frem til modellen, skærer en tokenizer den op i små bidder, som modellen har set mange gange under træningen. Almindelige engelske ord som "the" eller "marketing" er typisk én token. Sjældne ord, navne og stavefejl bliver delt op i flere stykker. Mellemrum og tegnsætning tæller også med.

En god tommelfingerregel for engelsk: én token svarer til cirka fire tegn eller omkring tre fjerdedele af et ord. 1.000 tokens er altså omkring 750 ord, og et blogindlæg på 1.500 ord lander et sted omkring 2.000 tokens. Hver modelfamilie har sin egen tokenizer, så det præcise antal varierer en smule fra udbyder til udbyder.

Dit sprog ændrer antallet

Det er den del, de fleste overser. Tokenizere er primært bygget på engelsk tekst, så engelsk er billigt at kode. Tyske sammensatte navneord, tyrkiske endelser, polske bøjninger og danske sammensatte ord bliver ofte skåret op i flere stykker. Det samme afsnit kan koste mærkbart flere tokens på tysk end på engelsk, og sprog med andre alfabeter kan koste endnu mere.

Det ser vi hver dag, fordi Content24 kører på otte sprog. En kampagne oversat til tysk, dansk og polsk bruger mere af modellens budget end den engelske original, selvom budskabet er præcis det samme. Det er ikke en fejl. Sådan virker tokenizere.

Hvor tokens betyder noget i praksis

• Pris. API priser er delt op i input tokens (det, du sender) og output tokens (det, modellen skriver). Output er som regel flere gange dyrere.
• Kontekstvindue. Det er det samlede antal tokens, en model kan rumme i én samtale, inklusive dine instruktioner, uploadede filer og modellens egne svar. Går du over grænsen, falder de ældste dele ud, eller forespørgslen fejler.
• Hastighed. Modeller genererer én token ad gangen. Længere svar tager længere tid, og derfor dukker en hel landingsside op lidt efter lidt.
• Kvalitet. Meget lange prompts er ikke altid bedre. Modeller kan miste overblikket over detaljer, der ligger gemt midt i en kæmpe kontekst.

Billeder, lyd og video bruger også tokens

Når du uploader et skærmbillede til en chatmodel, bliver billedet også omdannet til tokens, og et billede i høj opløsning kan koste lige så meget som et par sider tekst. Modeller til lyd og video arbejder med lignende enheder bag kulisserne. Generatorer til billeder og video bliver ofte prissat per resultat i stedet, for eksempel per billede eller per sekund video, men idéen er den samme: større og længere resultater kræver mere regnekraft.

Den anden betydning: AI tokens inden for krypto

Nogle af dem, der søger på AI tokens meaning, spørger om noget helt andet: kryptovalutaer knyttet til AI projekter. Det er digitale aktiver, der handles på børser. De har intet at gøre med, hvordan ChatGPT tæller ord, og denne artikel er ikke investeringsrådgivning om dem.

Sådan bruger du færre tokens uden dårligere resultater

• Læg faste instruktioner ét gemt sted i stedet for at indsætte hele jeres brandguide i hver eneste chat.
• Bed om den længde, du faktisk har brug for. "Tre forslag til overskrifter" er billigere og mere brugbart end "en masse idéer".
• Start en ny samtale, når emnet skifter. Gammel kontekst tæller stadig med.
• Brug en mindre og hurtigere model til enkle opgaver som omformulering eller tagging, og gem de store modeller til strategi og lange udkast.
• Skær ned i dine uploads. Send de to relevante sider af en PDF, ikke alle firs.

Tokens og credits i Content24

Udbyderne tæller og prissætter tokens forskelligt, og det gør det besværligt at lægge budget for flere AI værktøjer. I Content24 samler vi det hele i én saldo af credits. Når du skriver i AI Writer, chatter med Claude, Gemini eller ChatGPT i AI Chat eller genererer i AI Images eller AI Video, trækker det hele på de samme månedlige credits, så du ikke behøver et regneark for hver leverandør. Jeres Brand Kit bliver gemt én gang og genbrugt, så I ikke betaler for at sende det igen i hver prompt.

Ofte stillede spørgsmål

Hvor mange ord er 1.000 tokens?

Cirka 750 ord på engelsk. På tysk, polsk eller tyrkisk skal du regne med færre ord for det samme antal tokens.

Hvorfor er output tokens dyrere end input tokens?

Modellen kan læse din prompt parallelt. Svaret bliver derimod skrevet én token ad gangen, og hver ny token kræver en hel gennemkørsel af modellen. Det kræver mere regnekraft.

Giver et større kontekstvindue bedre svar?

Det betyder, at modellen kan se mere på én gang. Det hjælper ved lange dokumenter, men fokuserede prompts med kun det relevante materiale giver stadig som regel skarpere resultater.

Opsummering

AI tokens meaning er enkel, når du først har set det: tokens er de små tekststykker, en model læser og skriver, og de bestemmer pris, hastighed og hvor meget modellen kan huske. Skriv strammere prompts, genbrug gemt kontekst og vælg den rigtige model til opgaven. Vil du have ét budget i stedet for fem, så kom i gang med Content24 eller sammenlign abonnementer på vores prisside.