Arkiv

Forklaring af mysteriet om tokenstørrelse i AI:
Et gådefuldt eventyr!

Forestil dig, at hvert ord og tegnsætningstegn i en tekst er som en puslespilsbrik. Når vi fodrer et stykke tekst ind i en AI-sprogmodel, kan det kun fungere med et vist antal puslespilsbrikker ad gangen