Forklaring af mysteriet om tokenstørrelse i AI:
Et gådefuldt eventyr!
April 6, 2023 11: 01 pm
Forestil dig, at hvert ord og tegnsætningstegn i en tekst er som en puslespilsbrik. Når vi fodrer et stykke tekst ind i en AI-sprogmodel, kan det kun fungere med et vist antal puslespilsbrikker ad gangen
