Token

Token - AI uchun matnning eng kichik birligi: ba'zan butun so'z, ba'zan so'zning bir qismi. Masalan "tushunmoqda" ikki-uch tokenga bo'linishi mumkin. AI xizmatlarining narxi va bir so'rovda qancha matn yuborish/olish mumkinligi (Context window) aynan token sonida hisoblanadi, harflar yoki so'zlar sonida emas.