Token Nedir?

Yapay zeka modelleri kelimeleri değil, "token" adı verilen parçaları işler. İngilizcede 1000 token yaklaşık 750 kelimeye denk gelirken, Türkçede ekler nedeniyle 1000 token yaklaşık 400-500 kelimeye denk gelebilir. Bu araç, ortalama 1 kelime = 1.5 token varsayımıyla (Türkçe için optimize edilmiş) hesaplama yapar.