Sözlük › Token

Token

Dil modellerinin metni işlerken kullandığı en küçük parça.

Token, bir dil modelinin metni böldüğü temel birimdir — bir kelime, kelime parçası veya noktalama olabilir. Türkçe gibi ekli dillerde bir kelime birden çok token'a bölünür. API ücretlendirmesi ve model bağlam sınırları genelde token üzerinden hesaplanır; AIX ise kullanımı daha anlaşılır olsun diye kelime bazlı ölçer.

Metninde bu iz var mı? Ücretsiz AI Yazı Dedektörü ile kontrol et.

İlgili kavramlar

AI izi (AI tell)Burstiness (patlamalılık)Perplexity (şaşkınlık)E-E-A-THelpful Content