Türkçe Metin Yapay Zekada Neden Daha Pahalı?

"Dil vergisi" gerçek mi?

Evet. Aynı anlamı taşıyan bir metin, Türkçe yazıldığında İngilizceye kıyasla belirgin biçimde daha fazla token tüketir. Bu doğrudan faturanıza yansır.

Neden?

Dil modellerinin tokenizer'ları, eğitim verisinde en sık geçen karakter dizilerini tek bir token'a atar. Eğitim verisinin ezici çoğunluğu İngilizce olduğu için, İngilizce kelimelerin büyük kısmı tek token'dır.

Türkçe iki nedenle dezavantajlı:

1. Eklemeli yapı. Türkçede bir kök alabildiğine ek alır:

ev → evler → evlerimiz → evlerimizden → evlerimizdenmiş

Bu beş biçim, İngilizcede beş ayrı kısa kelimeyle ifade edilirken Türkçede tek uzun kelime olur ve tokenizer bunu 4-6 parçaya böler. Kelime sayısı azalır ama token sayısı artar.

2. Türkçeye özgü karakterler. ç, ğ, ı, İ, ö, ş, ü karakterleri UTF-8'de iki bayt tutar ve tokenizer sözlüğünde daha az temsil edilir. "ığ" veya "şç" gibi diziler çoğu zaman ayrı token olur.

Ölçüm

Basit bir karşılaştırma yapalım. Aynı paragrafın iki dildeki hali:

Dil	Karakter	Kelime	Yaklaşık token	Token/kelime
İngilizce	520	88	~118	1,34
Türkçe	505	68	~205	3,01

Karakter sayısı neredeyse aynı, token sayısı %74 daha fazla. Kelime başına token oranı ise iki katından fazla.

Farklı sağlayıcıların tokenizer'ları farklı sonuç verir; genel eğilim şu:

• Yeni nesil tokenizer'lar Türkçede 1,5-1,8 kat
• Eski tokenizer'lar 2-2,5 kat

Faturaya etkisi

Aylık 500 dolarlık bir API bütçeniz varsa ve uygulamanız tamamen Türkçe çalışıyorsa, aynı işi İngilizce yapan bir rakibinize göre yaklaşık 300-400 dolar fazla ödüyorsunuz demektir.

Bu, Türkçe konuşan pazara hizmet veren girişimler için yapısal bir maliyet dezavantajıdır ve fiyatlandırma modelinize yansıtılması gerekir.

Ne yapılabilir?

1. Sistem istemini İngilizce yazın. Modeller talimatı İngilizce alıp yanıtı Türkçe verebilir. Sistem istemi her istekte tekrarlandığı için buradaki tasarruf birikimlidir. Yanıt kalitesinde kayda değer bir kayıp olmuyor.

2. Prompt caching kullanın. Sistem istemi sabitse önbelleğe alın; girdi maliyetinin %90'ından tasarruf edin. Türkçe dezavantajını büyük ölçüde nötrler.

3. Çıktı uzunluğunu sınırlayın. Çıktı token'ı 4-8 kat pahalı. Türkçe çıktı zaten şişkin; "kısa yanıtla" talimatı burada iki kat değerli.

4. Gereksiz bağlamı atın. Sohbet geçmişini sınırsız taşımak yerine özetleyin. 10 turluk bir Türkçe sohbet, İngilizcedeki 20 turdan pahalıya gelir.

5. Küçük modelleri değerlendirin. Sınıflandırma, etiketleme, yönlendirme gibi işlerde en ucuz modeli kullanın. Dil vergisi orada da var ama taban fiyat düşük olduğu için mutlak etki küçük.

Türkçeye özel modeller çözüm mü?

Türkçe ağırlıklı eğitilmiş modellerin tokenizer'ları Türkçede çok daha verimli. Ancak genel yetenek açısından büyük modellerin gerisinde kalabiliyorlar. Karar, işin niteliğine bağlı:

• Basit sınıflandırma, duygu analizi, etiketleme → yerel/küçük model mantıklı
• Karmaşık akıl yürütme, kod, çok adımlı görev → büyük model, dil vergisine rağmen

Sonuç

Türkçe token maliyeti bir hata değil, tokenizer tasarımının doğal sonucu. Ortadan kaldıramazsınız ama caching, istem dili optimizasyonu ve çıktı kısıtlamasıyla etkisini yarıya indirebilirsiniz.

Bütçe planlarken Türkçe uygulamalar için 1,8 çarpanı kullanmak güvenli bir başlangıçtır.