Töz-1.5, Töz AI'ın sıfırdan eğittiği 604 milyon parametreli Türkçe sohbet modelidir. 15 milyar Türkçe token üzerinde ön eğitimden geçti; ardından Töz-1'inkinden ayrı, yeni hazırlanmış bir veri setiyle sohbet için ince ayar yapıldı. Ağırlıklar Apache-2.0 lisansıyla Hugging Face'te yayımlanıyor.
Aşağıdaki benchmark sonuçları sohbet ince ayarlı sürüme değil, ön eğitimli Töz-1.5-Base'e ait. SFT sürümünün ayrı bir benchmark ölçümü model kartında yayımlanmadı; bu nedenle o sürüm için skor ya da karşılaştırmalı yanıt örneği vermiyoruz.
Ölçek. Töz-1.5, 604M parametre ve 15B ön eğitim tokenıyla Töz-1-Base'ten daha büyük bir modeldir. Bu ölçek artışı tek başına her görevde daha iyi sonuç anlamına gelmez.
Türkçe görevler. Töz-1.5-Base; HellaSwag-tr, XCOPA-tr ve TurBLiMP ölçümlerinde model kartındaki karşılaştırma modellerinden daha yüksek skor aldı.
Kullanım. Transformers ağırlıklarına ek olarak 760 MB Q8 ONNX paketi de model deposunda yayımlandı. Sohbet sayfasında Töz-1.5'i seçip indirme onayını verdiğinizde dosya Hugging Face'ten tarayıcı önbelleğine alınır.
02Mimari
| Parametre | 604 milyon |
|---|---|
| Mimari | Qwen3 tarzı decoder-only transformer · Qwen3ForCausalLM |
| Katman / genişlik | 32 / 1152 |
| Dikkat | GQA · 9 sorgu başlığı, 3 KV başlığı · head dim 128 · QK-norm |
| FFN | SwiGLU · 4096 |
| Normalizasyon / konum | RMSNorm · RoPE (θ = 10.000) |
| Sözlük / bağlam | Türkçe için eğitilmiş 32k tokenizer · 1024 token |
| Embedding / bias | Girdi ve çıktı embedding'leri bağlı · bias yok |
| Eğitim | 15B token · FineWeb-2 + filtrelenmiş Wikipedia · JAX, TPU v5e-8 |
| Lisans | Apache-2.0 |
Mimari değerler ve eğitim bilgileri yayımlanmış model kartından alınmıştır.
03Benchmark'lar
Aşağıdaki sonuçlar ön eğitimli Töz-1.5-Base'in 0-shot ölçümleridir. Karşılaştırılan diğer modeller de aynı scriptle yeniden değerlendirildi; sohbet ince ayarlı Töz-1.5 bu tabloda ölçülmedi.
Sağduyu
HellaSwag-tr · acc_norm · %
Neden-sonuç
XCOPA-tr · acc_norm · %
Dilbilgisi
TurBLiMP · kabul edilebilirlik · 0-shot · %
Dil yetkinliği
Wikitext-2 · BPB · İngilizce · düşük iyi
Bilgi
Turkish-MMLU · doğruluk · şans düzeyi %20
Model kartı, karşılaştırılan üç modelin de bu ölçümde şans düzeyinde kaldığını bildiriyor; kesin skor yayımlanmamış.
TurBLiMP'te Töz modellerine BOS tokenı verilirken diğer HF modellerine verilmemiş; bu Töz modellerine küçük bir avantaj sağlayabilir. Wikitext-2 İngilizce bir ölçümdür; Türkçe ağırlıklı eğitim bu testte avantaj sağlamaz. Turkish-MMLU'da üç model de şans düzeyindedir.
04Kullanım
Töz-1.5 ağırlıkları ve tokenizer'ı Hugging Face model deposunda kullanılabilir. Model kartında Transformers ile yerel kullanım kodu bulunuyor; bu yolla modeli kendi Python ortamınızda çalıştırabilirsiniz.
Tarayıcı sohbetinde Töz-1.5'i seçip ilk mesajı gönderin; 760 MB Q8 model için indirme onayı çıkar. Onaydan sonra model Hugging Face'ten indirilir ve çıkarım tarayıcıda yapılır. Mesaj içeriği sunucuya gönderilmez.
Töz-1.5 ile sohbete başla. Adım adım kullanım ve değerlendirme notları: Töz-1.5 blog yazısı.
05Sınırlar
- Küçük model olduğu için bilgi uydurabilir; önemli yanıtları ayrıca doğrulayın.
- Ön eğitim verisi haber ağırlıklı olduğundan yanıtlar zaman zaman haber yazısı üslubuna kayabilir.
- Türkçe için eğitildi; diğer dillerde ve kod üretiminde zayıftır.
- Çok adımlı akıl yürütme ve geniş dünya bilgisi gerektiren sorularda daha büyük modellerin gerisinde kalır.
- Hesaplama için model,
<hesap>ve<sonuc>işaretleriyle harici hesap makinesi aracı kullanacak şekilde tasarlanmıştır. Bu araç döngüsü kurulmadan üretilen sayıların doğruluğuna güvenilmemelidir.