Töz-1.5 nedir? 604 milyon parametreli Türkçe sohbet modeli
28 Ekim 2026 · 5 dk okuma · Töz AI
Töz-1.5, 15 milyar Türkçe tokenla ön eğitilmiş, 604 milyon parametreli bir Türkçe sohbet modelidir. Ağırlıkları Apache-2.0 lisansıyla yayımlandı. Bu yazı, model kartındaki teknik bilgileri ve ölçümleri özetler; ölçülmeyen özellikler için skor ya da örnek uydurmaz.
Kısaca
Töz-1.5, Töz AI'ın sıfırdan eğittiği bir küçük dil modelidir. Ön eğitimden sonra, Töz-1'inkinden ayrı ve baştan hazırlanmış bir veri setiyle sohbet için ince ayarlandı. Model kartı, ağırlıkların temelini Qwen3 tarzı Qwen3ForCausalLM mimarisi olarak tanımlar; bu, modelin başka bir Qwen modelinden türetildiği anlamına gelmez.
Bu yazıdaki mimari ve değerlendirme bilgileri yayımlanmış Töz-1.5 model kartından alınmıştır. Karttaki benchmark sonuçları sohbet modeli değil, ön eğitimli Töz-1.5-Base içindir. Sohbet ince ayarlı sürüm için ayrı benchmark sonucu yayımlanmamıştır.
Mimari
| Parametre | 604 milyon |
|---|---|
| Katman / genişlik | 32 / 1152 |
| Dikkat | GQA: 9 sorgu başlığı, 3 KV başlığı, 128 boyutlu head ve QK-norm |
| FFN | SwiGLU, 4096 |
| Normalizasyon | RMSNorm |
| Konum kodlama | RoPE (θ = 10.000) |
| Sözlük / bağlam | Türkçe için eğitilmiş 32k tokenizer / 1024 token |
| Embedding | Girdi ve çıktı embedding'leri bağlı; bias yok |
| Ön eğitim | 15 milyar token · FineWeb-2 ve filtrelenmiş Wikipedia · JAX, TPU v5e-8 |
| Lisans | Apache-2.0 |
Benchmark sonuçları ne söylüyor?
Aşağıdaki tablo 0-shot değerlendirmedir. Model kartına göre karşılaştırılan modeller aynı scriptle yeniden değerlendirildi. Her satırın şans düzeyi ve ölçütü farklıdır; skorları tek bir genel "zeka" puanı gibi okumamak gerekir.
| Benchmark | Ölçüt | Şans | Töz-1.5-Base (604M) | ufakzeka-1-base (182M) | Töz-1-Base (195M) |
|---|---|---|---|---|---|
| HellaSwag-tr | acc_norm | %25 | %40,8 | %36,8 | %35,0 |
| XCOPA-tr | acc_norm | %50 | %60,6 | %59,8 | %55,8 |
| TurBLiMP | acc | %50 | %93,6 | %90,4 | %91,8 |
| Wikitext-2 (İngilizce) | BPB ↓ | — | 1,377 | 1,362 | 1,520 |
| Turkish-MMLU | acc | %20 | Şans düzeyi | Şans düzeyi | Şans düzeyi |
Töz-1.5-Base bu ölçümde Türkçe HellaSwag, XCOPA ve TurBLiMP sonuçlarında önde. İngilizce Wikitext-2'de ufakzeka-1-base biraz daha iyi; Turkish-MMLU'da üç model de şans düzeyinde. Model kartı, TurBLiMP'te Töz modellerine BOS tokenı verildiğini, diğer HF modellerine verilmediğini ve bunun Töz modellerine küçük bir avantaj sağlayabileceğini not ediyor.
Önemli ayrım: Bu sayılar Töz-1.5-Base'e aittir. Sohbet için ince ayarlı Töz-1.5'in aynı testlerdeki sonucu olarak sunulmamalıdır.
Hesaplama için araç kullanımı
Model kartında Töz-1.5'in aritmetik işlemleri harici bir hesap makinesiyle yapmak üzere eğitildiği açıklanıyor. Model işlemi <hesap>...</hesap> arasında üretir; uygulama bu ifadeyi güvenli bir hesap makinesinde hesaplayıp sonucu <sonuc>...</sonuc> biçiminde modele geri verir. Bu araç döngüsü kurulmazsa modelin kendi ürettiği aritmetik sonucuna güvenilmemeli.
Bu özellik model ağırlıklarının tek başına hesaplama yaptığı anlamına gelmez: uygulamanın ayrıca işaretleri tanıması, izin verilen işlemleri hesaplaması ve sonucu modele eklemesi gerekir.
Nasıl kullanılır?
Model kartındaki örnek, Transformers ile tokenizer ve modeli Hugging Face deposundan yükleyip sohbet şablonunu uyguluyor. Ağırlıklar ve tokenizer şu adreste:
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_id = "TozAI/Toz-1.5"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.float16)
messages = [{"role": "user", "content": "Fotosentez nedir?"}]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt",
return_dict=True,
)
with torch.no_grad():
output = model.generate(**inputs, max_new_tokens=256)
answer = tokenizer.decode(
output[0][inputs["input_ids"].shape[1]:],
skip_special_tokens=True,
)
print(answer)
Çalıştırma seçenekleri, donanım ve ek bağımlılıklar için model kartını izleyin. Ağırlıkların lisansı Apache-2.0'dır.
Tarayıcıdaki durum
Töz-1.5 ağırlıkları Transformers ile kullanılabilir. 760 MB Q8 ONNX sürümü de aynı Hugging Face deposunun onnx/ klasöründe yayımlandı ve tarayıcı sohbetindeki model seçicisine bağlandı. Sohbette Töz-1.5'i seçip indirme onayını verdikten sonra model tarayıcınıza indirilir ve yerel çalışır.
Sınırlar
- Küçük modeller yanlış bilgi üretebilir; önemli cevapları doğrulayın.
- Ön eğitim verisi haber ağırlıklı olduğu için yanıtlar zaman zaman haber yazısı üslubuna kayabilir.
- Türkçe için eğitildi; başka dillerde ve kod üretiminde zayıftır.
- Çok adımlı akıl yürütme ve geniş dünya bilgisi gerektiren konularda daha büyük modellerin gerisinde kalır.
- Turkish-MMLU ölçümünde şans düzeyinde kalması, bu ölçekte güvenilir sınav bilgisi beklenmemesi gerektiğini gösterir.
Kaynak
Bu yazıdaki model kartı bilgileri, ağırlıklar, kullanım kodu ve benchmark açıklamaları TozAI/Toz-1.5 deposundan alınmıştır. Ayrıntılar ve güncellemeler için model kartını esas alın.
Töz-1.5'in ağırlıklarını ve kullanım örneğini Hugging Face'te inceleyin.
Model kartını aç