Ana sayfa › Blog

Küçük dil modeli (SLM) nedir? 195 milyon parametreyle ne yapılabilir?

4 Ekim 2026 · 2 dk okuma · Töz AI

Küçük dil modeli, birkaç yüz milyon ile birkaç milyar parametre arasındaki, kullanıcının kendi cihazında çalışabilecek kadar küçük modellere denir. Neden var, ne işe yarar ve nerede yetersiz kalır?

Tanım

Dil modeli, bir metnin devamını tahmin etmeyi öğrenmiş bir sinir ağıdır. "Büyük" ve "küçük" arasında resmî bir sınır yok; pratikte ChatGPT tarzı sistemlerin arkasındaki modeller milyarlarca ila yüzlerce milyar parametreye sahipken, küçük dil modelleri (SLM) birkaç yüz milyon ile birkaç milyar parametre aralığında kalır ve bir telefonda ya da dizüstü bilgisayarda çalışabilir. Töz-1, 195 milyon parametreyle bu aralığın küçük ucunda.

Boyut sezgisi

Bir modelin belleği kabaca parametre sayısı × parametre başına bayt kadardır. fp16'da parametre başına 2 bayt:

195 milyon, 175 milyarın yaklaşık 900'de biri. Bu fark bir sekmeye sığmakla bir veri merkezi gerektirmek arasındaki fark.

Neden küçük model?

• Cihazda çalışır. Sunucu gerekmez, internet bağlantısı yalnızca ilk indirmede gerekir.
• Gizlilik. Yazdığınız metin cihazınızdan çıkmak zorunda değil.
• Maliyet. Hizmeti sunan taraf için çıkarım maliyeti yaklaşık sıfır, çünkü hesabı kullanıcının işlemcisi yapar. Rakamlarla hâli için sunucu ve tarayıcı karşılaştırmamıza bakın.
• Eğitim ve deney. Sıfırdan eğitmek tek bir tüketici GPU'su ve ücretsiz bulut GPU'larıyla mümkün. Töz-1-Base, bir RTX 3060 Ti ve Kaggle'ın 2 × T4'ü ile eğitildi.

Neden uydurur?

Bir dil modelinin "bildiği", ağırlıklarında sıkıştırılmış istatistiktir. Parametre ve eğitim verisi azaldıkça dünya bilgisi azalır, ama model bunu bilmez: her soruya akıcı bir cevap üretmek üzere eğitilmiştir. Sonuç, kendinden emin yanlışlar. Töz-1'in model kartı bunu açıkça yazıyor: bilinen bir padişahı doğru kategoriyle tanımlayıp kaçıncı padişah olduğunu yanlış söyleyebilir.

Bu yüzden Töz-1'in eğitimindeki bir kural, modele bilmediği bilgiyi öğretmemek: Vikipedi tanımları, ham modele okutulup yalnızca modelin zaten bildiği varlıklar seçilerek alındı. Bilmediği bilgiyi öğretmek uydurmayı öğretir.

SLM ne zaman mantıklı?

Mantıklı: kısa ve sade metin üretimi, kalıplı sohbet, belirli bir alanda ince ayarlanmış bir yardımcı, gizliliğin önemli olduğu yerel uygulamalar, bir şeyi öğrenmek ve denemek.

Mantıksız: doğru bilgi gerektiren her iş (hukuk, sağlık, finans), uzun ve çok adımlı akıl yürütme, çok basamaklı hesap, kod yazma. Bunlar için büyük modeller ve doğrulama gerekir. Töz-1'in bilgi sorularında kullanılmaması gerektiğini model kartında kendimiz yazdık.

Deneyin

Bir SLM'in ne yapıp ne yapamadığını görmenin en iyi yolu denemek. Töz-1 tarayıcınızda çalışıyor; ona kısa bir şey sorun, sonra bilmediği bir şeyi sorun ve farkı görün. Mimarisi ve eğitimi için Töz-1 nedir yazısına bakabilirsiniz.