Ana sayfa › Veri setleri › Mihenk-3D

Mihenk-3D

• Benchmark
• CC BY 4.0
• 43 görev
• Türkçe + İngilizce
• v0.5

Mihenk-3D, bir dil modelinin yazılı bir tarifi okuyup OpenSCAD ya da three.js kodu yazarak 3B katı model üretme becerisini ölçer. Kod çalıştırılır, ortaya çıkan katı model ölçülür ve otomatik puanlanır. İnsan hakemi yok.

Mihenk taşı, altının gerçek değerini sınamakta kullanılan taş demek; benchmark'ın adı oradan.

Bir bakışta

Görev grupları

Nasıl puanlanır?

1. Modelin cevabından kod çıkarılır (varsa Markdown kod bloğunun içi).
2. Kod bir katı modele çevrilir: OpenSCAD manifold arka ucuyla işlenir; three.js kodu Node.js'te çalıştırılıp sahnedeki ağlar birleştirilir.
3. Görevin kontrolleri uygulanır: kod çalışıyor mu, tek ve su geçirmez bir gövde mi, ölçüler ve konum (sınırlayıcı kutu) doğru mu, hacim doğru mu, delik sayısı (genus) doğru mu, belirli yoklama noktalarında malzeme ya da boşluk var mı (genelleştirilmiş sarım sayısıyla), istenen simetri var mı.
4. pass@1: bir görev ancak tüm kontroller geçerse çözülmüş sayılır. Yanında kısmi puan (geçen kontrol oranı) verilir.

Beklenen değerler çözümden okunmaz, build_tasks.py içindeki formüllerden bağımsız hesaplanır. Her görev ayrıca bilerek yanlış çözümlerle (bir fazla ya da eksik korkuluk, yanlış eksen, DIN ile ISO karışıklığı) denenip kontrollerin bunları yakaladığı doğrulandı.

Değerlendirme protokolü

• Görev metni, sistem istemi olmadan tek bir kullanıcı mesajı olarak gönderilir.
• Her göreve tek deneme hakkı.
• Model kodunu çalıştıramaz, araç kullanamaz.

Gizli set ve veri sızıntısı

Açık görevler eninde sonunda eğitim verisine karışabilir. Bu yüzden Töz AI, açık görevlerin sayıları değiştirilmiş ikizlerinden oluşan gizli bir set tutuyor (örneğin M12 yerine M10 cıvata, NEMA 17 yerine NEMA 23, FIBA yerine FIFA sahası). Aynı beceriyi sınarlar ama cevapları farklıdır; açık çözümleri ezberlemek işe yaramaz. Açık ve gizli puanlar arasındaki büyük fark, veri sızıntısı işareti sayılır. v0.5 itibarıyla gizli set sonuçları yayımlanmadı.

Benchmark dosyaları, eğitim derlemelerinden dışlanmaları için bir kanarya dizesi taşır; bu veriyi eğitim derlemelerine almayın. Dizenin kendisini bilerek bu sayfada paylaşmıyoruz, veri setinin içinde.

Sonuçlar

v0.5 liderlik tablosunda yedi model var ve tablo Hugging Face'te güncelleniyor; burada kopyalayıp eskitmek yerine oraya bağlanıyoruz: liderlik tablosu. Kartın kendi notu: en güçlü modeller açık sette tavana yakın, bu yüzden benchmark şimdilik daha çok model katmanlarını ayırıyor.

Bilinen sınırlar

• En güçlü modeller açık sette tavana yakın.
• Türkçeye özgü bir hata türü gözlendi: Türkçe istemler bazı modellerin tanımlayıcıları Türkçe harflerle yazmasına yol açıyor (örneğin module cıvata()). OpenSCAD bunları reddediyor, kod hiç çalışmıyor.
• Sonuçların çoğu tek denemeden geliyor.

Hızlı başlangıç

OpenSCAD (2025+ sürüm, manifold arka uçlu), Node.js 20+ ve Python 3.10+ gerekir.

git clone https://huggingface.co/datasets/TozAI/mihenk-3d
cd mihenk-3d
python3 -m venv .venv && .venv/bin/pip install -r requirements.txt
npm install    # yalnızca three.js görevleri için

# referans çözümleri doğrula
.venv/bin/python grader.py data/tasks_tr.jsonl --self-test

# kendi modelinizin cevaplarını puanlayın
.venv/bin/python grader.py data/tasks_tr.jsonl --answers answers.jsonl --out results.jsonl

Atıf

@misc{mihenk3d,
  title  = {Mihenk-3D: A bilingual benchmark for code-based 3D modeling},
  author = {TozAI},
  year   = {2026},
  url    = {https://huggingface.co/datasets/TozAI/mihenk-3d},
  note   = {Version 0.5}
}

Veri seti ve kod Hugging Face'te, CC BY 4.0 lisansıyla.