🇹🇷 Turkish-Qwen3.6-35B-A3B-Reasoning

İlk Türkçe reasoning fine-tune modeli — Qwen3.6-35B-A3B (MoE) tabanlı

Qwen3.6-35B-A3B üzerine 1.875 Türkçe chain-of-thought reasoning trace ile fine-tune edilmiştir. Model, Türkçe problemleri <think>...</think> formatında adım adım düşünerek çözer.

🔥 Neden bu model?

• Türkçe reasoning yapabilen ilk Qwen3.6 fine-tune
• MoE mimarisi: 35B toplam, sadece 3B aktif parametre — hızlı inference
• Matematik, mantık, kodlama, fen bilimleri ve genel kültür alanlarında Türkçe düşünme zinciri
• 201 dil desteği (Qwen3.6 base'den miras)

Örnek Çıktı

Soru: Bir sınıfta 30 öğrenci var. 18'i futbol, 14'ü basketbol oynuyor. 6 öğrenci hiçbir spor yapmıyor. Hem futbol hem basketbol oynayan kaç öğrenci vardır?

<think>
Adım 1: En az bir sporla uğraşan öğrencileri belirle
30 - 6 = 24 öğrenci

Adım 2: Kapsama-dışlama ilkesini uygula
|F ∪ B| = |F| + |B| - |F ∩ B|
24 = 18 + 14 - |F ∩ B|
|F ∩ B| = 32 - 24 = 8

Doğrulama:
Sadece futbol: 10 + Sadece basketbol: 6 + İkisi: 8 + Hiçbiri: 6 = 30 ✓
</think>

Cevap: Hem futbol hem basketbol oynayan **8 öğrenci** vardır.

Kullanım

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "nypgd/Turkish-Qwen3.6-35B-A3B-Reasoning"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

messages = [
    {"role": "system", "content": "Sen Türkçe düşünen ve problem çözen bir yapay zeka asistanısın."},
    {"role": "user", "content": "f(x) = x³ - 6x² + 11x - 6 fonksiyonunun köklerini bulunuz."}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=4096, temperature=0.7, top_p=0.8, top_k=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Ollama (GGUF)

ollama run hf.co/nypgd/Turkish-Qwen3.6-35B-A3B-Reasoning-GGUF:Q4_K_M

vLLM

vllm serve nypgd/Turkish-Qwen3.6-35B-A3B-Reasoning --max-model-len 4096

Eğitim Detayları

Parametre	Değer
Base Model	Qwen/Qwen3.6-35B-A3B (MoE, 35B total / 3B active)
Yöntem	bf16 LoRA (r=16, alpha=32)
Hedef Modüller	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Eğitilebilir Param.	931M / 36B (%2.58)
Dataset	1.875 Türkçe reasoning trace
Kaynak	Opus-4.6-Reasoning → Gemini Flash ile Türkçeye çeviri
Epoch	3
Batch Size	1 × 8 (gradient accumulation) = 8
Learning Rate	2e-4 (cosine scheduler, 20 warmup steps)
Max Seq Length	4096
Precision	bf16
Optimizer	AdamW 8-bit
GPU	NVIDIA RTX PRO 6000 Blackwell (95 GB VRAM)
Eğitim Süresi	~3 saat 44 dakika
Framework	Unsloth + TRL
Final Train Loss	0.5177

Loss Eğrisi

Epoch 1: 1.20 → 0.69  (hızlı düşüş)
Epoch 2: 0.75 → 0.43  (stabil iyileşme)
Epoch 3: 0.35 → 0.22  (ince ayar)
Final:   0.5177 (ortalama)

Dataset

nypgd/turkish_reasoning_dataset

Claude Opus 4.6 reasoning trace'lerinden (Crownelius/Opus-4.6-Reasoning-3300x) Gemini 2.5 Flash ile Türkçeye çevrilerek oluşturulmuştur.

Kategori	Sayı
Matematik	1.749
Kodlama	128
Toplam	1.875

Zorluk	Sayı
Medium	1.817
Hard	27
PhD	33

Test Sonuçları

Model 5 farklı kategoride test edilmiştir:

Kategori	Soru	Sonuç
📐 Matematik	Dikdörtgen alan hesabı	✅ Doğru (152 cm²), adım adım çözüm
🧩 Mantık	Küme kesişim problemi	✅ Doğru (8 öğrenci), kapsama-dışlama
💻 Kodlama	String ters çevirme	✅ Çalışan kod, O(n) analizi
🔬 Fen	Everest'te kaynama noktası	✅ Doğru (~70°C), Clausius-Clapeyron
📚 Atasözü	"Ak akçe kara gün içindir"	✅ Detaylı analiz, güncel uygulama

Thinking Formatı

Model, Qwen3.6'nın native thinking formatını kullanır:

<think>
Adım adım düşünme süreci burada...
- Problemi analiz et
- Değişkenleri tanımla
- Çözüm yolunu uygula
- Doğrula
</think>

Nihai cevap burada.

Thinking'i kapatmak için:

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)

Sınırlamalar

• Dataset ağırlıklı olarak matematik (%93) içerdiğinden, kodlama ve genel bilgi alanlarında performans daha düşük olabilir
• Çeviri tabanlı dataset olduğundan, bazı kültürel bağlamlar tam Türkçe olmayabilir
• MoE modeli olduğundan, GGUF quantize sırasında bazı kalite kayıpları yaşanabilir

Lisans

Apache 2.0 — Qwen3.6 lisansı ile uyumlu.

Yazar

nypgd — Bursa Uludağ Üniversitesi, Bilgisayar Mühendisliği Doktora Adayı

Teşekkür

• Qwen Team — Qwen3.6 base modeli
• Unsloth — 2x hızlı fine-tuning framework
• Crownelius — Opus 4.6 Reasoning dataset

---