---
pipeline_tag: text-generation
language:
- tr
- en
tags:
- llama
- text-generation
- custom-model
- pre-trained
license: apache-2.0
---

# SykoLLM-V4.4 

SykoLLM-V4.4, LLaMA mimarisi temel alınarak **sıfırdan (from scratch)** eğitilmiş özel, hafif ve hızlı bir dil modelidir. Düşük kaynak tüketimi ile metin üretimi (text generation) görevlerini yerine getirmek üzere tasarlanmıştır.

##  Eğitim Detayları (Training Details)

Bu model ince ayar (fine-tuning) yapılmamış, tamamen sıfırdan pre-train edilmiştir. Eğitim süreciyle ilgili detaylar şunlardır:

* **Veri Seti:** 1.6 Milyon örnek (example)
* **Donanım:** Nvidia A100 GPU
* **Eğitim Süresi:** Yaklaşık 20 saat
* **Eğitim Tipi:** Pre-training (Sıfırdan)

## 📊 Model Özellikleri (Model Specs)

Modelin teknik özellikleri aşağıdaki gibidir:

* **Mimari:** LlamaForCausalLM
* **Parametre Boyutu:** Kompakt (1024 Hidden Size, 20 Gizli Katman)
* **Bağlam Penceresi (Context Window):** 1024 token
* **Dikkat Başlıkları (Attention Heads):** 8 (Num Key Value Heads: 8)
* **Kelime Dağarcığı (Vocab Size):** 32,000
* **Veri Tipi:** `bfloat16` (Daha verimli bellek kullanımı ve hızlı çıkarım için)
* **Parametre Sayısı** `~338 Milyon`

## Karşılaştırma Testleri (Her test 100 örnek ile yapılmıştır.)

![Screenshot_20260222_130837_Google](https://cdn-uploads.huggingface.co/production/uploads/67daa37bf03eefed4e8d1f7d/w_FER9M2Gyh9ViV8AN5vg.png)

![Screenshot_20260222_130825_Google](https://cdn-uploads.huggingface.co/production/uploads/67daa37bf03eefed4e8d1f7d/JAorC7b6CyusAtePxJyrW.png)

![Screenshot_20260222_130813_Google](https://cdn-uploads.huggingface.co/production/uploads/67daa37bf03eefed4e8d1f7d/czEno7kVaTfEotz1kbahd.png)

**SykoLLM-V4.4'ün ARC-EASY** testinde **%3** oranında **düşüş** yaşamasının sebebi **yıkıcı unutma'dır** 

Ancak son çıkan modelim olan **SykoLLM-V4.4'ün** testlerde genel olarak daha **başarılı** olmuştur. 



## Nasıl Kullanılır? (Quick Start)

Modeli Hugging Face `transformers` kütüphanesi ile saniyeler içinde projene dahil edebilirsin.

Öncelikle gerekli kütüphaneleri kurduğundan emin ol:


`pip install transformers torch`

Ardırdan aşağıdaki kodla birlikte modeli çalıştırabilirsiniz:

```bash
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Modelin repo adı
model_id = "syko818121/SykoLLM-V4.4"

# Tokenizer ve Modeli yükleme
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

# Test metni
user_message = "6 + 6 kaç eder?"

# Llama 3 orijinal chat template'inin manuel olarak eklenmesi
# user ve assistant rolleri ile special token'lar korundu
prompt = (
    f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n"
    f"{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# Metin üretimi
outputs = model.generate(
    **inputs, 
    max_new_tokens=100, 
    temperature=0.15, 
    top_p=0.9,
    early_stopping=True,
    repetition_penalty=1.16,
    do_sample=False
)

# Çıktıyı decode etme
response = tokenizer.decode(outputs[0], skip_special_tokens=True)

# Sadece asistanın verdiği cevabı temiz bir şekilde alma
final_response = response.split("assistant\n\n")[-1].strip()

print(final_response)