qwen3-8b-cars

🇷🇺 Русскоязычная модель для консультаций по автомобилям, основанная на Qwen3-8B и дообученная на датасете автомобилей.

🚗 Описание

Эта модель была создана путем дообучения базовой модели Qwen3-8B на датасете автомобилей. Модель специализируется на ответах на вопросы об автомобилях, их характеристиках, преимуществах и особенностях.

🔧 Технические детали

• Базовая модель: Qwen/Qwen3-8B
• Метод обучения: LoRA (Low-Rank Adaptation)
• Датасет: ashatilovdev/cars
• Количество эпох: 3
• Learning rate: 2e-4
• LoRA Rank (r): 16

Результат LoRa адаптера

• Final training loss: ~0.10-0.12
• Trainable parameters: 43,646,976
• Все параметры: 8,234,382,336

💻 Использование

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "{HF_REPO_NAME}", 
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("{HF_REPO_NAME}", trust_remote_code=True)

# Пример запроса
messages = [
    {{"role": "system", "content": "Ты - эксперт в автомобилях."}},
    {{"role": "user", "content": "Расскажи мне про автомобиль XCITE X-Cross 7"}}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.7,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id,
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)