🧙‍♂️ LLightPro

Компактная модель. Мощная логика.

Высококачественная дообучка экспериментальной модели для продвинутых рассуждений на русском языке

🤗 Hugging Face • 📊 Dataset • 🔧 Base Model

---

📖 О модели

LLightPro — это специализированная дообучка экспериментальной базовой модели p-e-w/Qwen3-4B-Instruct-2507-heretic, оптимизированная для русского языка и сложных задач рассуждения, программирования и логических головоломок с использованием элитного датасета GrandMaster2.

В отличие от стандартных LoRA-дообучек, эта модель использует технологию DoRA (Weight-Decomposed Low-Rank Adaptation), что позволяет ей изучать тонкие нюансы рассуждений без катастрофического забывания. Обучение проводилось в чистом bfloat16 (без квантизации) на NVIDIA RTX 4090 для максимальной точности.

---

✨ Ключевые особенности

Особенность	Описание
🧠 Продвинутая архитектура	Построена на экспериментальной версии Qwen3 "Heretic"
🇷🇺 Русский язык	Дообучена для высококачественной работы с русским языком
⚡ Технология DoRA	Weight-Decomposed LoRA (r=64, alpha=128) для превосходной способности обучения
💎 Безкомпромиссное качество	Обучение в нативной точности bfloat16 без квантизации
📚 Элитные данные	Дообучка на оптимизированной версии Vikhrmodels/GrandMaster2
🎯 Точная настройка	Низкая скорость обучения с косинусным планировщиком для предотвращения переобучения

---

🎯 Основные применения

• 💬 Диалоговые системы на русском языке
• 🧩 Логические задачи и головоломки
• 💻 Генерация кода с комментариями на русском
• 🎭 Ролевые игры (Role-playing)
• 📝 Сложные рассуждения и анализ
• 🤖 Ассистенты для русскоязычных пользователей

---

📊 Технические детали обучения

⚙️ Оборудование и время 🖥️ GPU: NVIDIA RTX 4090 (24GB) ⏱️ Время обучения: ~30 часов 🔢 Эпохи: 1 (для избежания переобучения)	🧬 Архитектура 📦 Базовая модель: Qwen3-4B Heretic 🎛️ Метод: DoRA (все линейные слои) 📈 Rank: 64 / Alpha: 128 📏 Контекст: 4096 токенов
🔬 Точность 💾 Precision: bfloat16 🚫 Без квантизации при обучении ⚡ Оптимизатор: paged_adamw_8bit	📚 Данные 📖 Датасет: GrandMaster2 (оптимизированный) 🎯 Фокус: Русский язык + reasoning 🎲 Специализация: Role-playing

---

💻 Использование

🐍 Python (Transformers)

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# Загрузка модели
model_id = "AugustLight/LLightPro"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# Пример использования
messages = [
    {"role": "system", "content": "Ты полезный ассистент, заточенный на помощь в ответах на вопросы на русском языке."},
    {"role": "user", "content": "Напиши функцию на Python для решения задачи о рюкзаке с использованием динамического программирования."}
]

text = tokenizer.apply_chat_template(
    messages, 
    tokenize=False, 
    add_generation_prompt=True
)

inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=1024,
    temperature=0.7,
    top_p=0.9,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

🦙 llama.cpp (GGUF)

# Скачайте GGUF версию модели
# Запустите с помощью llama.cpp
./main -m model.gguf -p "Ты полезный ассистент..." -n 512

📝 Рекомендуемые параметры генерации

generation_config = {
    "max_new_tokens": 1024,
    "temperature": 0.7,       # Для творческих задач: 0.8-1.0
    "top_p": 0.9,
    "top_k": 50,
    "repetition_penalty": 1.1,
    "do_sample": True
}

---

🎨 Примеры промптов

💬 Диалоговый ассистент

messages = [
    {"role": "system", "content": "Ты дружелюбный и полезный ассистент."},
    {"role": "user", "content": "Объясни принцип работы нейронных сетей простыми словами."}
]

💻 Генерация кода

messages = [
    {"role": "system", "content": "Ты опытный программист Python."},
    {"role": "user", "content": "Создай класс для работы с двоичным деревом поиска с методами вставки и поиска."}
]

🎭 Ролевая игра

messages = [
    {"role": "system", "content": "Ты мудрый волшебник из средневекового фэнтези мира."},
    {"role": "user", "content": "Расскажи мне о древнем артефакте, который я нашел."}
]

---

📈 Производительность

• ✅ Русский язык: Высокое качество генерации текста
• ✅ Reasoning: Улучшенные способности к логическим рассуждениям
• ✅ Coding: Качественная генерация кода с комментариями
• ✅ Role-playing: Глубокая проработка персонажей
• ⚠️ Размер: 4B параметров — компактная и быстрая модель

---

⚠️ Ограничения

• 📏 Контекст ограничен 4096 токенами
• 🔬 Экспериментальная базовая модель может иметь непредсказуемое поведение
• 🌐 Оптимизирована в первую очередь для русского языка
• 📊 Может требовать дополнительной настройки для специфических задач

---

📜 Лицензия

Эта модель следует лицензированию базовой модели Qwen и датасета GrandMaster. Пожалуйста, обратитесь к оригинальным репозиториям для подробной информации о лицензиях:

• Qwen License
• GrandMaster2 Dataset

---

🙏 Благодарности

• Base Model: p-e-w/Qwen3-4B-Instruct-2507-heretic
• Dataset: Vikhrmodels/GrandMaster2
• Training Framework: HuggingFace TRL & PEFT

---

💜 Особая благодарность

Огромная благодарность AniworldAI за предоставленные вычислительные мощности для обучения этой модели!

Без их поддержки эта работа была бы невозможна. ❤️

---

Обучено с ❤️ используя TRL и PEFT

Вопросы? Предложения? Создайте Issue!

⭐ Если модель вам помогла, поставьте звёздочку!