Qwen3-0.6B-Medical-Quebec LoRA

Description

Ce modèle est une adaptation LoRA de Qwen3-0.6B fine-tuné spécifiquement pour générer des notes médicales dans le contexte du système de santé québécois. Il a été développé pour l'application IntelliTranscript, un outil de transcription médicale 100% local. Notez qu'il s'agit d'une version préliminaire et que des améliorations seront apportées. Les données utilisées pour l'entrainement sont synthétiques et publiques et non reliées à des cas réels

Caractéristiques principales

• 🏥 Spécialisé médical québécois : Optimisé pour la terminologie et les pratiques médicales du Québec
• 📝 Format standardisé : Génère des notes structurées (#RC, #Problèmes de santé, #Conclusion)
• 🧠 Raisonnement préservé : Utilise le format <think>...</think> pour la chaîne de pensée

Utilisation

from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM

# Charger le modèle de base
base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")

# Charger les adaptateurs LoRA
model = PeftModel.from_pretrained(base_model, "votre-username/Qwen3-0.6B-Medical-Quebec")

# Prompt système médical
system_prompt = """Vous êtes un expert médical hautement qualifié. 
Analysez les informations patient et rédigez une note de consultation structurée en français québécois.

Structure requise:
#RC (Raison de consultation)
#Problèmes de santé  
#Conclusion
"""

# Génération
input_text = "Patient de 65 ans avec dyspnée et œdème des membres inférieurs..."
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": f"Analysez ce cas: {input_text}"}
]

# Formatage et génération
formatted = tokenizer.apply_chat_template(messages, tokenize=False)
inputs = tokenizer(formatted, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.7)
response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:])

Format des données d'entraînement

Le modèle a été entraîné sur des cas cliniques suivant ce format :

{
  "messages": [
    {
      "role": "system", 
      "content": "Prompt système médical..."
    },
    {
      "role": "user",
      "content": "Cas clinique désorganisé..."
    },
    {
      "role": "assistant", 
      "content": "<think>\nAnalyse du cas...\n</think>\n\n#RC\nConsultation pour dyspnée...\n\n#Problèmes de santé\n1) Insuffisance cardiaque congestive\n..."
    }
  ]
}

Performance

• Loss d'entraînement finale : 2.495
• Paramètres LoRA entraînables : 1.1M (0.19% du modèle)
• Mémoire utilisée : ~4 Go sur Mac M3 Pro
• Temps d'entraînement : 15 secondes

Spécialités médicales couvertes

• 🫀 Cardiologie : Insuffisance cardiaque, hypertension, arythmies
• 🫁 Pneumologie : MPOC, asthme, infections respiratoires
• 🩺 Endocrinologie : Diabète, thyroïde, métabolisme
• 👶 Pédiatrie : Croissance, vaccins, développement
• 👴 Gériatrie : Polypharmacie, critères Beers, déprescription

Contexte québécois

• Terminologie médicale québécoise
• Références aux protocoles RAMQ
• Adaptation aux spécificités du système de santé du Québec
• Considération des médicaments disponibles au Canada

Applications

Ce modèle est conçu pour être intégré dans :

• IntelliTranscript : Application de transcription médicale locale
• Assistants IA médicaux pour professionnels de santé québécois
• Outils de structuration de notes cliniques
• Systèmes d'aide à la décision pharmacothérapeutique

Limitations

• Modèle à des fins d'assistance seulement, ne remplace pas le jugement clinique
• Optimisé pour le français québécois, peut être moins performant dans d'autres variantes
• Entraîné sur des cas synthétiques, validation clinique recommandée
• Ne doit pas être utilisé pour des décisions médicales critiques sans supervision

Informations techniques

• Modèle de base : Qwen/Qwen3-0.6B
• Type d'adaptation : LoRA (Low-Rank Adaptation)
• Rang LoRA : 16
• Alpha LoRA : 32
• Dropout : 0.1
• Modules ciblés : q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj

Citation

@misc{qwen3-medical-quebec-2025,
  title={Qwen3-0.6B-Medical-Quebec: Fine-tuned Medical Language Model for Quebec Healthcare},
  author={IntelliSoins Team},
  year={2025},
  publisher={Hugging Face},
  howpublished={\url{https://huggingface.co/votre-username/Qwen3-0.6B-Medical-Quebec}}
}

Contact

Pour questions ou support :

• Application : IntelliTranscript
• Documentation : Voir repository du projet
• Issues : Via GitHub ou Hugging Face

---

⚠️ Avertissement médical : Ce modèle est un outil d'assistance et ne remplace en aucun cas l'expertise d'un professionnel de santé qualifié. Toujours valider les informations générées avec les guidelines cliniques appropriées.

Framework versions

• PEFT 0.17.0
• Transformers 4.46.0
• PyTorch 2.0+
• MLX 0.28.0 (compatible Apple Silicon)