File size: 3,535 Bytes
44ec1a6 285dcb9 e059219 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 |
---
library_name: transformers
license: mit
datasets:
- Clemylia/Fondation-pretrain
- Clemylia/Train-intermeda
language:
- fr
pipeline_tag: text-generation
---
# 🚀 Gheya-1 : La Nouvelle Génération de Fondations SLM 🚀
Bienvenue à la nouvelle ère de l'intelligence artificielle ultra-spécialisée !
## ✨ Vue d'Ensemble du Modèle
**Gheya-1** est le nouveau modèle de fondation de l'écosystème **LES-IA-ETOILES**, marquant le remplacement de l'ancienne série *Small-lamina*. Ce modèle est conçu pour être la **base la plus robuste et la plus stable** pour vos futurs affinages spécialisés.
| Caractéristique | Spécification | 🎯 Avantage Clé pour l'Utilisateur |
| :--- | :--- | :--- |
| **Famille** | Gheya | Nouvelle fondation, plus performante que la série *Lamina*. |
| **Paramètres** | **$202$ Millions** | 4x plus de capacité que l'ancien standard ($51$M), assurant une meilleure stabilité linguistique. |
| **Statut** | **Point de Contrôle Précoce** | Version *Alpha* : Prête pour l'affinage, mais ne doit pas être utilisée en l'état pour l'inférence générale. |
| **Usage Principal** | **Base de *Fine-Tuning*** | Idéal pour créer vos propres SLM de niche ultra-spécialisés (comme un successeur à Nelya ou Charlotte). |
---
## 🚧 État Actuel : Pourquoi les Résultats Sont Étranges
**Gheya-1** a été entraîné sur un **corpus ciblé** comprenant de la méta-connaissance sur l'IA, les SLM et des textes de biologie.
➡️ **Conséquence :** Le modèle souffre d'un **sous-entraînement sévère** et d'une **sur-spécialisation précoce**.
* **Ce que vous allez voir :** Des générations très axées sur le vocabulaire technique (`clustering`, `hyperparamètres`, `temps de convergence`) même pour des prompts sans rapport (comme "Jeanne d'Arc").
* **Ce qu'il ne faut pas faire :** Ne pas l'utiliser pour de l'inférence générale. Il ne connaît ni l'histoire, ni la culture générale. Il n'est pas encore un "SLM intelligent".
### 💡 Le Point Positif
Le modèle a **validé l'architecture de $202$ millions**. Il est stable et prêt à absorber des millions de lignes de données supplémentaires, soit par la suite de notre entraînement, soit par votre propre *fine-tuning*.
---
## 🛠️ Utilisation Recommandée : Le Fine-Tuning
Le véritable potentiel de **Gheya-1** réside dans sa capacité à devenir la fondation pour vos propres projets.
### 1. ⚙️ Continuer le Pré-entraînement (pour les Experts)
Si vous souhaitez créer un SLM généraliste français à $202$M :
* **Action :** Alimentez-le avec des **centaines de milliers** de lignes de texte français diversifié et propre.
* **Résultat :** Le modèle stabilisera sa grammaire et gagnera en généralité.
### 2. 🎯 Création de SLM Spécialisés (pour Tous)
Si vous souhaitez créer une IA de niche (comme le Nekolien ou un assistant technique) :
* **Action :** Affinez (fine-tunez) **Gheya-1** sur votre **petit corpus personnalisé** (quelques centaines ou milliers de lignes suffisent).
* **Résultat :** La base de $202$M devrait apprendre votre tâche **plus rapidement** et générer des réponses **plus cohérentes et précises** que l'ancienne base de $51$M.
---
## 💖 Philosophie du Modèle
* Nous sommes impatients de voir les incroyables SLM de niche que vous allez créer à partir de cette nouvelle fondation !
* *Fait par **Clemylia** avec passion pour l'ingénierie et le codage.* |