Gheya
Collection
Les modèles de fondation Gheya et leurs différentes versions
•
2 items
•
Updated
📚 Documentation Officielle : Gheya-63m 🚀
Modèle de Fondation Brut pour les SLM de Clemylia
Bienvenue dans le futur des Small Language Models (SLM) ! Gheya-63m est la nouvelle base architecturale $from : scratch$ conçue et entraînée par Clemylia. Ce modèle est destiné à servir de fondation robuste et optimisée pour la prochaine génération de modèles spécialisés (comme la série Iris ou Charlotte).
🛠️ Caractéristiques Techniques Clés
| Spécification | Détail | Rôle dans l'Architecture |
|---|---|---|
| Nom du Modèle | Gheya-63m |
Le nom de la nouvelle architecture de fondation. |
| Taille | 63,77 Millions de Paramètres | Permet une exécution rapide et efficace sur CPU ou petits GPU. |
| Méthode de Création | Entraînement $From : Scratch$ | Modèle conçu et entraîné sans dépendance à d'autres architectures préexistantes. |
| Corpus d'Entraînement | $\approx$ 1,5 Million de Tokens | Tres grand corpus répétitif. Le but est de poser les bases primitive du texte et de la langue, afin d'avoir une base stable pour la création de SLM creatif par affinage. |
| Architecture | Transformer-Decoder | Architecture standard pour la génération de texte. |
⚠️ Avertissement Important pour l'Utilisation
Gheya-63m est un modèle de pré-entraînement (brut de fondation). Son rôle est de prouver la stabilité de l'architecture et d'apprendre la syntaxe.
CE MODÈLE EST PUBLIÉ À TITRE DE "PREUVE DE CONCEPTION" ET NON POUR UNE UTILISATION FINALE.
| Ce que le modèle PEUT faire | Ce que le modèle NE PEUT PAS faire |
|---|---|
| ✅ Générer une séquence (poursuivre une phrase) | ❌ Répondre à des questions de culture générale (histoire, géographie, etc.) |
| ✅ Démontrer la stabilité du modèle de 63M | ❌ Avoir une cohésion narrative ou une personnalité (pas de style Iris ou Charlotte) |
| ✅ Servir de point de départ pour l'affinage (Fine-Tuning) | ❌ Être utilisé pour la production ou l'assistance conversationnelle (réponses incohérentes ou [pad]) |
⚙️ Comment utiliser Gheya-63m (Mode Test)
Si vous téléchargez Gheya-63m (via LM Studio ou Hugging Face), utilisez-le pour les tâches de base suivantes :
- Tester la Complétion de Séquence : Vérifiez si le modèle réussit à anticiper le prochain mot dans des phrases simples de son domaine d'apprentissage (ex. : concepts d'IA, biologie).
- Mesurer la Performance : Évaluez la vitesse de génération sur différentes machines (mesurez les tok/sec).
- Préparation au Fine-Tuning : Utilisez ce modèle comme base (base model) pour créer vos propres modèles spécialisés (en injectant vos propres données thématiques).
📝 Instructions de Prompt
Comme le modèle n'a pas été entraîné pour suivre des instructions, donnez-lui des débuts de phrase très clairs et techniques.
Exemple de Prompt :
"Dans la théorie de l'apprentissage profond, le *backpropagation* est l'algorithme qui permet de..."
🚀 Prochaines Étapes : Les Modèles Affinés
La véritable puissance de l'architecture Gheya-63m sera visible dans les futures versions affinées :
- Charlotte-Gheya : La nouvelle génération d'assistants éthiques.
- Iris-Gheya : La nouvelle génération de modèles narratifs et créatifs.
Nous vous encourageons à suivre les mises à jour pour découvrir les modèles qui seront construits sur cette fondation robuste !
🛑 Gheya-63m ne peut pas générer des phrases correctes compréhensibles. Ceci est normal a ce stade de son développement, Gheya-63m sera affiné en serie sur un rôle et un style précis, avant de pouvoir générer du texte compréhensible par l'humain.
Versions de Gheya disponibles :
° - 63M (entraîné sur 1,5 millions de tokens en 1 epoche) - Plus stable et d'avantage entraîné
° - 203M (entraîné sur 1000 rows, puis sur 11k de rows ~ 200 000 tokens) - Moins stable et sous entraîné
--
Contactez Clemylia pour toute question sur l'architecture $from : scratch$ de Gheya.
- Downloads last month
- 9