El modelo funciona para responder preguntas relacionadas al ámbito civil del estado de Oaxaca, México. Forma parte de un proyecto relacionado a un chatbot legal especializado en el ámbito civil mexicano. De parte de mi trabajo de tesis para obtener el grado de Maestro en Inteligencia Artificial (Universidad Tecnológica de la Mixteca, Huajuapan de León, Oaxaca, México).

Model Details

Training Data

El modelo fue entrenado con un dataset curado del Código Civil del Estado de Oaxaca. El dataset original (pregunta simple -> texto del artículo) fue enriquecido significativamente mediante generación sintética para crear un conjunto de datos más robusto, incluyendo:

Preguntas Conceptuales y de Razonamiento.

Solicitudes de Resumen y Explicaciones Simples.

Variaciones Coloquiales de las preguntas.

Ejemplos Negativos para enseñar al modelo sus límites.

Entrenado con el siguiente dataset: https://huggingface.co/datasets/bogdanrivera/legal_civiles_oaxaca_llama_unsloth_template

Training Hyperparameters

Framework: Unsloth
Técnica: Supervised Fine-Tuning (SFT) con PEFT/LoRA
lora_r: 16
lora_alpha: 16
lora_dropout: 0
target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
learning_rate: 2e-5 (recomendado)
num_train_epochs: 3 (recomendado)
per_device_train_batch_size: 2
gradient_accumulation_steps: 4
optimizer: adamw_8bit

Speeds, Sizes, Times

Tiempo de entrenamiento aproximado: ~3.5 horas.

Environmental Impact

Hardware Type: 1x NVIDIA GeForce RTX 4060 Laptop GPU
Hours used: 3.5
Cloud Provider: Local Machine
Compute Region: Huajuapan de León, Oaxaca, México.
Carbon Emitted: Aproximadamente 161 g de CO2eq, estimado con una potencia de 115W y un factor de emisión de 400 gCO2eq/kWh.

Technical Specifications

Model Architecture and Objective

El modelo base es un transformador de solo decodificador (decoder-only transformer) de la familia Llama 3.1. El objetivo del fine-tuning fue especializarlo en el dominio del Código Civil de Oaxaca mediante SFT con adaptadores LoRA.

Compute Infrastructure

Hardware

GPU: NVIDIA GeForce RTX 4060 Laptop GPU (8GB VRAM)

Software

unsloth
torch==2.7.1
transformers==4.53.2
peft==0.16.0
trl

Citation

APA:

Rivera, B. (2025). Oaxaca Civil Code Llama 3.1 8B (Version 1.0) [Model]. Hugging Face.

Model Card Authors

Bogdan Rivera

Model Card Contact

https://bogdanrivera.github.io/curriculumBogdan/

Downloads last month: 3