Assistant juridique sur le droit foncier béninois
« Spécialisation d'un modèle de langage open source sur le droit foncier béninois, par fine-tuning paramétrique sur GPU contraint. »
Le Processus de Développement
De la conception à la mise en production, chaque étape est primordiale.
Analyse & Conception
Compréhension des besoins métiers et élaboration de l'architecture.
Développement & Tests
Écriture d'un code propre et mise en place de tests unitaires.
Déploiement
Mise en ligne et monitoring de la solution pour assurer sa fiabilité.
Entraîner un 7B sous contrainte mémoire
Quantization 4 bits pour la charge, adaptateurs LoRA pour l'entraînement, offloading disque au rechargement : la chaîne complète tient sur un GPU unique.
Technologies Utilisées
Le droit foncier béninois est mal couvert par les modèles généralistes. L'objectif était d'évaluer si une spécialisation légère suffisait à obtenir un assistant fiable, sans infrastructure lourde.
- Mistral-7B-Instruct
- LoRA / PEFT — rang 16, projections q · k · v · o
- Quantization 4 bits NF4 avec double quantization
- TRL · SFTTrainer · Transformers · Datasets
Impact du Projet
Le pipeline fonctionne de bout en bout — chargement quantifié, entraînement, sauvegarde, rechargement et inférence. Le modèle obtenu reste toutefois insuffisant : il produit des réponses inexactes sur les questions précises, faute d'un corpus d'entraînement assez fourni. Conclusion retenue : sur un domaine juridique de niche et à faible volume documentaire, une approche par recherche augmentée (RAG) est plus adaptée qu'un fine-tuning. C'est la direction de la prochaine version.
Non concluant
corpus insuffisant — réorientation vers le RAG
Découvrez ce projet
Ce projet est une vitrine de mes compétences en tant que développeur full-stack.