Les paramètres sont les valeurs internes d'un modèle, ajustées pendant l'entraînement, qui encodent ce qu'il a appris. Leur nombre donne l'échelle du modèle : quelques millions pour un petit modèle spécialisé, des centaines de milliards pour les plus grands LLM. Plus de paramètres signifie plus de capacité, mais aussi plus de coût.
En pratique chez Gensai
Gensai arbitre en connaissance de cause : un modèle plus petit et bien contextualisé bat souvent un géant mal employé.