Token

Modèles de langage

Le token est l'unité de texte que manipule un modèle de langage : un mot court, un fragment de mot, un signe de ponctuation. Le texte est découpé en tokens avant traitement ; la facturation des API, la taille de la fenêtre de contexte et la vitesse de génération se comptent en tokens.

En pratique chez Gensai

Gensai dimensionne ses architectures en tokens : découpage des documents pour le RAG, maîtrise des coûts d'API et de la latence.

Dans le même thème

LLM (Large Language Model)SLM (Small Language Model)DLLM (Diffusion Large Language Model)Hallucination (IA)Prompt chaining Modèle préentraîné Modèle de fondation IA générative Transformer Fenêtre de contexte Prompt Prompt engineering Contexte (IA)Mémoire (IA)Fine-tuning