La fenêtre de contexte est la quantité maximale de texte (en tokens) qu'un modèle peut prendre en compte d'un coup : la conversation, les documents fournis, ses propres réponses. Au-delà, l'information sort du champ. Sa taille conditionne la capacité à travailler sur de longs documents et à garder le fil d'un échange.
En pratique chez Gensai
Gensai conçoit ses RAG pour n'injecter dans la fenêtre que les passages utiles : plus précis, plus rapide et moins coûteux.