Contexte du LLM et tokens
Les limites de tokens déterminent la quantité de texte et de données d’outils qu’Assistela peut envoyer dans un contexte de modèle ; elles ne représentent ni un nombre de messages ni le prix d’une réponse.
Signification d’un token ici
Un token est une petite unité de texte traitée par un LLM. Le contexte comprend la demande actuelle, le Chat récent, la mémoire, les informations temporaires, les descriptions des outils et leurs résultats. Un contexte plus long permet au modèle de voir davantage d’historique, mais peut être plus lent et plus coûteux.
Le Contexte maximal utilisable n’est pas le « nombre de tokens dans une réponse ». Il s’agit du budget de toute la zone d’entrée de travail qu’Assistela peut utiliser. Une partie est automatiquement réservée à la sortie du modèle.
Où modifier la limite
Ouvrez le compte IA
Choisissez Assistela → Réglages → Comptes IA et sélectionnez le compte à gauche.
Ouvrez l’onglet Modèle
Vous verrez la Limite détectée indiquée par le modèle ou le fournisseur et la Limite utilisée qu’Assistela applique réellement.
Développez Limites manuelles de tokens
Ne saisissez un nombre de tokens dans Maximum que si vous connaissez la contrainte du modèle ou souhaitez délibérément contrôler le coût.
Choisissez une valeur sûre
Utiliser la valeur sûre par défaut de 128K rétablit le plafond recommandé. Utiliser le maximum du modèle applique la limite technique détectée. Une valeur inférieure peut servir de plafond de coût.
Enregistrez, vérifiez et testez
Enregistrez le compte, lancez sa vérification de connexion et testez une conversation plus longue avec un outil que vous utilisez habituellement.
Le modèle perd plus vite des détails, Assistela compresse l’historique plus souvent et les tâches complexes utilisant plusieurs outils risquent de ne pas tenir. N’utilisez pas les valeurs minimales réservées aux experts pour un compte normal.
Compression automatique de l’historique
Sous Réglages → Avancé → Fonctionnement de l’application, le tableau Quand l’ancien Chat est résumé montre comment fonctionne la compression. Assistela raccourcit l’ancien historique avant que la limite totale ne soit atteinte, conserve une partie de la conversation récente et réserve de l’espace pour la sortie. Le seuil approximatif dépend de la taille du contexte du modèle.
La même page affiche les limites des Informations temporaires, des e-mails de l’Assistant personnel, des jours de Calendrier et des jours de Rappels. Il s’agit de parts du contexte disponible. Une valeur plus élevée n’est pas toujours préférable : davantage d’anciens e-mails peuvent évincer la demande actuelle ou les résultats des outils.
Schéma des outils et étapes de travail
- Chargement efficace/progressif : envoie d’abord la liste des outils et charge les détails complets au besoin. Ce mode est recommandé et économise du contexte.
- Schéma détaillé/complet : envoie immédiatement chaque description d’outil. Utilisez-le uniquement lorsqu’un modèle précis ne reconnaît pas les outils en mode progressif.
- Limite d’étapes de travail pour un message : détermine le nombre d’étapes intermédiaires qu’Assistela peut effectuer. Une limite plus élevée ne rend pas une réponse plus intelligente ; elle autorise seulement une exécution plus longue.
Autres options du modèle
- Utiliser le raisonnement du modèle : activez cette option uniquement pour un modèle qui prend en charge le raisonnement. Un effort plus élevé peut améliorer la qualité tout en augmentant la durée et le coût.
- Ce modèle prend uniquement en charge le texte : activez cette option s’il ne peut pas traiter les images ; Assistela ne lui enverra aucune donnée d’image.
- Exiger un appel d’outil lorsque le modèle promet une action : aide avec les modèles qui affirment parfois avoir agi sans appeler d’outil.
- Résumer les anciennes sorties d’outils : laissez cette option activée afin que les longs résultats anciens ne remplissent pas le contexte.
Conservez la valeur sûre par défaut de 128K, le chargement progressif du schéma et la compression automatique. Ne modifiez les limites que pour un modèle, un échec ou un budget précis, et vérifiez qu’Assistela suit toujours correctement la conversation.