Routage des modèles

Signification du routage

Assistela n’appelle pas un LLM uniquement pour répondre dans une conversation ordinaire. L’application utilise aussi des modèles pour résumer les anciennes conversations, examiner la mémoire, exécuter l’Assistant personnel, planifier l’utilisation des outils, travailler sur du code et effectuer des diagnostics. Le routage permet d’attribuer un compte ou un modèle différent à chaque usage.

Par défaut, chaque usage est réglé sur Par défaut, ce qui signifie qu’il hérite du compte IA et du modèle principaux. Ce réglage est recommandé tant que vous n’avez pas de raison précise de séparer un usage.

Usages disponibles

Chat : réponses ordinaires et conversation principale.
Résumé : compression de l’ancien historique à mesure que le contexte augmente.
Recherche dans les conversations : recherche d’anciens messages et de sessions.
Examen de la mémoire : évaluation et mise à jour de la mémoire durable.
Assistant personnel : vérifications proactives périodiques.
Réflexion : évaluation des résultats et des étapes de suivi.
Planification des actions : choix des outils à utiliser et de leur ordre.
Programmation : tâches axées sur la programmation.
Diagnostics : vérifications des modèles et analyse du fonctionnement.

Les outils nécessitent un modèle fiable

Un modèle qui rédige bien peut néanmoins mal appeler les outils. Pour l’Assistant personnel, la planification des actions, la mémoire, la programmation et les diagnostics, utilisez un modèle doté d’un tool calling fiable.

Configurer un routage personnalisé

1

Préparez les deux comptes

Commencez par ajouter et tester indépendamment chaque compte sous Réglages → Comptes IA.

2

Ouvrez le routage

Choisissez Assistela → Réglages → Avancé → Routage des modèles.

3

Sélectionnez un usage

Sur la ligne concernée, remplacez Par défaut par Personnalisé.

4

Choisissez la connexion, le compte et le modèle

Sélectionnez le type de connexion, le compte IA et le modèle exact. Si le modèle est absent, utilisez un identifiant de modèle personnalisé uniquement lorsque vous connaissez l’identifiant exact du fournisseur.

5

Testez précisément cette fonctionnalité

Testez un routage du Chat avec un message, un routage de l’Assistant personnel avec Exécuter maintenant et un routage de résumé avec une conversation de test plus longue ou les diagnostics.

Stratégies raisonnables

Simplicité : laissez tout sur Par défaut. Cela réduit le nombre de points de défaillance.
Coût réduit : utilisez un modèle rapide et économique pour les résumés et la recherche dans les conversations, et un modèle plus performant pour le Chat et la planification des actions.
Spécialisation : utilisez un modèle de programmation uniquement pour le routage Programmation.
Assistant personnel distinct : utilisez un modèle de tool calling fiable avec son propre budget.

Surveillez la disponibilité et le coût

Chaque routage personnalisé est une dépendance supplémentaire. Si ce compte n’a plus de crédit, si sa clé API expire ou si le fournisseur renomme un modèle, seule une partie d’Assistela peut échouer. Surveillez l’utilisation de chaque fournisseur concerné.

Revenir à la valeur par défaut

Réglez de nouveau l’usage concerné sur Par défaut. Il héritera à nouveau du compte IA et du modèle principaux. Si l’échec disparaît, sa cause était le compte ou modèle concerné, ou sa capacité à utiliser les outils.