Modelrouting
Routing lader forskellige typer arbejde bruge en anden LLM-konto eller model, mens hovedchatten beholder sin standard.
Hvad routing betyder
Assistela kalder ikke kun en LLM til almindelige svar i Chat. Den bruger også modeller til at opsummere ældre samtaler, gennemgå hukommelse, køre Personlig assistent, planlægge værktøjsbrug, arbejde med kode og udføre diagnostik. Routing giver dig mulighed for at tildele en anden konto eller model til hvert formål.
Som standard er hvert formål indstillet til Standard, hvilket betyder, at det arver den primære AI-konto og model. Det anbefales, indtil du har en bestemt grund til at adskille noget.
Tilgængelige formål
- Chat: almindelige svar og hovedsamtalen.
- Opsummering: komprimering af ældre historik, efterhånden som konteksten vokser.
- Samtalesøgning: søgning efter ældre beskeder og sessioner.
- Hukommelsesgennemgang: vurdering og opdatering af varig hukommelse.
- Personlig assistent: regelmæssige proaktive kontroller.
- Refleksion: vurdering af resultater og opfølgende skridt.
- Handlingsplanlægning: valg af værktøjer og rækkefølgen, de skal bruges i.
- Kodning: programmeringsorienteret arbejde.
- Diagnostik: modelkontroller og driftsanalyse.
En model, der skriver god prosa, kan stadig være dårlig til at kalde værktøjer. Brug en model med pålidelig tool calling til Personlig assistent, handlingsplanlægning, hukommelse, kodning og diagnostik.
Konfigurer en brugerdefineret rute
Forbered begge konti
Tilføj og test først hver konto uafhængigt under Indstillinger → AI-konti.
Åbn routing
Vælg Assistela → Indstillinger → Avanceret → Modelrouting.
Vælg et formål
Skift Standard til Brugerdefineret på den ønskede række.
Vælg forbindelse, konto og model
Vælg forbindelsestype, AI-konto og nøjagtig model. Hvis modellen mangler, skal du kun bruge et brugerdefineret model-id, når du kender udbyderens præcise identifikator.
Test netop den funktion
Test en Chat-rute med en besked, en rute til Personlig assistent med Kør nu og en opsummeringsrute med en længere testsamtale eller diagnostik.
Fornuftige strategier
- Enkelhed: behold alt på Standard. Det giver færrest fejlpunkter.
- Lavere omkostninger: brug en hurtig og billig model til resuméer og samtalesøgning og en stærkere til Chat og handlingsplanlægning.
- Specialisering: brug kun en kodningsmodel på ruten Kodning.
- Separat Personlig assistent: brug en pålidelig tool-calling-model med sit eget omkostningsbudget.
Hver brugerdefineret rute er endnu en afhængighed. Hvis kontoen løber tør for kredit, API-nøglen udløber, eller udbyderen omdøber en model, kan kun en del af Assistela svigte. Overvåg forbruget hos alle involverede udbydere.
Vend tilbage til standard
Sæt det berørte formål tilbage til Standard. Det arver igen den primære AI-konto og model. Hvis fejlen forsvinder, var årsagen den bestemte konto, model eller dens evne til at bruge værktøjer.