Modelroutering
Met routering kan ander werk een ander LLM-account of model gebruiken, terwijl de hoofdchat op het standaardaccount blijft.
Wat routering betekent
Assistela roept een LLM niet alleen aan voor gewone antwoorden in Chat. De app gebruikt ook modellen om oudere gesprekken samen te vatten, geheugen te controleren, de Persoonlijke Assistent uit te voeren, gereedschapsgebruik te plannen, met code te werken en diagnostiek uit te voeren. Met routering kunt u aan elk doel een ander account of model toewijzen.
Elk doel staat standaard op Standaard, wat betekent dat het hoofd-AI-account en -model worden overgenomen. Dit wordt aanbevolen totdat u een specifieke reden hebt om iets te scheiden.
Beschikbare doelen
- Chat: gewone antwoorden en het hoofdgesprek.
- Samenvatten: oudere geschiedenis comprimeren naarmate de context groeit.
- Gesprekken zoeken: oudere berichten en sessies vinden.
- Geheugencontrole: duurzaam geheugen beoordelen en bijwerken.
- Persoonlijke Assistent: periodieke proactieve controles.
- Reflectie: resultaten en vervolgstappen beoordelen.
- Actieplanning: bepalen welke gereedschappen in welke volgorde worden gebruikt.
- Coderen: werk gericht op programmeren.
- Diagnostiek: modelcontroles en operationele analyse.
Een model dat goede tekst schrijft, kan gereedschappen toch slecht aanroepen. Gebruik voor de Persoonlijke Assistent, actieplanning, geheugen, coderen en diagnostiek een model met betrouwbare tool calling.
Een aangepaste route configureren
Bereid beide accounts voor
Voeg elk account eerst toe onder Instellingen → AI-accounts en test elk account afzonderlijk.
Open routering
Kies Assistela → Instellingen → Geavanceerd → Modelroutering.
Selecteer een doel
Wijzig voor de gewenste rij Standaard in Aangepast.
Kies de verbinding, het account en het model
Selecteer het verbindingstype, AI-account en exacte model. Gebruik alleen een aangepaste model-ID als het model ontbreekt en u de precieze ID van de provider kent.
Test precies die functie
Test een Chat-route met een bericht, een route voor de Persoonlijke Assistent met Nu uitvoeren en een samenvattingsroute met een langer testgesprek of diagnostiek.
Verstandige strategieën
- Eenvoud: laat alles op Standaard staan. Dit geeft de minste mogelijke foutpunten.
- Lagere kosten: gebruik een snel, voordelig model voor samenvattingen en het zoeken van gesprekken, en een krachtiger model voor Chat en actieplanning.
- Specialisatie: gebruik alleen op de route Coderen een codeermodel.
- Afzonderlijke Persoonlijke Assistent: gebruik een betrouwbaar model voor tool calling met een eigen kostenbudget.
Elke aangepaste route is een extra afhankelijkheid. Als het tegoed van dat account opraakt, de API-sleutel verloopt of de provider een model hernoemt, kan slechts een deel van Assistela uitvallen. Houd het gebruik voor elke betrokken provider in de gaten.
Terugkeren naar de standaard
Zet het betreffende doel terug op Standaard. Het neemt het hoofd-AI-account en -model weer over. Als de fout verdwijnt, lag de oorzaak bij het specifieke account, model of de mogelijkheid ervan om gereedschappen te gebruiken.