Rutarea modelelor

Ce înseamnă rutarea

Assistela nu apelează un LLM numai pentru răspunsurile obișnuite din Chat. Folosește modele și pentru a rezuma conversațiile mai vechi, a analiza memoria, a rula Asistentul personal, a planifica folosirea instrumentelor, a lucra cu cod și a efectua diagnosticări. Rutarea îți permite să atribui un cont sau un model diferit fiecărui scop.

În mod implicit, fiecare scop este setat la Implicit, ceea ce înseamnă că moștenește contul și modelul AI principal. Această variantă este recomandată până când ai un motiv precis să separi ceva.

Scopurile disponibile

Chat: răspunsurile obișnuite și conversația principală.
Rezumare: comprimarea istoricului mai vechi pe măsură ce crește contextul.
Căutarea în conversații: găsirea mesajelor și sesiunilor mai vechi.
Analiza memoriei: evaluarea și actualizarea memoriei de durată.
Asistent personal: verificări proactive periodice.
Reflecție: evaluarea rezultatelor și a pașilor următori.
Planificarea acțiunilor: alegerea instrumentelor și a ordinii în care vor fi folosite.
Programare: activități concentrate pe cod.
Diagnosticare: verificarea modelelor și analiza funcționării.

Instrumentele necesită un model fiabil

Un model care scrie bine poate totuși să folosească defectuos instrumentele. Pentru Asistentul personal, planificarea acțiunilor, memorie, programare și diagnosticare, folosește un model cu tool calling fiabil.

Configurează o rută personalizată

1

Pregătește ambele conturi

Mai întâi adaugă și testează independent fiecare cont în Setări → Conturi AI.

2

Deschide rutarea

Alege Assistela → Setări → Avansat → Rutarea modelelor.

3

Selectează un scop

Pe rândul dorit, schimbă Implicit în Personalizat.

4

Alege conexiunea, contul și modelul

Selectează tipul conexiunii, contul AI și modelul exact. Dacă modelul lipsește, folosește un ID de model personalizat numai când cunoști identificatorul exact al furnizorului.

5

Testează exact funcția respectivă

Testează o rută Chat cu un mesaj, o rută pentru Asistentul personal cu Rulează acum și o rută de rezumare printr-o conversație de test mai lungă sau prin diagnosticare.

Strategii rezonabile

Simplitate: lasă totul la Implicit. Aceasta creează cele mai puține puncte de eroare.
Cost redus: folosește un model rapid și economic pentru rezumate și căutarea în conversații, iar unul mai performant pentru Chat și planificarea acțiunilor.
Specializare: folosește un model de programare numai pe ruta Programare.
Asistent personal separat: folosește un model fiabil pentru tool calling, cu buget propriu.

Urmărește disponibilitatea și costul

Fiecare rută personalizată este o dependență în plus. Dacă acel cont rămâne fără credit, îi expiră cheia API sau furnizorul redenumește un model, poate eșua numai o parte din Assistela. Monitorizează utilizarea la fiecare furnizor implicat.

Revenirea la valoarea implicită

Setează din nou scopul afectat la Implicit. Acesta va moșteni din nou contul și modelul AI principal. Dacă problema dispare, cauza a fost acel cont, acel model sau capacitatea lui de a folosi instrumente.