Contextul și tokenurile LLM
Limitele de tokenuri controlează cât text și câte date ale instrumentelor poate trimite Assistela într-un context de model; nu reprezintă numărul de mesaje sau prețul unui răspuns.
Ce înseamnă aici un token
Un token este o mică unitate de text procesată de un LLM. Contextul include solicitarea curentă, conversația recentă, memoria, informațiile temporare, descrierile instrumentelor și rezultatele acestora. Un context mai lung permite modelului să vadă mai mult istoric, dar poate fi mai lent și mai scump.
Contextul maxim utilizabil nu este „numărul de tokenuri dintr-un singur răspuns”. Este bugetul pentru întreaga zonă de intrare pe care Assistela o poate folosi în timpul activității. O parte din spațiu este rezervată automat ieșirii modelului.
Unde schimbi limita
Deschide contul AI
Alege Assistela → Setări → Conturi AI și selectează contul din stânga.
Deschide fila Model
Vei vedea Limita detectată, raportată de model sau furnizor, și Limita folosită efectiv de Assistela.
Extinde Limite manuale de tokenuri
Introdu un număr de tokenuri în Maxim numai când cunoști constrângerea modelului sau dorești în mod intenționat să controlezi costul.
Alege o valoare sigură
Folosește valoarea implicită sigură de 128K restabilește plafonul recomandat. Folosește maximul modelului folosește limita tehnică detectată. O valoare mai mică poate servi drept plafon de cost.
Salvează, verifică și testează
Salvează contul, rulează verificarea conexiunii și testează o conversație mai lungă cu un instrument pe care îl folosești în mod obișnuit.
Modelul pierde mai repede detaliile, Assistela comprimă istoricul mai des, iar o activitate complexă cu mai multe instrumente poate să nu încapă. Nu folosi valorile minime destinate experților pentru un cont obișnuit.
Comprimarea automată a istoricului
În Setări → Avansat → Funcționarea aplicației, tabelul Când este rezumată conversația mai veche arată cum funcționează comprimarea. Assistela scurtează istoricul mai vechi înainte de atingerea limitei complete, păstrează o parte din conversația recentă și rezervă spațiu pentru ieșire. Pragul aproximativ depinde de dimensiunea contextului modelului.
Aceeași pagină afișează limitele pentru Informații temporare, e-mailurile Asistentului personal, zilele de Calendar și zilele de Mementouri. Acestea sunt proporții din contextul disponibil. Un număr mai mare nu este întotdeauna mai bun: mai multe e-mailuri vechi pot elimina din context solicitarea curentă sau rezultatele instrumentelor.
Schema instrumentelor și pașii de lucru
- Încărcare eficientă / progresivă: trimite mai întâi lista instrumentelor și încarcă detaliile complete după necesitate. Este recomandată și economisește context.
- Schemă detaliată / completă: trimite imediat descrierea fiecărui instrument. Folosește-o numai când un anumit model nu recunoaște instrumentele în modul progresiv.
- Limita pașilor de lucru pentru un mesaj: controlează câți pași parțiali poate efectua Assistela. O limită mai mare nu face răspunsul mai inteligent; permite doar o rulare mai lungă.
Alte opțiuni ale modelului
- Folosește raționamentul modelului: activează numai pentru un model care acceptă raționarea. Un efort mai mare poate îmbunătăți calitatea, dar mărește timpul și costul.
- Acest model acceptă numai text: activează când modelul nu poate procesa imagini; Assistela nu va trimite date de imagine.
- Solicită un apel de instrument când modelul promite o acțiune: ajută în cazul modelelor care afirmă uneori că au acționat fără să apeleze un instrument.
- Rezumă rezultatele mai vechi ale instrumentelor: păstrează opțiunea activată pentru ca rezultatele vechi și lungi să nu umple contextul.
Păstrează valoarea implicită sigură de 128K, încărcarea progresivă a schemei și comprimarea automată. Modifică limitele numai pentru un anumit model, o anumită eroare sau un anumit buget și verifică dacă Assistela urmărește în continuare corect conversația.