LLM-sammanhang och tokens
Tokengränser styr hur mycket text och verktygsdata Assistela får skicka i ett modellsammanhang; de är varken ett antal meddelanden eller priset för ett svar.
Vad en token betyder här
En token är en liten textenhet som behandlas av en LLM. Sammanhanget omfattar den aktuella begäran, senaste chatt, minne, tillfällig information, verktygsbeskrivningar och verktygsresultat. Med ett längre sammanhang kan modellen se mer historik, men arbetet kan bli långsammare och dyrare.
Maximalt användbart sammanhang är inte ”antalet tokens i ett svar”. Det är budgeten för hela det arbetsunderlag som Assistela får använda. En del av utrymmet reserveras automatiskt för modellens utdata.
Var gränsen ändras
Öppna AI-kontot
Välj Assistela → Inställningar → AI-konton och välj kontot till vänster.
Öppna fliken Modell
Här visas den Identifierade gräns som modellen eller leverantören rapporterar och den Använda gräns som Assistela faktiskt använder.
Expandera Manuella tokengränser
Ange ett antal tokens i Maximum bara när du känner till modellens begränsning eller medvetet vill styra kostnaden.
Välj ett säkert värde
Använd säker standard på 128K återställer det rekommenderade taket. Använd modellens maximum använder den identifierade tekniska gränsen. Ett lägre värde kan fungera som kostnadstak.
Spara, kontrollera och testa
Spara kontot, kör anslutningskontrollen och testa ett längre samtal med ett verktyg som du brukar använda.
Modellen tappar detaljer tidigare, Assistela komprimerar historiken oftare och komplicerat arbete med flera verktyg kanske inte ryms. Använd inte expertvärdenas minimum för ett vanligt konto.
Automatisk komprimering av historik
Under Inställningar → Avancerat → Appanvändning visar tabellen När äldre chatt sammanfattas hur komprimeringen fungerar. Assistela kortar äldre historik innan hela gränsen nås, behåller en del av det senaste samtalet och reserverar utrymme för utdata. Den ungefärliga tröskeln beror på modellens sammanhangsstorlek.
På samma sida visas gränser för Tillfällig information, e-post i Personlig assistent, Kalenderdagar och Påminnelsedagar. De utgör andelar av tillgängligt sammanhang. Ett högre tal är inte alltid bättre: mer gammal e-post kan tränga undan den aktuella begäran eller verktygsresultat.
Verktygsschema och arbetssteg
- Effektiv/progressiv inläsning: skickar först verktygslistan och läser in fullständiga detaljer vid behov. Detta rekommenderas och sparar sammanhang.
- Detaljerat/fullständigt schema: skickar alla verktygsbeskrivningar direkt. Använd bara när en viss modell inte känner igen verktyg i progressivt läge.
- Gräns för arbetssteg i ett meddelande: styr hur många delsteg Assistela får ta. En högre gräns gör inte svaret smartare; den tillåter bara en längre körning.
Andra modellalternativ
- Använd modellresonemang: aktivera bara för en modell som stöder resonemang. Större insats kan höja kvaliteten men ökar tid och kostnad.
- Den här modellen stöder bara text: aktivera om den inte kan behandla bilder; Assistela skickar då inga bilddata.
- Kräv verktygsanrop när modellen lovar en åtgärd: hjälper med modeller som ibland påstår att de har agerat utan att anropa ett verktyg.
- Sammanfatta äldre verktygsutdata: låt detta vara aktiverat så att långa gamla resultat inte fyller sammanhanget.
Behåll den säkra standarden på 128K, progressiv schemainläsning och automatisk komprimering. Ändra gränser bara för en viss modell, ett fel eller en budget och kontrollera att Assistela fortfarande följer samtalet korrekt.