LLM-kontekst og tokens
Tokengrænser styrer, hvor meget tekst og værktøjsdata Assistela må sende i én modelkontekst; de er ikke et beskedantal eller prisen på ét svar.
Hvad et token betyder her
Et token er en lille tekstenhed, der behandles af en LLM. Konteksten omfatter den aktuelle anmodning, den seneste Chat, hukommelse, midlertidige oplysninger, værktøjsbeskrivelser og værktøjsresultater. En længere kontekst lader modellen se mere historik, men kan være langsommere og dyrere.
Maksimal anvendelig kontekst er ikke »antallet af tokens i ét svar«. Det er budgettet for hele det arbejdsinputområde, Assistela må bruge. Noget plads reserveres automatisk til modellens output.
Hvor grænsen ændres
Åbn AI-kontoen
Vælg Assistela → Indstillinger → AI-konti, og vælg kontoen til venstre.
Åbn fanen Model
Du kan se den Registrerede grænse, som modellen eller udbyderen oplyser, og den Anvendte grænse, Assistela faktisk bruger.
Udvid Manuelle tokengrænser
Indtast kun et tokenantal under Maksimum, når du kender modellens begrænsning eller bevidst vil styre omkostninger.
Vælg en sikker værdi
Brug sikker 128K-standard gendanner det anbefalede loft. Brug modelmaksimum anvender den registrerede tekniske grænse. En lavere værdi kan fungere som omkostningsloft.
Gem, kontrollér og test
Gem kontoen, kør forbindelseskontrollen, og test en længere samtale med et værktøj, du normalt bruger.
Modellen mister detaljer tidligere, Assistela komprimerer historikken oftere, og komplekst arbejde med flere værktøjer passer måske ikke. Brug ikke minimumsværdier beregnet til eksperter på en normal konto.
Automatisk komprimering af historik
Under Indstillinger → Avanceret → Appdrift viser tabellen Når ældre Chat opsummeres, hvordan komprimering virker. Assistela forkorter ældre historik, før hele grænsen nås, beholder noget af den seneste samtale og reserverer plads til output. Den omtrentlige tærskel afhænger af modellens kontekststørrelse.
Samme side viser grænser for Midlertidige oplysninger, e-mail til Personlig assistent, kalenderdage og påmindelsesdage. De er andele af den tilgængelige kontekst. Et højere tal er ikke altid bedre: flere gamle e-mails kan fortrænge den aktuelle anmodning eller værktøjsresultater.
Værktøjsskema og arbejdstrin
- Effektiv / progressiv indlæsning: sender først værktøjslisten og indlæser alle oplysninger efter behov. Det anbefales og sparer kontekst.
- Detaljeret / fuldt skema: sender straks alle værktøjsbeskrivelser. Brug det kun, når en bestemt model ikke genkender værktøjer i progressiv tilstand.
- Grænse for arbejdstrin i én besked: styrer, hvor mange deltrin Assistela må tage. En højere grænse gør ikke et svar klogere; den tillader blot en længere kørsel.
Andre modelindstillinger
- Brug modelræsonnement: aktivér kun for en model, der understøtter ræsonnement. En større indsats kan forbedre kvaliteten, men øger tid og omkostninger.
- Denne model understøtter kun tekst: aktivér, når den ikke kan behandle billeder; Assistela sender ikke billeddata.
- Kræv et værktøjskald, når modellen lover en handling: hjælper med modeller, der nogle gange påstår at have handlet uden at kalde et værktøj.
- Opsummér ældre værktøjsoutput: behold den aktiveret, så lange gamle resultater ikke fylder konteksten.
Behold den sikre 128K-standard, progressiv skemaindlæsning og automatisk komprimering. Skift kun grænser for en bestemt model, fejl eller et bestemt budget, og kontrollér, at Assistela stadig følger samtalen korrekt.