LLM-context en tokens
Tokenlimieten bepalen hoeveel tekst en gereedschapsgegevens Assistela in één modelcontext mag verzenden; ze zijn geen berichtenteller of de prijs van één antwoord.
Wat een token hier betekent
Een token is een kleine teksteenheid die door een LLM wordt verwerkt. De context bevat het huidige verzoek, recente chat, geheugen, tijdelijke informatie, gereedschapsbeschrijvingen en gereedschapsresultaten. Met een langere context ziet het model meer geschiedenis, maar dit kan langzamer en duurder zijn.
Maximaal bruikbare context is niet het “aantal tokens in één antwoord”. Het is het budget voor het volledige werkgebied met invoer dat Assistela mag gebruiken. Een deel van de ruimte wordt automatisch gereserveerd voor modeluitvoer.
Waar u de limiet wijzigt
Open het AI-account
Kies Assistela → Instellingen → AI-accounts en selecteer links het account.
Open het tabblad Model
U ziet de Gedetecteerde limiet die het model of de provider meldt en de Gebruikte limiet die Assistela daadwerkelijk gebruikt.
Vouw Handmatige tokenlimieten uit
Voer alleen een aantal tokens in bij Maximum als u de beperking van het model kent of bewust de kosten wilt beheren.
Kies een veilige waarde
Veilige standaard van 128K gebruiken herstelt de aanbevolen bovengrens. Modelmaximum gebruiken gebruikt de gedetecteerde technische limiet. Een lagere waarde kan als kostenplafond dienen.
Sla op, controleer en test
Sla het account op, voer de verbindingscontrole uit en test een langer gesprek met een gereedschap dat u normaal gebruikt.
Het model verliest eerder details, Assistela comprimeert de geschiedenis vaker en ingewikkeld werk met meerdere gereedschappen past mogelijk niet. Gebruik geen minimumwaarden voor experts bij een normaal account.
Automatische compressie van geschiedenis
Onder Instellingen → Geavanceerd → Appwerking toont de tabel Wanneer oudere chat wordt samengevat hoe compressie werkt. Assistela kort oudere geschiedenis in voordat de volledige limiet is bereikt, behoudt een deel van het recente gesprek en reserveert ruimte voor uitvoer. De geschatte drempel hangt af van de contextgrootte van het model.
Dezelfde pagina toont limieten voor Tijdelijke informatie, e-mail van de Persoonlijke Assistent, Agendadagen en Herinneringsdagen. Dit zijn delen van de beschikbare context. Een hoger aantal is niet altijd beter: meer oude e-mail kan het huidige verzoek of gereedschapsresultaten verdringen.
Gereedschapsschema en werkstappen
- Efficiënt / progressief laden: stuurt eerst de gereedschapslijst en laadt volledige details wanneer dat nodig is. Dit wordt aanbevolen en bespaart context.
- Gedetailleerd / volledig schema: stuurt elke gereedschapsbeschrijving direct. Gebruik dit alleen als een specifiek model in de progressieve modus geen gereedschappen herkent.
- Limiet voor werkstappen van één bericht: bepaalt hoeveel deelstappen Assistela mag nemen. Een hogere limiet maakt een antwoord niet slimmer; deze staat alleen een langere uitvoering toe.
Andere modelopties
- Modelreasoning gebruiken: schakel dit alleen in voor een model dat reasoning ondersteunt. Meer inspanning kan de kwaliteit verbeteren, maar verhoogt de tijd en kosten.
- Dit model ondersteunt alleen tekst: schakel dit in als het geen afbeeldingen kan verwerken; Assistela stuurt dan geen afbeeldingsgegevens.
- Gereedschapsaanroep vereisen als het model een actie belooft: helpt bij modellen die soms beweren dat ze iets hebben gedaan zonder een gereedschap aan te roepen.
- Oudere gereedschapsuitvoer samenvatten: laat dit ingeschakeld zodat lange oude resultaten de context niet vullen.
Behoud de veilige standaard van 128K, progressief laden van het schema en automatische compressie. Wijzig limieten alleen voor een specifiek model, een bepaalde fout of een budget en controleer of Assistela het gesprek nog steeds goed volgt.