LLM-kontextus és tokenek
A tokenkorlátok azt szabályozzák, hogy az Assistela mennyi szöveget és eszközadatot küldhet el egy modellkontextusban; nem az üzenetek számát vagy egy válasz árát jelentik.
Mit jelent itt a token
A token az LLM által feldolgozott szöveg egy kis egysége. A kontextus tartalmazza az aktuális kérést, a legutóbbi csevegést, a memóriát, az ideiglenes információkat, az eszközleírásokat és az eszközeredményeket. Hosszabb kontextus mellett a modell több előzményt lát, de a feldolgozás lassabb és drágább lehet.
A Maximálisan használható kontextus nem az „egy válaszban lévő tokenek száma”. Ez az Assistela által használható teljes munkabemeneti terület kerete. A rendszer automatikusan fenntart némi helyet a modell kimenetének.
Hol módosíthatod a korlátot
Nyisd meg az AI-fiókot
Válaszd az Assistela → Beállítások → AI-fiókok útvonalat, majd a bal oldalon jelöld ki a fiókot.
Nyisd meg a Modell lapot
Itt láthatod a modell vagy a szolgáltató által jelzett Észlelt korlátot, valamint az Assistela által ténylegesen alkalmazott Használt korlátot.
Nyisd le a Kézi tokenkorlátokat
A Maximum mezőben csak akkor adj meg tokenszámot, ha ismered a modell korlátját, vagy szándékosan szabályozni szeretnéd a költséget.
Válassz biztonságos értéket
A Biztonságos alapértelmezett 128K használata visszaállítja az ajánlott felső határt. A Modell maximumának használata az észlelt technikai korlátot alkalmazza. Alacsonyabb értékkel költségplafont állíthatsz be.
Mentsd, ellenőrizd és teszteld
Mentsd a fiókot, futtasd a kapcsolatellenőrzését, majd próbálj ki egy hosszabb beszélgetést egy általában használt eszközzel.
A modell hamarabb elveszíti a részleteket, az Assistela gyakrabban tömöríti az előzményeket, és a több eszközt használó összetett munka esetleg nem fér bele. Normál fióknál ne használj kizárólag szakértőknek szánt minimumértékeket.
Az előzmények automatikus tömörítése
A Beállítások → Speciális → Alkalmazás működése alatt található Mikor legyen összefoglalva a régebbi csevegés táblázat mutatja a tömörítés működését. Az Assistela a teljes korlát elérése előtt lerövidíti a régebbi előzményeket, megtartja a legutóbbi beszélgetés egy részét, és helyet tart fenn a kimenet számára. A hozzávetőleges küszöb a modell kontextusméretétől függ.
Ugyanezen az oldalon láthatók az Ideiglenes információk, a Személyes asszisztens e-mailjei, valamint a Naptár- és Emlékeztető-napok korlátai. Ezek a rendelkezésre álló kontextus részei. A magasabb érték nem mindig jobb: a több régi e-mail kiszoríthatja az aktuális kérést vagy az eszközeredményeket.
Eszközséma és munkalépések
- Hatékony / fokozatos betöltés: először az eszközlistát küldi el, a teljes részleteket pedig szükség szerint tölti be. Ez az ajánlott beállítás, és kontextust takarít meg.
- Részletes / teljes séma: minden eszközleírást azonnal elküld. Csak akkor használd, ha egy adott modell fokozatos módban nem ismeri fel az eszközöket.
- Egy üzenet munkalépéseinek korlátja: azt szabályozza, hány részlépést tehet meg az Assistela. A magasabb korlát nem teszi okosabbá a választ; csak hosszabb futást engedélyez.
További modellbeállítások
- Modellkövetkeztetés használata: csak következtetést támogató modellnél engedélyezd. A nagyobb erőfeszítés javíthatja a minőséget, ugyanakkor növeli az időt és a költséget.
- Ez a modell csak szöveget támogat: akkor engedélyezd, ha nem tud képeket feldolgozni; az Assistela nem fog képadatokat küldeni.
- Eszközhívás megkövetelése, ha a modell műveletet ígér: azoknál a modelleknél segít, amelyek néha azt állítják, hogy cselekedtek, de nem hívtak meg eszközt.
- Régebbi eszközkimenet összefoglalása: hagyd bekapcsolva, hogy a hosszú, régi eredmények ne töltsék meg a kontextust.
Tartsd meg a biztonságos alapértelmezett 128K értéket, a fokozatos sémabetöltést és az automatikus tömörítést. A korlátokat csak egy konkrét modell, hiba vagy költségkeret miatt módosítsd, és ellenőrizd, hogy az Assistela továbbra is helyesen követi-e a beszélgetést.