LLM-asiayhteys ja tokenit
Tokenrajat määräävät, kuinka paljon tekstiä ja työkalutietoja Assistela voi lähettää yhteen mallin asiayhteyteen; ne eivät ole viestimäärä tai yhden vastauksen hinta.
Mitä token tarkoittaa tässä
Token on LLM:n käsittelemä pieni tekstiyksikkö. Asiayhteys sisältää nykyisen pyynnön, viimeaikaisen keskustelun, muistin, tilapäiset tiedot, työkalukuvaukset ja työkalutulokset. Pidempi asiayhteys näyttää mallille enemmän historiaa, mutta voi olla hitaampi ja kalliimpi.
Käytettävä enimmäisasiayhteys ei ole ”yhden vastauksen tokenmäärä”. Se on Assistelan käyttämän koko työsyötteen budjetti. Mallin tulokselle varataan automaattisesti tilaa.
Rajan muuttaminen
Avaa tekoälytili
Valitse Assistela → Asetukset → Tekoälytilit ja tili vasemmalta.
Avaa Malli-välilehti
Näet mallin tai palveluntarjoajan ilmoittaman Havaitun rajan ja Assistelan todellisuudessa käyttämän Käytetyn rajan.
Laajenna Käsin asetettavat tokenrajat
Anna tokenmäärä Enimmäismäärä-kenttään vain, kun tunnet mallin rajoitteen tai haluat tarkoituksella hallita kustannusta.
Valitse turvallinen arvo
Käytä turvallista 128K-oletusta palauttaa suositellun ylärajan. Käytä mallin enimmäismäärää käyttää havaittua teknistä rajaa. Pienempi arvo voi toimia kustannuskattona.
Tallenna, tarkista ja testaa
Tallenna tili, suorita yhteystarkistus ja testaa pidempi keskustelu tavallisesti käyttämälläsi työkalulla.
Malli menettää yksityiskohtia nopeammin, Assistela pakkaa historiaa useammin eikä monimutkainen usean työkalun työ ehkä mahdu mukaan. Älä käytä asiantuntijoille tarkoitettuja minimiarvoja tavallisella tilillä.
Historian automaattinen pakkaus
Kohdan Asetukset → Lisäasetukset → Sovelluksen toiminta taulukko Milloin vanhempi keskustelu tiivistetään näyttää pakkauksen toiminnan. Assistela lyhentää vanhempaa historiaa ennen koko rajan täyttymistä, säilyttää osan uusista viesteistä ja varaa tulostilaa. Arvioitu kynnys riippuu mallin asiayhteyden koosta.
Sama sivu näyttää Tilapäisten tietojen, Henkilökohtaisen avustajan sähköpostin, Kalenteripäivien ja Muistutuspäivien rajat. Ne ovat osuuksia käytettävästä asiayhteydestä. Suurempi ei aina ole parempi: vanhat sähköpostit voivat syrjäyttää nykyisen pyynnön tai työkalutulokset.
Työkaluskeema ja työvaiheet
- Tehokas / asteittainen lataus: lähettää ensin työkaluluettelon ja lataa täydet tiedot tarvittaessa. Se on suositeltu ja säästää asiayhteyttä.
- Yksityiskohtainen / täysi skeema: lähettää jokaisen työkalukuvauksen heti. Käytä vain, jos tietty malli ei tunnista työkaluja asteittaisessa tilassa.
- Yhden viestin työvaiheraja: määrää Assistelan osavaiheiden määrän. Suurempi raja ei tee vastauksesta älykkäämpää, vaan sallii pidemmän suorituksen.
Muut malliasetukset
- Käytä mallin päättelyä: ota käyttöön vain päättelyä tukevalla mallilla. Suurempi panostus voi parantaa laatua mutta lisätä aikaa ja kustannusta.
- Tämä malli tukee vain tekstiä: ota käyttöön, jos se ei käsittele kuvia; Assistela ei lähetä kuvatietoja.
- Vaadi työkalukutsu, kun malli lupaa toimia: auttaa malleja, jotka joskus väittävät toimineensa kutsumatta työkalua.
- Tiivistä vanha työkalutulos: pidä käytössä, etteivät pitkät vanhat tulokset täytä asiayhteyttä.
Säilytä turvallinen 128K-oletus, asteittainen skeeman lataus ja automaattinen pakkaus. Muuta rajoja vain tietyn mallin, vian tai budjetin vuoksi ja varmista, että Assistela seuraa keskustelua oikein.