Assistela Assistela Dokumentasyon
Advanced

LLM Context at Tokens

Kinokontrol ng token limits kung gaano karaming text at tool data ang maaaring ipadala ng Assistela sa isang model context; hindi ito bilang ng mensahe o presyo ng isang sagot.

Ang ibig sabihin ng token dito

Maliit na unit ng text na pinoproseso ng LLM ang token. Kabilang sa konteksto ang kasalukuyang request, kamakailang Chat, memory, temporary information, mga paglalarawan ng tool at resulta ng tool. Mas maraming history ang makikita ng modelo sa mas mahabang konteksto, ngunit maaaring mas mabagal at mas mahal ito.

Ang Maximum usable context ay hindi “bilang ng token sa isang sagot.” Ito ang budget para sa kumpletong working input area na maaaring gamitin ng Assistela. Awtomatikong naglalaan ng espasyo para sa output ng modelo.

Kung saan babaguhin ang limitasyon

1

Buksan ang AI account

Piliin ang Assistela → Settings → AI Accounts at piliin ang account sa kaliwa.

2

Buksan ang tab na Model

Makikita mo ang Detected limit na iniulat ng modelo o provider at ang Used limit na aktuwal na ginagamit ng Assistela.

3

Palawakin ang Manual token limits

Maglagay lang ng bilang ng token sa Maximum kapag alam mo ang limitasyon ng modelo o sadyang gusto mong kontrolin ang gastos.

4

Pumili ng ligtas na value

Ibinabalik ng Use safe 128K default ang inirerekomendang ceiling. Ginagamit ng Use model maximum ang natukoy na teknikal na limitasyon. Maaaring maging cost cap ang mas mababang value.

5

I-save, suriin at subukan

I-save ang account, patakbuhin ang connection check nito at subukan ang mas mahabang pag-uusap gamit ang tool na karaniwan mong ginagamit.

Nagdudulot ng problema ang napakababang limitasyon

Mas maagang nawawala sa modelo ang mga detalye, mas madalas kino-compress ng Assistela ang history at maaaring hindi magkasya ang komplikadong trabahong may ilang tool. Huwag gumamit ng expert-only minimum value para sa karaniwang account.

Awtomatikong compression ng history

Sa Settings → Advanced → App Operation, ipinapakita ng table na When older chat is summarized kung paano gumagana ang compression. Pinaiikli ng Assistela ang mas lumang history bago maabot ang buong limitasyon, pinapanatili ang ilang kamakailang pag-uusap at naglalaan ng espasyo para sa output. Nakadepende sa laki ng model context ang tinatayang threshold.

Ipinapakita rin ng parehong pahina ang limitasyon para sa Temporary Information, email ng Personal Assistant, mga araw ng Calendar at mga araw ng Reminder. Bahagi ang mga ito ng available na konteksto. Hindi palaging mas mahusay ang mas mataas na bilang: maaaring siksikin ng mas maraming lumang email ang kasalukuyang request o resulta ng tool.

Tool schema at mga hakbang sa trabaho

  • Efficient / progressive loading: ipinapadala muna ang listahan ng tool at nilo-load ang buong detalye kapag kailangan. Inirerekomenda ito at nakakatipid ng konteksto.
  • Detailed / full schema: ipinapadala agad ang bawat paglalarawan ng tool. Gamitin lang kapag hindi nakikilala ng partikular na modelo ang mga tool sa progressive mode.
  • Work step limit for one message: kinokontrol kung ilang bahagyang hakbang ang maaaring gawin ng Assistela. Hindi ginagawang mas matalino ng mas mataas na limitasyon ang sagot; pinapayagan lang nito ang mas mahabang run.

Iba pang model options

  • Use model reasoning: i-enable lang para sa modelong sumusuporta sa reasoning. Maaaring mapahusay ng mas mataas na effort ang kalidad habang dinadagdagan ang oras at gastos.
  • This model supports text only: i-enable kapag hindi nito maproseso ang mga larawan; hindi magpapadala ng image data ang Assistela.
  • Require a tool call when the model promises action: tumutulong sa mga modelong minsang nagsasabing kumilos sila nang hindi tumatawag ng tool.
  • Summarize older tool output: panatilihing naka-enable para hindi punuin ng mahahabang lumang resulta ang konteksto.
Rekomendasyon para sa karamihan ng user

Panatilihin ang safe 128K default, progressive schema loading at automatic compression. Baguhin lang ang mga limitasyon para sa partikular na modelo, failure o budget at beripikahing sinusundan pa rin nang tama ng Assistela ang pag-uusap.