Contesto LLM e token
I limiti dei token controllano quanto testo e quanti dati degli strumenti Assistela può inviare in un singolo contesto del modello; non rappresentano il numero di messaggi né il prezzo di una risposta.
Che cosa significa token in questo contesto
Un token è una piccola unità di testo elaborata da un LLM. Il contesto comprende la richiesta attuale, la chat recente, la memoria, le informazioni temporanee, le descrizioni degli strumenti e i relativi risultati. Un contesto più lungo consente al modello di vedere più cronologia, ma può essere più lento e costoso.
Il Contesto massimo utilizzabile non è il “numero di token in una risposta”. È il budget per l’intera area di lavoro in ingresso che Assistela può usare. Una parte dello spazio viene riservata automaticamente all’output del modello.
Dove modificare il limite
Apri l’account IA
Scegli Assistela → Impostazioni → Account IA e seleziona l’account a sinistra.
Apri la scheda Modello
Vedrai il Limite rilevato comunicato dal modello o dal fornitore e il Limite utilizzato che Assistela usa effettivamente.
Espandi Limiti token manuali
Inserisci un numero di token in Massimo solo se conosci il vincolo del modello o vuoi deliberatamente controllare i costi.
Scegli un valore sicuro
Usa il valore sicuro predefinito di 128K ripristina il limite consigliato. Usa il massimo del modello utilizza il limite tecnico rilevato. Un valore inferiore può fungere da tetto di spesa.
Salva, verifica ed esegui una prova
Salva l’account, esegui la verifica della connessione e prova una conversazione più lunga con uno strumento che usi abitualmente.
Il modello perde prima i dettagli, Assistela comprime più spesso la cronologia e i lavori complessi con diversi strumenti potrebbero non rientrare nel contesto. Non usare i valori minimi riservati agli esperti per un account normale.
Compressione automatica della cronologia
In Impostazioni → Avanzate → Funzionamento app, la tabella Quando viene riepilogata la chat meno recente mostra come funziona la compressione. Assistela abbrevia la cronologia più vecchia prima di raggiungere il limite completo, conserva una parte della conversazione recente e riserva spazio per l’output. La soglia approssimativa dipende dalle dimensioni del contesto del modello.
La stessa pagina mostra i limiti per Informazioni temporanee, email dell’Assistente personale, giorni di Calendario e giorni di Promemoria. Sono quote del contesto disponibile. Un numero più alto non è sempre migliore: una maggiore quantità di vecchie email può togliere spazio alla richiesta attuale o ai risultati degli strumenti.
Schema degli strumenti e passaggi di lavoro
- Caricamento efficiente/progressivo: invia prima l’elenco degli strumenti e carica i dettagli completi quando servono. È consigliato e fa risparmiare contesto.
- Schema dettagliato/completo: invia subito la descrizione di ogni strumento. Usalo solo quando uno specifico modello non riconosce gli strumenti in modalità progressiva.
- Limite dei passaggi di lavoro per un messaggio: controlla quanti passaggi parziali Assistela può eseguire. Un limite superiore non rende una risposta più intelligente; consente soltanto un’esecuzione più lunga.
Altre opzioni del modello
- Usa il ragionamento del modello: attivalo solo per un modello che supporta il ragionamento. Un impegno maggiore può migliorare la qualità aumentando tempo e costi.
- Questo modello supporta solo testo: attivalo se non può elaborare immagini; Assistela non invierà dati di immagini.
- Richiedi una chiamata a uno strumento quando il modello promette un’azione: aiuta con i modelli che a volte affermano di aver agito senza chiamare uno strumento.
- Riepiloga l’output meno recente degli strumenti: mantienilo attivo, così i vecchi risultati lunghi non riempiono il contesto.
Mantieni il valore sicuro predefinito di 128K, il caricamento progressivo dello schema e la compressione automatica. Modifica i limiti solo per un modello, un problema o un budget specifico e verifica che Assistela continui a seguire correttamente la conversazione.