Πλαίσιο και Token LLM
Τα όρια token ελέγχουν πόσο κείμενο και δεδομένα εργαλείων μπορεί να στείλει η Assistela σε ένα πλαίσιο μοντέλου· δεν είναι αριθμός μηνυμάτων ή τιμή μίας απάντησης.
Τι σημαίνει token εδώ
Ένα token είναι μικρή μονάδα κειμένου που επεξεργάζεται ένα LLM. Το πλαίσιο περιλαμβάνει τρέχον αίτημα, πρόσφατη συνομιλία, μνήμη, προσωρινές πληροφορίες, περιγραφές και αποτελέσματα εργαλείων. Μεγαλύτερο πλαίσιο δείχνει περισσότερο ιστορικό στο μοντέλο, αλλά μπορεί να είναι πιο αργό και ακριβό.
Το Μέγιστο χρησιμοποιήσιμο πλαίσιο δεν είναι «ο αριθμός token σε μία απάντηση». Είναι ο προϋπολογισμός όλης της περιοχής εισόδου εργασίας της Assistela. Μέρος του χώρου δεσμεύεται αυτόματα για την έξοδο του μοντέλου.
Πού αλλάζετε το όριο
Ανοίξτε τον λογαριασμό AI
Επιλέξτε Assistela → Ρυθμίσεις → Λογαριασμοί AI και τον λογαριασμό αριστερά.
Ανοίξτε την καρτέλα Μοντέλο
Θα δείτε το Εντοπισμένο όριο που αναφέρει μοντέλο ή πάροχος και το Χρησιμοποιούμενο όριο της Assistela.
Αναπτύξτε τα Χειροκίνητα όρια token
Εισαγάγετε πλήθος token στο Μέγιστο μόνο όταν γνωρίζετε τον περιορισμό ή θέλετε σκόπιμα έλεγχο κόστους.
Επιλέξτε ασφαλή τιμή
Το Χρήση ασφαλούς προεπιλογής 128K επαναφέρει το συνιστώμενο ανώτατο όριο. Το Χρήση μέγιστου μοντέλου χρησιμοποιεί το εντοπισμένο τεχνικό όριο. Χαμηλότερη τιμή μπορεί να λειτουργήσει ως όριο κόστους.
Αποθηκεύστε, ελέγξτε και δοκιμάστε
Αποθηκεύστε τον λογαριασμό, εκτελέστε έλεγχο σύνδεσης και δοκιμάστε μεγαλύτερη συνομιλία με εργαλείο που χρησιμοποιείτε συνήθως.
Το μοντέλο χάνει λεπτομέρειες νωρίτερα, η Assistela συμπιέζει συχνότερα το ιστορικό και σύνθετη εργασία με πολλά εργαλεία μπορεί να μη χωρά. Μην χρησιμοποιείτε ελάχιστες τιμές ειδικών σε κανονικό λογαριασμό.
Αυτόματη συμπίεση ιστορικού
Στις Ρυθμίσεις → Προηγμένα → Λειτουργία εφαρμογής, ο πίνακας Πότε συνοψίζεται παλιότερη συνομιλία δείχνει τη συμπίεση. Η Assistela συντομεύει το παλιό ιστορικό πριν φτάσει το πλήρες όριο, διατηρεί πρόσφατη συνομιλία και δεσμεύει έξοδο. Το κατά προσέγγιση κατώφλι εξαρτάται από το μέγεθος πλαισίου.
Η ίδια σελίδα δείχνει όρια για Προσωρινές Πληροφορίες, email Προσωπικού Βοηθού, ημέρες Ημερολογίου και Υπενθυμίσεων. Είναι μερίδια του διαθέσιμου πλαισίου. Περισσότερο δεν είναι πάντα καλύτερο: παλιό email μπορεί να εκτοπίσει το τρέχον αίτημα ή αποτελέσματα εργαλείων.
Σχήμα εργαλείων και βήματα εργασίας
- Αποδοτική/προοδευτική φόρτωση: στέλνει πρώτα τη λίστα εργαλείων και φορτώνει λεπτομέρειες όταν χρειάζονται. Συνιστάται και εξοικονομεί πλαίσιο.
- Αναλυτικό/πλήρες σχήμα: στέλνει αμέσως κάθε περιγραφή. Χρησιμοποιήστε το μόνο όταν συγκεκριμένο μοντέλο δεν αναγνωρίζει εργαλεία στην προοδευτική λειτουργία.
- Όριο βημάτων εργασίας ανά μήνυμα: ελέγχει πόσα ενδιάμεσα βήματα μπορεί να κάνει η Assistela. Υψηλότερο όριο δεν κάνει την απάντηση εξυπνότερη· επιτρέπει μόνο μεγαλύτερη εκτέλεση.
Άλλες επιλογές μοντέλου
- Χρήση συλλογισμού μοντέλου: ενεργοποιήστε μόνο για μοντέλο που τον υποστηρίζει. Μεγαλύτερη προσπάθεια μπορεί να αυξήσει ποιότητα, χρόνο και κόστος.
- Αυτό το μοντέλο υποστηρίζει μόνο κείμενο: ενεργοποιήστε αν δεν επεξεργάζεται εικόνες· η Assistela δεν θα στέλνει δεδομένα εικόνας.
- Απαίτηση κλήσης εργαλείου όταν το μοντέλο υπόσχεται ενέργεια: βοηθά μοντέλα που ισχυρίζονται ότι ενήργησαν χωρίς tool call.
- Σύνοψη παλιότερης εξόδου εργαλείων: διατηρήστε ενεργή ώστε μεγάλα παλιά αποτελέσματα να μη γεμίζουν το πλαίσιο.
Διατηρήστε την ασφαλή προεπιλογή 128K, προοδευτική φόρτωση σχήματος και αυτόματη συμπίεση. Αλλάζετε όρια μόνο για συγκεκριμένο μοντέλο, αποτυχία ή προϋπολογισμό και επαληθεύετε ότι η Assistela συνεχίζει σωστά τη συνομιλία.