Konteks dan Token LLM
Had token mengawal jumlah teks dan data alat yang boleh dihantar oleh Assistela dalam satu konteks model; had ini bukan kiraan mesej atau harga satu jawapan.
Maksud token di sini
Token ialah unit kecil teks yang diproses oleh LLM. Konteks merangkumi permintaan semasa, Chat terkini, memori, maklumat sementara, perihalan alat dan hasil alat. Konteks lebih panjang membolehkan model melihat lebih banyak sejarah, tetapi boleh menjadi lebih perlahan dan mahal.
Konteks maksimum yang boleh digunakan bukan “bilangan token dalam satu jawapan”. Ia ialah belanjawan untuk keseluruhan ruang input kerja yang boleh digunakan oleh Assistela. Sebahagian ruang dikhaskan secara automatik untuk output model.
Tempat mengubah had
Buka akaun AI
Pilih Assistela → Tetapan → Akaun AI dan pilih akaun di sebelah kiri.
Buka tab Model
Anda akan melihat Had dikesan yang dilaporkan oleh model atau penyedia dan Had digunakan yang benar-benar digunakan oleh Assistela.
Kembangkan Had token manual
Masukkan kiraan token dalam Maksimum hanya apabila anda mengetahui kekangan model atau sengaja mahu mengawal kos.
Pilih nilai yang selamat
Gunakan lalai selamat 128K memulihkan had yang disyorkan. Gunakan maksimum model menggunakan had teknikal yang dikesan. Nilai lebih rendah boleh bertindak sebagai had kos.
Simpan, semak dan uji
Simpan akaun, jalankan semakan sambungan dan uji perbualan lebih panjang dengan alat yang biasa anda gunakan.
Model kehilangan butiran lebih awal, Assistela memampatkan sejarah dengan lebih kerap dan kerja rumit dengan beberapa alat mungkin tidak muat. Jangan gunakan nilai minimum khusus pakar untuk akaun biasa.
Pemampatan sejarah automatik
Di bawah Tetapan → Lanjutan → Operasi Aplikasi, jadual Masa Chat lama diringkaskan menunjukkan cara pemampatan berfungsi. Assistela memendekkan sejarah lama sebelum had penuh dicapai, mengekalkan sebahagian perbualan terkini dan menyimpan ruang output. Ambang anggaran bergantung pada saiz konteks model.
Halaman yang sama menunjukkan had untuk Maklumat Sementara, e-mel Pembantu Peribadi, hari Kalendar dan hari Peringatan. Nilai ini ialah bahagian konteks yang tersedia. Nombor lebih tinggi tidak sentiasa lebih baik: lebih banyak e-mel lama boleh menyesakkan permintaan semasa atau hasil alat.
Skema alat dan langkah kerja
- Pemuatan cekap/progresif: menghantar senarai alat dahulu dan memuatkan butiran penuh apabila diperlukan. Ini disyorkan dan menjimatkan konteks.
- Skema terperinci/penuh: menghantar setiap perihalan alat dengan segera. Gunakannya hanya apabila model tertentu tidak mengenali alat dalam mod progresif.
- Had langkah kerja bagi satu mesej: mengawal bilangan langkah separa yang boleh diambil oleh Assistela. Had lebih tinggi tidak menjadikan jawapan lebih pintar; ia hanya membenarkan pelaksanaan lebih panjang.
Pilihan model lain
- Gunakan penaakulan model: dayakan hanya untuk model yang menyokong penaakulan. Usaha lebih tinggi boleh meningkatkan kualiti sambil menambah masa dan kos.
- Model ini hanya menyokong teks: dayakan apabila model tidak boleh memproses imej; Assistela tidak akan menghantar data imej.
- Wajibkan panggilan alat apabila model menjanjikan tindakan: membantu model yang kadang-kadang mendakwa telah bertindak tanpa memanggil alat.
- Ringkaskan output alat lama: kekalkan didayakan supaya hasil lama yang panjang tidak memenuhi konteks.
Kekalkan lalai selamat 128K, pemuatan skema progresif dan pemampatan automatik. Ubah had hanya untuk model, kegagalan atau belanjawan tertentu, dan sahkan bahawa Assistela masih mengikuti perbualan dengan betul.