Konteks dan Token LLM
Batas token mengontrol jumlah teks dan data alat yang dapat dikirim Assistela dalam satu konteks model; bukan jumlah pesan atau harga satu jawaban.
Arti token di sini
Token adalah unit kecil teks yang diproses LLM. Konteks mencakup permintaan saat ini, chat terbaru, memori, informasi sementara, deskripsi alat, dan hasil alat. Konteks lebih panjang memberi model lebih banyak riwayat, tetapi dapat lebih lambat dan mahal.
Konteks maksimum yang dapat digunakan bukan “jumlah token dalam satu jawaban”. Ini adalah anggaran seluruh area masukan kerja Assistela. Sebagian ruang otomatis dicadangkan untuk keluaran model.
Tempat mengubah batas
Buka akun AI
Pilih Assistela → Pengaturan → Akun AI dan pilih akun di kiri.
Buka tab Model
Anda akan melihat Batas terdeteksi dari model atau penyedia dan Batas digunakan yang benar-benar dipakai Assistela.
Perluas Batas token manual
Masukkan jumlah token di Maksimum hanya jika mengetahui batas model atau sengaja ingin mengontrol biaya.
Pilih nilai aman
Gunakan default aman 128K mengembalikan batas yang disarankan. Gunakan maksimum model memakai batas teknis terdeteksi. Nilai lebih rendah dapat menjadi batas biaya.
Simpan, periksa, dan uji
Simpan akun, jalankan pemeriksaan koneksi, lalu uji percakapan panjang dengan alat yang biasa digunakan.
Model kehilangan detail lebih cepat, Assistela lebih sering memadatkan riwayat, dan pekerjaan kompleks dengan beberapa alat mungkin tidak muat. Jangan gunakan nilai minimum khusus ahli untuk akun normal.
Pemadatan riwayat otomatis
Di Pengaturan → Lanjutan → Operasi Aplikasi, tabel Saat chat lama dirangkum menunjukkan cara pemadatan bekerja. Assistela memendekkan riwayat lama sebelum batas penuh tercapai, menyimpan percakapan terbaru, dan mencadangkan ruang keluaran. Ambang perkiraan bergantung pada ukuran konteks model.
Halaman yang sama menampilkan batas Informasi Sementara, email Asisten Pribadi, hari Kalender, dan hari Pengingat. Ini adalah bagian konteks tersedia. Angka lebih tinggi tidak selalu lebih baik: email lama dapat menggeser permintaan atau hasil alat saat ini.
Skema alat dan langkah kerja
- Pemuatan efisien/progresif: mengirim daftar alat dahulu dan memuat detail sesuai kebutuhan. Disarankan dan menghemat konteks.
- Skema terperinci/penuh: langsung mengirim semua deskripsi alat. Gunakan hanya jika model tertentu tidak mengenali alat dalam mode progresif.
- Batas langkah kerja untuk satu pesan: mengontrol jumlah langkah parsial Assistela. Batas lebih tinggi tidak membuat jawaban lebih cerdas; hanya mengizinkan proses lebih lama.
Opsi model lain
- Gunakan penalaran model: aktifkan hanya untuk model yang mendukungnya. Upaya lebih tinggi dapat meningkatkan mutu sekaligus waktu dan biaya.
- Model ini hanya mendukung teks: aktifkan jika tidak dapat memproses gambar; Assistela tidak akan mengirim data gambar.
- Wajibkan tool call saat model menjanjikan tindakan: membantu model yang terkadang mengaku bertindak tanpa memanggil alat.
- Rangkum keluaran alat lama: tetap aktifkan agar hasil lama tidak memenuhi konteks.
Pertahankan default aman 128K, pemuatan skema progresif, dan pemadatan otomatis. Ubah batas hanya untuk model, kegagalan, atau anggaran tertentu, lalu pastikan Assistela tetap mengikuti percakapan dengan benar.