LLM Bağlamı ve Belirteçler
Belirteç sınırları Assistela’nın tek model bağlamında gönderebileceği metin ve araç verisi miktarını denetler; ileti sayısı veya tek yanıtın fiyatı değildir.
Burada belirteç ne anlama gelir?
Belirteç, LLM tarafından işlenen küçük bir metin birimidir. Bağlam; güncel isteği, son sohbeti, belleği, geçici bilgileri, araç açıklamalarını ve araç sonuçlarını içerir. Daha uzun bağlam modelin daha fazla geçmiş görmesini sağlar, ancak daha yavaş ve pahalı olabilir.
Kullanılabilecek en büyük bağlam, “tek yanıttaki belirteç sayısı” değildir. Assistela’nın kullanabileceği tüm çalışma girdisi için bütçedir. Model çıktısı için bir miktar alan otomatik olarak ayrılır.
Sınırı nerede değiştirirsiniz?
AI hesabını açın
Assistela → Ayarlar → AI Hesapları seçeneğini belirleyip soldaki hesabı seçin.
Model sekmesini açın
Modelin veya sağlayıcının bildirdiği Algılanan sınır ile Assistela’nın gerçekten kullandığı Kullanılan sınır değerini görürsünüz.
Elle belirteç sınırları’nı genişletin
En büyük alanına yalnızca model kısıtlamasını biliyorsanız veya maliyeti bilinçli olarak denetlemek istiyorsanız belirteç sayısı girin.
Güvenli bir değer seçin
Güvenli 128K varsayılanını kullan önerilen üst sınırı geri yükler. Modelin en yüksek değerini kullan algılanan teknik sınırı kullanır. Daha düşük değer maliyet sınırı olabilir.
Kaydedin, denetleyin ve deneyin
Hesabı kaydedin, bağlantı denetimini çalıştırın ve normalde kullandığınız bir araçla daha uzun konuşma deneyin.
Model ayrıntıları daha erken kaybeder, Assistela geçmişi daha sık sıkıştırır ve birkaç araçla yapılan karmaşık iş sığmayabilir. Normal bir hesapta yalnızca uzmanlara yönelik en düşük değerleri kullanmayın.
Otomatik geçmiş sıkıştırma
Ayarlar → Gelişmiş → Uygulama İşleyişi altında Eski sohbet ne zaman özetlenir? tablosu sıkıştırmanın nasıl çalıştığını gösterir. Assistela tam sınıra ulaşmadan eski geçmişi kısaltır, yakın tarihli konuşmanın bir bölümünü tutar ve çıktı alanı ayırır. Yaklaşık eşik, model bağlamı boyutuna bağlıdır.
Aynı sayfa Geçici Bilgiler, Kişisel Asistan e-postası, Takvim günleri ve Anımsatıcı günleri için sınırları gösterir. Bunlar kullanılabilir bağlamın paylarıdır. Daha yüksek sayı her zaman daha iyi değildir: daha fazla eski e-posta güncel isteği veya araç sonuçlarını dışarıda bırakabilir.
Araç şeması ve çalışma adımları
- Verimli / aşamalı yükleme: önce araç listesini gönderir ve gerektiğinde tüm ayrıntıları yükler. Önerilir ve bağlamdan tasarruf sağlar.
- Ayrıntılı / tam şema: her araç açıklamasını hemen gönderir. Yalnızca belirli bir model aşamalı modda araçları tanımıyorsa kullanın.
- Tek ileti için çalışma adımı sınırı: Assistela’nın kaç ara adım atabileceğini denetler. Daha yüksek sınır yanıtı akıllı kılmaz; yalnızca daha uzun çalıştırmaya izin verir.
Diğer model seçenekleri
- Model akıl yürütmesini kullan: yalnızca akıl yürütmeyi destekleyen modelde etkinleştirin. Daha fazla çaba süreyi ve maliyeti artırırken kaliteyi yükseltebilir.
- Bu model yalnızca metni destekler: görselleri işleyemiyorsa etkinleştirin; Assistela görsel verisi göndermez.
- Model eylem sözü verdiğinde araç çağrısı iste: bazen araç çağırmadan eylem yaptığını söyleyen modellere yardımcı olur.
- Eski araç çıktısını özetle: uzun ve eski sonuçların bağlamı doldurmaması için etkin tutun.
Güvenli 128K varsayılanını, aşamalı şema yüklemesini ve otomatik sıkıştırmayı koruyun. Sınırları yalnızca belirli bir model, hata veya bütçe için değiştirin ve Assistela’nın konuşmayı hâlâ doğru izlediğini doğrulayın.