Контекст і токени LLM
Ліміти токенів визначають обсяг тексту й даних інструментів, які Assistela може надіслати в одному контексті моделі; це не кількість повідомлень і не ціна однієї відповіді.
Що тут означає токен
Токен — це невелика одиниця тексту, яку обробляє LLM. Контекст містить поточний запит, нещодавній чат, пам’ять, тимчасову інформацію, описи інструментів і їхні результати. Довший контекст дає моделі більше історії, але може працювати повільніше й коштувати дорожче.
Максимальний доступний контекст — це не «кількість токенів в одній відповіді». Це бюджет усієї робочої вхідної області, яку може використовувати Assistela. Частина місця автоматично резервується для відповіді моделі.
Де змінити ліміт
Відкрийте обліковий запис AI
Виберіть Assistela → Налаштування → Облікові записи AI і клацніть обліковий запис ліворуч.
Відкрийте вкладку «Модель»
Ви побачите Виявлений ліміт, про який повідомила модель або постачальник, і Використовуваний ліміт, який фактично застосовує Assistela.
Розгорніть «Ручні ліміти токенів»
Вводьте кількість токенів у полі Максимум, лише якщо знаєте обмеження моделі або свідомо хочете контролювати вартість.
Виберіть безпечне значення
Використовувати безпечне стандартне значення 128K відновлює рекомендовану верхню межу. Використовувати максимум моделі застосовує виявлене технічне обмеження. Нижче значення може обмежувати витрати.
Збережіть, перевірте й випробуйте
Збережіть обліковий запис, перевірте його підключення та випробуйте довшу розмову з інструментом, яким зазвичай користуєтеся.
Модель раніше втрачає деталі, Assistela частіше стискає історію, а складна робота з кількома інструментами може не вміститися. Не використовуйте мінімальні значення для фахівців у звичайному обліковому записі.
Автоматичне стиснення історії
У Налаштування → Розширені → Робота застосунку таблиця Коли підсумовується давніший чат показує, як працює стиснення. Assistela скорочує давнішу історію до досягнення повного ліміту, зберігає частину нещодавньої розмови й резервує місце для відповіді. Приблизний поріг залежить від розміру контексту моделі.
На тій самій сторінці наведено ліміти для Тимчасової інформації, електронної пошти Особистого асистента, кількості днів Календаря й Нагадувань. Це частки доступного контексту. Більше значення не завжди краще: давніша пошта може витіснити поточний запит або результати інструментів.
Схема інструментів і робочі кроки
- Ефективне / поступове завантаження: спочатку надсилає список інструментів і завантажує повні відомості за потреби. Це рекомендований варіант, що заощаджує контекст.
- Докладна / повна схема: одразу надсилає опис кожного інструмента. Використовуйте лише тоді, коли певна модель не розпізнає інструменти в поступовому режимі.
- Ліміт робочих кроків для одного повідомлення: визначає, скільки проміжних кроків може виконати Assistela. Вищий ліміт не робить відповідь розумнішою, а лише дозволяє довший запуск.
Інші параметри моделі
- Використовувати міркування моделі: вмикайте лише для моделі, яка підтримує міркування. Вищий рівень зусиль може покращити якість, збільшуючи час і вартість.
- Ця модель підтримує лише текст: увімкніть, якщо вона не може обробляти зображення; Assistela не надсилатиме їй дані зображень.
- Вимагати виклику інструмента, коли модель обіцяє дію: допомагає з моделями, які іноді стверджують, що виконали дію, не викликавши інструмент.
- Підсумовувати давніший результат інструментів: залиште ввімкненим, щоб довгі старі результати не заповнювали контекст.
Залиште безпечне стандартне значення 128K, поступове завантаження схеми й автоматичне стиснення. Змінюйте ліміти лише для конкретної моделі, помилки чи бюджету й перевіряйте, чи Assistela й надалі правильно стежить за розмовою.