Маршрутизація моделей

Що означає маршрутизація

Assistela викликає LLM не лише для звичайних відповідей у Чаті. Вона також використовує моделі, щоб підсумовувати давнішу розмову, переглядати пам’ять, запускати Особистого асистента, планувати використання інструментів, працювати з кодом і виконувати діагностику. Маршрутизація дає змогу призначити окремий обліковий запис або модель для кожної мети.

Стандартно для кожної мети встановлено Стандартна, тобто вона успадковує основний обліковий запис і модель AI. Це рекомендовано, доки у вас немає конкретної причини щось відокремити.

Доступні цілі

Чат: звичайні відповіді й основна розмова.
Підсумовування: стиснення давнішої історії зі зростанням контексту.
Пошук у розмовах: знаходження давніших повідомлень і сеансів.
Перегляд пам’яті: оцінювання й оновлення довготривалої пам’яті.
Особистий асистент: періодичні проактивні перевірки.
Рефлексія: оцінювання результатів і подальших кроків.
Планування дій: вибір потрібних інструментів і порядку їх використання.
Програмування: робота, зосереджена на написанні коду.
Діагностика: перевірки моделі й операційний аналіз.

Інструментам потрібна надійна модель

Модель, яка добре пише текст, може все одно погано викликати інструменти. Для Особистого асистента, планування дій, пам’яті, програмування й діагностики використовуйте модель із надійним tool calling.

Налаштування власного маршруту

1

Підготуйте обидва облікові записи

Спочатку додайте й окремо перевірте кожен обліковий запис у Налаштування → Облікові записи AI.

2

Відкрийте маршрутизацію

Виберіть Assistela → Налаштування → Розширені → Маршрутизація моделей.

3

Виберіть мету

У потрібному рядку змініть Стандартна на Власна.

4

Виберіть підключення, обліковий запис і модель

Виберіть тип підключення, обліковий запис AI й точну модель. Якщо моделі немає, використовуйте власний ідентифікатор моделі, лише коли знаєте точний ідентифікатор постачальника.

5

Перевірте саме цю функцію

Перевірте маршрут Чату повідомленням, маршрут Особистого асистента — функцією «Запустити зараз», а маршрут підсумовування — довшою тестовою розмовою або діагностикою.

Доцільні стратегії

Простота: залиште всюди значення «Стандартна». Так буде найменше можливих причин помилки.
Нижча вартість: використовуйте швидку недорогу модель для підсумків і пошуку в розмовах, а потужнішу — для Чату й планування дій.
Спеціалізація: використовуйте модель для програмування лише на маршруті «Програмування».
Окремий Особистий асистент: використовуйте надійну модель із tool calling і власним бюджетом витрат.

Стежте за доступністю й вартістю

Кожен власний маршрут — ще одна залежність. Якщо в цього облікового запису закінчиться кредит, спливе строк дії ключа API або постачальник перейменує модель, може відмовити лише частина Assistela. Стежте за використанням у кожного залученого постачальника.

Повернення до стандартного маршруту

Поверніть для відповідної мети значення Стандартна. Вона знову успадковуватиме основний обліковий запис і модель AI. Якщо помилка зникне, її причиною був конкретний обліковий запис, модель або здатність моделі використовувати інструменти.