Маршрутизация моделей

Что означает маршрутизация

Assistela обращается к LLM не только для обычных ответов в Чате. Модели также используются для сводок старых разговоров, проверки памяти, запуска Персонального ассистента, планирования инструментов, работы с кодом и диагностики. Маршрутизация позволяет назначить отдельную учётную запись или модель для каждой цели.

По умолчанию для каждой цели выбрано По умолчанию, то есть она наследует основную учётную запись AI и модель. Это рекомендуется, пока нет конкретной причины что-либо разделять.

Доступные цели

Чат: обычные ответы и основной разговор.
Создание сводок: сжатие старой истории по мере роста контекста.
Поиск разговоров: поиск старых сообщений и сеансов.
Проверка памяти: оценка и обновление долговременной памяти.
Персональный ассистент: периодические инициативные проверки.
Рефлексия: оценка результатов и дальнейших шагов.
Планирование действий: решение о том, какие инструменты использовать и в каком порядке.
Программирование: работа, связанная с кодом.
Диагностика: проверка моделей и анализ работы.

Инструментам нужна надёжная модель

Модель, которая хорошо пишет текст, всё равно может плохо вызывать инструменты. Для Персонального ассистента, планирования действий, памяти, программирования и диагностики используйте модель с надёжным tool calling.

Настройка собственного маршрута

1

Подготовьте обе учётные записи

Сначала добавьте и отдельно проверьте каждую учётную запись в разделе Настройки → Учётные записи AI.

2

Откройте маршрутизацию

Выберите Assistela → Настройки → Расширенные → Маршрутизация моделей.

3

Выберите цель

В нужной строке измените По умолчанию на Собственный.

4

Выберите подключение, учётную запись и модель

Выберите тип подключения, учётную запись AI и точную модель. Если модели нет, используйте собственный идентификатор только тогда, когда знаете точное обозначение поставщика.

5

Проверьте именно эту функцию

Маршрут Чата проверьте сообщением, маршрут Персонального ассистента — кнопкой «Запустить сейчас», а маршрут сводки — длинным тестовым разговором или диагностикой.

Разумные стратегии

Простота: оставьте всё на значении «По умолчанию». Так будет меньше всего возможных точек отказа.
Меньше расходов: используйте быструю недорогую модель для сводок и поиска разговоров, а более мощную — для Чата и планирования действий.
Специализация: используйте модель для программирования только в маршруте «Программирование».
Отдельный Персональный ассистент: используйте надёжную модель с tool calling и отдельным бюджетом расходов.

Следите за доступностью и стоимостью

Каждый собственный маршрут — дополнительная зависимость. Если на учётной записи закончатся средства, истечёт ключ API или поставщик переименует модель, может отказать только часть Assistela. Следите за использованием у каждого задействованного поставщика.

Возврат к значению по умолчанию

Верните соответствующей цели значение По умолчанию. Она снова унаследует основную учётную запись AI и модель. Если ошибка исчезнет, причиной была конкретная учётная запись, модель или её способность использовать инструменты.