Roteamento de modelos
O roteamento permite usar outra conta de LLM ou outro modelo para certos tipos de trabalho, enquanto o Chat principal continua usando a opção padrão.
O que significa roteamento
A Assistela não usa um LLM apenas para responder às conversas comuns no Chat. Ela também usa modelos para resumir conversas antigas, revisar a memória, executar o Assistente Pessoal, planejar o uso de ferramentas, trabalhar com código e realizar diagnósticos. O roteamento permite atribuir uma conta ou um modelo diferente a cada finalidade.
Por padrão, todas as finalidades ficam definidas como Padrão, o que significa que herdam a conta e o modelo de IA principais. Essa configuração é recomendada até que você tenha um motivo específico para separar alguma finalidade.
Finalidades disponíveis
- Chat: respostas comuns e a conversa principal.
- Resumo: compactação do histórico antigo à medida que o contexto aumenta.
- Pesquisa de conversas: localização de mensagens e sessões antigas.
- Revisão da memória: avaliação e atualização da memória duradoura.
- Assistente Pessoal: verificações proativas periódicas.
- Reflexão: avaliação de resultados e etapas de acompanhamento.
- Planejamento de ações: decisão sobre quais ferramentas usar e em que ordem.
- Programação: trabalhos voltados à programação.
- Diagnósticos: verificações de modelos e análise operacional.
Um modelo que escreve bons textos ainda pode usar ferramentas de forma insatisfatória. Para o Assistente Pessoal, o planejamento de ações, a memória, a programação e os diagnósticos, use um modelo com suporte confiável a tool calling.
Configure uma rota personalizada
Prepare as duas contas
Primeiro, adicione e teste separadamente cada conta em Ajustes → Contas de IA.
Abra o roteamento
Escolha Assistela → Ajustes → Avançado → Roteamento de Modelos.
Selecione uma finalidade
Na linha desejada, altere Padrão para Personalizado.
Escolha a conexão, a conta e o modelo
Selecione o tipo de conexão, a conta de IA e o modelo exato. Se o modelo não aparecer, use um ID de modelo personalizado somente quando souber o identificador exato usado pelo provedor.
Teste exatamente esse recurso
Teste uma rota de Chat com uma mensagem, uma rota do Assistente Pessoal com Executar Agora e uma rota de resumo com uma conversa de teste mais longa ou com os diagnósticos.
Estratégias sensatas
- Simplicidade: deixe tudo como Padrão. Assim, haverá menos pontos de falha.
- Custo menor: use um modelo rápido e econômico para resumos e pesquisa de conversas e outro mais avançado para o Chat e o planejamento de ações.
- Especialização: use um modelo de programação somente na rota de Programação.
- Assistente Pessoal separado: use um modelo confiável para tool calling, com um orçamento de uso próprio.
Cada rota personalizada representa outra dependência. Se os créditos dessa conta acabarem, a chave de API expirar ou o provedor renomear um modelo, somente uma parte da Assistela poderá falhar. Monitore o uso em todos os provedores envolvidos.
Volte à configuração padrão
Defina novamente a finalidade afetada como Padrão. Ela voltará a herdar a conta e o modelo de IA principais. Se a falha desaparecer, a causa era a conta ou o modelo específico, ou a capacidade dele de usar ferramentas.