高级功能
模型路由
路由可以让不同类型的工作使用其他 LLM 账户或模型,同时主聊天仍使用默认设置。
路由的含义
Assistela 不只在普通聊天回答中调用 LLM。它还使用模型来总结较早的对话、检查记忆、运行个人助理、规划工具使用、处理代码并执行诊断。路由可以为每种用途分配不同的账户或模型。
默认情况下,每种用途都设为 默认,即继承主 AI 账户和模型。在有明确理由需要分离之前,建议保留此设置。
可用用途
- 聊天:普通回答和主对话。
- 摘要:随着上下文增长压缩较早历史记录。
- 对话搜索:查找较早的消息和会话。
- 记忆检查:评估并更新长期记忆。
- 个人助理:定期主动检查。
- 反思:评估结果和后续步骤。
- 操作规划:决定使用哪些工具以及使用顺序。
- 编码:以编程为主的工作。
- 诊断:模型检查和运行分析。
工具需要可靠的模型
擅长写作的模型未必能可靠调用工具。对于个人助理、操作规划、记忆、编码和诊断,请使用 tool calling 可靠的模型。
配置自定义路由
准备两个账户
先在 设置 → AI 账户 中添加并单独测试每个账户。
打开路由
选择 Assistela → 设置 → 高级 → 模型路由。
选择用途
在所需行中,将 默认 改为 自定义。
选择连接、账户和模型
选择连接类型、AI 账户和确切模型。如果列表中没有该模型,只有在知道提供商的准确标识符时才使用自定义模型 ID。
测试该项具体功能
用一条消息测试聊天路由,用“立即运行”测试个人助理路由,用较长的测试对话或诊断测试摘要路由。
合理的策略
- 保持简单:全部保留“默认”。这样故障点最少。
- 降低成本:摘要和对话搜索使用快速低价模型,聊天和操作规划使用更强的模型。
- 专业分工:只在“编码”路由中使用编码模型。
- 单独设置个人助理:使用 tool calling 可靠且有独立成本预算的模型。
留意可用性和成本
每条自定义路由都会增加一项依赖。如果相应账户额度用尽、API 密钥过期或提供商重命名模型,Assistela 可能只有一部分功能失败。请监控所有相关提供商的用量。
恢复默认设置
将相应用途重新设为 默认,它会再次继承主 AI 账户和模型。如果故障消失,原因就在具体账户、模型或其工具使用能力。