進階設定
模型路由
「路由」可讓不同類型的工作使用另一個 LLM 帳戶或模型,而主要聊天仍維持預設設定。
路由的含義
Assistela 不只會為一般「聊天」答案呼叫 LLM。它也會使用模型摘要較舊對話、檢視記憶、執行「個人助理」、規劃工具使用、處理程式碼及進行診斷。「路由」可讓您為每種用途指定不同的帳戶或模型。
每種用途預設都設為預設,表示沿用主要 AI 帳戶與模型。在您有明確理由需要分開前,建議維持此設定。
可用的用途
- 聊天:一般答案與主要對話。
- 摘要:在情境逐漸增加時壓縮較舊記錄。
- 對話搜尋:尋找較舊的訊息與工作階段。
- 記憶檢視:評估及更新長期記憶。
- 個人助理:定期主動檢查。
- 反思:評估結果與後續步驟。
- 動作規劃:決定使用哪些工具及使用順序。
- 程式開發:以程式設計為主的工作。
- 診斷:模型檢查與操作分析。
工具需要可靠的模型
擅長撰寫文字的模型,仍可能不擅長呼叫工具。對於「個人助理」、動作規劃、記憶、程式開發及診斷,請使用 tool calling 可靠的模型。
設定自訂路由
準備兩個帳戶
先在 設定 → AI 帳戶 下加入並個別測試每個帳戶。
開啟路由
選擇 Assistela → 設定 → 進階 → 模型路由。
選取用途
在需要的列上,將預設改為自訂。
選擇連線、帳戶與模型
選取連線類型、AI 帳戶與確切模型。若列表中沒有該模型,只有在您知道供應商的確切識別碼時,才使用自訂模型 ID。
測試該項特定功能
以訊息測試「聊天」路由、以「立即執行」測試「個人助理」路由,並以較長的測試對話或診斷測試摘要路由。
合理的策略
- 簡單:全部維持「預設」,故障點最少。
- 降低成本:摘要與對話搜尋使用快速、便宜的模型;聊天與動作規劃使用較強的模型。
- 專業分工:只在「程式開發」路由使用程式模型。
- 個人助理獨立運作:使用 tool calling 可靠、且有獨立成本預算的模型。
留意可用性與成本
每條自訂路由都會增加一項相依性。如果該帳戶餘額用盡、API 金鑰過期,或供應商重新命名模型,Assistela 可能只有部分功能失敗。請監控每個相關供應商的用量。
回復預設值
將受影響的用途改回預設,它便會再次沿用主要 AI 帳戶與模型。如果故障消失,原因就在特定帳戶、模型或其工具使用能力。