Routing modelů
Routing umožňuje pro různé druhy práce použít jiný LLM účet nebo model a ponechat hlavní chat na výchozím nastavení.
Co routing znamená
Assistela nevolá LLM jen při běžné odpovědi v Chatu. Model používá také pro souhrny starší konverzace, kontrolu paměti, Osobního asistenta, plánování nástrojů, práci s kódem a diagnostiku. Routing umožňuje každému účelu přiřadit jiný účet nebo model.
Ve výchozím režimu je u všech účelů volba Výchozí. To znamená, že dědí hlavní AI účet a jeho model. Toto je doporučené nastavení, dokud nemáte konkrétní důvod něco oddělit.
Dostupné účely
- Chat: běžné odpovědi a hlavní konverzace.
- Souhrny: zkracování starší historie, když roste kontext.
- Hledání konverzací: nalezení starších zpráv a relací.
- Kontrola paměti: posouzení a úprava dlouhodobé paměti.
- Osobní asistent: pravidelné proaktivní kontroly.
- Reflexe: vyhodnocení výsledku a následných kroků.
- Plánování akcí: rozhodování, které nástroje použít a v jakém pořadí.
- Kódování: úlohy zaměřené na programování.
- Diagnostika: kontroly modelu a provozní rozbory.
Model, který dobře píše text, nemusí správně volat nástroje. Pro Osobního asistenta, plánování akcí, paměť, kód a diagnostiku používejte model se spolehlivým tool calling.
Nastavení vlastní trasy
Připravte oba účty
Nejdřív v Nastavení → AI účty přidejte a samostatně otestujte každý účet, který chcete v routingu použít.
Otevřete routing
Zvolte Assistela → Nastavení → Pokročilé → Routing modelů.
Vyberte účel
U požadované řádky změňte režim z Výchozí na Vlastní.
Zvolte připojení, účet a model
Vyberte typ připojení, AI účet a konkrétní model. Pokud model není v seznamu, použijte vlastní model ID pouze tehdy, když znáte přesný identifikátor providera.
Otestujte přesně danou funkci
Změnu Chatu ověřte zprávou, změnu Osobního asistenta tlačítkem Spustit nyní a změnu souhrnů delší testovací konverzací nebo diagnostikou.
Rozumné strategie
- Jednoduchost: vše ponechat na Výchozí. Nejméně míst, kde se může konfigurace rozbít.
- Nižší cena: rychlý levnější model pro souhrny a hledání konverzací, silnější model pro Chat a plánování akcí.
- Specializace: model vhodný pro kód pouze na trase Kódování.
- Oddělený Osobní asistent: spolehlivý model s tool calling a samostatným nákladovým rozpočtem.
Každá vlastní trasa je další závislost. Když daný účet nemá kredit, API klíč přestane platit nebo provider model přejmenuje, selže jen část Assistely. Sledujte využití u všech použitých providerů.
Návrat k výchozímu nastavení
U problematického účelu změňte režim zpět na Výchozí. Trasa znovu zdědí hlavní AI účet a model. Pokud chyba zmizí, byla v konkrétním účtu, modelu nebo jeho schopnosti používat nástroje.