Trasowanie modeli

Co oznacza trasowanie

Assistela wywołuje LLM nie tylko w celu udzielania zwykłych odpowiedzi na Czacie. Używa modeli również do podsumowywania starszych rozmów, przeglądania pamięci, uruchamiania Asystenta osobistego, planowania użycia narzędzi, pracy z kodem i diagnostyki. Trasowanie pozwala przypisać inne konto lub model do każdego z tych zastosowań.

Domyślnie dla każdego zastosowania wybrano Domyślne, co oznacza dziedziczenie głównego konta AI i modelu. Jest to zalecane, dopóki nie masz konkretnego powodu, aby coś rozdzielić.

Dostępne zastosowania

Czat: zwykłe odpowiedzi i główna rozmowa.
Podsumowywanie: kompresowanie starszej historii w miarę wzrostu kontekstu.
Wyszukiwanie rozmów: znajdowanie starszych wiadomości i sesji.
Przegląd pamięci: ocenianie i aktualizowanie pamięci trwałej.
Asystent osobisty: okresowe kontrole proaktywne.
Refleksja: ocenianie wyników i dalszych kroków.
Planowanie działań: decydowanie, których narzędzi użyć i w jakiej kolejności.
Programowanie: praca ukierunkowana na tworzenie oprogramowania.
Diagnostyka: sprawdzanie modeli i analiza działania.

Narzędzia potrzebują niezawodnego modelu

Model, który dobrze pisze, może mimo to słabo wywoływać narzędzia. Dla Asystenta osobistego, planowania działań, pamięci, programowania i diagnostyki używaj modelu z niezawodną obsługą tool calling.

Konfiguracja niestandardowej trasy

1

Przygotuj oba konta

Najpierw dodaj i niezależnie przetestuj każde konto w sekcji Ustawienia → Konta AI.

2

Otwórz trasowanie

Wybierz Assistela → Ustawienia → Zaawansowane → Trasowanie modeli.

3

Wybierz zastosowanie

W odpowiednim wierszu zmień Domyślne na Niestandardowe.

4

Wybierz połączenie, konto i model

Wybierz typ połączenia, konto AI oraz dokładny model. Jeśli modelu nie ma na liście, użyj niestandardowego identyfikatora modelu tylko wtedy, gdy znasz dokładny identyfikator stosowany przez dostawcę.

5

Przetestuj dokładnie tę funkcję

Trasę Czatu przetestuj wiadomością, trasę Asystenta osobistego opcją Uruchom teraz, a trasę podsumowania — dłuższą rozmową testową lub diagnostyką.

Rozsądne strategie

Prostota: pozostaw wszędzie ustawienie Domyślne. Tworzy to najmniej możliwych punktów awarii.
Niższy koszt: używaj szybkiego i niedrogiego modelu do podsumowań oraz wyszukiwania rozmów, a mocniejszego do Czatu i planowania działań.
Specjalizacja: używaj modelu programistycznego tylko na trasie Programowanie.
Osobny Asystent osobisty: używaj niezawodnego modelu obsługującego tool calling z osobnym budżetem kosztów.

Kontroluj dostępność i koszty

Każda niestandardowa trasa stanowi dodatkową zależność. Jeśli na danym koncie skończą się środki, klucz API wygaśnie lub dostawca zmieni nazwę modelu, tylko część Assisteli może przestać działać. Monitoruj wykorzystanie u każdego zaangażowanego dostawcy.

Powrót do ustawienia domyślnego

Ustaw dla odpowiedniego zastosowania ponownie wartość Domyślne. Znów zacznie dziedziczyć główne konto AI i model. Jeśli problem zniknie, jego przyczyną było konkretne konto, model lub zdolność modelu do używania narzędzi.