Kontekst LLM i tokeny
Limity tokenów określają, ile tekstu i danych narzędzi Assistela może wysłać w jednym kontekście modelu; nie są liczbą wiadomości ani ceną jednej odpowiedzi.
Co oznacza tutaj token
Token to mała jednostka tekstu przetwarzana przez LLM. Kontekst obejmuje bieżące żądanie, ostatnią rozmowę, pamięć, informacje tymczasowe, opisy narzędzi i wyniki narzędzi. Dłuższy kontekst pozwala modelowi widzieć większą część historii, ale może działać wolniej i kosztować więcej.
Maksymalny użyteczny kontekst nie jest „liczbą tokenów w jednej odpowiedzi”. To budżet całego roboczego obszaru wejściowego, z którego Assistela może korzystać. Część miejsca jest automatycznie rezerwowana na wynik modelu.
Gdzie zmienić limit
Otwórz konto AI
Wybierz Assistela → Ustawienia → Konta AI i zaznacz konto po lewej stronie.
Otwórz kartę Model
Zobaczysz Wykryty limit podany przez model lub dostawcę oraz Używany limit rzeczywiście stosowany przez Assistelę.
Rozwiń Ręczne limity tokenów
Wpisz liczbę tokenów w polu Maksimum tylko wtedy, gdy znasz ograniczenie modelu lub świadomie chcesz kontrolować koszt.
Wybierz bezpieczną wartość
Opcja Użyj bezpiecznego ustawienia domyślnego 128K przywraca zalecany pułap. Użyj maksimum modelu stosuje wykryty limit techniczny. Niższa wartość może służyć jako ograniczenie kosztów.
Zapisz, sprawdź i przetestuj
Zapisz konto, uruchom kontrolę połączenia i przetestuj dłuższą rozmowę z narzędziem, którego zwykle używasz.
Model szybciej traci szczegóły, Assistela częściej kompresuje historię, a złożone zadanie z kilkoma narzędziami może się nie zmieścić. Nie używaj minimalnych wartości przeznaczonych dla ekspertów na zwykłym koncie.
Automatyczna kompresja historii
W sekcji Ustawienia → Zaawansowane → Działanie aplikacji tabela Kiedy starszy czat jest podsumowywany pokazuje sposób działania kompresji. Assistela skraca starszą historię przed osiągnięciem pełnego limitu, zachowuje część ostatniej rozmowy i rezerwuje miejsce na wynik. Przybliżony próg zależy od rozmiaru kontekstu modelu.
Ta sama strona pokazuje limity dla Informacji tymczasowych, poczty e-mail Asystenta osobistego oraz liczby dni Kalendarza i Przypomnień. Stanowią one części dostępnego kontekstu. Większa liczba nie zawsze jest lepsza: więcej starej poczty może wypierać bieżące żądanie lub wyniki narzędzi.
Schemat narzędzi i kroki pracy
- Wydajne / progresywne wczytywanie: najpierw wysyła listę narzędzi, a pełne szczegóły wczytuje w razie potrzeby. Jest zalecane i oszczędza kontekst.
- Szczegółowy / pełny schemat: od razu wysyła opis każdego narzędzia. Używaj go tylko wtedy, gdy konkretny model nie rozpoznaje narzędzi w trybie progresywnym.
- Limit kroków pracy dla jednej wiadomości: określa, ile częściowych kroków Assistela może wykonać. Wyższy limit nie zwiększa inteligencji odpowiedzi; pozwala jedynie na dłuższe uruchomienie.
Inne opcje modelu
- Używaj rozumowania modelu: włączaj tylko dla modelu obsługującego rozumowanie. Większy wysiłek może poprawić jakość kosztem czasu i ceny.
- Ten model obsługuje tylko tekst: włącz, gdy nie może przetwarzać obrazów; Assistela nie będzie wysyłać danych obrazów.
- Wymagaj wywołania narzędzia, gdy model obiecuje działanie: pomaga w przypadku modeli, które czasem twierdzą, że wykonały czynność bez wywołania narzędzia.
- Podsumowuj starsze wyniki narzędzi: pozostaw włączone, aby długie stare wyniki nie wypełniały kontekstu.
Zachowaj bezpieczne ustawienie domyślne 128K, progresywne wczytywanie schematu i automatyczną kompresję. Zmieniaj limity wyłącznie ze względu na konkretny model, awarię lub budżet i upewnij się, że Assistela nadal prawidłowo śledzi rozmowę.