הקשר וטוקנים ב-LLM

מהו טוקן בהקשר הזה

טוקן הוא יחידת טקסט קטנה ש-LLM מעבד. ההקשר כולל את הבקשה הנוכחית, שיחות אחרונות, זיכרון, מידע זמני, תיאורי כלים ותוצאות של כלים. הקשר ארוך יותר מאפשר למודל לראות יותר מההיסטוריה, אך עשוי להיות איטי ויקר יותר.

ההקשר השמיש המרבי אינו „מספר הטוקנים בתשובה אחת”. זהו התקציב של כל אזור הקלט הפעיל ש-Assistela רשאית להשתמש בו. חלק מהמקום נשמר אוטומטית לפלט של המודל.

היכן משנים את המגבלה

1

פתחו את חשבון ה-AI

בחרו Assistela ← הגדרות ← חשבונות AI ובחרו את החשבון משמאל.

2

פתחו את הכרטיסייה מודל

יופיעו המגבלה שזוהתה, שעליה דיווחו המודל או הספק, והמגבלה שבשימוש, שבה Assistela משתמשת בפועל.

3

הרחיבו את מגבלות הטוקנים הידניות

הזינו מספר טוקנים בשדה מקסימום רק אם אתם מכירים את מגבלת המודל או רוצים להגביל עלויות במכוון.

4

בחרו ערך בטוח

שימוש בברירת המחדל הבטוחה 128K מחזיר את התקרה המומלצת. שימוש במקסימום של המודל מפעיל את המגבלה הטכנית שזוהתה. ערך נמוך יותר יכול לשמש כתקרת עלות.

5

שמרו, בדקו ונסו

שמרו את החשבון, הפעילו את בדיקת החיבור שלו ונסו שיחה ארוכה יותר עם כלי שאתם משתמשים בו בדרך כלל.

מגבלה נמוכה מדי גורמת לבעיות

המודל מאבד פרטים מוקדם יותר, Assistela דוחסת את ההיסטוריה לעיתים קרובות יותר, ועבודה מורכבת עם כמה כלים עלולה שלא להיכנס. אל תשתמשו בערכי מינימום שמיועדים למומחים בחשבון רגיל.

דחיסה אוטומטית של ההיסטוריה

תחת הגדרות ← מתקדם ← פעולת האפליקציה, הטבלה מתי מסכמים צ׳אט ישן מראה כיצד פועלת הדחיסה. Assistela מקצרת היסטוריה ישנה לפני שמגיעים למגבלה המלאה, משאירה חלק מהשיחה האחרונה ושומרת מקום לפלט. הסף המשוער תלוי בגודל ההקשר של המודל.

באותו דף מוצגות גם מגבלות עבור מידע זמני, אימייל של העוזרת האישית, ימי Calendar וימי Reminders. אלה נתחים מההקשר הזמין. מספר גבוה יותר אינו תמיד טוב יותר: כמות גדולה של אימיילים ישנים עלולה לדחוק החוצה את הבקשה הנוכחית או את תוצאות הכלים.

סכמת כלים ושלבי עבודה

טעינה יעילה או הדרגתית: שולחת תחילה את רשימת הכלים וטוענת פרטים מלאים לפי הצורך. אפשרות זו מומלצת וחוסכת מקום בהקשר.
סכמה מפורטת או מלאה: שולחת מיד את התיאור של כל כלי. השתמשו בה רק אם מודל מסוים אינו מזהה כלים במצב ההדרגתי.
מגבלת שלבי עבודה להודעה אחת: קובעת כמה שלבים חלקיים Assistela רשאית לבצע. מגבלה גבוהה יותר אינה הופכת תשובה לחכמה יותר; היא רק מאפשרת הרצה ארוכה יותר.

אפשרויות מודל נוספות

שימוש בהסקת המודל: הפעילו רק במודל שתומך בהסקה. מאמץ גבוה יותר עשוי לשפר איכות תוך הגדלת הזמן והעלות.
מודל זה תומך בטקסט בלבד: הפעילו כאשר המודל אינו יכול לעבד תמונות; Assistela לא תשלח אליו נתוני תמונה.
דרישה לקריאה לכלי כשהמודל מבטיח פעולה: מסייעת עם מודלים שלעיתים טוענים שביצעו פעולה מבלי לקרוא לכלי.
סיכום פלט ישן של כלים: השאירו פעיל כדי שתוצאות ישנות וארוכות לא ימלאו את ההקשר.

המלצה לרוב המשתמשים

השאירו את ברירת המחדל הבטוחה 128K, טעינה הדרגתית של סכמת הכלים ודחיסה אוטומטית. שנו מגבלות רק עבור מודל, כשל או תקציב מסוימים, וודאו ש-Assistela עדיין עוקבת נכון אחר השיחה.