บริบทและโทเค็น LLM

โทเค็นหมายถึงอะไรในที่นี้

โทเค็นคือหน่วยข้อความเล็กๆ ที่ LLM ประมวลผล บริบทรวมคำขอปัจจุบัน แชตล่าสุด หน่วยความจำ ข้อมูลชั่วคราว คำอธิบายเครื่องมือ และผลจากเครื่องมือ บริบทที่ยาวช่วยให้โมเดลเห็นประวัติมากขึ้น แต่อาจช้าและแพงขึ้น

บริบทสูงสุดที่ใช้ได้ ไม่ใช่ “จำนวนโทเค็นในคำตอบหนึ่งครั้ง” แต่เป็นงบสำหรับพื้นที่ข้อมูลเข้าทำงานทั้งหมดที่ Assistela ใช้ได้ โดยระบบกันพื้นที่บางส่วนไว้สำหรับผลลัพธ์โมเดลอัตโนมัติ

ตำแหน่งที่เปลี่ยนขีดจำกัด

1

เปิดบัญชี AI

เลือก Assistela → การตั้งค่า → บัญชี AI แล้วเลือกบัญชีทางซ้าย

2

เปิดแท็บโมเดล

คุณจะเห็นขีดจำกัดที่ตรวจพบ จากโมเดลหรือผู้ให้บริการ และขีดจำกัดที่ใช้ ซึ่ง Assistela ใช้จริง

3

ขยายขีดจำกัดโทเค็นแบบกำหนดเอง

ป้อนจำนวนโทเค็นในสูงสุด เฉพาะเมื่อรู้ข้อจำกัดโมเดลหรือต้องการควบคุมค่าใช้จ่ายโดยตั้งใจ

4

เลือกค่าที่ปลอดภัย

ใช้ค่าเริ่มต้นที่ปลอดภัย 128K คืนเพดานที่แนะนำ ใช้ค่าสูงสุดของโมเดล ใช้ขีดจำกัดทางเทคนิคที่ตรวจพบ ค่าที่ต่ำกว่าสามารถเป็นเพดานค่าใช้จ่าย

5

บันทึก ตรวจสอบ และทดสอบ

บันทึกบัญชี ตรวจสอบการเชื่อมต่อ และทดสอบการสนทนาที่ยาวขึ้นกับเครื่องมือที่ใช้ประจำ

ขีดจำกัดต่ำเกินไปทำให้เกิดปัญหา

โมเดลจะเสียรายละเอียดเร็วขึ้น Assistela บีบอัดประวัติบ่อยขึ้น และงานซับซ้อนที่ใช้หลายเครื่องมืออาจใส่ไม่พอ อย่าใช้ค่าขั้นต่ำสำหรับผู้เชี่ยวชาญกับบัญชีปกติ

การบีบอัดประวัติอัตโนมัติ

ที่ การตั้งค่า → ขั้นสูง → การทำงานของแอป ตารางเมื่อมีการสรุปแชตเก่า แสดงวิธีบีบอัด Assistela จะย่อประวัติเก่าก่อนถึงขีดจำกัดเต็ม เก็บการสนทนาล่าสุดบางส่วน และกันพื้นที่ผลลัพธ์ เกณฑ์โดยประมาณขึ้นกับขนาดบริบทของโมเดล

หน้าเดียวกันแสดงขีดจำกัดสำหรับข้อมูลชั่วคราว อีเมลผู้ช่วยส่วนตัว จำนวนวันปฏิทิน และจำนวนวันการเตือนความจำ ซึ่งเป็นส่วนแบ่งของบริบทที่มี ค่ามากกว่าไม่ได้ดีกว่าเสมอ อีเมลเก่าจำนวนมากอาจเบียดคำขอปัจจุบันหรือผลจากเครื่องมือ

สคีมาเครื่องมือและขั้นตอนทำงาน

โหลดแบบมีประสิทธิภาพ / ตามลำดับ: ส่งรายการเครื่องมือก่อนและโหลดรายละเอียดเต็มเมื่อจำเป็น เป็นตัวเลือกที่แนะนำและประหยัดบริบท
สคีมารายละเอียด / เต็ม: ส่งคำอธิบายเครื่องมือทั้งหมดทันที ใช้เมื่อโมเดลเฉพาะไม่รู้จักเครื่องมือในโหมดตามลำดับเท่านั้น
ขีดจำกัดขั้นตอนทำงานต่อข้อความ: ควบคุมจำนวนขั้นตอนย่อยที่ Assistela ทำได้ ค่าที่สูงขึ้นไม่ได้ทำให้คำตอบฉลาดขึ้น แต่เพียงอนุญาตให้ทำงานนานขึ้น

ตัวเลือกโมเดลอื่น

ใช้ reasoning ของโมเดล: เปิดเฉพาะโมเดลที่รองรับ reasoning ความพยายามที่สูงขึ้นอาจเพิ่มคุณภาพพร้อมกับเวลาและค่าใช้จ่าย
โมเดลนี้รองรับเฉพาะข้อความ: เปิดเมื่อประมวลผลภาพไม่ได้ Assistela จะไม่ส่งข้อมูลภาพ
บังคับเรียกเครื่องมือเมื่อโมเดลสัญญาว่าจะทำ: ช่วยกับโมเดลที่บางครั้งอ้างว่าทำแล้วโดยไม่เรียกเครื่องมือ
สรุปผลเครื่องมือเก่า: เปิดไว้เพื่อไม่ให้ผลเก่าที่ยาวเติมบริบทจนเต็ม

คำแนะนำสำหรับผู้ใช้ส่วนใหญ่

ใช้ค่าเริ่มต้น 128K ที่ปลอดภัย การโหลดสคีมาแบบตามลำดับ และการบีบอัดอัตโนมัติ เปลี่ยนขีดจำกัดเฉพาะโมเดล ปัญหา หรืองบที่เจาะจง และตรวจว่า Assistela ยังติดตามการสนทนาได้ถูกต้อง