Bối cảnh LLM và token

Token có nghĩa gì ở đây

Token là một đơn vị văn bản nhỏ được LLM xử lý. Bối cảnh bao gồm yêu cầu hiện tại, Trò chuyện gần đây, bộ nhớ, thông tin tạm thời, mô tả công cụ và kết quả công cụ. Bối cảnh dài hơn cho phép mô hình thấy nhiều lịch sử hơn, nhưng có thể chậm và tốn kém hơn.

Bối cảnh sử dụng tối đa không phải là “số token trong một câu trả lời”. Đây là ngân sách cho toàn bộ vùng đầu vào làm việc mà Assistela có thể dùng. Một phần không gian được tự động dành riêng cho đầu ra của mô hình.

Nơi thay đổi giới hạn

1

Mở tài khoản AI

Chọn Assistela → Cài đặt → Tài khoản AI và chọn tài khoản ở bên trái.

2

Mở thẻ Mô hình

Bạn sẽ thấy Giới hạn phát hiện do mô hình hoặc nhà cung cấp báo cáo và Giới hạn sử dụng mà Assistela thực sự dùng.

3

Mở rộng Giới hạn token thủ công

Chỉ nhập số token trong Tối đa khi bạn biết giới hạn của mô hình hoặc chủ động muốn kiểm soát chi phí.

4

Chọn giá trị an toàn

Dùng mặc định an toàn 128K khôi phục mức trần được khuyến nghị. Dùng mức tối đa của mô hình dùng giới hạn kỹ thuật đã phát hiện. Giá trị thấp hơn có thể đóng vai trò là mức trần chi phí.

5

Lưu, kiểm tra và thử

Lưu tài khoản, chạy kiểm tra kết nối rồi thử một cuộc trò chuyện dài hơn với công cụ bạn thường dùng.

Giới hạn quá thấp sẽ gây ra vấn đề

Mô hình mất chi tiết sớm hơn, Assistela nén lịch sử thường xuyên hơn và công việc phức tạp với nhiều công cụ có thể không vừa. Đừng dùng các giá trị tối thiểu chỉ dành cho chuyên gia đối với tài khoản thông thường.

Tự động nén lịch sử

Trong Cài đặt → Nâng cao → Hoạt động ứng dụng, bảng Thời điểm Trò chuyện cũ được tóm tắt cho biết cách nén hoạt động. Assistela rút gọn lịch sử cũ trước khi đạt toàn bộ giới hạn, giữ lại một phần cuộc trò chuyện gần đây và dành không gian cho đầu ra. Ngưỡng gần đúng phụ thuộc vào kích thước bối cảnh của mô hình.

Cùng trang cũng hiển thị giới hạn cho Thông tin tạm thời, email của Trợ lý cá nhân, số ngày Lịch và số ngày Lời nhắc. Đây là các phần của bối cảnh khả dụng. Số cao hơn không phải lúc nào cũng tốt hơn: nhiều email cũ hơn có thể chiếm chỗ của yêu cầu hiện tại hoặc kết quả công cụ.

Schema công cụ và bước làm việc

Tải hiệu quả/lũy tiến: gửi danh sách công cụ trước và tải chi tiết đầy đủ khi cần. Chế độ này được khuyến nghị và tiết kiệm bối cảnh.
Schema chi tiết/đầy đủ: gửi ngay mọi mô tả công cụ. Chỉ dùng khi một mô hình cụ thể không nhận ra công cụ ở chế độ lũy tiến.
Giới hạn bước làm việc cho một tin nhắn: kiểm soát số bước thành phần mà Assistela có thể thực hiện. Giới hạn cao hơn không làm câu trả lời thông minh hơn; nó chỉ cho phép lượt chạy dài hơn.

Tùy chọn mô hình khác

Dùng khả năng suy luận của mô hình: chỉ bật cho mô hình hỗ trợ suy luận. Mức nỗ lực cao hơn có thể cải thiện chất lượng nhưng làm tăng thời gian và chi phí.
Mô hình này chỉ hỗ trợ văn bản: bật khi mô hình không thể xử lý hình ảnh; Assistela sẽ không gửi dữ liệu hình ảnh.
Yêu cầu gọi công cụ khi mô hình hứa thực hiện hành động: hữu ích với mô hình đôi khi tuyên bố đã hành động mà không gọi công cụ.
Tóm tắt đầu ra công cụ cũ: hãy giữ bật để kết quả cũ dài không lấp đầy bối cảnh.

Khuyến nghị cho hầu hết người dùng

Giữ mặc định an toàn 128K, tải schema lũy tiến và nén tự động. Chỉ thay đổi giới hạn cho một mô hình, lỗi hoặc ngân sách cụ thể, đồng thời xác minh Assistela vẫn theo dõi cuộc trò chuyện chính xác.