LLM 上下文和令牌

这里的令牌是什么

令牌是 LLM 处理的一小段文字单位。上下文包括当前请求、近期聊天、记忆、临时信息、工具说明和工具结果。上下文越长，模型能看到的历史记录越多，但速度可能更慢、成本也可能更高。

最大可用上下文 不是“一次回答中的令牌数”，而是 Assistela 可以使用的完整工作输入预算。系统会自动为模型输出预留一部分空间。

在哪里更改上限

自动压缩历史记录

设置 → 高级 → 应用运行 中的 何时总结较早聊天 表格会显示压缩方式。Assistela 会在达到完整上限前缩短较早历史记录，保留一部分近期对话并预留输出空间。大致阈值取决于模型上下文大小。

同一页面还显示临时信息、个人助理电子邮件、日历天数和提醒事项天数的上限。这些内容会占用可用上下文。数值越高不一定越好：更多旧邮件可能挤占当前请求或工具结果的空间。

工具架构和工作步骤

• 高效 / 渐进式加载：先发送工具列表，按需加载完整详情。建议使用此方式，可节省上下文。
• 详细 / 完整架构：立即发送每项工具说明。只有特定模型无法在渐进模式中识别工具时才使用。
• 单条消息的工作步骤上限：控制 Assistela 可执行多少个中间步骤。提高上限不会让回答更聪明，只会允许运行更长时间。

其他模型选项

• 使用模型推理：只为支持推理的模型启用。更高的推理强度可以提高质量，但也会增加时间和成本。
• 此模型仅支持文字：如果模型无法处理图像，请启用；Assistela 将不发送图像数据。
• 模型承诺执行操作时要求工具调用：有助于处理有时声称已操作却没有调用工具的模型。
• 总结较早的工具输出：保持启用，避免冗长的旧结果填满上下文。