定义
上下文（context）指语言模型处理一次请求时所能看到的全部信息，包括用户输入、对话历史以及附带的文档或工具结果。其容量上限以词元数计，称为上下文窗口。
工作方式
模型只对窗口内的内容有效，超出上下文窗口的信息对它不可见。长对话或长文档通常通过截断、摘要或把关键内容存入外部记忆等方式保持在窗口之内。
使用场景
长文本问答、多轮对话、代码库理解和检索增强生成等场景都依赖足够的上下文；用户遇到的“模型忘记前文”，多数与上下文管理有关。
易混概念
下一个词元的预测正是基于上下文进行的；键值缓存缓存的是上下文的中间计算结果，用于加速重复前缀的处理，不等于上下文本身。这些都属于大语言模型的工作机制。