定义
每秒词元数（TPS）是衡量语言模型推理吞吐的指标，指模型每秒输出的词元个数。它通常统计首词元之后的稳定生成速度，因此也被称为输出速度。
工作方式
该指标由推理服务或基准测试在单位时间内统计产出的词元数得到，会随模型规模、硬件、上下文长度和并发负载变化。同一个模型在不同部署条件下测得的数值可能差别很大。
使用场景
TPS 常用于比较推理服务与硬件方案的性能，也用于估算用户等待时间；流式输出场景中，它决定文字“打字机式”出现的快慢。
易混概念
TPS 描述的是模型逐个生成下一个词元的速度，而键值缓存是影响这一速度的关键优化手段。它与基准测试中的能力评分不同：TPS 衡量速度，不衡量答得好不好。