流式输出

定义

流式输出是在结果尚未全部生成时，逐步把已产生的内容发送给使用者。

使用场景与易混概念

模型接口可以通过服务器发送事件等机制传递文本片段和状态。它减少的是等待首次看到内容的时间；是否流式展示、总耗时和模型推理速度是三个不同问题。