术语
Large Language Model (LLM)
Next Token / Wiki

大语言模型(LLM)

大语言模型是在海量文本上训练、以词元为单位预测文本序列的深度神经网络模型。它能完成生成、问答、翻译和代码等广泛的语言任务。

别名

LLM · 大语言模型 · Large Language Model

定义

大语言模型(LLM)是在海量文本上训练的深度神经网络,“大”通常指参数量和训练数据规模远超早期的小型语言模型。它以文本为输入输出,能完成多种语言任务。

工作方式

模型以词元为基本单位,在预训练中学习预测下一个词元;生成时按同样方式逐词元地自回归产出文本。输入信息由上下文承载,模型据此组织回答。

使用场景

LLM 支撑聊天机器人、代码助手、翻译、摘要和智能体等应用,也常作为底座,再经微调或基于人类反馈的强化学习等方法对齐到具体用途。

易混概念

LLM 是人工智能的一类具体模型,不等于 AI 全体;它的基础架构是 Transformer。理解 LLM 的三个关键概念是词元、下一个词元预测和上下文长度。

参考资料