ChatGPT 会写文章、整理资料、翻译、写代码，甚至可以接上工具执行工作。于是很自然会出现一个问题：它到底是怎么做到的？它是不是已经像人一样「理解」文字？但， LLM 是什么 ？

要回答这个问题，先要认识 LLM，也就是 Large Language Model，中文通常译作「大语言模型」。ChatGPT 背后的核心能力来自这类模型，但 LLM 本身并不等于 ChatGPT，也不等于 AI Agent。

这篇文章不从复杂数学开始，而是用一般使用者真正需要知道的方式，解释 LLM 在做什么、为什么它能产生看起来很聪明的文字，以及为什么它仍然会一本正经地答错。

LLM 是什么 ？先把它想成「超强预测机」

LLM 是一种以大量文字与其他数据训练出来的语言模型。简单来说，它学习了语言中大量的模式与关系，并根据已经出现的内容，预测接下来最可能出现什么。

「预测下一个词」这个说法很常见，但严格来说，模型处理的通常不是完整的词，而是 Token。一个 Token 可能是一个字、一个词的一部分、标点或其他文字单位。

当你输入一个问题，模型会把输入转换成 Token，在模型内部进行计算，再逐步产生输出 Token，最后组合成我们看到的答案。

为什么只预测下一个 Token，也能写出完整文章？

听起来很不可思议：如果模型只是在预测接下来应该出现什么，为什么它可以解释概念、写邮件、总结文件，甚至产生代码？

关键在于模型并不是只记住「A 后面通常接 B」。现代大语言模型在训练过程中学习到大量语言结构、概念关系、写作形式和上下文模式。

例如，当输入是「请用一般读者能理解的方式解释 RAG」，模型不只是寻找 RAG 后面最常出现的几个字，而是利用训练中形成的内部表示，结合整个输入上下文，逐步生成一个符合要求的回答。

这也是为什么同一个模型可以处理很多不同任务，而不需要每一种工作都重新写一套传统程序。

Transformer 与 Attention 为什么重要？

今天多数 LLM 都建立在 Transformer 架构之上。2017 年 Google 研究人员发表论文 Attention Is All You Need，提出 Transformer 架构，后来成为现代大语言模型发展的重要基础。

其中一个关键概念是 Attention（注意力机制）。模型处理一段文字时，可以计算不同 Token 之间的关系，而不是只按照非常短的固定距离理解前后文。

举例来说，在一句很长的话里出现「它」，人可以根据前文判断「它」指什么。Attention 让模型有能力在上下文中衡量哪些部分与当前生成内容更相关。

这不代表模型像人一样阅读，但它让机器处理长距离语言关系的能力大幅提升。

参数是什么？参数越多就一定越聪明吗？

讨论 LLM 时经常会看到「多少亿参数」。参数可以粗略理解为模型训练后形成的大量数值权重，它们共同决定输入经过模型时怎样被转换和计算。训练过程会不断调整这些参数，让模型对训练目标的预测越来越准确。

参数规模很重要，却不是判断模型能力的唯一标准。以下几项同样会影响实际表现：

• 训练数据：质量、覆盖范围与新鲜度都会影响模型的知识与判断力。
• 模型架构：不同架构在效率与能力上各有取舍。
• 训练方法与后训练方式：包括对齐、指令微调等步骤，直接影响模型的实际表现与行为。
• 推理阶段的设计：例如是否让模型有更多步骤「思考」再回答。
• 工具使用能力：模型能否调用搜索、代码执行等外部工具。

因此不能简单地把「参数更多」直接等同于「一定更聪明」。

LLM 的知识储存在哪里？

这是最容易产生误解的地方之一。

LLM 不是把互联网复制成一个可以逐页查询的数据库。训练以后，大量语言模式和知识关系以模型参数中的分布式形式存在。因此，当你问一个问题时，它通常不是先找到某一篇原始文章，再从文章复制答案，而是根据训练形成的模式和你提供的上下文生成回答。

这也解释了为什么 LLM 有时能正确回答一个事实，有时却会把几个看似合理的片段组合成不存在的答案。

如果任务需要模型根据指定资料回答，就会涉及 RAG（Retrieval-Augmented Generation）：先检索外部资料，再把相关内容提供给模型生成答案。

LLM 为什么会「幻觉」？

所谓 hallucination（幻觉），通常是指模型产生了听起来合理、实际上错误或没有依据的内容。

理解 LLM 的生成方式以后，这件事就没那么神秘了。模型的核心任务是产生合适的下一段内容，而不是内建一个永远会先验证事实的新闻编辑。常见的触发情况包括：

• 问题缺少资料：模型没有足够可靠的上下文可以依据。
• 生成模式判断失准：把听起来合理但错误的内容当成合理延续。
• 问题本身模糊：缺少关键细节，模型只能自行「补完」。

因此，写作顺畅与事实正确是两件不同的事。这也是为什么我在用 ChatGPT 写 WordPress 内容时，会把「研究与事实查证」独立出来，而不是因为一段文字读起来很专业就直接发布。网站内容可以参考我之前整理的 用 ChatGPT 写 WordPress 文章的 8 步流程。

Context Window 又是什么？

LLM 每一次处理任务，都有一个可以放入输入与输出内容的上下文范围，通常称为 Context Window。你当前的提问、对话中的相关内容、系统指令、上传文件中被提供给模型的资料，都可能成为上下文的一部分。

Context Window 并不等于模型的长期知识，也不等于 ChatGPT Memory。关于这些差异，我已经另外整理成 ChatGPT Memory、上下文与 Projects 的说明。

对一般使用者而言，最重要的理解是：模型回答得好不好，不只取决于模型本身，也取决于这一刻它实际上拿到了什么上下文。

LLM、ChatGPT 和 AI Agent 有什么不同？

这三个名词经常被混在一起，但各自负责不同层次的工作：

• LLM：核心语言模型，负责理解和生成语言模式。
• ChatGPT：建立在模型之上的产品。除了模型，还包含对话介面、文件、记忆、工具等产品层能力。
• AI Agent：更进一步，系统不只是回答一次问题，还可能根据目标规划步骤、使用工具、读取结果，再决定下一步行动。

如果想进一步理解 Agent，可以阅读 AI Agent 和 Chatbot、自动化、MCP 有什么不同。

LLM 和搜索引擎也不是同一件事

传统搜索引擎的核心任务之一，是从已经建立索引的网页中找出与查询相关的结果。LLM 的核心任务则是根据输入生成内容。

今天两者已经开始融合：AI 产品可以调用搜索工具，把网页或搜索结果加入上下文，再由模型整理回答。因此，当一个 AI 回答附有网页来源时，不应理解成「LLM 本身记得这个网页」。更准确的说法往往是系统先取得外部资料，再交给模型生成回答。

理解 LLM 对普通使用者的四个实际好处

知道这些技术原理，并不是为了每个人都去训练模型，而是可以改变使用 AI 的方法：

1. 不要把流畅文字当成事实证明：重要资料仍然要核实来源。
2. 提供足够上下文通常更有效：告诉模型对象是谁、资料是什么、不能做什么，输出通常会更稳定，比一直要求「写得更好」有用。
3. 分清楚该用什么工具：不是所有任务都应该交给一个单独的聊天窗口完成，有时需要搜索、RAG、工具或 Agent。
4. 自动化仍然需要检查机制：模型可以降低重复劳动，却不会自动承担编辑责任。

FAQ

LLM 就是 ChatGPT 吗？

不是。LLM 是大语言模型这一类技术；ChatGPT 是建立在模型之上的完整产品，还包含对话、工具、文件、记忆等功能。

LLM 是不是把整个互联网背下来？

不是简单地把网页存成一个可搜索数据库。训练会把大量语言模式与关系编码进模型参数，因此生成答案和传统数据库查询是不同机制。

LLM 为什么会答错还说得很肯定？

因为模型生成的是在当前上下文下合理的文字序列，而不是每一句都自动经过事实验证。缺少可靠资料时，模型可能产生看似合理但错误的内容。

LLM 会取代搜索引擎吗？

两者功能正在融合，但机制不同。搜索擅长检索现有资料，LLM 擅长生成和整理语言。很多 AI 搜索产品实际上把检索和语言模型结合起来使用。

小结：先把 LLM 当成语言模型，而不是万能大脑

LLM 最令人惊讶的地方，是一个以 Token、参数和概率计算为基础的模型，最后可以表现出非常广泛的语言能力。

但正因为它生成的文字太像人在表达，我们也很容易把「会说」误认为「一定懂」，再把「说得顺」误认为「一定正确」。

理解 LLM 的基本机制以后，使用 ChatGPT 时反而会更实际：给它足够上下文，让它处理擅长的语言与整理工作；需要最新事实就连接可靠资料，需要执行任务就使用工具，同时保留人的查证与判断。这比把 AI 想象成一个无所不知的机器大脑，更接近它真正有用的方式。

参考资料

• Attention Is All You Need（Transformer 原始论文）