📚 AI 概念百科

🎯 大白话解释

想象一条流水线：原材料（数据）从左边进来，经过很多道加工工序（网络层），每道工序提取一些特征，最后右边出来的就是产品（预测结果）。

比如识别猫的图片：第 1 层学会看边缘，第 2 层学会看纹理，第 3 层学会看耳朵、眼睛，第 4 层把这些组合起来——"有尖耳朵 + 竖瞳孔 + 毛茸茸 = 猫！"

核心要点

• 神经网络：由大量"神经元"组成的数学函数网络，模拟大脑的信号传递
• 反向传播：网络答错时，从输出层往回调整每个神经元的参数（权重）
• 梯度下降：调整参数的方向和步长，像下山一样找到"误差最低点"
• 常见架构：CNN（看图）、RNN（读文）、Transformer（全能选手）

🎯 大白话解释

读"小明把书给了小红"这句话时，你的大脑能立刻理解"书"和"给"有关系、"小明"是主语——这就是注意力在做的事。

Transformer 的"自注意力机制"让模型同时看整句话中每个词与其他词的关系，不像以前的 RNN 必须从左到右一个词一个词读。这让它处理速度快、理解能力强。

QKV 三兄弟

• Query (Q)：当前词在问"谁跟我有关系？"
• Key (K)：每个词的"标签"，用来被 Query 匹配
• Value (V)：每个词的实际信息内容

Q 和 K 点乘算出"注意力权重"，权重越高说明两个词越相关，然后用权重对 V 加权求和——得到融合了全局信息的新表示。

关键论文

Vaswani et al., 2017, "Attention is All You Need" — 这篇论文开创了大模型时代。

🎯 大白话解释

大模型不直接看文字，它先把文字切成"积木块"（Token），再把每个积木块变成数字来处理。

比如 "我爱人工智能" 可能被切成 ["我", "爱", "人工", "智能"] = 4 个 Token。而 "ChatGPT" 可能切成 ["Chat", "G", "PT"] = 3 个 Token。

为什么 Token 很重要？

• 计费依据：OpenAI 等按 Token 数量收费（GPT-4o 约 $2.5 / 1M 输入 Token）
• 上下文限制：模型能处理的 Token 总数有上限（如 128K Token）
• 速度影响：Token 越多，推理越慢

Tokenizer 分词器

不同模型用不同的分词器：GPT 用 tiktoken（BPE 算法），LLaMA 用 SentencePiece。这就是同样一段文字在不同模型里 Token 数不同的原因。

🎯 大白话解释

预训练是大模型的"上学阶段"。模型被喂入海量文本（维基百科、书籍、代码、网页...），通过一个简单任务反复练习：

• GPT 类（自回归）：遮住最后一个词，猜下一个词是什么 → "我今天去了____"
• BERT 类（掩码）：随机遮住中间的词，猜被遮住的词 → "我[MASK]去了商场"

通过预测几万亿个词，模型学会了语法、事实知识、逻辑推理、编程能力...这就是"涌现能力"的基础。

预训练 vs 微调

🎯 大白话解释

LLM = Large Language Model。你可以把它想成一个"读完了整个图书馆的超级大脑"——你问它任何问题，它都能组织语言回答你。但它的本质其实很简单：给前文，预测下一个 Token，反复预测就生成了一大段文字。

LLM 的能力金字塔

主要 LLM 家族

• GPT 系列（OpenAI）：GPT-3.5 → GPT-4 → GPT-4o
• Claude 系列（Anthropic）：Claude 2 → Claude 3 → Claude 3.5/4
• Gemini 系列（Google）：Gemini Pro → Gemini Ultra → Gemini 2.5
• LLaMA 系列（Meta，开源）：LLaMA → LLaMA 2 → LLaMA 3
• DeepSeek（深度求索，开源）：DeepSeek-V2 → R1
• Qwen 系列（阿里，开源）：Qwen → Qwen 2.5

🎯 大白话解释

你给 AI 说"帮我写个邮件"和"你是一位资深商务经理，请帮我写一封给客户的道歉邮件，要求语气诚恳、提出补偿方案、控制在 200 字以内"——哪个输出更好？显然后者。这就是提示词工程的价值。

10 大常用技巧

🎯 大白话解释

LLM 的知识有两个致命缺陷：①训练数据有截止日期（不知道最新信息）；②不知道你的私有数据。

RAG 的解法就像"开卷考试"：先把你的文档做成"参考书"存起来，AI 回答问题前先从参考书里找到最相关的段落，然后基于找到的内容组织回答——这样就不会"瞎编"了。

RAG 四步流程

🎯 大白话解释

传统数据库搜"苹果"只能找到包含"苹果"两个字的文档。但向量数据库搜"苹果"能同时找到"Apple"、"水果"、"iPhone"——因为它们语义上相关。

原理：先用 Embedding 模型把每段文字变成一个高维数字向量（比如 1536 维），存入向量数据库。搜索时也把查询变成向量，然后用"余弦相似度"找到最相似的几个结果。

主流向量数据库

🎯 大白话解释

预训练的 LLM 像一个"博学的通才"——什么都懂一点，但不够专业。如果你想让它精通医疗问诊、法律咨询、或者你公司的客服话术，就需要用领域数据继续训练它。

微调的三个层次

• 全量微调（Full Fine-tuning）：调整模型所有参数。效果最好但成本巨大（需要多张 A100 GPU）
• LoRA / QLoRA：只训练 0.1%-1% 的额外参数。效果接近全量微调，成本低 10-100 倍，是目前主流方案
• Adapter：在模型层之间插入小型可训练模块

微调数据格式示例

// 指令微调数据（JSON Lines 格式）
{"instruction": "判断这条评论是正面还是负面",
 "input": "这家餐厅的菜太难吃了",
 "output": "负面"}
{"instruction": "判断这条评论是正面还是负面",
 "input": "服务态度超级好！",
 "output": "正面"}

🎯 大白话解释

模型的每个参数原本是一个 32 位浮点数（像"3.141592653589793"），量化就是把它简化为 8 位甚至 4 位（像"3.14"甚至"3"）。精度损失了一点点，但体积直接缩小 4-8 倍。

这就像把高清电影压缩成标清——文件小了 80%，但肉眼几乎看不出区别。

量化方案对比

🎯 大白话解释

LLM 本身只会"说话"，不能真的去搜网页或查数据库。Function Calling 就是给它一份"可以打的电话列表"——

• 你告诉模型："你可以调用 get_weather(city) 查天气"
• 用户问"北京今天多少度？"，模型不是瞎猜，而是输出：{"name":"get_weather","arguments":{"city":"北京"}}
• 你的程序执行这个函数，拿到真实天气数据，再喂回给模型
• 模型基于真实数据回答："北京今天 15°C，多云"

执行流程

Function Calling 是 Tools 和 Agent 的底层机制——没有它，Agent 就只能"空想"，不能"做事"。

🎯 大白话解释

如果 Agent 是"大脑"，Tools 就是"手和脚"。大脑想查东西时用搜索 Tool，想算数时用计算器 Tool，想存文件时用文件 Tool。

每个 Tool 包含三要素：名称（做什么）、描述（什么时候用）、参数 Schema（需要传什么）。模型根据描述决定调用哪个 Tool。

常见 Tool 类型

• 信息获取：网络搜索、维基百科、天气查询
• 数据操作：SQL 查询、API 调用、文件读写
• 代码执行：Python REPL、Shell 命令
• 内容生成：图片生成、PDF 创建
• 通信：发邮件、发消息、创建日程

🎯 大白话解释

普通 LLM 像一个"只会回答问题的客服"，而 Agent 像一个"能帮你做事的助理"。你说"帮我订明天上海的酒店"，Agent 会：

1. 🧠 思考：需要查航班时间、搜索酒店、比较价格
2. 🔍 行动：调用搜索工具查酒店
3. 👁️ 观察：分析搜索结果
4. 🔄 循环：信息够了吗？不够继续搜
5. 📤 完成：推荐最合适的酒店

Agent = LLM + Tools + 循环推理

🎯 大白话解释

如果 Tool 是"锤子、螺丝刀"这样的单个工具，那 Skill 就是一整套"装修指南"——不仅包含工具，还包含专业知识、操作步骤和注意事项。

比如一个"Excel 数据分析 Skill"可能包含：读取 Excel 的工具 + 数据清洗的最佳实践 + 可视化的标准流程 + 常见错误的处理方式。Agent 加载这个 Skill 后就变成了"数据分析专家"。

Skill vs Tool 对比

🎯 大白话解释

以前：每个 AI 应用想用 GitHub，就得自己写 GitHub 集成代码；想用 Slack，又得写 Slack 的。10 个 AI 应用 × 10 个工具 = 100 个集成。

MCP 之后：GitHub 做一个 MCP Server，所有 AI 应用装一个 MCP Client 就能直接用。10 + 10 = 20 个集成。这就是标准化的力量。

MCP 三大原语

• Tools：可执行的操作（创建 Issue、发送邮件）——模型调用，人确认
• Resources：可读取的数据（文件内容、数据库查询）——应用控制
• Prompts：可复用的提示词模板——用户选择

🎯 四种模式速览

🎯 大白话解释

计算机不懂中文，只懂数字。Embedding 就是"翻译器"——把一段文字翻译成一个数字列表（比如 1536 个数字）。翻译的神奇之处在于：意思相近的文字，翻译出来的数字列表也相近。

# "我喜欢猫" → [0.12, -0.35, 0.88, ...]  ← 1536 个数字
# "我爱喵星人" → [0.11, -0.34, 0.87, ...]  ← 很接近！
# "今天股市大涨" → [0.95, 0.22, -0.60, ...]  ← 完全不同

这就是 RAG 能"按语义搜索"的底层原理。常用的 Embedding 模型：OpenAI text-embedding-3-small、开源 bge-large-zh。

🎯 大白话解释

模型每次处理请求时，输入的所有内容 + 输出的内容都要装进一个"窗口"里。窗口满了就装不下了。

主流模型上下文窗口

上下文不够时怎么办？→ 用 RAG（只检索最相关的段落塞进窗口）或 Summary Memory（把历史对话压缩成摘要）。

🎯 大白话解释

模型的本质是"预测下一个最可能的词"，不是"回忆确定知道的事实"。当它不确定答案时，不会说"我不知道"，而是会生成一个"统计上看起来合理"的回答——即使内容是假的。

常见幻觉类型

• 事实错误：编造不存在的论文、虚构人物经历
• 引用造假：给出格式正确但不存在的论文 DOI
• 逻辑矛盾：前后文自相矛盾

怎么减少幻觉？

• RAG：让模型基于真实文档回答，减少"瞎编"
• 要求引用出处：提示词中加"请标注信息来源"
• 温度调低：temperature 设为 0-0.3，减少随机性
• Reflection：让模型自我检查再输出

🎯 大白话解释

预训练后的模型像一个"知识渊博但说话不着调的学者"——能力有了，但输出可能啰嗦、有害、或不按指令来。RLHF 就是请人类标注员给模型的多个回答打分（哪个更好），然后用强化学习让模型学会生成人类偏好的回答。

RLHF 三步流程

🎯 大白话解释

想象你有一本百科全书（原模型），你不想重印整本书，只想在关键页面贴上"便签纸"做标注。LoRA 就是这些"便签纸"——原书不动，只训练便签纸上的内容。

QLoRA 更进一步：先把原模型量化到 4-bit（缩小体积），再贴 LoRA 便签——这样 7B 模型用一张 RTX 4090 就能微调。

🎯 大白话解释

之前的 LLM 像一个"只能打字聊天的人"。多模态模型则像"坐在你旁边的真人"——你给它看一张图，它能描述内容；你给它一段语音，它能转成文字并回答。

主要模态

• 文本 → 图像：Stable Diffusion、DALL-E、Midjourney
• 图像 → 文本：GPT-4V、LLaVA、CLIP
• 语音 → 文本：Whisper
• 文本 → 语音：TTS（Text-to-Speech）
• 文本 → 视频：Sora、Runway

GPT-4o、Gemini 2.5 这些最新模型都是"原生多模态"——一个模型同时处理文字、图片、音频、视频。