大模型生态图谱:从 LLM 到 Agent,从 RAG 到 MCP
🗺️ 本文配套了一个可交互的大模型生态图谱网页,建议结合阅读。
👉 点击打开:大模型生态图谱(交互版)
什么是大语言模型(LLM)?
大语言模型(Large Language Model)是基于 Transformer 架构、以海量文本数据训练的神经网络,具备理解、生成、推理自然语言的能力。GPT、Claude、Gemini、Llama 等是代表性产品。
LLM 本身只是”大脑”,围绕它的一整套技术与工程体系,构成了当今 AI 生态的核心基础设施。
🤖 Agent 智能体
Agent = LLM + 感知 + 规划 + 记忆 + 行动
传统 LLM 只能单轮问答。Agent 为其添加了感知外部环境、制定行动计划、调用工具执行、维护长期记忆的能力,使 AI 能够自主完成编写代码、搜索信息、操作电脑等复杂任务链。
Agent 运行循环:
1 | |
核心框架:
- ReAct:Reasoning + Acting,交替进行思维链推理与工具调用
- Multi-Agent:多智能体分工协作,Orchestrator 调度,Worker 执行
- Memory 体系:短期(上下文)+ 长期(向量库)+ 工作记忆
代表产品: AutoGPT、Devin、Claude Code、OpenAI o3
🔌 MCP 模型上下文协议
MCP(Model Context Protocol)是 Anthropic 于 2024 年 11 月开源的通信协议,被称为 AI 世界的 USB-C 接口——让任何 LLM 以一致的标准方式接入外部工具与数据源。
三大原语:
| 原语 | 说明 |
|---|---|
Tools |
模型可调用的函数/操作(读文件、执行命令等) |
Resources |
模型可访问的数据资源(文件内容、数据库记录等) |
Prompts |
预定义的提示模板,供复用 |
MCP vs Function Calling:
Function Calling 是模型厂商私有实现;MCP 是开放标准,支持双向通信、跨模型复用,社区已有 1000+ 开源 Server。
📚 RAG 检索增强生成
RAG(Retrieval-Augmented Generation)将外部知识库与 LLM 结合,解决知识截止与幻觉问题。
核心流程:
- Indexing(索引):文档切片 → 嵌入模型生成向量 → 存入向量数据库
- Retrieval(检索):查询向量化 → 相似度搜索 → 返回 Top-K 片段
- Generation(生成):片段注入提示词 → LLM 基于上下文生成答案
进阶技术: 混合检索(向量 + BM25)、HyDE、Reranker 重排序、GraphRAG
主流向量数据库: Pinecone、Weaviate、Chroma、Qdrant、pgvector
⚙️ 微调与对齐技术
| 技术 | 全称 | 资源消耗 | 适用场景 |
|---|---|---|---|
| SFT | 监督微调 | 高 | 通用指令遵循 |
| RLHF | 人类反馈强化学习 | 极高 | 安全性、有用性对齐 |
| DPO | 直接偏好优化 | 中 | 替代 RLHF 的主流方案 |
| LoRA | 低秩适配 | 低 | 消费级 GPU 微调 |
| QLoRA | 量化 LoRA | 极低 | 单卡微调 65B 模型 |
🏗️ 基础设施层
- 推理加速:vLLM(PagedAttention)、TensorRT-LLM、Ollama、llama.cpp
- 编排框架:LangChain(Chain/Agent/Memory)、LlamaIndex(RAG 专注)、LangGraph(图式工作流)
- 提示工程:CoT、Few-Shot、Tree of Thought、Self-Consistency
- LLMOps:LangSmith、LangFuse、Weights & Biases
🏢 主流模型对比(2025)
| 模型 | 厂商 | 开放性 | 最强能力 |
|---|---|---|---|
| GPT-4o / o3 | OpenAI | 闭源 API | 推理 / 代码 |
| Claude 3.5 / 4 | Anthropic | 闭源 API | 代码 / 写作 |
| Gemini 2.0 | 闭源 API | 多模态 | |
| Llama 3.3 | Meta | 开源权重 | 开源生态 |
| DeepSeek V3 / R1 | 深度求索 | 开源 / API | 推理 / 性价比 |
| Qwen2.5 | 阿里云 | 开源权重 | 中文 / 推理 |
💡 以上内容配有可交互图谱,支持分板块浏览,体验更佳:
👉 大模型生态图谱(交互版)